Разделить цену войны: кого, откуда и когда призывали в годы ВОВ?

22 июня 1941 началась Великая Отечественная война, унесшая жизни десятков миллионов людей. С начала ВОВ прошло 83 года, но в её истории всё еще много неизвестного. Даже сведения о том, сколько человек было призвано, пока неполны. Благодаря работе специалистов по оцифровке архивов большие массивы источников по Великой Отечественной становятся доступны для анализа и статистических исследований. 

Предлагаем вспомнить одно из таких исследований, сделанное командой «Системного Блока» и посвященное анализу 26,5 млн. карточек с военно-пересыльных пунктов. Эти данные позволяют увидеть, как отличалась картина призыва в разные годы в отдельных республиках СССР.

Кратко: о чем статья?

У каждой республики была своя история участия в войне и свой портрет призыва. Призыв в РСФСР, Казахстане и Киргизии был схож и довольно стабилен на протяжении войны. По ходу войны призывной возраст снижался, а самый большой подъем призыва в РСФСР ожидаемо совпал с началом Великой Отечественной войны. В нем существенна доля взрослых людей старше 22 лет — были призваны резервисты, запасники, отставники.

Совершенно другой портрет призыва наблюдается в республиках, которые были полностью оккупированы в годы войны — Белорусской, Украинской ССР и республиках Прибалтики. Поскольку основной удар первых месяцев войны пришелся на них, провести полноценный призыв удалось далеко не везде, а после оккупации территории он стал невозможен и продолжился только после освобождения. Именно поэтому в Белоруссии призыв в 1944 году был самым многочисленным. Цифры свидетельствуют: несмотря на угон людей на работы в Германию и массовые расправы над местным населением, после отступления Вермахта освобожденные территории все еще могли обеспечить массовое пополнение рядов Красной армии.

Узнать подробности об особенностях призыва в оккупированных республиках, о спаде призыва в 1943 в республиках Кавказа и о трудовом призыве в Узбекской, Таджикской и Туркменской ССР можно из полного текста статьи. Там же можно найти динамическую визуализацию данных, содержащую информацию по 14 основным республикам СССР.

Время чтения: 25 минут.

🤖 «Системный Блокъ» @sysblok

Первая в СССР система французско-русского машинного перевода

В 1950-е годы гуманитарии и математики объединились, чтобы заниматься машинным переводом. Именно с этого берёт начало сфера автоматической обработки естественного языка (Natural Language Processing). За 70 лет с тех пор методы машинного перевода радикально поменялись несколько раз, но как работали самые первые системы? Вспоминаем историю системы французско-русского перевода из 50-х гг., описываем принцип работы алгоритма (он состоял из 17 программ) и сравниваем его с современными моделями.

Кратко: о чем статья?

В середине 1950-х А. А. Ляпунов, математик и один из основоположников кибернетики в СССР, собрал группу для работы над машинным переводом (МП). Он считал, что МП — задача преимущественно математико-кибернетическая, а не лингвистическая (глядя на современные системы можно сказать, что Ляпунов был прав). За полтора года им удалось с нуля получить первые результаты автоматического перевода с французского языка на русский.

Чтобы облегчить задачу, были выбраны тексты из области математики: в них ограниченный набор слов, конструкции не слишком разнообразны, отсутствует игра слов

Самым главным «ключом» к переводу стало составление двух словарей. В первый включили 1200 основ слов: частотных в математических текстах, служебных и дополнительных терминов. Второй словарь, специальный, насчитывал 250 оборотов, которые нельзя перевести дословно. Французские и русские слова сопровождались морфологическими, техническими и другим важными для перевода указаниями (например, о наличии омонимов).

Проблема этой системы была в ограниченности: словари нуждались в доработке. Алгоритм можно было расширять, но система плохо распространялась на новый материал и сложные случаи. Зато сама постановка задачи создать машинный перевод вскрыла пробелы в лингвистическом знании: структура языка была недостаточно изучена и описана. Это стало толчком для появления математической и структурной лингвистики.

Подробности о работе над переводом и его итогах, а также сравнение машинного перевода 1950-х с современным найдете в полной версии материала.

Время чтения: 9 минут.

🤖 «Системный Блокъ» @sysblok

Новый лидер среди LLM, «безопасный сверхинтеллект» от бывшего топ-исследователя OpenAI и конкуренты Sora

Рассказываем, что произошло в мире ИИ за последние две недели.

Claude Sonnet 3.5 — новая лучшая языковая модель

Компания Anthropic, основанная бывшими работниками OpenAI, выпустила обновление своей языковой модели Claude Sonnet 3.5. По стандартным тестам модель превосходит предыдущего лидера GPT-4o и предыдущую флагманскую модель компании Claude Opus 3. Также Sonnet 3.5 вдвое быстрее и в пять раз дешевле Opus 3. Модель можно попробовать бесплатно на сайте компании. Обновления более большой модели Opus и более компактной Haiku планируются в этом году.

Safe Super Intelligence Inc.

Бывший ведущий исследователь OpenAI Илья Суцкевер основал компанию Safe Super Intelligence Inc. По заявлению компании, её главная цель — создание безопасного сверхинтеллекта. Компания зарегистрирована в США и имеет офисы в Пало-Альто и Тель-Авиве.

Ранее Суцкевер возглавлял команду Super Alignment в OpenAI. Они исследовали способы интерпретации языковых моделей, а также методы их управления и контроля.

По неподтверждённым слухам, у Суцкевера и Альтмана, генерального директора Open AI, были разногласия в вопросе безопасного развития ИИ, которые привели в кратковременному увольнению Альтмана, а затем и увольнению самого Суцкевера.

Новые конкуренты Sora

С момента выхода Sora — модели для генерации видео по текстовому описанию — множество компаний выпустили свои аналоги.

На этой неделе компания Runaway заявила о выходе третьего поколения модели Gen. Gen 3 Alpha способна генерировать видео длиной до 10 секунд. По качеству опубликованных примеров она не уступает Sora.

Ещё о своей модели для генерации видео (Veo) недавно рассказали в Google. Обе модели пока доступны для ограниченного круга пользователей. Однако уже сейчас можно попробовать модели от Luma AI и модель от Kling.

О модели Sora OpenAI заявила в начале этого года, доступ к ней есть только у нескольких деятелей сферы кино. По заявлениям компании, модель станет доступна более широкому кругу пользователей после выборов президента США, которые пройдут в ноябре 2024.

🤖 «Системный Блокъ» @sysblok

Идеальная формула депрессивной песни на примере Radiohead

Музыковед Анна Виленская назвала Radiohead одной из величайших групп в истории, песни которой вполне можно выделить в отдельный жанр. А мы изучили не их жанр, а их… депрессивность. Вспоминаем материал «Системного Блока» о том, как вычислить «индекс уныния» песни и применить эту формулу к Radiohead. 

Кратко: о чём статья?

Британская рок-группа Radiohead пишет печальные мелодии, а тексты на их музыку многие называют мрачными. Дата-сайентист Чарли Томпсон вычислил их самую депрессивную песню с помощью языка программирования R.

Для своего исследования Томпсон использовал API Spotify. Потом он обратился к корпусу эмоционально окрашенных слов Национального научно-исследовательского совета Канады и выбрал оттуда лексемы, считающиеся «грустными». Посчитав количество «грустных» лексических единиц в каждой песне, он выяснил, что самый печальный текст Radiohead – High And Dry. 

Если же взять во внимание не только слова, но также лирическую плотность и валентность (музыкальную позитивность) по версии Spotify, то абсолютным победителем по шкале грусти окажется True Love Waits.

Подробнее о трех компонентах «индекса уныния», идеальной формуле депрессивной песни и сайте Sentify, где можно визуализировать настроение песен любимого исполнителя, — в полном тексте статьи.

Время чтения: 5 минут.

🤖 «Системный Блокъ» @sysblok

Мы разные, но равные: как с помощью цифровых инструментов сделать образование более инклюзивным

Образование — право каждого, а инклюзивное образование — способ дотянуться до тех, кто этого права был лишен. Современные цифровые технологии помогают сделать знания доступными для всех, независимо от физических или ментальных особенностей. В статье разберем международные и российские примеры успешного применения инклюзивных технологий в школах и университетах.

Инклюзивное образование в мире

Страны выбирают разные подходы к инклюзивному образованию. В Скандинавии и Португалии, например, дети с особыми потребностями учатся в обычных школах, что помогает им лучше интегрироваться в общество. В Великобритании и Франции законы обеспечили доступ к образованию для всех детей, сократив количество специальных школ. В США закон IDEA (The Individuals with Disabilities Education Act) позволяет детям с особыми потребностями учиться в обычных школах, при этом получая дополнительную поддержку и индивидуальные учебные планы.

Инклюзивное образование в России

Сегодня в Москве и некоторых других регионах дети с особыми потребностями учатся вместе с обычными детьми. С помощью НКО и благотворительных фондов разрабатываются и внедряются модели инклюзивного обучения. Тем не менее, согласно исследованию ВЦИОМ, 59% опрошенных взрослых не знакомы с термином «инклюзивное образование».

Адаптивные технологии

Один из типов цифровых инструментов – адаптивные технологии. Они предлагают задания на основании решенных материалов или тестов, то есть подстраиваются к уровню знаний и способностей ученика. Например, платформа Khan Academy предлагает материалы по всей школьной программе, DreamBox помогает изучать математику, AI-ассистент Skyeng присылает индивидуальные задания для улучшения знаний английского.

Технологии ассистивной коммуникации

Есть также специализированные инструменты, приложения и программы, которые помогают людям с коммуникативными нарушениями понимать других и быть понятыми. Например, Zvukogram, Elevenlabs, Speechify и Voicemaker создают аудио по написанному тексту и могут помочь людям с нарушениями языка и речи. А приложения Proloquo2Go, TouchChat HD, LAMP Words for Life специально разработаны, чтобы детям с аутизмом было легче общаться, в том числе с помощью символов и текста.

Специализированные образовательные платформы

Наконец, платформы, на которых собирается образовательный контент, позволяют учиться в любое время и в любом месте. Coursera, edX, Udemy содержат программы и курсы университетов со всего мира, а Stepic — русскоязычная платформа с курсами для обучения по школьным и университетским программам. Эти платформы не разрабатывались для инклюзии, но благодаря возможности получать образование полностью онлайн они повышают его инклюзивность.

Узнать об инклюзивном обучении подробнее можно из полной версии статьи.

Время чтения: 16 минут.

🤖 «Системный Блокъ» @sysblok

Проверяем авторство: стилометрия для японских текстов

На примере работы японской исследовательницы Уэсака Аяка рассказываем о том, как с помощью стилометрии было поставлено под сомнение авторство повести, приписываемой знаменитому поэту и прозаику XVII века Ихара Сайкаку.

Кратко: о чем статья?

Стилометрия – это количественный метод в лингвистике, литературоведении и других гуманитарных науках, который определяет авторский стиль с помощью статистических метрик. Мы часто рассказываем о стилометрических исследованиях, например, творчества Набокова, древних греков и нейросетей. А ещё предлагали вам провести свой стилометрический эксперимент. 

Но если мы захотим применить стилометрию для восточных языков, то столкнемся с проблемой: как посчитать слова, если текст не разделен пробелами? На помощь приходят парсеры – программы, которые содержат правила для какого-то конкретного языка, по которым можно разделить предложения на слова, а слова на морфемы. 

Исследовательница Уэсака Аяка с помощью стилометрии поставила под сомнение теорию об авторстве «Повести о скоротечном пути Араси» Ихара Сайкаку (1642–1693). Повесть написана в 1688 году и считается первым художественным произведением о жизни актера традиционного японского театра кабуки по имени Араси.

Уэсака Аяка написала собственный парсер японского языка, оцифровала 120 работ Сайкаку, разделила их на слова и получила корпус из 710 355 токенов. Затем она собрала корпус размером 53 838 слов из трех романов другого писателя того же периода – Ходзё Дансуй (1663–1711). Благодаря этому она подтвердила авторство четырех работ Сайкаку, опубликованных после его смерти… но не исследуемой повести. В её случае дать однозначный ответ нельзя, поскольку у нее есть черты стиля как Сайкаку, так и Дансуй.

Подробнее об этом исследовании узнаете из полного текста статьи.

Время чтения: 7 минут.

🤖 «Системный Блокъ» @sysblok

Классное чтение: школьная программа по литературе от Октябрьской революции до ЕГЭ

Когда в школьной программе появлялись Гарри Поттер и Бильбо Бэггинс? А когда изучали Гомера и Эсхила? Какие иностранные художественные произведения входят в школьный канон? Когда больше изучали зарубежных авторов: в советское время или сейчас? Первая часть нашего дата-исследования школьного канона посвящена зарубежной литературе.

Кратко: о чем статья?

Зарубежная литература всегда присутствовала в школьной программе, начиная с первых лет советской власти, но устойчивый состав авторов и произведений сложился только в 1970-е годы.

В программе 1919 года можно найти античную драматургию и Шекспира. В 1930-1940-е состав расширился: добавились западноевропейские писатели XVII-XIX веков (Гейне, Шиллер, Байрон…) и современные писатели, поддерживающие Советский Союз. Во время войны эта тенденция изменится и задержится на долгое время, так что зарубежной литературы будет всё меньше: между 1954 и 1962 годами вся иностранная словесность в школьной программе ограничивается «Фаустом» Гете и «Гамлетом» Шекспира.

Сегодня же доля зарубежных произведений в школьной программе выше, чем в советское время, однако в основном они входят в необязательную часть, которая изучается по выбору. В 2015 и в 2020 годах из 66 писателей необходимо было изучить творчество только 11-ти, остальное на выбор, а в ЕГЭ зарубежная литература вошла только с 2022 года: выпускник должен знать произведения не менее трех зарубежных поэтов или прозаиков за определенный период.

Сравнить популярность Шиллера и Байрона в школьной программе, выяснить, что происходило со списком литературы с 1960-х по 1990-е, и соотнести количество французских, британских и американских авторов в программе разных годов можно благодаря полной версии статьи.

Время чтения: 11 минут.

🤖 «Системный Блокъ» @sysblok

Цифровой архив газет Российской империи: от морских чудищ до высочайших манифестов

Коллекция «Газеты Российской империи» находится в открытом доступе на портале East View и охватывает почти весь период русской дореволюционной журналистики ― с 1767 по 1918 годы. Делимся тремя интересными заметками, которые мы нашли, изучая онлайн-архив.

🦑 Большой морской зверь, именуемый Крак (16 сентября 1786)

«Джемс Андерсон и Мадс Дженсон… показали…, как они, так и все морские служители, бывшие с ними, видели в отдалении одной английской мили к югу зверя, которого в Норвегии называют морским червяком, чрезвычайной величины, высунувшегося из моря. Он казался им быть тремя низкими островами или отмелями серого цвету. Длина его простиралась на одну английскую милю. Ширина его казалась быть до 30 саженей. Они смотрели на него более 50 минут, после чего он опустился тихо на дно, не причинив воде ощутительного движения».

🎨 Награждение Айвазовского (26 сентября 1897)

«Нашему действительному тайному советнику, почетному члену Императорской Академии художеств, причисленному к Морскому ведомству со званием живописца, профессору живописи Ивану Айвазовскому. В награду шестидесятилетней художественной деятельности, обогатившей русское искусство образцовыми произведениями, всемилостивейше пожаловали Мы вас кавалером Императорского Ордена Нашего Святого Благоверного Великого князя Александра Невского». 

👑 Отречение Николая II от престола (5 марта 1917)

«В эти решительные дни в жизни России почли мы долгом совести облегчить народу нашему тесное единение и сплочение всех сил народных для скорейшего достижения победы и в согласии с Государственной думою признали мы за благо отречься от престола государства Российского и сложить с себя верховную власть. Не желая расстаться с любимым сыном нашим, мы передаем наследие наше брату нашему великому князю Михаилу Александровичу и благословляем его на вступление на престол государства Российского». 

Больше фрагментов статей найдете в полной версии статьи, а онлайн-архив – по ссылке.

🤖 «Системный Блокъ» @sysblok

Историки, культурологи и краеведы: папка телеграм-каналов

Исторические исследования дают большой простор для применения цифровых методов, поэтому мы часто пишем на исторические темы. Мы рассказывали о расшифровке писем Марии Стюарт, сети социальных связей европейских монархов накануне Первой мировой войны, тематическом анализе дневников 1917 года и изучении рисунков на стенах древнего храма. 

Если вы читаете посты и статьи «Системного Блока» прежде всего ради таких материалов, сегодня точно ваш день. Потому что мы делимся целой папкой телеграм-каналов, которые позволят лучше изучить разные времена и пространства истории. От Константинополя до Ростова, от античности до Второй мировой, от личных дневников до дата-исследований.

Папку можно легко добавить к себе целиком или выбрав самое интересное.

Как это работает:
— Кликаете на гиперссылку 
— Нажимаете ​​«Добавить папку»
— Выбираете интересующие каналы
— Делитесь с друзьями
— Наслаждаетесь подборкой!

🤖 «Системный Блокъ» @sysblok

Похороны, объятия и выпас скота: обыденные практики и ритуалах XX — начала XXI века

Как выглядели свадебные девичьи «куколки» Поморья? Как звучат похоронные причеты Вологодчины? Какие колыбельные пели в старину в Коми? Электронный архив «Российская повседневность» хранит данные об обыденных практиках и ритуалах XX — начала XXI века. Цифровую коллекцию материалов о русской повседневной культуре создал «Пропповский центр» совместно с компанией «Альт-Софт». Архив состоит из аудио- и видеозаписей интервью с городскими и деревенскими жителями, оцифрованных рукописных дневников, семейных альбомов с комментариями, любительских рисунков и фотографий.

Данные архива структурированы по формату (аудио, видео, фото, текстовые расшифровки) и разделены на классы. В разделе «Процессы» находятся материалы, которые соотносятся с действиями или «изменением положения дел»: гаданием, дракой, переправой, игрой на музыкальном инструменте или приготовлением пищи. А в «Тематических коллекциях» представлена подборка фотографий, иллюстрирующих цвета в одежде.

Материалы сопровождаются короткими пояснениями, например: «Информант демонстрирует заговор от медведя», «Трактор, везущий гроб на кладбище, тронулся с места. В кузове стоит Галина Васильевна Саукова, хотя она не родственница погибшему. Вслед за трактором идут местные жители» или «Шуточная попытка похищения пирожка».

Посетители медиаархива могут применить простой поиск или найти необходимую информацию, используя географический указатель, карту и список информантов.

🤖 «Системный Блокъ» @sysblok