«Воскрешение» исторических личностей и лекция от суперзвезды: как использовать дипфейки в образовании

Эйнштейн объясняет старшеклассникам теорию относительности, Маяковский читает стихи у доски, а у педагогов остаётся время на саморазвитие. Как дипфейки могут сделать учебный процесс интереснее?

Кратко: о чем статья?

Дипфейк (англ. deepfake) — это технология создания реалистичных аудио, фото и видео на основе искусственного интеллекта. Сегодня она встречаются в рекламе и кино, но можно использовать её и в сфере образования.

Например, при разработке онлайн-курса. Преподавателю достаточно записать только первую лекцию, а остальную информацию, загруженную в программу, озвучит его цифровой двойник — дипфейк. Подобный эксперимент уже провели в СПбГУ.

Другой вариант использования – «подключение» к уроку исторических личностей. Как у издательства «Эксмо», которое в 2022 провело книжное шоу «Что читать дальше». В нём «Анна Ахматова», «Эдгар По» и «Михаил Булгаков» рассказали о книжных новинках сезона. 

Список нейросетей для создания дипфейков варьируется от бесплатных Zao и Doublicat до платных Deepfakes web β и Synthesia. Узнать об особенностях каждой из них и посмотреть на Арнольда Шварцнегера в роли «Системного Блока» можно на сайте.

Время чтения: 9 минут.

🤖 «Системный Блокъ» @sysblok

Тест: угадайте город с почтовой открытки

Отличите ли вы Псков от Варшавы, а Вильнюс — от Самары? Узнаете ли город по фотографии начала века? Пройдите новый тест и отгадайте, где были сделаны фотографии достопримечательностей и пейзажей.

В этом тесте мы продолжаем исследовать цифровой корпус почтовых открыток проекта «Пишу тебе», в котором собрано более 45000 расшифрованных текстов открыток.

🤖 «Системный Блокъ» @sysblok

Безмолвные свидетели: как нечеловеческая ДНК помогает криминалистам

Помните, как в сериале BBC Шерлок Холмс по составу налипшей на кроссовки пыльцы выясняет, где жил их владелец? Это не фантазия сценариста, а научный метод геолокации, которому больше 55 лет. В нашем материале рассказываем, как по следам пыльцы раскрывают преступления, зачем криминалистам ДНК растений и можно ли по пыли на вашей двери определить, где вы живёте. 

 🌺 Почему пыльца?

Пыльца незаметна и крайне устойчива. Ни 20 миллионов лет, ни стирка с отбеливателем не избавят вашу одежду от её следов полностью: спорополленин, покрывающий пыльцевое зерно, — одна из самых химически стабильных органических субстанций, по которой можно выяснить регион происхождения образца. Это помогает отследить трафик наркотиков и ввоз санкционных товаров или доказать, что бабочка-репейница, которую вы встретили на побережье Испании, зимовала в Африке и побывала в Сахаре.

 🧬 А ДНК зачем?

Определить видовую принадлежность растения, глядя на пыльцу, не всегда возможно. К счастью, для этого есть секвенирование ДНК. Небольшой максимально информативный фрагмент генома образца (баркод) прицельно прочитывают, а затем сравнивают с известными баркодами из базы данных. Это, конечно, нужно не только криминалистам. С помощью такого метода идентифицируют патогены, находят новые виды, следят за биоразнообразием и состоянием экосистем, проверяют составы продуктов и растительных препаратов. Так что библиотеки баркодов собираются совместными усилиями разных специалистов.

 🔎 Можно ли верить таким показаниям?

В криминалистике эти методы пока применяются не очень активно, но предварительные исследования вдохновляют. Например, в Китае так опознали тело женщины, которая не числилась в местном списке пропавших. Криминалисты заглянули к ней в легкие, поскольку часть пыльцевых зёрен, попавших в дыхательные пути, остаётся в них навсегда. Поэтому человек, долгое время проживший в одном районе, оказывается «помечен» пыльцой окрестных растений. Этот метод сузил поиски до двух провинций — женщину удалось найти в списках пропавших в одной из них.

Подробнее об исследованиях пыльцы и ДНК, а также о том, как грязь с ботинок помогла раскрыть преступление в 1969 году, узнаете из полной версии статьи.

Время чтения: 15 минут.

🤖 «Системный Блокъ» @sysblok

«Объясните так, чтобы понял пятиклассник» — как узнать, насколько легко читать текст? Рассказываем о сервисе «Текстометр»

Исследовательница Антонина Лапошина из Института Пушкина разработала онлайн-инструмент для оценки сложности текстов на русском языке: «Текстометр» стал доступен пользователям в 2021 году.

Сайт позволяет вставить в него текст и затем выставляет балл по уровню сложности чтения. Доступно два режима оценивания: для носителей русского языка и для изучающих русский как иностранный. Шкала сложности для каждого режима своя: для носителей сайт показывает минимальный возраст или курс вуза предполагаемых читателей, а для иностранцев выдает уровень от А1 до С2 по международной шкале CEFR. Также «Текстометр» отображает некоторые метрики текста: например, списки частотных и устаревших слов.

Сервис не просто обобщает уже известные методики анализа читаемости: автор «Текстометра» провела собственные эксперименты и улучшила алгоритм оценки. Об одном из исследований мы уже рассказывали: пользователей сайта Пушкинского университета просили сравнивать по сложности тексты из учебников русского как иностранного. Благодаря ответам удалось уточнить классификацию этих текстов по уровню сложности.

В другом исследовании участвовали дети: с помощью айтрекинга лингвисты оценивали, что влияет на скорость восприятия текста маленькими читателями. В результате самым важным параметром оказалась частотность встречающихся слов — в то время как в классических формулах оценки читаемости учитываются другие признаки, в частности, длина предложений и слов.

Подробнее о способах анализа сложности текста вы можете прочитать в нашей статье. А сейчас предлагаем читателям попробовать себя в роли программы-анализатора: как вы думаете, что сложнее читать — «Котлован» Андрея Платонова или «Школу для дураков» Саши Соколова? Можете ответить интуитивно или посмотреть фрагменты романов в комментариях.

Отмечайте в опросе ниже, а вечером мы опубликуем вердикт «Текстометра»!

🤖 «Системный Блокъ» @sysblok

Точные методы в лингвистике: подборка памяти Ю. Д. Апресяна

В Москве на 95-м году жизни скончался лингвист Ю. Д. Апресян — основатель Московской семантической школы, соавтор множества словарей, один из первых исследователей машинного перевода. Мы решили почтить память Ю. Д. Апресяна подборкой статей о прошлом и настоящем машинного перевода и точных методов в лингвистике.

Машинный перевод: как он появился и как работает

Впервые идея использовать компьютер для перевода текстов с одного естественного языка на другой была предложена ещё в 1949 году. От короткого набора правил до продвинутых нейросетей: 70 лет истории развития машинного перевода за 15 минут.

Что такое кросс-языковая морфология и зачем она нужна

Машинный перевод и другая компьютерно-лингвистическая магия работают тогда, когда есть много данных для обучения нейросетей. Но что делать, если язык редкий и данных почти нет? Тут может помочь перенос на малоресурсный язык лингвистических моделей, построенных на данных большого родственного языка. Рассказываем про построение кросс-языковых NLP-моделей. 

Зачем нужен Национальный корпус русского языка 

Зачем нужен НКРЯ? В статье рассказано о самых разных исследованиях на основе корпуса: от сложностей перевода на другой язык культурных реалий на примере книг Набокова до возникновения фразы «ибо нефиг» и особенностей применения частного и местного падежей в современном языке. 

От древнерусского до корпуса блогов: как изменился Национальный корпус русского языка после редизайна 

В этом году Национальному корпусу исполнилось 20 лет. Все эти годы НКРЯ менялся не только внешне, но и внутренне: добавлялись новые функции и новые подкорпусы. Сейчас с помощью НКРЯ можно изучать детскую литературу, блоги, берестяные грамоты и многое другое, анализировать статистику употребления слов и коллокаций, строить графики и искать похожие слова. 

Как лингвистика стала близкой подругой математики и информатики?

Лингвистика привлекла внимание математиков и инженеров после Второй мировой войны. Этому способствовали достижения структурной лингвистики начала XX века (Фердинанд де Соссюр и его последователи), но ещё больше — появление первых компьютеров и холодная война. Заинтересованные идеей научить компьютер переводить текст и понимать его, кибернетики начали создавать формальные модели языка для компьютеров. В их работах заложена база для стохастических методов, которые играют ведущую роль в современной прикладной обработке языка. Рассказываем, как в середине XX века соединились лингвистика, математика и информатика.

Достигла ли своих целей разработка искусственного интеллекта?

В 1972 году (как раз когда Ю. Д. Апресян во второй раз вплотную занялся машинным переводом) учёные составили список из двенадцати задач, которые нужно решить для создания искусственного интеллекта в ближайшие десятилетия. В список входили автоматический перевод, самоуправляемые автомобили и даже автономные роботы-планетоходы. Мы попробовали оценить, что сделано, а что ещё нет.

🤖 «Системный Блокъ» @sysblok

GPT-4o научилась смеяться и петь, LSTM-нейросети наносят ответный удар, ChatGPT встроят в iPhone: дайджест ИИ-новостей  

OpenAI выпустила новую версию GPT-4. Apple и OpenAI завершают сделку о сотрудничестве. Авторы архитектуры LSTM выпустили её обновление, которое не хуже Transformer. Google DeepMind анонсировала AlphaFold 3 – нейросеть, способную моделировать широкий спектр биомолекул. Рассказываем, что произошло в мире ИИ за прошедшие две недели.

GPT-4o – новая мультимодальная модель от OpenAI

Компания OpenAI анонсировала обновление GPT. Обновление назвали GPT-4o («o» от слова «Omni» — всё в одном). GPT-4o может принимать на вход и выдавать в качестве ответа текст, изображения и аудио – ранее для этого использовались разные модели. По основным тестам модель сопоставима с GPT-4 на английском языке и превосходит её на других языках (в том числе и на русском). Модель также лучше пишет код.

Одно из главных нововведений GPT-4o – способность выражать эмоции в разговоре через интонацию и смех. Модель может изображать удивление, любопытство, сарказм, петь и шептать.
Также сократилось время ожидания ответа в устном диалоге – теперь модель отвечает в среднем через 0.3 секунды после реплики пользователя. Примеры диалогов можно посмотреть на ютуб канале OpenAI. 

GPT-4o уже доступна разработчикам через API, причем дешевле, чем GPT-4. Рядовые пользователи могут бесплатно использовать GPT-4o через сайт ChatGPT, однако аудио функции появятся позже и только у пользователей с подпиской.

Сотрудничество Apple и OpenAI

По данным Bloomberg, компания Apple и OpenAI (создательница ChatGPT) близки к завершению сделки, по условиям которой Apple сможет использовать наработки OpenAI в следующем обновлении iOS на iPhone. Предполагается, что Apple будет использовать ChatGPT и технологии для синтеза речи для улучшения своего голосового ассистента Siri. Презентация для разработчиков, на которой представят обновление iOS, состоится 10 июня.

Ранее в сети появлялись слухи, что Apple договаривается с Google об использовании их языковой модели Gemini, однако о статусе переговоров ничего неизвестно.

Обновление архитектуры LSTM

Опубликована статья xLSTM, в которой была представлена модификация нейросети LSTM (Long short-term memory). Эта архитектура показывала лучшие результаты в задаче языкового моделирования до выхода Transformer, на которой основаны все современные LLM.

Авторы статьи модернизировали LSTM, используя технические находки современных языковых моделей, обновили устройство ячейки памяти, а также увеличили количество параметров. Полученную архитектуру xLSTM сравнили с Llama (Transformer от Meta), Mamba, RWKV-4 (современные рекуррентные архитектуры) – практически во всех задачах xLSTM оказалась лидером.
xLSTM требует меньше вычислительных ресурсов во время работы и позволяет обрабатывать очень длинные тексты, но её обучение примерно в 4 раза медленнее Transformer. Однако авторы отмечают, что их реализация не оптимизирована, поэтому есть простор для улучшений.

AlphaFold 3 – нейросеть для моделирования биомолекул

Лаборатория Google DeepMind выпустила третье поколение нейросети AlphaFold. В отличие от AlphaFold 2, которая умеет моделировать структуру белков, новая версия способна моделировать РНК, ДНК и лиганды (тип химических соединений). Предсказания результатов взаимодействия разных соединений у AlphFold 3 на 50% точнее, чем предсказания существующих методов. Вместе с моделью выпустили Alpha Server – веб-сервис, который позволяет учёным использовать AlphaFold.

Первая версия AlphaFold произвела революцию в биологии, повысив качество предсказания структуры белка по последовательности аминокислот. Эта задача — одна из самых важных в биологии, так как структура белка задаёт его функцию.

🤖 «Системный Блокъ» @sysblok

Дневники, письма, конспекты: что такое эго-документ?

Историю можно изучать и по письмам, дневникам и записным книжкам. «Системный Блокъ» рассказывает об эго-документах (частных источниках) и связанных с ними цифровых исследованиях.

Кратко: о чем статья?

Эго-документ (от лат. ego — «я») — это источник личного происхождения, который создан конкретным человеком и обращен к самому себе или узкому кругу читателей. К эго-текстам относят, например, дневники, мемуары, открытки, даже конспекты.
Хотя содержание эго-документов часто не соответствует реальности (они субъективны, могут содержать ошибки), такие источники — все равно ценный материал. Например, эго-тексты отражают отношение простых людей к происходившему; в них раньше, чем в литературе, может быть зафиксировано жаргонное слово. Поэтому эго-документы изучают не только историки, но и культурологи, филологи.

К наборам текстов одного жанра можно применить количественные методы «дальнего чтения», которое подразумевает выделение общих закономерностей для сотен и тысяч текстов. Так, на основе цифрового архива эго-документов «Прожито» был разработан датасет «Размечено», создатели которого выделили внутри дневниковых записей именованные сущности (имена людей, названия организаций, топонимы и т.п.).

Кроме того, к текстам можно применять методы тематического моделирования. Например, исследование дневников 1917 года, выполненное «Системным Блоком», показало, что записи на тему революции включали рассуждения о хлебе, рубле, Распутине и поездах. 

Более подробно о ценности эго-текстов и цифровых исследованиях о них, читайте в полной версии статьи.

Время чтения: 5 минут.

🤖 «Системный Блокъ» @sysblok

«Меня интересует знать, а не уметь»: Игорь Мельчук о нетрадиционной лингвистике, машинном переводе и влиянии репрессий на науку

«Системный Блокъ» поговорил с легендой российской лингвистики и заслуженным профессором Монреальского университета Игорем Мельчуком о машинном переводе в СССР, нейропсихологии и главной научной задаче лингвистики. А еще — об эмиграции, жизни в Канаде и роли, которую сыграли репрессии в отечественной науке.

Кратко: о чем интервью?

То, чем занимается Игорь Мельчук, он сам называет нетрадиционной лингвистикой, «просто лингвистикой», чья задача — описать язык. С этим тесно связана главная цель ученого: создание такой понятийной системы, которая была бы близка к понятийной системе математики. Создание универсального научного языка лингвистики. Важнейшее достижение Мельчука — лингвистическая модель «Смысл ↔ Текст», которая, по его словам, даёт лингвистике всё, поскольку прежде всего язык – это способ выражения мысли.

Свой путь Игорь Мельчук начал на факультете филологии в МГУ, сейчас он — заслуженный профессор Монреальского университета на пенсии. А между этими фактами — жизнь, полная научных поисков, открытий, смен траектории, мест работы и мест жительства. Так, в начале 1950-х Мельчук был вовлеченн в создание первых алгоритмов машинного перевода в СССР, для того времени — чего-то фантастического и абсурдного.

Кроме нетрадиционной лингвистики, Мельчук пробовал заниматься и (теперь уже вполне традиционной) нейролингвистикой. Он считает, что нейронаучные проникновения в реальный мозг помогут создать настоящую модель языка. Если бы он не уехал из России, то, может быть, занимался бы этой областью дальше. С 1976 года Мельчук живет в Канаде, и хотя он не обрел там второй родины, считает свою эмиграцию спасением жизни и свободы.

Более подробно о создании первой в СССР системе машинного перевода, о том, как влияли сталинские репрессии на лингвистику, и что такое марризм, узнаете из полной версии интервью.

🤖 «Системный Блокъ» @sysblok

Тест: с какими героями «Войны и мира» вы говорите на одном языке?

Наташа или Андрей Болконский? Пройдите тест и узнайте, с кем из героев «Войны и мира» вы могли бы делиться последними новостями или обсуждать знакомых.

Персонажи романа Л. Н. Толстого «Война и мир» обладают разными «голосами». Цифровые методы анализа стиля текста позволяют сравнить между собой речевые портреты героев и узнать, какие из них говорят похоже друг на друга. Попробуйте и вы найти себе собеседника среди персонажей Л. Н. Толстого.

😎 «Системный Блокъ» @sysblok

Machine Learning на службе биоразнообразия

Машинное обучение сегодня применяется для моделирования и предсказания в биологии. «Системный Блокъ» рассказывает, как технологии помогают оценивать ареалы живых существ и прогнозировать изменения окружающей среды.

Кратко: о чем статья?

Сегодня биология генерирует огромное количество big data, поэтому современный биолог, эколог или биогеограф должен быть ещё и дата-сайентистом: владеть анализом данных, использовать машинное обучение и знать основы статистики, чтобы отделять значимое от незначимого.

Пример использования Machine Learning в биологии — моделирование пространственного распространения видов, или SDM (species distribution models). SDM основано на понятии экологической ниши — области важных экологических факторов, которая соответствует пригодным для вида местообитаниям.

Для моделирования ареала вида потребуются два набора данных: локалитеты (места фактического нахождения вида, где его ранее удалось заметить) и предикторы (переменные, описывающие условия окружающей среды, например, климат, рельеф, антропогенные факторы). Обучение модели включает стандартные шаги ML, а результат SDM — карта, которая показывает пригодность местообитания для вида по шкале от 0 до 1.

У подхода SDM есть и уязвимая сторона: он не использует ансамблевые предсказания. В ансамблевых методах разные модели работают сообща, чтобы минимизировать погрешности друг друга, что повышает точность. В SDM этот подход не внедрен.

Более подробно о процессе обучения SDM, а также зачем еще ее можно использовать, читайте в полной версии статьи.

Время чтения: 10 минут.

🤖 «Системный Блокъ» @sysblok

Инфографика для анализа текстов: Voyant Tools

На сайте “Системного Блока” вышел гайд в двух частях (I, II) о том, как пользоваться онлайн-анализатором текстов Voyant Tools. Рассказываем об основных функциях инструмента и о том, зачем они нужны.

Во-первых, Voyant Tools умеет подсчитывать частотности слов в корпусе текстов. Причем предлоги, артикли и прочие “вспомогательные” единицы, которых в текстах обычно особенно много,  программа позволяет исключить, загрузив список стоп-слов. Тогда останутся только значимые слова. Их можно изучать дальше — например, построить график их встречаемости и узнать, менялась ли частота употребления ключевых слов на протяжении произведения или целого периода творчества писателя.

Еще один полезный инструмент в составе Voyant Tools — поиск коллокаций (это слова, которые чаще всего встречаются рядом с заданным). По контексту, в котором употребляются ключевые слова, можно сделать более глубокие выводы о темах произведения. По корпусу Достоевского, например, можно определить, что в его прозе Россия обычно рассматривается вне контекста внешней политики, в отличие от его публицистики.

Главная черта Voyant Tools — очень много возможностей визуализации полученных данных. Доступны не только разные виды графиков — но и облако частотных слов, мандала и даже карта перемещений персонажей (она, впрочем, без дополнительных настроек работает неточно).

Более подробно о том, как работать с программой, читайте в первой и второй частях гайда. А пока предлагаем квиз: как думаете, кто встречается в художественных произведениях Достоевского чаще всего — старик, ребенок или женщина? Все эти слова входят в список ключевых для творчества писателя, но некоторые до недавних пор не отмечались исследователями. Голосуйте в опросе, вечером опубликуем ответ!

🤖 «Системный Блокъ» @sysblok

Правильный ответ на опрос про Достоевского — чаще других в его художественных текстах упоминается ребенок! Слово встречается 1033 раза, тогда как старик — 886 раз, а женщина — всего 811.

При этом слово женщина исследователи обозначили как один из ключевых концептов для творчества писателя — а вот слова старик и ребенок в число концептов включены не были, хотя и встречаются чаще.

🤖 «Системный Блокъ» @sysblok

Эволюция литературы: может ли Дарвин объяснить Конан Дойла и футуризм

Сегодня 165 лет Артуру Конан Дойлу — автору детективов про Шерлока Холмса и одному из создателей жанра. Помимо прочего, детективы Конан Дойля интересны тем, что они стали невероятно успешными на фоне огромного числа конкурентов, тоже писавших детективные истории. О поиске причин этого успеха формальными методами, вдохновлёнными биологией, читайте в нашей статье.

Кратко: о чем статья?

Филологи чаще всего обращаются к одному из двух эволюционных подходов для описания процессов, происходящих в истории литературы: 
подход русских формалистов и дарвинистский подход социолога литературы Франко Моретти.

Формалисты предлагали смотреть на литературу как на поле со своими «центром» и «периферией», где  то, что еще вчера казалось читателю маргинальным, сегодня смещает то, что было доминирующим в литературном процессе. Моретти же сравнивал процесс эволюции литературы с бойней, где мясниками оказываются «сами читатели, которые читают роман» и так поддерживают его жизнь в следующих поколениях. 

В такой «бойне» выжили и рассказы о Шерлоке Холмсе. От детективов, которые читатели благополучно забыли, их отличало наличие улик, на основании которых читатели смогли самостоятельно прийти к разгадке. Правда, от одного дарвиновского принципа natura non facit saltus. (лат. — «природа не делает скачков») Моретти отказался и заявил, что литература, напротив,  меняется только через скачки. «Скачок — Конан Дойл. Еще прыжок — Кристи».

Подробнее об этих скачках и экспериментах, на которых основывается Моретти, узнаете из полного текста статьи.

Время чтения: 11 минут.

🤖 «Системный Блокъ» @sysblok

Берестяные грамоты от раскопа до компьютера

На этой неделе отмечается День славянской письменности и культуры — и это хороший повод перечитать наш материал об исследованиях берестяных грамот и их цифровом сохранении.

Берестяные грамоты — важнейший источник живого древнерусского языка (а точнее, новгородского диалекта). Из берестяных грамот мы узнали множество слов, которых нет в других древнерусских источниках. Вспоминаем эти слова — и их исследователей.

Кратко: о чем статья?

Сейчас кажется естественным, что люди из разных городов России легко понимают друг друга, даже если кто-то выходит из подъезда, а кто-то — из парадной. Но в IX-XI вв. ситуация была иной. Благодаря берестяным грамотам ученые узнали и смогли хорошо изучить древненовгородский диалект. Этот язык заметно отличался от того варианта древнерусского языка, на котором говорили в Суздале, Москве или Киеве.

Древнерусский язык берестяных грамот — живой язык, на нем обсуждались совершенно обычные бытовые и интимные вопросы: покупки, продажи, хозяйство, любовные связи… Грамоты открыли нам множество слов, которых нет в других древнерусских источниках. Например, гречьскыи бобъ означает фасоль, а исполовница — корова, взятую на время по договору. Есть в грамотах и обидные слова, вроде недума (пустомеля), и ругательства, например, знаменитое уже аесова (буквально — сователь яйца).

Одним из известнейших исследователей грамот и древненовгородского диалекта был знаменитый лингвист А.А. Зализняк. Именно Зализняк обратил внимание на отличие говоров Новгорода и Пскова от остальных, что привело к пересмотру сложившейся схемы диалектов Древней Руси. До самой своей смерти Зализняк каждый год читал лекцию о вновь найденных грамотах — и эта лекция становилась «филологическим праздником урожая», неизменно собирая переполненный зал.

Главный цифровой ресурс, посвященный берестяным грамотам, — сайт «Древнерусские берестяные грамоты». Его база данных включает фотографии берестяных грамот, их прориси, древнерусские тексты, переводы на современный русский язык и основную информацию о документах.

Посмотреть на отсканированные берестяные грамоты, а также подробнее узнать о том, как формировался современный русский язык и какой вклад в исследование этого процесса внес А.А. Зализняк, можно в полной версии статьи

Время чтения: 7 минут

🤖 «Системный Блокъ» @sysblok