Новая модель для дизайна белков, скорый выход самой большой LLama и FlashAttention 3

Рассказываем, что произошло в мире ИИ за последние три недели.

Самая большая LLama на подходе

По данным сотрудника Meta, LLama 3 — языковая модель от Meta — с 405 млрд параметров выйдет уже 23 июля. Скорее всего, модель будет поддерживать работу не только с текстом, но и с другими типами данных, например, изображениями. Промежуточные результаты этой модели в стандартных тестах сопоставимы с результатами GPT-4.

Меньшие версии LLama 3 с восемью и 70 млрд параметров были выпущены в середине апреля. В отличие от большинства остальных языковых моделей, LLama выложена в открытый доступ и может быть использована в коммерческих целях.

ESM3 — одна из самых больших моделей для дизайна белков

Компания EvolutionaryScale, основанная бывшими сотрудниками Meta, представила модель ESM3 для генерации белков. Она была обучена на более чем 2,7 млрд последовательностей и структур белков и способна создавать белки с заданными свойствами.

Для демонстрации компания использовала ESM3 для дизайна флуоресцентного (светящегося) белка. Излучающий свет белок GFP (green fluorescent protein) был найден у медуз в 1960-х годах. Впоследствии учёные научились использовать его, чтобы помечать другие белки. Это, например, позволяет подсвечивать растущие раковые опухоли, показывать развитие болезни Альцгеймера в мозге или рост болезнетворных бактерий. За использование GFP в биологии в 2008 году несколько ученых получили Нобелевскую премию.

Исследователи вычислили наиболее способную к флуоресценции молекулу, не похожую на известные флуоресцентные белки, и использовали ESM3 для её усовершенствования. Хотя до лучших по яркости лабораторных образцов результаты всё еще не дотягивают, совпадение полученной молекулы с наиболее близкой из обучающих данных составило менее 60%.

Основатель компании отмечает, что итеративный процесс дизайна белков с помощью ESM3 схож с процессом естественной эволюции.

FlashAttenion3 — новые оптимизации механизма Attention

Исследователи выпустили третье поколение оптимизаций механизма Attention. Attention — главная составляющая самой популярной архитектуры нейросетей Transformer, которая в том числе используется во всех современных языковых моделях.

Главная проблема Attention — большое потребление вычислительных ресурсов, которое существенно растет с увеличением входных данных. FlashAttention — это серия работ по оптимизации ресурсозатратного блока.

Третья версия, по сравнению с предыдущей, более чем в два раза эффективнее использует вычислительные мощности во время работы Attention и поддерживает вычисления с числами пониженной точности (зачастую разработчики пренебрегают точностью в угоду скорости).

Благодаря более эффективной реализации Attention сократится стоимость обучения и использования большинства современных моделей, а языковые модели, в свою очередь, смогут работать с более длинными текстами.

🤖 «Системный Блокъ» @sysblok

Филологи и программирование: подборка интервью «Системного Блока»

Филология и программирование. Нужны ли они друг другу? Все ли ученые делятся на физиков и лириков? «Системный Блокъ» считает, что их знания можно взболтать, но не смешивать. Делимся подборкой наших интервью о том, насколько важно современным гуманитариям знание Python и нейросетей.

Нейропоэзия, корпусная лингвистика и интеллектуальный фитнес

Борис Валерьевич Орехов, доцент Школы лингвистики факультета гуманитарных наук НИУ ВШЭ, в интервью рассказад о своем пути филолога в программирование. Стилометрия, лингвистические корпусы, башкирский стих, нейронные сети и Digital Humanities в целом — что о них думает программирующий филолог?

Рациональность, научный метод и эмпирика в гуманитарной области

Интервью о миссии открытых данных против мракобесия и копирайте в корпусах. Кирилл Александрович Маслинский — цифровой филолог, создатель Детского корпуса и Репозитория открытых данных по русской литературе и фольклору ИРЛИ РАН. Он рассказывает, как пришел к DH, что можно узнать в Детском корпусе о себе и мире и как делают датасеты для цифровых исследований.

Цифровые методы на службе у гуманитариев: библиотека LingPy для исторической лингвистики. И жонглирование!

Йоханн-Маттис Лист — специалист по исторической лингвистике. Он разработал LingPy — пакет на языке Python для автоматического сравнения языков и поиска родственных слов. Мы поговорили с ним о междисциплинарности, связи биологии и лингвистики, а также о том, как развивать неуязвимость к неудачам с помощью жонглирования.

«​​Python и R — это не китайская грамота»: о ЖЖ и точных методах в гуманитарных науках

Роман Лейбов, филолог и писатель, стоял у истоков российского сегмента интернета. В интервью он объяснил, какова роль интернета для литературоведов, что такое корпусная поэтика, какими соцсетями он пользуется и как студенты-гуманитарии относятся к точным методам.

Статистика для литературоведов и разница между количественными и цифровыми методами

Александр Пиперски — лингвист, популяризатор науки и герой самого первого интервью «Системного Блока». Мы поговорили о значении корпусной лингвистики и о том, зачем лингвистам изучать статистику (спойлер: лингвисты и филологи становятся объективнее, применяя статистические методы. А дальше зависит от вкуса исследователя: кому-то ближе количественные методы, а кому-то цифровые).

🤖 «Системный Блокъ» @sysblok

Лазер из iPhone: как найти древнюю цивилизацию с помощью LiDAR

Современным археологам недостаточно лопаты, мастерка и кисточки для полевой работы. Чтобы обнаружить скрытые под слоем почвы города и дороги, ученые сканируют поверхность Земли с помощью лазера. Рассказываем, как работает LiDAR — технология, которая сегодня есть в обычном айфоне, и как LiDAR помогает делать археологические открытия в джунглях Амазонки, на Тихоокеанских островах и прямо посреди Европы.    

⚙️ Что такое Lidar?

Лидар или LiDAR (Light Detection and Ranging) — это технология лазерной локации, позволяющая определять расстояние до объектов и строить двухмерную или трехмерную модель окружающего пространства. Существуют как лидары ближнего действия, например, для работы в помещениях, так и дальние, “видящие” на расстоянии сотен километров. 

🤖 Где его используют? 

Лидары создают пространственные модели планеты, которые используют экологи, строители и топографы. Ещё они помогают беспилотным автомобилям не врезаться в другие машины и прохожих, а роботам на конвейере – обрабатывать только нужные детали. Для археологов лидар создает карту поверхности, на которой заметны фундаменты домов, остатки стен, контуры улиц и прочие сооружения.

🏛️ Затерянные города Упано в долине Амазонки

С помощью лидара ученые обнаружили остатки крупнейшего комплекса доколумбовых поселений – городов с сетями улиц и системами каналов для отвода воды. Раньше здесь уже проводили раскопки, но исследователи находили только мелкие предметы быта,  не подозревая, что под джунглями скрывается обширная система городов. 

🗿 Камни латте на острове Гуам в Тихом океане

Эти камни не имеют ничего общего с кофе, но чем-то схожи с каменными монолитами с острова Пасхи — такие же древние, загадочные и океанические. Чтобы найти их, ученые сканировали территорию с самолета лидарами, определяя местоположение артефактов и строений.

🏚️ Империя XII века в джунглях Камбоджи

Как показали результаты аэросъемки с использованием лидара, в XII веке Кхмерская империя была одной из крупнейших на Земле. Правда, многие здания кхмеры строили из дерева и других биоразлагаемых материалов, которые со временем просто исчезли. К счастью, лидар способен определять земляные насыпи, фундаменты, дороги и другие следы строительства, по которым можно воссоздать строение и облик древнего города.

О других интересных открытиях, сделанных с помощью лидара, а также о том как и где можно опробовать эту технологию самостоятельно, узнаете из полной версии статьи.

Время чтения: 12 минут.

🤖 «Системный Блокъ» @sysblok

Братских народов союз вековой: литература народов СССР и России в школьной программе

Вторая часть нашего спецпроекта о школьном литературном каноне посвящена региональной литературе. В первом материале мы изучили ситуацию с зарубежной литературой, а из этого поста вы узнаете о произведениях, написанных на родном языке писателей-представителей народов СССР или России, и их судьбе в школьной программе. Каким национальным писателям уделялось больше внимания в советское время? И кто сегодня единственный национальный автор, чьи произведения нужно читать, чтобы сдать ЕГЭ?

Кратко: о чем вторая часть?

В школьные программы по литературе с 1919 по 2022 годы были включены имена 62-х писателей и поэтов, создававших свои произведения на языках народов СССР и РФ. При этом в советское время доля региональной литературы была намного выше, чем сегодня. На протяжении 1919-1991 годов она составляла от 1 до 12% от всех изучаемых произведений, а в 1974-1988 гг. объем произведений народов СССР был почти вдвое больше иностранной словесности. Однако это связано не с ростом объема обязательной программы, а с увеличением числа необязательных текстов, рекомендованных для изучения. Отдельно интересен случай произведений Ицика Фефера и Исаака Харина, чьи тексты вошли в программу всего на один (1933-й) год. Позднее оба писателя стали жертвами репрессий.

В последние годы региональная литература занимает от 0,5 до 7% от числа всех произведений. При этом до 2004 года ее в списке чтения не было вообще. В программах 2004-2022 годов упоминается всего 12 региональных авторов и несколько эпосов народов России.

В ОГЭ региональная литература не входит совсем, а на ЕГЭ появилась только с 2022 года. Чтобы сдать экзамен, нужно знать творчество только одного автора, представляющего народы России — Расула Гамзатова.

О том, какие авторы и тексты попадали в школьную программу, что об этом думают эксперты и почему даже на уроках «Родной литературы» зачастую не изучаются тексты на языках коренных народов, узнаете из новой части дата-исследования.

Время чтения: 14 минут.

🤖 «Системный Блокъ» @sysblok

«В России история интернета не написана никем»: Леонид Юлдашев об изучении интернета, кибернетике, Starlink и Чебурнете

Как исследователи пишут историю интернета? Почему глобальная сеть вытеснила национальные проекты вроде французского Minitel? Почему достижения советской кибернетики не привели к созданию работающих сетей? Кто стоял у истоков Рунета и куда Рунет движется сегодня? Обо всём этом «Системному Блоку» рассказал Леонид Юлдашев, социолог, исследователь истории интернета, в прошлом координатор клуба любителей интернета и общества.

Кратко: о чем интервью?

В 1990-е годы считалось, что интернет меняет мир, что мы в Сети — не то же самое, что мы в офлайне. С интернетом связывались утопические надежды. Правда, всё оказалось гораздо сложнее, и сегодня есть целая область исследований, которая называется Internet Histories. Она ставит перед собой задачу создать описание истории интернетов во всех странах планеты.

В России история интернета не написана никем и существенно отличается в каждом городе. Например, в Арзамасе в 2005 году провайдеры использовали военный телефонный кабель, потому что их инвестор мог его достать, а в Томск в 1997-м приехали американские инвесторы и предложили строить интернет на телевизионном кабеле, потому что в Америке он тогда использовался очень широко.

И если пока интернет еще можно регулировать с помощью провайдерских центров админтрафика, то реализация идеи глобального интернета может всё изменить. Илон Маск, например, пытается создать космический интернет, соединяя спутники лазером. Его регулировать будет негде.

Впрочем, эта страница истории интернета ещё не написана. Если хотите узнать больше о прошлом и настоящем интернета в России и в мире, переходите к полной версии интервью.

🤖 «Системный Блокъ» @sysblok

100 лучших книг XXI века: загадка Элены Ферранте

Недавно газета The New York Times опубликовала свой топ «100 лучших книг XXI века», которые выбрали (преимущественно американские) писатели, литературные критики, переводчики и другие эксперты. На первом месте в их списке оказалась «Моя гениальная подруга» Элены Ферранте, но Ферранте – автор загадочный. В этом опросе предлагаем вам угадать, в чем особенности лидера списка книг, а вечером расскажем об Элене Ферранте подробнее.

🤖 «Системный Блокъ» @sysblok

100 лучших книг XXI века: разгадка Элены Ферранте

Как многие догадались, Элена Ферранте – не вполне реальный человек. Личность итальянского автора (или авторов) до сих пор остается анонимной.

Однако благодаря стилометрии удалось выяснить, что романы Ферранте стилистически близки романам Доминико Старноне, другого итальянского писателя. Неясно только, есть ли у него соавторы. Например, Анита Райа, переводчица и… жена Старноне. Её стиль не так близок к Ферранте, но исследователи отмечают, что при коллективном авторстве обычно доминирует сигнал только одного из двух писателей, так что Старноне вполне может быть главным, но не единственным голосом, стоящим за текстами Ферранте.

Узнать об этом расследовании о личности Ферранте подробнее можно из нашей статьи.

🤖 «Системный Блокъ» @sysblok

Перцептроны в черном ящике: как работает нейросеть и что нам мешает её понять

Несмотря на быстрое развитие больших языковых (и не только языковых) моделей, исследователи до сих пор плохо понимают, как и почему нейросети выдают тот или иной ответ. Объясняем, почему нейросети работают как «черные ящики», что такое интерпретируемость в контексте машинного обучения и какие особенности устройства нейронных сетей мешают их понять.

Кратко: о чем статья?

Нейросети работают, как «черные ящики»: на вход подаются исходные данные, далее с ними происходят абстрактные математические преобразования, и в итоге выдается ответ. Изложить в понятных человеку категориях, как он был получен и что именно на него повлияло, такие модели обычно не могут. Другими словами, нейросети позволяют хорошо моделировать зависимость между входом и выходом, но не предоставляют объяснения того, как именно эта зависимость устроена.

Свойство модели, позволяющее наблюдателю объяснить внутреннее устройство и механизм ее работы, и то, как она решает задачу, называется интерпретируемостью. Плохая интерпретируемость нейросетей тормозит их применение в медицине, беспилотном транспорте или управлении промышленными технологическими системами, где существует высокий риск при ошибке.

Даже передовые языковые модели могут галлюцинировать, то есть генерировать ложную информацию. Более высокая интерпретируемость позволила бы лучше контролировать их поведение. Понимая устройство языковой модели, можно точечно удалить из неё нежелательную информацию вроде рецептов опасных веществ или убрать возможность генерировать вредоносный код.

О главной сложности в интерпретации нейросетей — полисемантичности перцептронов — читайте в полной версии статьи. Это первая часть нашего цикла о механизмах работы больших языковых моделей. Во второй части мы расскажем, как метод, разработанный в компании Anthropic, позволяет выявлять, какими концепциями оперируют большие языковые модели и как с его помощью можно контролировать их «поведение». Не переключайтесь!

Время чтения первой части: 11 минут.

🤖 «Системный Блокъ» @sysblok

Новые модели от OpenAI, Mistral и Meta*: дайджест новостей ИИ

Рассказываем, что произошло в мире ИИ за последние две недели.

GPT-4o mini — быстрая и доступная GPT

Компания OpenAI выпустила языковую модель GPT-4o mini. Особенность модели — компактный размер, благодаря чему она быстрее и дешевле флагманской GPT-4o. Эти преимущества позволяют использовать модель в приложениях, где важна маленькая задержка между запросом и ответом, — например, в чат-ботах, которые отвечают на вопросы клиентов.

Несмотря на относительно маленький размер, модель превосходит GPT-3.5 Turbo и миниатюрные модели от других компаний в тестах понимания языка, математических и логических способностей, а также поддерживает все языки, которые есть в старшей версии.

Обновление LLama 3

Корпорация Meta* выпустила LLama 3.1 405B — одну из самых больших языковых моделей, которые есть в открытом доступе. Модель сопоставима с GPT-4o или лучше её практически во всех стандартных тестах.

Meta также обновила младшие версии LLama 3. Обновлённые модели имеют более высокие показатели во всех задачах, а также могут работать с существенно более длинными текстами.

Еще Meta рассказала об экспериментах по внедрению в модели поддержки работы с изображениями и видео. Все модели доступны для использования в исследовательских и коммерческих целях.

4 новых модели от Mistral

Французский стартап, основанный бывшими сотрудниками Meta*, выпустил две новые языковые модели, а также модели, специализированные для написания кода и решения математических задач.

Mistral Large 2 поддерживает сотни естественных языков и «знает» свыше 80 языков программирования. Также Large 2 была специально обучена использовать внешние инструменты (например, браузер и интерпретатор кода).

Mistral NeMo — модель среднего размера с упором на мультиязычность. Nemo использует эффективную предобработку текстов не на английском языке. Так, тексты на китайском, итальянском, французском, немецком, испанском и русском языках представляются на 30% компактнее по сравнению с LLama 3. Благодаря этому модель работает с «иностранными» текстами быстрее и ресурсоэффективнее.

Codestral — семейство моделей, обученных писать программный код. Модель доступна в двух размерах: 7 и 22 миллиардов параметров. Codestral опережает модели схожих размеров в задачах на программирование. Младшая версия основана на архитектуре Mamba 2, что отличает её от практически всех языковых моделей, которые в свою очередь используют архитектуру Transformer. Архитектура Mamba 2 позволяет модели обрабатывать очень длинные тексты, что особенно актуально для задач по написанию кода.

Mathstral — модель, предназначенная для решения математических задач. Mathstral показывает высокие результаты в тестах на понимание естественных наук, она смогла решить две из 30 задач из AIME (второй отборочный этап на международную олимпиаду по математике в США). Для сравнения — почти все модели конкурентов не смогли решить ни одну из предложенных задач.

*Meta признана в РФ экстремистской организацией.

🤖 «Системный Блокъ» @sysblok

Что такое Викиданные (Wikidata) и как там искать информацию?

Даже заядлому поклоннику ночного серфинга по страницам Википедии может быть непросто собирать и систематизировать большой объем информации из свободной энциклопедии. Для работы с такими данными были созданы Викиданные (Wikidata) — большая и удобная база данных на основе Википедии. Разберемся, как с ней работать и когда она может быть полезна.

Кратко: как это работает?

База Wikidata объединяет всё, что можно найти благодаря Wikibooks, MediaWiki, Wikisource, Wikiquote и другим проектам со словом Wiki. Она позволяет лучше структурировать и быстрее находить информацию с необходимых страниц, копировать результаты поиска в формате необходимого языка программирования, строить графы и диаграммы и многое другое.

Правда, чтобы взаимодействовать с Викиданными вам потребуется специальный поисковик и специальный язык для запросов – SPARQL. Чтобы разобраться с ним можно обратиться к шпаргалке от самих Wikidata или к ChatGPT: модель легко преобразует ваш текст в нужный формат запроса.

Посмотреть, как Wikidata помогли нам собрать информацию о программистках, рождённых после 1950 года, и проследить за всеми этапами работы с данными можно на нашем сайте.

Время чтения: 6 минут.

🤖 «Системный Блокъ» @sysblok

Подборка статей о цифровых музыкальных исследованиях

О чем пели в российской попсе за последние тридцать лет? Можно ли посчитать, насколько депрессивна моя любимая песня? Куда идти, если я хочу провести свое исследование большого пласта музыки? В подборке статей «Системного блока» — проекты цифровых музыковедов и интернет-ресурсы, которые могут помочь исследователю.

Музыкальная «энциклопедия русской жизни»

Анастасия Панасюк провела исследование текстов самых популярных российских исполнителей с 1990 года — мы узнали, что ели и пили музыканты за 30 лет, куда они хотели поехать, о чем мечтали и сколько зарабатывали (по крайней мере, в собственных глазах). Собрали здесь все самые интересные находки.

Кто поет Бодлера?

Рассказываем о проекте Baudelaire Song Project, где собраны все песни, написанные на стихи Шарля Бодлера, и музыка, вдохновленная его поэзией. В ресурсе удобно собраны композиции, относящиеся к творчеству поэта-декадента.

Считаем депрессию в песнях Radiohead и не только

Дата-сайентист и фанат группы Radiohead Чарли Томпсон провел исследование, чтобы измерить, насколько грустные песни написал его любимый коллектив. Для анализа использовались и тексты, и музыка — получилось даже вывести формулу идеального грустного трека.

Genius как помощник в исследованиях музыки

Рассказываем, как устроена музыкальная «база знаний» Genius — сайт, где можно ознакомиться с текстами большинства популярных исполнителей мира и стать филологом от мира современной музыки, прокомментировав любую загадочную строчку. 

Архив музыки — даже древней

Проект RISM (Международный каталог музыкальных источников) был создан, чтобы объединить музыкальные ресурсы всего мира в универсальное хранилище. С его помощью можно найти и изучить композиции: от современных до записанных на бумагу в XVI веке. Доступ к библиотеке бесплатный, поэтому ее может использовать любой желающий. Рассказываем, как она работает.

🤖 «Системный Блокъ» @sysblok