Миллиардные инвестиции в стартап Ильи Суцкевера, генерация белков в AlphaProteo, и самый мощный кластер для компаний Илона Маска

Рассказываем, что произошло в мире ИИ за последнее время.

AlphaProteo — новая модель для генерации белков

Лаборатория Google DeepMind разработала нейросеть AlphaProteo, способную генерировать белки, взаимодействующие с заданными белковыми мишенями.

Связывание белков играет большую роль в биологии, фармакологии, медицине и пищевой промышленности. Например, этот процесс лежит в основе многих противовирусных препаратов: специально разработанный белок связывается с вирусными белками и тем самым нейтрализует их, не давая вирусу реплицироваться.

AlphaProteo, получая информацию о целевом белке и желаемых участках взаимодействия, предсказывает структуру белка, который будет связываться с заданной мишенью в указанных позициях. Модель обучена на обширном наборе белковых структур, включая 100 млн структур, предсказанных AlphaFold (о ней мы рассказывали здесь).

Исследователи протестировали нейросеть на различных белках, связанных с раком и другими заболеваниями, в том числе c COVID-19. В семи случаях AlphaProteo создала белки, которые при экспериментальном тестировании прочно связывались с их мишенями. В среднем белки, полученные моделью, в 10 раз плотнее связываются с целевыми белками по сравнению с белками, полученными лучшими существующими методами. Однако AlphaProteo не смог сгенерировать связывающего агента для белка, ассоциированного с ревматоидным артритом.

Традиционные методы дизайна таких белков требуют много времени и ресурсов. AlphaProteo имеет шанс ускорить и удешевить этот процесс.

Стартап сооснователя OpenAI привлёк 1 млрд долларов

Стартап Safe Super Intelligence Inc (SSI), основанный Ильёй Суцкевером, экс-ведущим исследователем и сооснователем OpenAI, привлёк инвестиции в 1 млрд долларов при оценке компании в 5 млрд.

Среди инвесторов — фонды Andreessen Horowitz (ранее вложившийся в Skype, Facebook и Twitter) и Sequoia Capital (инвестировавший в Apple, Google, YouTube и Instagram), а также ряд других известных венчурных фирм.

Сейчас в SSI работают 10 человек. Инвестиции пойдут на покупку вычислительных ресурсов и найм сотрудников. Цель компании — создание безопасного сверхинтеллекта. С момента основания прошло три месяца, но SSI пока не выпустила ни одного продукта.

Новый суперкомпьютер Илона Маска

Илон Маск, владелец соцсети X и основатель Tesla, объявил о запуске суперкомпьютера Colossus, со 100 тысячами передовых видеокарт Nvidia H100. На сегодняшний день Colossus — мощнейший из известных вычислительных кластеров для обучения нейронных сетей.

Суперкомпьютер будет использоваться стартапом xAI, принадлежащим миллиардеру, для обучения LLM, а также для разработки автопилота Tesla. Маск уже сообщил о планах удвоить количество видеокарт в течение нескольких месяцев.

Всё больше компаний наращивают вычислительные мощности для обучения новых нейросетей. По информации нескольких источников, Microsoft совместно с OpenAI разрабатывают два суперкомпьютера с рекордным энергопотреблением. Их запуск планируется в 2026 и 2028 годах.

🤖 «Системный Блокъ» @sysblok

Геймификация образования: мотивирует ли учиться виртуальная валюта?

Замотивировать детей или взрослых учиться – насущная проблема учителей и создателей курсов. Один из новых способов — использование игровых денег. «Системный Блокъ» рассказывает, об эффективности этого метода.

Кратко: о чем статья?

Геймификация — использование игровых механик в неигровой сфере. Ощущение прогресса и награды стимулируют учащихся, а также обеспечивают интерактивность и возможность полного погружения в курс. Для геймификации можно составить лидерскую таблицу, использовать аватары и виртуальную валюту. Последний метод работает так: сотрудники получают возможность зарабатывать токены или коины, а после обменивать их на мерч или другие подарки. Например, во ВКонтакте можно конвертировать школьные оценки в умникоины и тратить их на внутреннем маркетплейсе.

Исследователи НИУ ВШЭ совместно с платформой Skyeng провели эксперимент, чтобы оценить влияние виртуальной валюты на успехи учеников. В ходе исследования выяснилось, что внедрение игровых денег увеличило долю выполненных домашних заданий и в некоторых случаях повысило средний балл учащихся. Важный вывод, к которому пришли исследователи, — эффект от использования игровой валюты зависит от того, на что её можно потратить. Например, новые онлайн-курсы за виртуальные деньги ученики покупали очень активно, а вот трехмесячные подписки на сторонние сервисы и стикеры в телеграме их почти не интересовали.

Более подробно о рисках такого подхода и других исследованиях об игровых деньгах в образовании читайте в полной версии статьи.

Время чтения: 11,5 минут.

🤖 «Системный Блокъ» @sysblok

Толстой или Достоевский? Викторина по векторной литературе

Сможете ли вы отличить «Мастера и Маргариту» от «12 стульев»? Скорее всего, не ошибетесь. А если заменить некоторые слова из оригинальных произведений на близкие по значению?

Векторная модель word2vec умеет работать со значениями слов — находить для них ближайшие синонимы, складывать и вычитать вектора значений (бык - самец + самка = корова). Технология распознает смысл слова исходя из контекста. На основе анализа больших массивов текстов модель учится понимать, например, что слова «лампа» и «светильник» похожи (так как часто употребляются в схожих контекстах), а «лампа» и «лама» — нет. С помощью таких векторных моделей можно сравнить два одинаковых текста на разных языках, проанализировать смысловую связь значений слов или даже создать «альтернативные» версии великих произведений русской литературы.

Подробнее о word2vec можно узнать из нашего поста или каталога нейросетей «Системного Блока». А пока предлагаем вам отгадать, цитату из какого произведения преобразовала модель.

P. S. Ещё больше альтернативных цитат от модели найдете в тесте!

🤖 «Системный Блокъ» @sysblok

Зачем нужны гуманитарии?

Какова цель науки? С физиками и химиками понятно: они создают фундамент для разработки технологий. А зачем нужны гуманитарии? Не пора ли их отменить за ненадобностью? Филолог Борис Орехов предлагает ответ в своем блоге.

Две функции

Иногда (в особенно тяжелые периоды для общества) гуманитарии исчезают с карты социальных явлений и существований, но почему-то всегда возвращаются. Вероятно, потому, что обеспечивают две важные для человеческого сообщества функции: память и диалог.

Причем диалог не только друг с другом, но и с Платоном, а также с Эпикуром, Вергилием и Горацием. Зачем нужен такой диалог, точно неясно, но что он нужен людям и в 2024 году, был нужен и в 1024 году, и в 24-м, и будет нужен в 3024 году, несомненный эмпирически осязаемый факт. 

Память и диалог

Диалог — это то, что филолог и культуролог Аверинцев назвал службой понимания. Понимание в бытовом смысле часто требуется ближнему, современнику, а для гуманитариев понимание тесно сплетено с памятью, которая всегда направлена в прошлое. Понимание предков, их текстов, их культуры и духовной жизни. Память была ключевым понятием для Ю. М. Лотмана: «Культура есть память. Поэтому она всегда связана с историей, всегда подразумевает непрерывность нравственной, интеллектуальной, духовной жизни человека, общества и человечества».

Движение к человеку

В последнее время историки двинулись от изучения масштабных событий и личностей в сторону обычного человека, носителя памяти. Возникла oral history, взлетела семейная история, стали так ценны частные воспоминания незнаменитых людей. В своем тексте о нужности гуманитариев Борис Орехов тоже привлек в качестве опоры собственную семейную историю. 

Об оцифрованных для «Пишу тебе» открытках дедушки Бориса Орехова с фронта и связи книги о скотоводстве с Digital Humanities читайте в полной версии поста.

🤖 «Системный Блокъ» @sysblok

«Предсказание революций и землетрясений мало чем отличаются»: интервью с Андреем Коротаевым о смертности в 90-е, клиодинамике и прогнозировании социальных взрывов 

Можно ли моделировать исторические процессы при помощи баз данных и математических инструментов? Почему после распада СССР смертность в России и Эстонии была гораздо выше, чем в Грузии, Армении или Узбекистане? Какие факторы позволяют предсказать социальный взрыв и почему повышение качества жизни может привести к революции? Об этом в интервью «Системному Блоку» рассказал доктор исторических наук Андрей Коротаев.

Количественные методы до компьютеров

Андрей Коротаев стал интересоваться ​​использованием количественных методов уже давно. Таблицы, карточки и калькулятор позволили ему убедиться, что главный экономический фактор появления государства и стратифицированного общества — это не производительность труда, а производительность земли. А ещё с их помощью удалось изучить и выявить закономерности в древнейеменских надписях.

Клиодинамика

Клиодинамика — это междисциплинарная область исследований, стремящаяся применить естественнонаучные методы к анализу исторических событий и преобразовывать существующие гипотезы исторического процесса в математические модели. 

Хотя исторические процессы моделируются очень сложно, выяснилась общая закономерность: чем глобальнее процесс, чем больше народу и чем крупнее временной отрезок он охватывает, тем легче он моделируется. 

Алкогольная смертность и 90-e

Резкий рост смертности в 90-е многие объясняли экономическим спадом на фоне развала страны, обнищанием населения. С помощью клиодинамических моделей Коротаеву и его коллеге Дарье Халтуриной удалось привести убедительные аргументы в пользу другой гипотезы – алкогольной. 

Они показали, что в России и Эстонии в этот период демографический спад был, а в Грузии, Армении и Узбекистане — не было. При этом в Грузии прошла гражданская война, и экономика обвалилась больше, чем вполовину. Ереван был зимой занесён снегом, который никто не убирал, не было электричества. Однако на смертности это сказалось не так сильно, как в РФ.

По версии историков, причина в том, что Россия и Эстония — страны «водочной», а не «винной» культуры.  В 90-е в них хлынул доступный алкоголь, произошел колоссальный рост его потребления и такой же колоссальный рост смертности. 

Подробнее об этом исследовании, а также о предсказании революций с помощью метрик и эффекте мальтузианской ловушки читайте в полной версии интервью.

🤖 «Системный Блокъ» @sysblok

Перфолента: от телеграфа до компьютера

Переходим от перфокарт к перфолентам. Историк и сотрудник Центра непрерывного образования НИУ ВШЭ Антон Басов рассказывает о всемирной истории перфорированных лент: они улучшили телеграф и компьютерные интерфейсы.

Кратко: о чем статья?

Перфолента — носитель информации в виде ленты из гибкого материала (часто бумаги), на котором данные записаны при помощи отверстий, пробитых в определенных местах. Как и перфокарты, она была представлена в 1851 году на Всемирной выставке в Лондоне, а появилась даже раньше них — в 1725 году. Просто нашла применение лишь спустя сто лет. В 1846 году Александр Бейн создал телеграф, использующий перфорированную ленту и работающий с большой для того времени скоростью: он мог передавать 20 000 слов в час. Передатчик Бейна работал так: в бумажной ленте пробивались отверстия, соответствующие по длине точкам и тире телеграфной азбуки. В передатчике лента проходила между двух электродов, замыкая цепь на более или менее короткие промежутки времени. В приемнике эти сигналы разной длительности записывались как точки и тире.

В 1905 году новозеландец Дональд Мюррей создал телеграф, использующий пятибитный код. Эта система, кстати, больше всего применялась в России. Начиная с 1905 года, его аппараты работали на линиях, соединявших Санкт-Петербург с Омском, Москвой и даже Берлином.

Следующим крупным событием в истории автоматических передатчиков стало создание телетайпа — телеграфного аппарата, действующего по принципу пишущей машинки и не требующего от оператора специальных знаний. Долгое время именно телетайп с перфолентой предлагал наиболее практичный интерфейс, обогнав перфокарты.

Какое наследие оставила после себя перфолента? Сегодня, когда вы читаете или пишете текст с применением Unicode, то есть любой текст на цифровом носителе, вы используете технологию кодирования, восходящую к автоматическому телеграфу Александра Бэйна 1846 года.

Более подробную историю перфолент найдете в полной версии материала.

Время чтения: 12,5 минут.

🤖 «Системный Блокъ» @sysblok

Новые модели от OpenAI, Mistral делает ИИ доступнее и запаздывающий Apple Intelligence

Рассказываем, что произошло за последнее время в мире ИИ.

o1 — новая модель для рассуждений от OpenAI

Компания OpenAI представила новую модель o1. В отличие от моделей линейки GPT, o1 «думает» перед ответом. Подобные техники улучшения ответов посредством промежуточных рассуждений известны давно, подробнее мы рассказывали об этом в нашем материале про Chain of Thought. 

OpenAI усовершенствовала подход и специально обучила модель на цепочках рассуждений, которые ведут к правильным ответам c использованием обучения с подкреплением. По словам компании, о1 подходит для задач, в которых требуется большое количество промежуточных рассуждений, например, в задачах по математике или по программированию. Именно в них модель опережает практически всех конкурентов. OpenAI рекомендует использовать GPT и o1 в связке.

Цены за использование o1 и o1-mini (уменьшенная версия) в разы выше, чем за GPT-4o и GPT-4o mini, поскольку приходится платить за дополнительные выходные токены (токен — «единица» текста, за которую взимается плата). При этом пользователю показывается только упрощённая цепочка рассуждений, а не оригинальная, чтобы конкуренты не использовали эту информацию для улучшения своих моделей.

Выход o1 демонстрирует относительно новую парадигму развития языковых моделей. При традиционном подходе исследователи увеличивают сами модели и количество обучающих данных, то есть тратят всё больше и больше вычислений во время обучения. В случае o1 количество вычислений увеличивается во время использования обученной модели. Этот метод легче и дешевле масштабируется и обладает большей гибкостью. Например, можно генерировать сразу несколько цепочек рассуждений и в конце выбирать наиболее частотный ответ.

Это направление активно исследуется и другими крупными компаниями.

Доступный ИИ от Mistral

Французский стартап Mistral (мы уже рассказывали о нем ранее) представил бесплатный тариф с ограничениями на свои модели, а также существенно снизил цены в платных тарифах. Снижение составило от 30% до 80% в зависимости от модели.

Также стартап представил обновление своей компактной языковой модели Mistral Small и новую мультимодальную модель Pixtral, способную работать с изображения. По качеству в основных тестах обе новинки сопоставимы или опережают конкурентов.

Mistral, основанная бывшими сотрудниками Meta, завоевала известность благодаря разработке языковых моделей, сопоставимых по качеству с лидерами рынка. Отличительная особенность Mistral — предоставление большинства своих моделей бесплатно для некоммерческого использования.

Apple Intelligence задерживается

Летом 2024 года Apple анонсировала систему Apple Intelligence для своих устройств, которая включает в себя усовершенствованную версию голосового ассистента Siri, генерацию и редактирование текстов посредством ИИ, генерацию изображений и многие другие функции на базе машинного обучения.

На недавней презентации iPhone 16 компания Apple объявила о поэтапном запуске этих нововведений, изначально планировавшихся для iOS 18. Американские пользователи получат доступ к обновлениям в октябре, жители других стран — в декабре, а некоторые — только в 2025 году. Причиной задержки стали различия в требованиях государственных регуляторов к системам, использующим ИИ и персональные данные.

Это отставание ставит Apple в невыгодное положение по сравнению с конкурентами на рынке мобильных устройств, уже внедрившими функции на базе AI от Google.

🤖 «Системный Блокъ» @sysblok

Тест: как найти свой восточный язык?

Иногда сложно понять, какой язык нам ближе и нужнее. Хочется и аниме, и корейские дорамы смотреть в оригинале без субтитров, а то и отправиться в Китай или подняться на верхний этаж небоскрёба в ОАЭ.

Если вы вдруг решили изучать восточную культуру и начать с языка, но никак не можете определиться, то этот тест для вас!

📜 Поймёте, готовы ли вы к множеству иероглифов и диалектов китайского и японского.

🌳 Узнаете, в каком языке, чтобы получилось слово «лес», надо просто трижды написать «дерево» (спойлер: в японском).

🍜 Наконец, выберете, что вам ближе – корейский «тосирак», что значит «обед из дома», или гостеприимство, выраженное арабским словом «дыйафа».

🤖 «Системный Блокъ» @sysblok

Запрограммированная сюита: взлёт и падение механического пианино на перфоленте

Продолжаем рассказывать о перфолентах. Обычно они ассоциируются с телеграммами, однако применялись и в автоматических музыкальных инструментах. Историк и сотрудник Центра непрерывного образования НИУ ВШЭ Антон Басов изучил, как появилось механическое фортепиано и при чем тут перфолента

Кратко: о чем статья?

Попытки создать автоматический музыкальный инструмент были еще в IX веке. Тогда главным компонентом таких устройств был валик с выступами, и хотя они позволяли слушать музыку без музыканта, длительность произведений была ограничена, а механизм — дорог. Перфолента позволяла решить обе эти проблемы: она могла быть достаточно длинной, а ее производство было дешевым.

Идея автоматического музыкального инструмента с перфолентой стала развиваться в середине XIX века, а первое механическое фортепиано с перфолентой под названием Pianista было изобретено в 1863 году во Франции. Однако первый настоящий успех приобрели устройства американских изобретателей Мактаммани и Галли. Основанный на их наработках аппарат органетта был переходным этапом от музыкальных шкатулок XVIII века к более совершенным устройствам. Хотя и с ограниченным нотным диапазоном, органетты могли проигрывать довольно длинные музыкальные произведения и пользовались популярностью по всему миру.

Следующим важным этапом в истории автоматических музыкальных инструментов стало появление усовершенствованной механической фисгармонии.. В это же время ученые активно работали над созданием автоматического фортепиано. Эта идея была реализована в виде пианолы — приставки к любому пианино. Однако инструмент не был полностью автоматическим и нуждался в операторе, который, как утверждалось, должен был обучаться примерно три года.

К началу XX века приставки к фортепиано стали заменяться встроенными в корпус механизмами, а новый формат перфоленты наконец стал охватывать весь нотный диапазон — 88 клавиш. В этот период изобретатели старались создать инструмент, способный не просто играть мелодию, но и воспроизводить манеру игры музыканта. Таким устройством стало Welte-Mignon. Благодаря нему сегодня мы можем послушать, как играли Григ, Дебюсси, Скрябин и многие другие.

Какие еще музыкальные инструменты были автоматизированы? Почему быстрый взлет механической музыки сменился столь же быстрым падением? Какой современный инструмент способен записывать манеру исполнения? Более подробно обо всем этом и еще одном применении перфолент, читайте в полной версии статьи.

Время чтения: 15 минут.

🤖 «Системный Блокъ» @sysblok

Тест: Паскуда, олух, шваль… что можно узнать о ругательствах в НКРЯ

В 2024 году Национальному корпусу русского языка исполнилось 20 лет. Им пользуются исследователи, педагоги, школьники и все те, кому интересен русский язык в самых разных видах и проявлениях. Например, благодаря НКРЯ можно посмотреть, где появляется слово: в газетах, в русской классике, в устной речи и т. д. А ещё — проследить, как менялись его значение и частота употребления от года к году.

Из нашего нового теста узнаете:

🤪 когда «конченый» стало употребляться как ругательство;

🥸 кто из русских писателей – рекордсмен по использованию слова «паскуда»;

🤡 как часто в детской литературе встречаются «дураки» (спойлер: в одном из сегментов – целых 168 раз на 11 текстов).

Пройти тест

🤖 «Системный Блокъ» @sysblok

Горизонтальный перенос генов: ловим бактерию на плагиате

Живые организмы «списывают» друг у друга прямо из генетического кода — этот процесс улучшает их шансы на выживание и адаптацию. «Системный Блокъ» рассказывает о горизонтальном переносе генов и его роли в эволюции, а также о том, какие компьютерные алгоритмы используют биологи для поиска заимствованных фрагментов ДНК.

Кратко: о чем статья?

Обычно закодированный в ДНК план организма, геном, наследуется «по вертикали» — от предков. Однако можно получить и гены неродственных, иногда очень непохожих организмов. Такой процесс называется horizontal gene transfer (горизонтальный перенос генов, HGT) и это еще один двигатель эволюции: так распространяются полезные умения и возникают новые адаптации. Например, бактерии в стрессовых условиях могут целенаправленно захватывать чужую ДНК, чтобы найти там что-то спасительное. Растения когда-то переняли у почвенных бактерий и грибов гены для синтеза лигнина — полимера, который придает растениям прочность и формирует проводящую систему. Без него на суше не вырасти выше мха.

Биоинформатики исследуют HGT, чтобы изучить происхождение древних генов или современную эволюцию патогенов. Чтобы проанализировать горизонтальный перенос и найти плагиат, ученые используют два типа методов. Филогенетические методы сравнивают эволюционные истории разных генов, а параметрические — ищут гены, которые отличаются от остального генома частотами нуклеотидов («букв», из которых состоят ДНК и РНК) или их сочетаний.

Самый простой филогенетический метод можно реализовать с помощью инструмента BLAST: он находит в базе все похожие фрагменты и для каждой находки указывает, насколько совпадение близкое и насколько оно статистически значимо. С помощью таких подходов исследователи обнаружили, например, что бактерии в кишечнике японцев позаимствовали у морских бактерий гены для переваривания водорослей нори.

Подробнее о том, чем полезен и опасен горизонтальный перенос генов, а также о методах его изучения и их схожести с NLP, читайте в полной версии статьи.

Время чтения: 16 минут.

🤖 «Системный Блокъ» @sysblok