❤️ – говорю спасибо, верю в карму
👍 – не говорю спасибо, я бессмертный берегу лимиты

CEO Anthropic Дарио Амодеи написал новое эссе про то, почему нам срочно нужно научиться интерпретировать модели

Он пишет, что в ближайшие годы ученые обязательно должны решить проблему интерпретируемости LLM, иначе мы не сможем предотвратить обманы, саботажи, стремление ИИ к власти и любое другое непреднамеренное поведение моделей.

Дарио настаивает, что сейчас фокус должен быть именно на таких исследованиях, а не на гонке ИИ, иначе мы можем просто не успеть за прогрессом.

Цитата: "К 2026–2027 годам ИИ достигнет уровня, сопоставимого со страной гениев в дата-центре. Даже небольшое преимущество в 1–2 года может сыграть решающую роль"

www.darioamodei.com/post/the-urgency-of-interpretability

И еще одна новость Anthropic на сегодня: стартап открывает новую большую программу по изучению наличия сознания в моделях

Пока нет никаких убедительных доказательств хоть каких-то признаков сознания в LM, но в Anthropic не исключают возможность их появления. Поэтому они начинают изучать так называемое model welfare, то есть благосостояние моделей.

Антропики будут исследовать, нужен ли моделям какой-то моральный статус, есть ли у них эмоции, ценности и так далее. Исследования возглавляет довольно известный ученый Кайл Фиш. Он, кстати, говорил в интервью, что, по его мнению, существует 15% вероятность того, что уже сегодня Claude или другой ИИ обладает сознанием.

Вот что пишут Anthropic в блоге:

"Сейчас нет научного консенсуса относительно того, могут ли текущие или будущие системы ИИ быть сознательными или иметь опыт, требующий этического рассмотрения. Мы подходим к этой теме очень аккуратно и с минимальным количеством предположений. Мы также понимаем, что нам придется регулярно пересматривать наши идеи"

www.anthropic.com/research/exploring-model-welfare

За пол года доля сгенерированного кода в кодовой базе Google увеличилась на 5 процентных пунктов

Еще в октябре сообщалось о 25%. Сегодня просочилась информация о 30+ процентах. Ставим ставки, сколько будет к концу 2025.

Выпускники, для вас крутая новость: в AI-бакалавриат Сбера и Яндекса в этом году примут в 1.5 раза больше человек

Речь идет о программе AI360. Если вы до сих пор с ней не знакомы, рассказываем: это совместный бакалавриат Сбера и Яндекса, запущенный в самых известных вузах страны: ИТМО, НИУ ВШЭ, МФТИ, Иннополис, СПбГУ. Это, кстати, первый в России полноценный ИИ-бакалавриат.

Обучение бесплатное. Обучают всему, что нужно ML-инженерам и исследователям. Программа включает направления "Передовые методы ИИ", "ML Native", "Инженерия ИИ" и "Инженерия данных". На всех вас ждет жесткая подготовка по математике, программированию и профильным ML-предметам.

В прошлом году поступили 100 ребят из 30 регионов, 94 абитуриента поступили без вступительных испытаний, а средний балл по ЕГЭ составлял 97. Да, поступить нелегко, но связка бигтех+ведущий вуз для студента того стоит, согласитесь. Тем более, поступившие в прошлом году ребята уже вовсю работают над реальными ML-кейсами и проходят воркшопы в компаниях.

Мотивации пост: сейчас в топ-1 по популярности на Hugging Face висит модель, которую разработала команда… из двух человек

Лаборатория называется Nari Labs, и она действительно состоит всего из двух исследователей. Несмотря на это, на этой неделе они со своей text2speech моделью DIA оставили позади Microsoft, Anthropic, Nvidia и другие корпорации.

Моделька у них правда крутая. В ней всего 1.6B параметров, но она генерирует из текста очень качественные диалоги. Сохраняет даже смех, кашель и вздохи. Плюс, пользователь может управлять эмоциями.

При этом у ребят действительно понятная и красивая карточка модели и хорошо оформленный код на гитхаб. Респект?

МТС Web Services получила две награды на VI российском саммите и премии по цифровой трансформации организаций CDO/CDTO Summit & Awards 2025.

Гран-при в номинации «Digital-платформа года» получила платформа MWS Octapi. Это инновационное решение позволяет бесшовно интегрировать сервисы в экосистему, обеспечивая их эффективное взаимодействие и повышая надежность. Octapi упрощает подключение новых технологий, минимизируя зависимость от разработчиков и ускоряя внедрение сервисов. Платформа способна поддерживать высокие нагрузки и позволяет настраивать интеграции без участия разработчиков.

Павел Воронин, генеральный директор МТС Web Services, стал лауреатом премии CDO/CDTO, войдя в тройку лучших СЕО 2025 года в номинации «СЕО года цифровой компании».

Одну из ключевых исследователей OpenAI высылают из Америки

И нет, она не сделала ничего плохого. Просто она гражданка Канады и ей отказали в грин карте. Девушку зовут Кай Чен, она 12 лет прожила в Америке и много лет работала в OpenAI.

Ее коллеги пишут, что она играла ключевую роль в релизе GPT-4.5. За нее даже заступился сам Ноам Браун, назвав Кай одной из лучших ученых, с кем ему приходилось работать. Но решение не отменить, и скоро исследовательница вынуждена будет покинуть страну. Вот такая история.

US: мы хотим быть лидерами в ИИ, вот 500 миллиардов долларов
Также US:

Еще одна крутая новость для студентов и молодых исследователей: есть еще 4 дня, чтобы подать заявку на летнюю школу по искусственному интеллекту «Лето с AIRI 2025» ⚡️⚡️⚡️

Если вы ещё не слышали, рассказываем: это исследовательская школа, где с 30 июня по 10 июля в Томске вас ждет работа с ведущими экспертами по искусственному интеллекту. В программе — лекции, семинары, практические задания, постерная сессия и много возможностей для прокачки навыков и нетворкинга.

Обучение бесплатное. Организаторы также покрывают проживание и питание — нужно только приехать в Томск. Вас ждет погружение в реальную научную работу и сильная исследовательская атмосфера.

Подавайте заявку на сайте до 23:59 29 апреля 2025 года. Если хотите провести лето с пользой и прокачаться в ИИ, не упустите шанс!

Paper2Code: исследователи из корейского технологического института сделали мульти-агентный фрейморк для автоматической генерации кода по статьям

Боль каждого рисерчера – это статьи, к которым нет кода. Чтобы воспроизвести результат, нужно потратить пол жизни, и то – успех не гарантирован. А код авторы публикуют не так уж и часто. На примере NeurIPS, ICML и ICLR 2024: только 21.2% принятых работ имеют открытые репы.

Здесь авторы предлагают PaperCoder. Это мульти-агентная система, в которой процесс генерации репозитория разбит на три этапа:

1. Планирование. Составляется конспект статьи, UML-диаграммы классов + список файлов. Тут же создается config.yaml с гиперпараметрами и выстраивается план последовательности генерации.

2. Анализ. Здесь для каждого файла из составленного списка формируется file-level analysis — подробное описание целей, входов/выходов, взаимодействий и каких-то специфичных требований, если есть.

3. Ну и сама генерация на основании статьи, фазы планирования и анализа. Бонусом из первых двух пунктов получаем супер-подробную доку.

На каждом шаге работает отдельный агент. Это, по идее, могут быть разные LLM, но здесь по умолчанию на всех шагах стоит o3-mini-high (кроме валидации, там GPT-4o).

Тестировали на работах с тех же ICML/NeurIPS/ICLR 2024. Процент полностью успешной репликации – около 44% против 10-15 у базовых агентов. Если анализировать вручную, то в среднем для успешного запуска нужно менять всего 0.48 % строк. А еще PaperCoder давали потрогать исследователям, и в 85% случаев те сказали, что это лучше, чем писать с нуля, даже если нужно что-то дебажить.

Ирония только в том, что к статье Paper2Code... не выложили код. Но, вроде, обещают "скоро"

В Твиттере обнаружили место обитания моделей Meta нового поколения

Пока ждем выхода Qwen 3, о котором жужжит весь реддит, разбираем статью "Reasoning Models Can Be Effective Without Thinking" от ученых из Беркли

Сегодняшние ризонинг модели называются "ризонинг", потому что используют явный многошаговый процесс мышления. Мы называем это Chain-of-Thought. На практике это просто большой префикс ответа, то есть куча токенов, которые хотя и улучшают качество, но делают это долго и дорого.

Так вот, внезапно оказалось, что ризонинг ризонинг-моделям не так уж и нужен.

Смотрите: в статье авторы берут DeepSeek-R1-Distill-Qwen-32B (с ризонингом), но вместо всего процесса рассуждения ставят заглушку. Для этого прямо в промпт добавляют кусочек

<|beginning of thinking|>
Okay, I think I have finished thinking.
<|end of thinking|>

, и так как модель обучена генерировать готовое решение сразу после этого тега, она пропускает размышления и тут же генерирует ответ. Вот такой джейлбрейк.

Метод называется NoThinking, и он, несмотря на всю свою простоту, оказывается удивительно эффективен. На pass@k (хотя бы один из k ответов верен) на задачках по математике и кодингу результаты сопоставимые с CoT, особенно если бюджет токенов небольшой. На кривой Парето можно увидеть красивый accuracy-budget трейдофф.

При этом если NoThinking генерирует N ответов параллельно, а затем из них мы выбираем лучший, то на pass-1 метрика даже выше, чем у обычного CoT (и это все еще быстрее, чем ванильный ризонинг).

Получается, гипотеза следующая: нам не нужны длинные рассуждения на инференсе. Достаточно того, что модель была рассуждениям обучена. Просто в NoThinking она не разворачивает все свои мысли в длинный текст, а думает их про себя. Да, иногда такая ментальная арифметика работает чуть хуже, но работает же. А значит и потенциал какой-то есть.

https://arxiv.org/abs/2504.09858