Google создали систему, специально заточенную под создание научного ПО: ее решения обходят человеческие

Есть в науке такая проблема: рисерчеры не умеют писать код тратят просто уйму времени на написание кода. Хочется проверить больше гипотез и быстро прототипировать решения, но ПО здесь – узкое место. Многие перспективные идеи просто не проверяются, потому что слишком сложно, долго и дорого.

Google попробовали с этим поработать и предложили «аналог» AlphaZero для написания кода, но именно в сфере науки. Они берут только подкласс scorable task. Это задачи, у которых есть одна явная метрика качества. Например: точность прогноза, ошибка интегрирования, ну или MSE в конце концов.

То есть для широкого спектра индустриального кода такая система не подойдет. А для ученых – в самый раз. ПО для таких измеримых задач называется, кстати, Empirical software.

Как работает:

1️⃣ На вход система получает задачу, метрику и какой-то контекст, если он есть (ну, например, базу знаний). Под капотом крутится LLM + Tree Search.

2️⃣ LLM выступает в роли исполнителя и, собственно, пишет код. А Tree Search тут как своеобразный ПМ, отслеживает успех и решает что делать дальше. Каждое изменение кода – это ветвь дерева, а каждая вершина – конкретная версия программы.

3️⃣ LLM генерирует несколько вариантов изменения текущего узла, код запускается в песочнице и оценивается по метрике, а затем добавляется в дерево. На следующем шаге алгоритм решает, в какую вершину дерева стоит идти дальше.

4️⃣ При этом идем не просто в вершину с лучшей метрикой: чтобы никакие хорошие идеи не пропустить, должен соблюдаться баланс между exploration (исследовать новые идеи) и exploitation (углубляться в лучшие решения).

5️⃣ При этом LLM перед написанием кода еще и изучает прикрепленный контекст и серфит Интернет в поисках полезных статей, подходов и практик. Так что изменения в коде не только осознанные, но и иногда подкрепляются источниками.

В целом, схема-то не новая, и тут даже не было никакого супер-RL’я. Но вот результаты таких сетапов всегда удивляют. Например:

➖ На задаче анализа single-cell RNA-seq модель создала 40 новых алгоритмов, которые серьезно превзошли все существующие решения на основном бенчмарке (+14% к лидеру).

➖ Придумала новый алгоритм для вычисления сложных интегралов. Им решились 17 из 19 тестовых задач с ошибкой <3%. Для сравнения, scipy.integrate.quad() решает 0 задач из 19.

➖ Ее модель прогнозирования заболеваемости ковидом превзошла официальный американский CDC Ensemble.

На гитхабе лежит код некоторых решений. Сама система пока не в доступе, и вряд ли ее опубликуют. Но, может, каким-то лабам дадут попользоваться в частном порядке.

arxiv.org/abs/2509.06503

⚡️ Вышла GPT-5-Codex

Это версия GPT-5, оптимизированная специально для программирования и агентных сценариев. Пишут, что она способна автономно работать часами.

Что показалось прикольным:

– Модель подстраивается под coding-стиль проекта. То есть если видит, например, функциональное программирование, выдавать будет тоже функционалку.

– Можно прикреплять не только текст, но и скриншоты, архитектурные заметки, дизайн-схемы. Может и до интеграции с Figma когда-нибудь доживем.

– В зависимости от задачи модель может работать от нескольких секунд до нескольких часов. OpenAI говорят, что однажды модель работала над их задачей 7 часов. Что-то тестировала, итерационно исправляла и дописывала.

По тестам, в нижних 10% запросов (по количеству токенов) модель использует на 93.7% меньше токенов по сравнению с обычной GPT-5, а для самых сложных задач раздумывает и тестирует вдвое дольше.

Метрики: SWE-bench Verified – 74.5% ; качество рефакторинга улучшено с 34% до 51.3. Пока чисел мало, так что ждем.

Из остального: интеграция с GitHub, улучшенный Code review и оценки безопасности, облачный hand-off (то есть поддерживает работу в локальном режиме, но затем может перехватываться облаком).

Уже доступно в VSCode, JetBrains и через терминал. Попробовать могут любые подписчики тарифов OpenAI, так что обязательно тестим

openai.com/index/introducing-upgrades-to-codex/

Вышло большое исследование о том, как люди на самом деле выбирают модели под свои заадчи

Внезапно, но факт: менее 50% ориентируются на бенчмарки, а 26.7% принципиально ими не пользуются.

Но давайте начнем с начала. Исследование совсем свежее, его проводили в середине этого лета аналитики из LLMARENA (@llm_arena). Это платформа для сравнения моделей, а ее фаундер, кстати, – наш сосед по каналу, Роман Куцев @Roma_Data.

Они опрашивали ML-инженеров, дата сайентистов, ML-ops'ов и лидеров команд AI. В общем, тех, кто обычно непосредственно принимает участие в выборе модели. Смотрите, что получилось:

➖ Бенчмарки и рейтинги LLM теряют доверие, команды всё чаще (в 82.2% случаев) полагаются на собственные тесты.

➖ Более четверти респондентов (26.7%) вообще не используют бенчмарки из принципа. Смотрят на них только 48.9%, и то – в основном как на косвенный сигнал. 37.8% больше доверяют тг-каналам и обзорам юзеров. Ну и только 18% вообще заглядывают в рейтинги типа llm-stats.

➖ Среди причин такого недоверия к бенчмаркам: проблемы с методологией (мы разбирали всякие статистические ошибки рейтингов здесь, например); нерелевантность покрытия задач; лабораторные условия (на проде все иначе, как известно); накрученность рейтингов и хайп; переобучение под конкретные тесты.

Как видите, практика, как всегда, оторвана от теории и искусственных тестов. Это означает две вещи: (1) бенчмарки в классическом своем виде изжили себя и пока менять подход; (2) индустрии вообще плевать на изменение метрик на доли процента, и выбор моделей сильно упрощен: главное – скорость внедрения и цена.

Полное исследование тут, советуем посмотреть на графики