🧑💻 Бенчмарки кодинг-агентов плохо отражают то, как с ними работают разработчики.
В тесте агент получает подробную задачу и сдаёт готовый патч. В реальном диалоге пользователь просит объяснить код, составить план, проверить изменения, а затем переключается на другую задачу.
Исследователи JetBrains собрали 4 782 реальные сессии и подробно изучили те, где было минимум три сообщения пользователя. Такие диалоги оказались гораздо разнообразнее задач из бенчмарков.
Авторы предложили SWE-TaskFlow: разбивать исходную задачу на несколько сообщений и добавлять проверяемые вопросы о репозитории, сохраняя исходные тесты.
На 700 задачах SWE-Bench Pro пошаговый формат примерно удвоил стоимость работы агента, но устойчивого изменения доли решённых задач не дал. Сам формат общения заметно влияет на оценку.
Вывод авторов: сначала изучите, как ваши пользователи работают с агентом, затем стройте бенчмарк под эти сценарии.
https://arxiv.org/abs/2610.09633
В тесте агент получает подробную задачу и сдаёт готовый патч. В реальном диалоге пользователь просит объяснить код, составить план, проверить изменения, а затем переключается на другую задачу.
Исследователи JetBrains собрали 4 782 реальные сессии и подробно изучили те, где было минимум три сообщения пользователя. Такие диалоги оказались гораздо разнообразнее задач из бенчмарков.
Авторы предложили SWE-TaskFlow: разбивать исходную задачу на несколько сообщений и добавлять проверяемые вопросы о репозитории, сохраняя исходные тесты.
На 700 задачах SWE-Bench Pro пошаговый формат примерно удвоил стоимость работы агента, но устойчивого изменения доли решённых задач не дал. Сам формат общения заметно влияет на оценку.
Вывод авторов: сначала изучите, как ваши пользователи работают с агентом, затем стройте бенчмарк под эти сценарии.
https://arxiv.org/abs/2610.09633
❤6👍3🥰1
Почему наша первая нейросеть проиграла CatBoost
Мы хотели заменить CatBoost нейросетью в рекомендациях на главной Авито. Расчёт был простой: данных много, эмбеддинги хорошие, значит, модель выиграет за счёт масштаба.
Первый A/B-тест ушёл в минус: −6% пользователей с контактами. Вторая и третья модели тоже проигрывали CatBoost.
Чтобы найти, что даёт рост, понадобилось пять итераций. В статье разбираем:
✨ какой лосс заменил бинарную кросс-энтропию и до сих пор работает в проде;
✨ почему общая офлайн-метрика скрывала просадку по контактам;
✨ что дала история пользователя в трансформере.
В итоге +4,3% пользователей с контактами из рекомендаций и +0,8% пользователей, совершивших сделку.
Читать на Хабре
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Мы хотели заменить CatBoost нейросетью в рекомендациях на главной Авито. Расчёт был простой: данных много, эмбеддинги хорошие, значит, модель выиграет за счёт масштаба.
Первый A/B-тест ушёл в минус: −6% пользователей с контактами. Вторая и третья модели тоже проигрывали CatBoost.
Чтобы найти, что даёт рост, понадобилось пять итераций. В статье разбираем:
В итоге +4,3% пользователей с контактами из рекомендаций и +0,8% пользователей, совершивших сделку.
Читать на Хабре
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7
📓 Лейденский университет выложил бесплатный учебник по ИИ-агентам на 472 страницы
Учебник Agentic Large Language Models на 472 страницы: от токенизации до мультиагентных систем, с практическими кейсами и сайтом курса.
Что внутри
Книга разбита на семь частей. Первая посвящена языковому моделированию: токенизация, эмбеддинги, механизм внимания, весь пайплайн обучения от сбора данных до выравнивания, законы масштабирования, маленькие модели и энергопотребление. Вторая рассказывает о рассуждениях: chain of thought, саморефлексия, мультимодальные модели, vision-language-action модели для роботов, модели мира и метаобучение.
https://uproger.com/agentic-llm-uchebnik-leiden/
Учебник Agentic Large Language Models на 472 страницы: от токенизации до мультиагентных систем, с практическими кейсами и сайтом курса.
Что внутри
Книга разбита на семь частей. Первая посвящена языковому моделированию: токенизация, эмбеддинги, механизм внимания, весь пайплайн обучения от сбора данных до выравнивания, законы масштабирования, маленькие модели и энергопотребление. Вторая рассказывает о рассуждениях: chain of thought, саморефлексия, мультимодальные модели, vision-language-action модели для роботов, модели мира и метаобучение.
https://uproger.com/agentic-llm-uchebnik-leiden/
❤8👍6🔥3
🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
❤11👍4
С вас идея, а Т-Банк за нее заплатит
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября
В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.
Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.
Успейте подать заявку до 11 ноября
❤10👍3
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Обе компании уже работали вместе над проектом Patch the Planet, где модели OpenAI в связке с инструментами Trail of Bits автоматически искали и исправляли ошибки в открытом коде.
Нью-йоркская Trail of Bits основана в 2012 году, в ней около 40 сотрудников, специализируется она на реверс-инжиниринге, аудите криптографических систем и поиске уязвимостей в открытом коде, а среди её клиентов Uniswap, Aave и Worldcoin.
Поглощение расширит возможности OpenAI в практической безопасности продуктов.
theinformation.com
Модель рассчитана на художественный дубляж, аудиокниги и озвучку игр, поддерживает 83 языка и позволяет детально режиссировать эмоции.
Текстовые ремарки в квадратных скобках прямо внутри реплик дают шёпот, смех, гнев и другие эмоциональные краски. В бенчмарке Artificial Analysis Drama 3 показала точность 93,2% при чтении дат и контекстно-зависимых слов, обойдя S2.1 Pro.
Архитектура построена на MoE и несёт 35 млрд общих параметров при 3 млрд активных, с гибридным вниманием Gated DeltaNet и MTP-декодером аудиокодеков.
Веса лежат на Hugging Face, а бесплатно использовать модель в коммерческих проектах могут компании с годовой выручкой до 500 тыс. долларов.
fish.audio
Платформа децентрализованных вычислений забрала разработчика компактных открытых VLM. Ключевая технология стартапа – движок инференса Photon, который компилирует архитектуру модели в единую программу под ускоритель с помощью собственных ядер.
На Nvidia H100 связка Photon и Moondream держит больше 60 запросов в секунду с задержкой в десятки миллисекунд.
Основатели Вик Коррапати и Джей Аллен переходят в Prime Intellect, где займутся масштабированием инфраструктуры инференса, развитием VLM и агентов для управления интерфейсами.
Линейка моделей останется под брендом Moondream, движок Photon уже встроен, а доступ к Moondream 3.1 открыт через Prime Inference. Пользователей Moondream Cloud переведут на объединённую платформу.
primeintellect.ai
Совершеннолетним пользователям разрешили ставить на свои Android-устройства приложения, собранные в Google AI Studio, без аккаунта разработчика за 25 долларов.
Работают такие приложения в приватном режиме, то есть скрыты из поиска и рекомендаций магазина, а встроенные покупки в них заблокированы полностью. Рассчитано обновление на тех, кто пишет программы под себя и не собирается публиковать их.
В следующих обновлениях Google обещает дать возможность делиться самодельными приложениями с семьёй и друзьями.
bloomberg.com
По условиям партнёрства агенты Manus появятся в смартфонах серии Find X10, работать они будут в режиме Agent Mode фирменного ассистента AI Mind Pilot.
Система разберёт составной запрос на последовательность шагов, соберёт данные из установленных приложений, обработает локальные файлы и вызовет внешние API, чтобы выдать результат.
Поиск, сортировку и анализ файлов телефон делает у себя, не передавая содержимое на серверы Manus, а обращения к облачным сервисам и отправка конкретных данных идут только после подтверждения пользователем.
oppo.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://xn--r1a.website/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://xn--r1a.website/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://xn--r1a.website/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://xn--r1a.website/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://xn--r1a.website/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://xn--r1a.website/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://xn--r1a.website/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://xn--r1a.website/gamedev
Haskell: t.me/haskell_tg
Собеседования и карьера:
DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview
Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://xn--r1a.website/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://xn--r1a.website/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://xn--r1a.website/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://xn--r1a.website/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
❤2👍1🔥1
🎮 Пока ИИ думал, Марио уже погиб
Исследователи Пекинского университета и Samsung создали RealtimeBench: 180 задач в шести играх, включая Mario, Snake и Tetris. Главное условие: игра продолжает идти, пока модель принимает решение.
С паузами GPT-6.1-sol обошла быструю Jev в пяти играх из шести. В реальном времени средние оценки оказались такими:
• GPT-6.1-sol: 1,51 из 100
• Jev: 13,51 из 100
Хорошее решение теряет смысл, если команда прыжка приходит после столкновения.
Авторы предложили TORSI: медленная модель между попытками разбирает ошибки быстрой, проверяет варианты действий и пишет для неё инструкции. Во время игры быстрая модель действует самостоятельно.
После двух раундов средний результат Jev вырос с 13,51 до 24,19, примерно на 79%. Улучшения получили во всех шести играх, без изменения весов модели.
Практическая идея для агентов: быстрые решения во время работы, глубокий разбор и улучшение инструкций между попытками.
https://arxiv.org/abs/2610.20665
Исследователи Пекинского университета и Samsung создали RealtimeBench: 180 задач в шести играх, включая Mario, Snake и Tetris. Главное условие: игра продолжает идти, пока модель принимает решение.
С паузами GPT-6.1-sol обошла быструю Jev в пяти играх из шести. В реальном времени средние оценки оказались такими:
• GPT-6.1-sol: 1,51 из 100
• Jev: 13,51 из 100
Хорошее решение теряет смысл, если команда прыжка приходит после столкновения.
Авторы предложили TORSI: медленная модель между попытками разбирает ошибки быстрой, проверяет варианты действий и пишет для неё инструкции. Во время игры быстрая модель действует самостоятельно.
После двух раундов средний результат Jev вырос с 13,51 до 24,19, примерно на 79%. Улучшения получили во всех шести играх, без изменения весов модели.
Практическая идея для агентов: быстрые решения во время работы, глубокий разбор и улучшение инструкций между попытками.
https://arxiv.org/abs/2610.20665
❤7👍1🔥1
🔧 ИИ-агент может вызвать инструмент, которого у него вообще нет
В новом исследовании разобрали галлюцинации инструментов: модели придумывают названия функций и передают аргументы, которых нет в схеме.
На десяти моделях зафиксировали 322 случая таких ошибок. Вызовы вымышленных инструментов чаще встречались при свободной генерации JSON, чем при структурированных вызовах: 34 против 3. Больший размер модели сам по себе проблему не устранял.
Отдельно проверили MCP. При объединении нескольких серверов возникают конфликты имён и подмена одного инструмента другим. Там обнаружили ещё 154 галлюцинации, в том числе у моделей, которые не ошибались в тестах с одним реестром.
Предложенная защита проста: перед проверкой разрешений убедиться, что инструмент существует, а аргументы соответствуют его схеме. Этот подход автор называют *closed-world resolution*: исполнять можно только явно зарегистрированные вызовы.
Для сравнения подобных защит представлен Hallucinated-Tools Benchmark.
https://arxiv.org/abs/2609.19425
В новом исследовании разобрали галлюцинации инструментов: модели придумывают названия функций и передают аргументы, которых нет в схеме.
На десяти моделях зафиксировали 322 случая таких ошибок. Вызовы вымышленных инструментов чаще встречались при свободной генерации JSON, чем при структурированных вызовах: 34 против 3. Больший размер модели сам по себе проблему не устранял.
Отдельно проверили MCP. При объединении нескольких серверов возникают конфликты имён и подмена одного инструмента другим. Там обнаружили ещё 154 галлюцинации, в том числе у моделей, которые не ошибались в тестах с одним реестром.
Предложенная защита проста: перед проверкой разрешений убедиться, что инструмент существует, а аргументы соответствуют его схеме. Этот подход автор называют *closed-world resolution*: исполнять можно только явно зарегистрированные вызовы.
Для сравнения подобных защит представлен Hallucinated-Tools Benchmark.
https://arxiv.org/abs/2609.19425
❤7
📖 ИИ-агент учится новому - и ломает то, что уже умел.
В новой работе Google DeepMind исследователи проверили агентов, которые улучшают себя без переобучения модели: редактируют системный промпт, память и файлы навыков.
Сравнили ReasoningBank, GEPA и Meta-Harness на последовательностях задач, где менялись темы, процессы и области применения.
GEPA сильнее всего улучшал результаты на текущих задачах — в среднем на 6,2 процентного пункта за блок. Но и падение на остальных было самым большим: 4,3 пункта.
Показательный случай: агент научился запрашивать недостающие детали у пользователя. Позже новые правки перезаписали это правило — и прежний прирост 15,5 пункта сократился до 2,5.
Правка общего промпта ради одной задачи влияет на все последующие. Полезные инструкции конфликтуют, сжимаются или исчезают.
https://arxiv.org/abs/2610.25858
В новой работе Google DeepMind исследователи проверили агентов, которые улучшают себя без переобучения модели: редактируют системный промпт, память и файлы навыков.
Сравнили ReasoningBank, GEPA и Meta-Harness на последовательностях задач, где менялись темы, процессы и области применения.
GEPA сильнее всего улучшал результаты на текущих задачах — в среднем на 6,2 процентного пункта за блок. Но и падение на остальных было самым большим: 4,3 пункта.
Показательный случай: агент научился запрашивать недостающие детали у пользователя. Позже новые правки перезаписали это правило — и прежний прирост 15,5 пункта сократился до 2,5.
Правка общего промпта ради одной задачи влияет на все последующие. Полезные инструкции конфликтуют, сжимаются или исчезают.
https://arxiv.org/abs/2610.25858
❤5👍4🔥1
ИИ может писать рабочий код и одновременно делать проект всё сложнее для разработки.
В эссе The Decoherence Trap автор описывает «декогеренцию»: ситуацию, когда в системе накапливаются решения, каждое из которых разумно само по себе, но плохо согласуется с остальными.
Представьте: один модуль возвращает ошибки исключениями, другой - кодами, третий, объектами результата. Каждая задача решена. Но при объединении приходится постоянно переводить между разными подходами.
Цена изменений начинает определяться количеством несовместимых решений, которые нужно учитывать, и побочных эффектов, которых нужно избежать.
По мысли автора, ИИ ускоряет накопление этой проблемы: быстро создавать локально убедительные решения становится проще, а поддерживать целостность системы по-прежнему трудно.
Отсюда полезный вопрос для ревью: «Этот код работает?» — только начало. «Он согласуется с остальным проектом?» — следующий обязательный шаг.
Чем быстрее команда генерирует код, тем ценнее общие соглашения, понятные границы модулей и удаление дублирующих абстракций.
https://maevyn.codes/decoherence
В эссе The Decoherence Trap автор описывает «декогеренцию»: ситуацию, когда в системе накапливаются решения, каждое из которых разумно само по себе, но плохо согласуется с остальными.
Представьте: один модуль возвращает ошибки исключениями, другой - кодами, третий, объектами результата. Каждая задача решена. Но при объединении приходится постоянно переводить между разными подходами.
Цена изменений начинает определяться количеством несовместимых решений, которые нужно учитывать, и побочных эффектов, которых нужно избежать.
По мысли автора, ИИ ускоряет накопление этой проблемы: быстро создавать локально убедительные решения становится проще, а поддерживать целостность системы по-прежнему трудно.
Отсюда полезный вопрос для ревью: «Этот код работает?» — только начало. «Он согласуется с остальным проектом?» — следующий обязательный шаг.
Чем быстрее команда генерирует код, тем ценнее общие соглашения, понятные границы модулей и удаление дублирующих абстракций.
https://maevyn.codes/decoherence
❤4👍1🔥1