Ученые из Anthropic предложили новый метод самообучения моделей
Традиционно файн-тюнинг строится на размеченных людьми данных. Но со временем данных становится больше, и задачи ИИ усложняются. А значит, находить квалифицированных разметчиков все сложнее (и дороже), да и в целом разметка становится менее надежной.
Решение от Anthropic и университетов-партнеров – алгоритм под названием «Internal Coherence Maximization» или ICM, то есть Максимизация внутренней когерентности. С помощью него тюнить модели можно вообще без человеческой разметки.
Когерентность – это принцип из философии, который означает, что все сущее находится во взаимосвязи. Собственно, тут все построено на нем, и модель в ICM должна сама определить, какой ответ на вопрос правильный, основываясь на двух критериях:
1️⃣ Взаимная предсказуемость. Это означает, что каждый ответ должен надежно следовать из предыдущих. Модель проверяет, есть ли закономерности и соответствует ли ее ответ остальным аналогичным случаям.
2️⃣ Логическая согласованность. Здесь модель проверяет свои собственные ответы на противоречия, чтобы метки логически не спорили друг с другом (наример, если 2+3 = 5, то 3+3 уже не может быть равно 5).
Вот и все. Сначала мы подсовываем модели совсем небольшой размеченный датасет, а затем она, используя эти два правила, обучается "автономно".
На некоторых тестах метрики на таком обучении даже превосходят метрики от обычного файн-тюнинга с человеческой разметкой. И в самой разметке модель тоже иногда допускает меньше ошибок: например, на тесте определения пола автора текста, на котором люди выбивают не более 60% случаев, ICM достигла точности в 80%.
Конечно, работает это только с концептами, которые уже хоть как-то знакомы модели + пока есть сложности с длинным контекстом. И тем не менее, выглядит все еще многообещающе.
alignment-science-blog.pages.dev/2025/unsupervised-elicitation/paper.pdf
Традиционно файн-тюнинг строится на размеченных людьми данных. Но со временем данных становится больше, и задачи ИИ усложняются. А значит, находить квалифицированных разметчиков все сложнее (и дороже), да и в целом разметка становится менее надежной.
Решение от Anthropic и университетов-партнеров – алгоритм под названием «Internal Coherence Maximization» или ICM, то есть Максимизация внутренней когерентности. С помощью него тюнить модели можно вообще без человеческой разметки.
Когерентность – это принцип из философии, который означает, что все сущее находится во взаимосвязи. Собственно, тут все построено на нем, и модель в ICM должна сама определить, какой ответ на вопрос правильный, основываясь на двух критериях:
Вот и все. Сначала мы подсовываем модели совсем небольшой размеченный датасет, а затем она, используя эти два правила, обучается "автономно".
На некоторых тестах метрики на таком обучении даже превосходят метрики от обычного файн-тюнинга с человеческой разметкой. И в самой разметке модель тоже иногда допускает меньше ошибок: например, на тесте определения пола автора текста, на котором люди выбивают не более 60% случаев, ICM достигла точности в 80%.
Конечно, работает это только с концептами, которые уже хоть как-то знакомы модели + пока есть сложности с длинным контекстом. И тем не менее, выглядит все еще многообещающе.
alignment-science-blog.pages.dev/2025/unsupervised-elicitation/paper.pdf
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤150🔥69👍20🤯16
Media is too big
VIEW IN TELEGRAM
«Китайские шпионы систематически похищают технологические ИИ-секреты США» – Александр Ванг
Александр Ванг заявил, что хоть США пока и опережает Китай в железе и алгоритмах, Азия уже скоро вырвется вперед благодаря:
1. Шпионажу. Китай с 2018 года реализует масштабный государственный ИИ-план. В том числе они масштабно засылают шпионов в американские компании. Пример – «Инженер Google украл проектную документацию по ИИ-чипам и начал на её основе бизнес в Китае». Своих же исследователей китайцы строго изолируют и проверяют.
2. Разметке. В Китае насчитывается более 2 миллионов человек, которые занимаются аннотированием данных – против всего 100 000 в США. Данных для обучения у них уже больше.
3. Информационной войне. Китай использует ИИ для создания передовых инструментов в области влияния на сознание и тем самым манипулируют общественностью.
Вот такие байки от будущего главы ИИ в Meta. Верим?
Источник: новое интервью
Александр Ванг заявил, что хоть США пока и опережает Китай в железе и алгоритмах, Азия уже скоро вырвется вперед благодаря:
1. Шпионажу. Китай с 2018 года реализует масштабный государственный ИИ-план. В том числе они масштабно засылают шпионов в американские компании. Пример – «Инженер Google украл проектную документацию по ИИ-чипам и начал на её основе бизнес в Китае». Своих же исследователей китайцы строго изолируют и проверяют.
2. Разметке. В Китае насчитывается более 2 миллионов человек, которые занимаются аннотированием данных – против всего 100 000 в США. Данных для обучения у них уже больше.
3. Информационной войне. Китай использует ИИ для создания передовых инструментов в области влияния на сознание и тем самым манипулируют общественностью.
Вот такие байки от будущего главы ИИ в Meta. Верим?
Источник: новое интервью
1🤯134😁82🔥24❤23👍20💯14🗿13
Китайская лаборатория BAAI выпустила открытую SOTA модель для робототехники
RoboBrain 2.0 – это модель общего назначения для управления роботами. Это не просто VLA, а «модель мозга».
Модель поддерживает рассуждения и долгосрочное агентное планирование, устойчивое восприятие 3D-пространства и рассуждения на основе сцены, а также долгосрочную обновляемую память.
Под капотом: Vision Encoder + MLP Projector. На вход принимает и видео, и картинки, и, конечно, текст. Через адаптеры все подается в LLM декодер, который и выполняет поставленные задачи.
Пока доступна модель на 7В, скоро выйдет на 32В. Модель побольше на робо-бенчах обгоняет и открытых, и закрытых конкурентов. В том числе Claude Sonnet 4 и o4-mini.
Радует, что снова появляется явный тренд на открытую робототехнику
GitHub | HuggingFace
RoboBrain 2.0 – это модель общего назначения для управления роботами. Это не просто VLA, а «модель мозга».
Модель поддерживает рассуждения и долгосрочное агентное планирование, устойчивое восприятие 3D-пространства и рассуждения на основе сцены, а также долгосрочную обновляемую память.
Под капотом: Vision Encoder + MLP Projector. На вход принимает и видео, и картинки, и, конечно, текст. Через адаптеры все подается в LLM декодер, который и выполняет поставленные задачи.
Пока доступна модель на 7В, скоро выйдет на 32В. Модель побольше на робо-бенчах обгоняет и открытых, и закрытых конкурентов. В том числе Claude Sonnet 4 и o4-mini.
Радует, что снова появляется явный тренд на открытую робототехнику
GitHub | HuggingFace
1⚡91❤48🔥34🤯8👍7🤔1🕊1🤨1
This media is not supported in your browser
VIEW IN TELEGRAM
Просто выпуск Друзей от ноября 1999 года
Они что-то знали💡
К 2030 году появятся компьютеры, которые смогут выполнять столько же функций, сколько и настоящий человеческий мозг
Они что-то знали
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁158
GoogLeNet выиграл награду test-of-time на конференции CVPR
Каждый год на CVPR награждают одну статью, которая вышла ровно 10 лет назад и оказала наибольшее влияние на область компьютерного зрения. Это называется Longuet‑Higgins Prize.
В этом году премию выиграла легендарная статья Going Deeper with Convolutions, в которой впервые показали архитектуру GoogLeNet.
В 2014 году модель выиграла соревнование ImageNet. Это была одна из первых глубоких нейросетей: именно она показала, как можно добавлять больше слоев без взрыва параметров и с сохранением эффективности.
Поздравляем!🎉
Каждый год на CVPR награждают одну статью, которая вышла ровно 10 лет назад и оказала наибольшее влияние на область компьютерного зрения. Это называется Longuet‑Higgins Prize.
В этом году премию выиграла легендарная статья Going Deeper with Convolutions, в которой впервые показали архитектуру GoogLeNet.
В 2014 году модель выиграла соревнование ImageNet. Это была одна из первых глубоких нейросетей: именно она показала, как можно добавлять больше слоев без взрыва параметров и с сохранением эффективности.
Поздравляем!
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤123
В ChatGPT тихо обновился поиск
Самое значимое: теперь в нем есть возможность искать по картинке + добавили автоматическое переключение на множественный пошаговый поиск для сложных запросов.
Кроме того, улучшили следование инструкциям, полноту ответов и их актуальность.
Еще пишут, что «некоторые юзеры могут замечать цепочки рассуждений» – даже при поиске с не-ризонинг моделями и для простых вопросов. Говорят, что скоро исправят, а пока пользуемся😉
Самое значимое: теперь в нем есть возможность искать по картинке + добавили автоматическое переключение на множественный пошаговый поиск для сложных запросов.
Кроме того, улучшили следование инструкциям, полноту ответов и их актуальность.
Еще пишут, что «некоторые юзеры могут замечать цепочки рассуждений» – даже при поиске с не-ризонинг моделями и для простых вопросов. Говорят, что скоро исправят, а пока пользуемся
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁82👍45❤19🔥10
Сегодня, кстати, празднуется Международный День Отца
Поздравляем, получается🤓
P.S. Сможете назвать всех?
Поздравляем, получается
P.S. Сможете назвать всех?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤112👍34
Там вышел новый бенчмарк по программированию – модели выбивают на нем 0% 😐
LiveCodeBench Pro состоит из самых свежих и самых сложных задач по программированию с Codeforces, ICPC, and IOI (International Olympiad in Informatics). Размечали их сами победители и призеры олимпиад.
Итог: даже лучшая модель o4-mini-high достигает рейтинга около 2100. Это очень далеко от гроссмейстеров-людей (~2700).
При этом модели способны решать только простые и некоторые средние задачи. На по-настоящему сложных абсолютно все LM – чистый ноль.
У них неплохо получается решать задачи на комбинаторику и динамическое программирование. Но в теории игр и работе с угловыми случаями они на уровне среднего эксперта или даже ученика.
И вот что еще интересно: у людей ошибки обычно в реализации, а не в алгоритме. То есть бытовая невнимательность или синтаксис. У моделей же провалы чаще на уровне самой идеи.
Олимпиадников пока не заменяем, получается
arxiv.org/pdf/2506.11928
LiveCodeBench Pro состоит из самых свежих и самых сложных задач по программированию с Codeforces, ICPC, and IOI (International Olympiad in Informatics). Размечали их сами победители и призеры олимпиад.
Итог: даже лучшая модель o4-mini-high достигает рейтинга около 2100. Это очень далеко от гроссмейстеров-людей (~2700).
При этом модели способны решать только простые и некоторые средние задачи. На по-настоящему сложных абсолютно все LM – чистый ноль.
У них неплохо получается решать задачи на комбинаторику и динамическое программирование. Но в теории игр и работе с угловыми случаями они на уровне среднего эксперта или даже ученика.
И вот что еще интересно: у людей ошибки обычно в реализации, а не в алгоритме. То есть бытовая невнимательность или синтаксис. У моделей же провалы чаще на уровне самой идеи.
Олимпиадников пока не заменяем, получается
arxiv.org/pdf/2506.11928
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍196
В Технохабе Сбера прошла форсайт-сессия AI Horizons — одно из ключевых событий в преддверии ПМЭФ-2025.
Эксперты из 17 стран собрались, чтобы обсудить не только перспективы развития ИИ, но и конкретные шаги: как улучшить архитектуру моделей, какие данные необходимы для обучения и что делать, чтобы ИИ оставался безопасным. В рабочих группах участвовали представители Сбера, AIRI, МГУ, ВШЭ и десятков других научных и технологических центров.
Мероприятие позволило определить перспективы глобального развития искусственного интеллекта на ближайшие годы и стало площадкой для формирования сообщества экспертов стран БРИКС+.
«Это мероприятие по праву можно назвать одним из самых авторитетных. Столь высокий совокупный индекс Хирша участников раньше встречался разве что на крупнейших мировых научных форумах», — отметил старший вице-президент, руководителя блока «Технологическое развитие» Сбера Андрей Белевцев.
Эксперты из 17 стран собрались, чтобы обсудить не только перспективы развития ИИ, но и конкретные шаги: как улучшить архитектуру моделей, какие данные необходимы для обучения и что делать, чтобы ИИ оставался безопасным. В рабочих группах участвовали представители Сбера, AIRI, МГУ, ВШЭ и десятков других научных и технологических центров.
Мероприятие позволило определить перспективы глобального развития искусственного интеллекта на ближайшие годы и стало площадкой для формирования сообщества экспертов стран БРИКС+.
«Это мероприятие по праву можно назвать одним из самых авторитетных. Столь высокий совокупный индекс Хирша участников раньше встречался разве что на крупнейших мировых научных форумах», — отметил старший вице-президент, руководителя блока «Технологическое развитие» Сбера Андрей Белевцев.
🗿48🔥15❤8☃7👍3🤯3🕊3😁2
Data Secrets
А пока Cursor празднует новый раунд инвестиций, у других провайдеров вайб-кодинга Windsurf что-то пошло не так Anthropic почти полностью отрубили им доступ к своим моделям, включая так любимые разработчиками Sonnet 3.7 и 3.5. Все из-за того, что стартап…
Тем временем трещин в отношениях OpenAI и Microsoft становится все больше
Новой точкой преткновения стало приобретение Альтманом стартапа Windsurf. Напоминаем, что слухи об этой покупке ходят уже месяцами, но сделка до сих пор не подписана.
Оказывается, дело в том, что по текущему договору компаний Microsoft тоже получит доступ к интеллектуальной собственности Windsurf. OpenAI против, потому что за счет этого Microsoft могут улучшить своего GitHub Copilot.
Сейчас OpenAI всеми способами пытаются добиться пересмотрения деталей договора. Некоторые источники даже сообщают, что ради этого руководство стартапа рассматривает возможность публично обвинить Microsoft в антиконкурентном поведении. Тогда дело могут передать на уровень штата и пересмотреть договор можно будет на федеральном уровне.
Новой точкой преткновения стало приобретение Альтманом стартапа Windsurf. Напоминаем, что слухи об этой покупке ходят уже месяцами, но сделка до сих пор не подписана.
Оказывается, дело в том, что по текущему договору компаний Microsoft тоже получит доступ к интеллектуальной собственности Windsurf. OpenAI против, потому что за счет этого Microsoft могут улучшить своего GitHub Copilot.
Сейчас OpenAI всеми способами пытаются добиться пересмотрения деталей договора. Некоторые источники даже сообщают, что ради этого руководство стартапа рассматривает возможность публично обвинить Microsoft в антиконкурентном поведении. Тогда дело могут передать на уровень штата и пересмотреть договор можно будет на федеральном уровне.
1😁119🤯37
GPT-4.5 – все 😩
14 июля к модели будет прекращен доступ через API. OpenAI объясняют это тем, что им надо обучать следующие модели, а поддержка GPT-4.5, видимо, кушает очень много ресурса.
Получается, всего модель просуществует чуть больше 4 месяцев
14 июля к модели будет прекращен доступ через API. OpenAI объясняют это тем, что им надо обучать следующие модели, а поддержка GPT-4.5, видимо, кушает очень много ресурса.
Получается, всего модель просуществует чуть больше 4 месяцев
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥110😁72🫡63🕊14❤10👍4🤔4