This media is not supported in your browser
VIEW IN TELEGRAM
Не могли не запостить сюда этот отрывок из нового интервью Альтмана
Назовите противостояние прекраснее, чем у Альтмана с Маском. Мы подождем.
– Приведи пример случая, когда тебе пришлось сделать выбор в пользу того, что будет лучше для мира, а не для лидерства компании
– Ну, мы еще не добавили секс-аватара в ChatGPT
Назовите противостояние прекраснее, чем у Альтмана с Маском. Мы подождем.
😁353 41🔥35❤11🗿11❤🔥7👍2😎1 1
OpenAI купила стартап Statsig
Сделка обошлась в 1.1 миллиард долларов (сущие копейки для OpenAI✨ ).
Statsig – это платформа для продуктовой аналитики и экспериментов, её технологии нужны OpenAI для ускорения разработки и тестирования новых продуктов. Но они купили не только технологию.
Сделка значится как «all-stock deal», то есть все сотрудники стартапа также перейдут в OpenAI. А CEO – Виджай Раджи – станет новым CTO of Applications в OpenAI. В этой роли он будет отвечать за инфраструктуру и надежность всех пользовательских продуктов, включая ChatGPT и Codex.
Сделка обошлась в 1.1 миллиард долларов (сущие копейки для OpenAI
Statsig – это платформа для продуктовой аналитики и экспериментов, её технологии нужны OpenAI для ускорения разработки и тестирования новых продуктов. Но они купили не только технологию.
Сделка значится как «all-stock deal», то есть все сотрудники стартапа также перейдут в OpenAI. А CEO – Виджай Раджи – станет новым CTO of Applications в OpenAI. В этой роли он будет отвечать за инфраструктуру и надежность всех пользовательских продуктов, включая ChatGPT и Codex.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍98 48❤15🔥7😁6
В CERN ИИ помогает найти крайне редкие виды распада бозона Хиггса
В эфире наша любимая рубрика: ускорение прогресса с помощью Deep Learning. На очереди снова физика.
Контекст. В науке существует так называемая Стандартная модель – это теория, объясняющая, из каких элементарных частиц состоит вся материя и какие силы между ними действуют. По этой модели, частицы получают массу благодаря бозону Хиггса. Но чтобы подтвердить это, нужны распады Хиггса на лёгкие кварки: если Хиггс на самом деле отвечает за массы всей обычной материи, такие распады должны происходить (пусть и очень редко), так что это что-то типа лакмусовой бумажки.
Сложность в том, что эти распады утопают в шумах. Раньше физики считали, что поймать их – почти фантастика: технически всё слишком тонко.
И вот сегодня стало известно, что исследователи детектора CMS на Большом адронном коллайдере впервые представили результаты поиска распада бозона на пару очарованных кварков. И сделали это с помощью ИИ.
Сразу скажем: сам распад пока не обнаружен. Но прорыв все равно колоссальный: точность анализа удалось улучшить на 35%.
Под капотом графовая нейронная сеть и трансформер. GNN позволяет анализировать взаимосвязи между наблюдаемыми частицами в каждом событии ускорителя, а трансформер выделяет те самые едва уловимые паттерны, отличающие истинный сигнал от шума. Сетки обучали на сотнях миллионов смоделированных столкновений (они называются джеты).
Ну и да, 35% – действительно гигантский шаг. На практике это означает, что доказательство распада Хиггса на лёгкие кварки может быть обнаружено уже в ближайщие годы, когда еще пару лет назад это считалось почти невыполнимой задачей.
В эфире наша любимая рубрика: ускорение прогресса с помощью Deep Learning. На очереди снова физика.
Контекст. В науке существует так называемая Стандартная модель – это теория, объясняющая, из каких элементарных частиц состоит вся материя и какие силы между ними действуют. По этой модели, частицы получают массу благодаря бозону Хиггса. Но чтобы подтвердить это, нужны распады Хиггса на лёгкие кварки: если Хиггс на самом деле отвечает за массы всей обычной материи, такие распады должны происходить (пусть и очень редко), так что это что-то типа лакмусовой бумажки.
Сложность в том, что эти распады утопают в шумах. Раньше физики считали, что поймать их – почти фантастика: технически всё слишком тонко.
И вот сегодня стало известно, что исследователи детектора CMS на Большом адронном коллайдере впервые представили результаты поиска распада бозона на пару очарованных кварков. И сделали это с помощью ИИ.
Сразу скажем: сам распад пока не обнаружен. Но прорыв все равно колоссальный: точность анализа удалось улучшить на 35%.
Под капотом графовая нейронная сеть и трансформер. GNN позволяет анализировать взаимосвязи между наблюдаемыми частицами в каждом событии ускорителя, а трансформер выделяет те самые едва уловимые паттерны, отличающие истинный сигнал от шума. Сетки обучали на сотнях миллионов смоделированных столкновений (они называются джеты).
Ну и да, 35% – действительно гигантский шаг. На практике это означает, что доказательство распада Хиггса на лёгкие кварки может быть обнаружено уже в ближайщие годы, когда еще пару лет назад это считалось почти невыполнимой задачей.
1🤯82 40👍33❤🔥15❤14 13🔥10😁5😎2👌1
Data Secrets
OpenAI купила стартап Statsig Сделка обошлась в 1.1 миллиард долларов (сущие копейки для OpenAI ✨ ). Statsig – это платформа для продуктовой аналитики и экспериментов, её технологии нужны OpenAI для ускорения разработки и тестирования новых продуктов. Но…
Хах, оказывается услугами стартапа Statsig, который только что купили OpenAI, активно пользовались еще и Anthropic
Причем сообщили они об этом буквально за пару дней до сделки
Совпадение?🤔
Причем сообщили они об этом буквально за пару дней до сделки
Совпадение?
Please open Telegram to view this post
VIEW IN TELEGRAM
😁96 21 16🤔5🫡3❤2✍1👍1
🔥 Вчера организаторы «Лето с AIRI 2025» выложили плейлист со всеми выступлениями спикеров.
Напомним: AIRI провёл летнюю школу для студентов и молодых исследователей в области ИИ в Томске. Вчера организаторы выложили плейлист со всеми лекциями. Темы охватывают всё, что сегодня волнует сообщество:
– LLM-агенты и мультиагентные системы
– Обучение с подкреплением
– Мультимодальные модели и VLM
– Интерпретируемость и безопасность
– Химия и биология с ИИ
– Генеративный дизайн и проектирование
и многое другое.
Это десятки часов контента от исследователей AIRI, МФТИ, МГУ, Сбера, Авито и других компаний 🔍
👉 Смотреть можно здесь: VK, YouTube
Напомним: AIRI провёл летнюю школу для студентов и молодых исследователей в области ИИ в Томске. Вчера организаторы выложили плейлист со всеми лекциями. Темы охватывают всё, что сегодня волнует сообщество:
– LLM-агенты и мультиагентные системы
– Обучение с подкреплением
– Мультимодальные модели и VLM
– Интерпретируемость и безопасность
– Химия и биология с ИИ
– Генеративный дизайн и проектирование
и многое другое.
Это десятки часов контента от исследователей AIRI, МФТИ, МГУ, Сбера, Авито и других компаний 🔍
👉 Смотреть можно здесь: VK, YouTube
❤54🔥35👍17🗿8 3 3😁2🤔2🤯2👏1
Очень понравилась свежая статья "Be like a Goldfish, Don't Memorize!": исследователи из университета Мэриленда предлагают аналог дропаута для токенов
Проблема рассматривается следующая. LLM часто запоминают части тренировочного датасета и могут воспроизводить их дословно. И это приводит к ряду очень неприятных последствий: сюда все иски за авторские права, утечки конфиденциальных данных и лицензированного кода и прочее.
В общем, загвоздка достаточно значимая, и решать ее пытаются в основном через unlearning после обучения или Differential Privacy. И то и другое приводит к понижению точности и в целом не очень надежно работает.
Здесь авторы предлагают более фундаментальный подход. Интуиция: модель не сможет воспроизвести дословно последовательность, если часть токенов никогда не участвовала в вычислении ошибки.
А значит, мы можем случайным образом исключать часть токенов из лосс-функции на обратном проходе. Это и не очень сильно портит метрики, потому что общие закономерности языка модель все-равно выучивает, и на 100% исключает возможность дословного повторения текстов.
Формально процесс обучения остается ровно таким же, меняется только лосс. В него добавляется коэффициент G_i, который равен единице, если токен учитывается в бэкпропе, и нулю – если нет. Формулу шутливо назвали Goldfish Loss: по аналогии с рыбкой, которая тут же забывает то, что увидела секунду назад.
В итоге если при стандартном лоссе процент точных повторений выученных текстов – примерно 85%, то на Goldfish Loss – 0. И по качеству просаживается не сильно, нужно просто либо чуть больше данных, либо чуть больше шагов. Плюс, применять на всем датасете не обязательно, можно использовать только для чувствительных данных.
Изящно, скажите?
arxiv.org/pdf/2406.10209
Проблема рассматривается следующая. LLM часто запоминают части тренировочного датасета и могут воспроизводить их дословно. И это приводит к ряду очень неприятных последствий: сюда все иски за авторские права, утечки конфиденциальных данных и лицензированного кода и прочее.
В общем, загвоздка достаточно значимая, и решать ее пытаются в основном через unlearning после обучения или Differential Privacy. И то и другое приводит к понижению точности и в целом не очень надежно работает.
Здесь авторы предлагают более фундаментальный подход. Интуиция: модель не сможет воспроизвести дословно последовательность, если часть токенов никогда не участвовала в вычислении ошибки.
А значит, мы можем случайным образом исключать часть токенов из лосс-функции на обратном проходе. Это и не очень сильно портит метрики, потому что общие закономерности языка модель все-равно выучивает, и на 100% исключает возможность дословного повторения текстов.
Формально процесс обучения остается ровно таким же, меняется только лосс. В него добавляется коэффициент G_i, который равен единице, если токен учитывается в бэкпропе, и нулю – если нет. Формулу шутливо назвали Goldfish Loss: по аналогии с рыбкой, которая тут же забывает то, что увидела секунду назад.
В итоге если при стандартном лоссе процент точных повторений выученных текстов – примерно 85%, то на Goldfish Loss – 0. И по качеству просаживается не сильно, нужно просто либо чуть больше данных, либо чуть больше шагов. Плюс, применять на всем датасете не обязательно, можно использовать только для чувствительных данных.
Изящно, скажите?
arxiv.org/pdf/2406.10209
🤗106🔥58❤38👍23🤨7😁3👏2💘2🍓1
Начинаем утро с хороших новостей: Google Colab снизили цены на GPU и TPU
– GPU подешевели на 13% (A100, L4, T4)
– TPU на 10% (V28, V5E1, V6E1)
A100 теперь будет стоить около $1.03 за час вместо $1.18. T4 – примерно $0.16 вместо $0.18. Напоминаем, что ценообразование у Colab динамическое, так что числа примерные.
А, и маленький нюанс: цены на CPU подняли😄 . Говорят, чтобы «компенсировать снижение стоимости ускорителей» (но по идее в целом все равно должно быть чуть дешевле).
– GPU подешевели на 13% (A100, L4, T4)
– TPU на 10% (V28, V5E1, V6E1)
A100 теперь будет стоить около $1.03 за час вместо $1.18. T4 – примерно $0.16 вместо $0.18. Напоминаем, что ценообразование у Colab динамическое, так что числа примерные.
А, и маленький нюанс: цены на CPU подняли
Please open Telegram to view this post
VIEW IN TELEGRAM
На ARC-AGI-2 новый лидер: это модель всего на 200M параметров от стартапа giotto_ai
Малышка выбила аж 24,58%. Для сравнения:
– Скор предыдущего лидера – 16.94%
– Скор o3 – около 3%
– Скор o4-mini – 2–2.4%
– Скор Gemini 2.5 Pro – примерно 1%
Соревнование на kaggle пока не закончилось, так что архитектуру и детали обучения, естественно, не раскрывают. Но результат потрясающий.
Малышка выбила аж 24,58%. Для сравнения:
– Скор предыдущего лидера – 16.94%
– Скор o3 – около 3%
– Скор o4-mini – 2–2.4%
– Скор Gemini 2.5 Pro – примерно 1%
Соревнование на kaggle пока не закончилось, так что архитектуру и детали обучения, естественно, не раскрывают. Но результат потрясающий.
❤107👍41🤯35😁13🤔10🍓3 3
OpenAI открывают направление OpenAI for Science
Об этом сообщил CTO стартапа Кевин Вейл. Цель: создать научный инструмент, который сможет ускорять научные открытия. Специально под направление OpenAI нанимает небольшую группу ученых мирового уровня из разных областей (имена пока не раскрывают).
Альтман и остальные руководители стартапа уже кучу раз говорили о том, что их ИИ будет катализировать прогресс, и вот, видимо, момент заняться этим всерьез настал. Какие-то предпосылки уже есть – вспоминаем недавние новости:
– Буквально пару недель назад OpenAI объявили, что совместно с биотехнологическим стартапом Retro Biosciences разработали модель, которая смогла в 50 раз ускорить генерацию стволовых клеток (подробности)
– В другой раз GPT-5 решила открытую математическую задачу (подробности)
– Сам Кевин в своем анонсе еще приводит в пример случай, когда ученые использовали GPT-5 для доказательства некоторых теорем по квантовой теории поля (статья)
В общем, подразделение появляется вполне своевременно. На доказательство Теории струн не надеемся, но к чему-то полезному прийти, вполне вероятно, можно. К тому же, они в своей инициативе не первые: Google вон уже 10+ лет занимаются моделями Alpha серии, и идея там вполне близкая к тому, что будет происходить в OpenAI for Science.
Об этом сообщил CTO стартапа Кевин Вейл. Цель: создать научный инструмент, который сможет ускорять научные открытия. Специально под направление OpenAI нанимает небольшую группу ученых мирового уровня из разных областей (имена пока не раскрывают).
Альтман и остальные руководители стартапа уже кучу раз говорили о том, что их ИИ будет катализировать прогресс, и вот, видимо, момент заняться этим всерьез настал. Какие-то предпосылки уже есть – вспоминаем недавние новости:
– Буквально пару недель назад OpenAI объявили, что совместно с биотехнологическим стартапом Retro Biosciences разработали модель, которая смогла в 50 раз ускорить генерацию стволовых клеток (подробности)
– В другой раз GPT-5 решила открытую математическую задачу (подробности)
– Сам Кевин в своем анонсе еще приводит в пример случай, когда ученые использовали GPT-5 для доказательства некоторых теорем по квантовой теории поля (статья)
В общем, подразделение появляется вполне своевременно. На доказательство Теории струн не надеемся, но к чему-то полезному прийти, вполне вероятно, можно. К тому же, они в своей инициативе не первые: Google вон уже 10+ лет занимаются моделями Alpha серии, и идея там вполне близкая к тому, что будет происходить в OpenAI for Science.
🔥87👍33❤18 9 7🤨4🦄2😎2😁1
Облачный и AI-провайдер Cloud.ru на конференции GoCloud Tech удивил всех сразу несколькими крутыми обновлениями. Делимся:
Первое и самое важное: объявление цен на открытые LLM! С 1 ноября на платформе Evolution AI Factory языковые модели будут стоить в среднем 35 рублей за миллион входных токенов и 70 рублей за выходной. Это почти мировая планка, так что теперь пробовать и внедрять AI смогут не только корпорации, но и компании поменьше. Например, цена на Qwen3-235B – 17 и 50 рублей соответственно.
Второе: появились первые результаты работы AI-помощника Клаудии на платформе Cloud.ru Evolution, которого представили в конце июня. Два месяца работы, и статистика говорит, что в среднем агент ускоряет рутинные операции DevOps-инженеров в 15 раз. Например, если раньше создание виртуалки занимало у пользователей от пяти до тридцати минут, то с Клаудией время сократилось до одной-двух. Агентом активно пользуется каждый четвертый юзер сервиса.
И видимо, классные метрики вдохновили компанию на обновления, потому что теперь помощник будет работать еще в двух новых сценариях:
– Как SRE-агент для мониторинга и алертов.
– Как FinOps-помощник, который автоматически выявляет лишние траты и подсказывает оптимизацию. Приятно.
Ну и еще несколько инженерных обновлений, которые стоит оценить:
1. Ребята расширили возможности сервиса для создания и управления сетевыми связями Magic Router. Теперь в нем появился Magic Link, которая организует сетевую связность между облачными ресурсами под использования интернета.
2. Релизнули Evolution VPN – облачный сервис, который даёт защищённый доступ к корпоративным и облачным ресурсам.
3. Evolution Data Platform наконец-то вышла из превью и теперь в коммерции. Система поддерживает полный цикл работы с данными и может срезать до 40% затрат на инфраструктуру.
Все новинки тестируем тут
Первое и самое важное: объявление цен на открытые LLM! С 1 ноября на платформе Evolution AI Factory языковые модели будут стоить в среднем 35 рублей за миллион входных токенов и 70 рублей за выходной. Это почти мировая планка, так что теперь пробовать и внедрять AI смогут не только корпорации, но и компании поменьше. Например, цена на Qwen3-235B – 17 и 50 рублей соответственно.
Второе: появились первые результаты работы AI-помощника Клаудии на платформе Cloud.ru Evolution, которого представили в конце июня. Два месяца работы, и статистика говорит, что в среднем агент ускоряет рутинные операции DevOps-инженеров в 15 раз. Например, если раньше создание виртуалки занимало у пользователей от пяти до тридцати минут, то с Клаудией время сократилось до одной-двух. Агентом активно пользуется каждый четвертый юзер сервиса.
И видимо, классные метрики вдохновили компанию на обновления, потому что теперь помощник будет работать еще в двух новых сценариях:
– Как SRE-агент для мониторинга и алертов.
– Как FinOps-помощник, который автоматически выявляет лишние траты и подсказывает оптимизацию. Приятно.
Ну и еще несколько инженерных обновлений, которые стоит оценить:
1. Ребята расширили возможности сервиса для создания и управления сетевыми связями Magic Router. Теперь в нем появился Magic Link, которая организует сетевую связность между облачными ресурсами под использования интернета.
2. Релизнули Evolution VPN – облачный сервис, который даёт защищённый доступ к корпоративным и облачным ресурсам.
3. Evolution Data Platform наконец-то вышла из превью и теперь в коммерции. Система поддерживает полный цикл работы с данными и может срезать до 40% затрат на инфраструктуру.
Все новинки тестируем тут
🤨46🔥23🗿15👍7❤6😁5 2🤯1 1
Nvidia выложили в опенсорс универсальный Deep Research, который можно обернуть вокруг любой LLM
Он так и называется: Universal Deep Research (UDR). Фактически, это готовый конструктор для построения системы поиска или анализа.
Пользователь просто задает стратегию работы на уровне сценариев: правила сбора и анализа данных, последовательность действий, критерии отбора источников и формат результата. А дальше агент все делает сам: ищет источники, обрабатывает их, верифицирует и синтезирует. Движок под капотом может быть абсолютно любой, то есть модель можно взять какую угодно.
Почему это круто? Тут все просто: демократизация. Нет привязки к конкретной платформе, и обертку можно делать даже над чайником.
Почему это не панацея? Тут не предполагается никакого рода файнтюнинга. А значит, итоговые метрики могут страдать, даже если в основе у вас отличная базовая модель. Поэтому – доверяем, но всегда проверяем.
Статья | Страница проекта | Гитхаб | Лаб
Он так и называется: Universal Deep Research (UDR). Фактически, это готовый конструктор для построения системы поиска или анализа.
Пользователь просто задает стратегию работы на уровне сценариев: правила сбора и анализа данных, последовательность действий, критерии отбора источников и формат результата. А дальше агент все делает сам: ищет источники, обрабатывает их, верифицирует и синтезирует. Движок под капотом может быть абсолютно любой, то есть модель можно взять какую угодно.
Почему это круто? Тут все просто: демократизация. Нет привязки к конкретной платформе, и обертку можно делать даже над чайником.
Почему это не панацея? Тут не предполагается никакого рода файнтюнинга. А значит, итоговые метрики могут страдать, даже если в основе у вас отличная базовая модель. Поэтому – доверяем, но всегда проверяем.
Статья | Страница проекта | Гитхаб | Лаб
❤🔥93❤32🎉30👍21🔥5🤔2⚡1😁1
У OpenAI появятся собственные чипы. Первые поставки ожидаются уже в 2026.
Чипы под названием XPU разрабатываются совместно с Broadcom (они же помогали Google с TPU). Железо будет предназначено только для внутреннего использования и только для инференса. Цель – снизить зависимость от Хуанга.
Сумма договора официально не сообщается, НО буквально пару дней назад директор Broadcom Хок Тан сообщил о сделке с загадочным новым крупным клиентом на сумму около $10 млрд😏
Кстати, после новостей акции Broadcom подскочили уже на 4,5%. А аналитики говорят, что к 2026 году бизнес Broadcom по разработке кастомных чипов и вовсе будет расти быстрее, чем производство GPU у Nvidia.
Новость на FT без пэйвола
UPD: еще выяснилось, что команду XPU в OpenAI возглавляет сам Ричард Хо – бывший главный инженер TPU в Google
Чипы под названием XPU разрабатываются совместно с Broadcom (они же помогали Google с TPU). Железо будет предназначено только для внутреннего использования и только для инференса. Цель – снизить зависимость от Хуанга.
Сумма договора официально не сообщается, НО буквально пару дней назад директор Broadcom Хок Тан сообщил о сделке с загадочным новым крупным клиентом на сумму около $10 млрд
Кстати, после новостей акции Broadcom подскочили уже на 4,5%. А аналитики говорят, что к 2026 году бизнес Broadcom по разработке кастомных чипов и вовсе будет расти быстрее, чем производство GPU у Nvidia.
Новость на FT без пэйвола
UPD: еще выяснилось, что команду XPU в OpenAI возглавляет сам Ричард Хо – бывший главный инженер TPU в Google
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥92 23👍18 11❤7🕊2😁1
На Hugging Face вышел обзор мировых ML-датасетов, недавно выложенных в опенсорс. Среди них крупнейший рекомендательный датасет Yambda-5B от Яндекса.
Самое главное из статьи:
– Открытые датасеты двигают вперед исследования в ML-индустрии, на многие из них стоит обратить внимание
– Мировые эксперты отметили значимость датасета Яндекса для развития рекомендательных систем и науки в целом
Самое главное из статьи:
– Открытые датасеты двигают вперед исследования в ML-индустрии, на многие из них стоит обратить внимание
– Мировые эксперты отметили значимость датасета Яндекса для развития рекомендательных систем и науки в целом
Один из экспертов, Аман Чадха (AWS GenAI, ранее Stanford AI и Apple), отметил, что «такие датасеты, как Yambda-5B, сокращают разрыв между академическим сообществом и реальной индустрией»
🤯75👍71❤31🤨13😁7🗿3🔥2
Это открытая модель для эмбеддингов, основанная на Gemma 3. Ее основная фишка – размер. Крошка имеет всего 308M параметров и показывает SOTA метрики в весе до 500М. Работает более чем на 100 языках.
А еще модель специально оптимизирована для использования on-device, то есть локально без Интернета. С квантизацией требует всего 200MB оперативки.
Зачем нам эмбеддинг-модель в режиме on-device? Например, для приватного RAG или semantic search. Модель работает локально, то есть и генерация векторов для поиска, и сам поиск проходят прямо на устройстве. Это быстрее, дешевле и без риска утечки данных.
Кстати, эмббединги на выходе могут быть разных размерностей, от 768 до 128. Это прикольная особенность. Работает такое за счет Matryoshka Representation Learning, мы об этом методе вот тут и вот здесь подробно рассказывали. Если кратко, модель эластична, то есть внутри нее есть полностью самодостаточные модели поменьше. Переключение между ними и позволяет на лету менять размерности выходных векторов.
Потыкать модельку уже можно в sentence-transformers, llama.cpp, MLX, Ollama, LiteRT, transformers.js, LMStudio, Weaviate, Cloudflare, LlamaIndex и LangChain. Как видите, с интеграциями у Google все в порядке 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤72🤯66🔥39👍13 5👏2😁1