Data Secrets
77.3K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Google дропнули Firebase Studio – IDE в браузере для вайб-кодинга 🎹

Это облачная среда агентской разработки приложений. Есть инструменты для прототипирования (включая дизайн), написания кода, тестирования, деплоя и мониторинга.

Получается end-to-end штука для реализации любого проекта в режиме zero code. Ну или, если хотите, авторский гугловский Cursor на максималках.

Пока что Firebase доступен в превью. Попробовать можно бесплатно здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯77🔥27👍141👻1
И еще один релиз от Google: новый чип TPUv7s

Его разрабатывали под кодовым названием Ironwood. В нем 192 гигабайта видеопамяти, и по сравнению с текущим TPUv5 пиковая производительность примерно в 10 раз выше, а энергоэффективность в 2 раз лучше.

При этом пропускную способность HBM заявляют 7.2 TBps на чип. Это в 4.5 раза больше, чем у Trillium.

В целом вполне себе уровень Nvidia

blog.google/products/google-cloud/ironwood-tpu-age-of-inference/
🤯55👍29❤‍🔥184🔥4
Админы читают список релизов Google
😁182🔥26🤯14👍5
Anthropic 🤝 OpenAI
подписка за 200 долларов


Anthropic последовали примеру конкурента и тоже сделали для Claude подписки за кучу денег. Новый план Max включает две опции:

За 100 долларов: лимиты в 5 раз больше, чем в Pro
За 200 долларов: лимиты в 20 раз больше, чем в Pro

При этом никаких эксклюзивных моделей в Max нет: в добавок к лимитам обещают просто приоритетную обработку запросов в периоды повышенного трафика и гипотетический ранний доступ к будущим новым фичам.

Желающие есть?
Please open Telegram to view this post
VIEW IN TELEGRAM
😁119🤯25🗿14🔥10🤔6🤨3👻3😎3👾21👍1
Новый твит Альтмана ⬆️

Кажется, сегодня что-то будет
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥116👍3011👾8🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ У ChatGPT появилась глобальная память

Раньше система запоминала только избранную информацию из прошлых чатов. Теперь же она помнит все ваши переписки полностью и может на них ссылаться, а также учитывает любые когда-либо высказанные вами предпочтения и интересы. Такой вот RAG на стероидах.

Доступно в Pro и Plus

* Обратите внимание, что если в прошлом вы отказались от Memory, то сейчас функция вам недоступна. Надо перейти в настройки и разрешить референсинг и память.
Please open Telegram to view this post
VIEW IN TELEGRAM
124👍5618🔥18👾5🤯2
OpenAI готовится выпускать GPT-4.1

(Да, вы все прочитали правильно, 4.1)

Об этом сообщает The Verge. Инсайдеры говорят, что грядет выпуск большой линейки моделей, среди которых будет GPT-4.1 – обновленная GPT-4o. Релиз ожидается уже на следующей неделе.

Нумерация – RIP. Но зато не будет путаницы с 4o и o4
😁144👍27🤨21🔥102🗿1
Мира Мурати собирается привлечь в свой стартап 2 миллиарда долларов при оценке в $10 миллиардов

Это в два раза больше чем, как сообщалось, она искала буквально два месяца назад.

Если все получится, то это будет крупнейший seed round в истории. Даже Safe Superintelligence Суцкевера привлекли на стадии идеи в два раза меньше.

Пятьсот на дым, пятьсот на трэп, ещё пятьсот на флекс (остальное на GPU) 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥118👍2220😎11🦄2
This media is not supported in your browser
VIEW IN TELEGRAM
Ого: OpenAI выпустили подкаст про то, как они обучали GPT-4.5

Присутствовали 3 инженера из команды разработки: Амин Тутунчян, Алекс Пейно и Дэниел Селсам. Что интересного рассказали:

Планирование выпуска GPT-4.5 началось еще год назад. Целью было создать модель в 10 раз умнее GPT-4. Сначала была куча тестов, а затем под GPT-4.5 пришлось почти полностью переписывать формы матриц, структуры слоёв и др (чтобы подстроиться под инфру).

Основным вызовом оказалось масштабирование GPU-кластера. С увеличением количества карт (например, с 10k до 100k), начинает возникать все больше отказов и ошибок. Так что в начале обучение не задалось, но потом основные проблемы постепенно разрешились.

Из забавного: прямо во время обучения была найдена критичная ошибка в реализации функции torch.sum в PyTorch. Она приводила к систематическим сбоям с доступом к памяти.

Оказывается, основная метрика стартапа – это лосс на их же внутреннем коде. Работает хорошо, потому что таких данных гарантировано никогда не было в паблике, а значит и в трейне.

Раньше модели были compute-bound, то есть ограниченные мощностями. 4.5 впервые стала моделью, ограниченной данными (data-bound). Сейчас это основная пробелма, потому что рост данных намного медленнее роста доступных вычислений.

В целом скейлинг, конечно, замедляется, но все еще работает за счет того, что в дате всегда присутствуют длинные хвосты редких, но важных концепций. Их можно "латать" новыми данными почти бесконечно.

Сейчас по эффективности обучения на тексте нейросети отстают от человека примерно в 100,000 раз. Так что, чтобы масштабироваться дальше, нам понадобятся новые алгоритмы, которые смогут извлекать больше знаний из меньшего объема даты. Да и методы обучения на масштабах миллионов видеокарт должны быть совсем другими.

Выпуск полностью – здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥3123👌1👨‍💻1
Data Secrets
OpenAI релизнули агентский бенчмарк PaperBench Он оценивает способности агентов искать и безошибочно воспроизводить содержание свежих статей (важный навык для таких популярных штук, как Deep Researcher, например). Для оценки взяли 20 докладов ICML 2024…
OpenAI опенсорснули еще один бенчмарк для агентов

BrowseComp проверяет, насколько модели способны находить в интернете труднодоступную или плохо-гуглящуюся информацию.

Подобных тестов есть уже несколько, но тут фишка именно в сложности вопросов. Ну, например:

Найди мне название научной работы, опубликованной на конференции EMNLP в период с 2018 по 2023 год, где первый автор получил степень бакалавра в Дартмутском колледже, а четвертый автор получил степень бакалавра в Пенсильванском университете.


Для понимания: люди решили только 29.2% задач, остальные пометили как «нерешаемые» (то есть сдались и не доделали). При этом из решенных задач правильно были решены только 86.4%.

По моделям: 4.5 решает 0.9%, o1 9.9%, а Deep Research 51.5% (правда он обучался на тех же данных, авторы это говорят открыто).

openai.com/index/browsecomp/
👍48😁167🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Google раскатили в своем сервисе NotebookLM бесплатный Deep Research для поиска источников

1. Заходим на notebooklm.google
2. Задаем любую тему
3. Модель бодро найдет вам 10 и больше самых релевантных веб-источников и аннотирует каждый в соответствии с запросом
4. Дальше бота можно попросить построить по ним майндмэп, написать конспект, сделать подкаст, ну или просто задать доп.вопросы

Умный гугл от гугл 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
👍85🔥369
CEO Perplexity объявил, что моделью теперь можно пользоваться в Telegram через официального бота @askplexbot

Это бесплатно. Также бота можно добавить в любые чаты, тегать и спрашивать о чем угодно (как Grok в X).

В наш чат канала мы модельку уже добавили, так что можете играться
66👍23🔥19❤‍🔥2
В Cloud.ru Evolution появится ИИ-помощник

Об этом рассказали на конференции GoCloud. Ассистент будет работать бесплатно и сможет помочь с автоматизацией рутинных задач, настройкой облака и даже разработкой AI-агентов.

Релиз обещают уже в этом году. В начале завезут базу, а потом постепенно будут добавлять новые фичи, вплоть до автоматизации мониторинга и масштабирования инфраструктуры.

«Мы планируем, что к 2026 году AI-помощники будут выполнять большинство задач в частотных сценариях работы в облаке. Это кардинально изменит опыт пользователей при работе с облачными продуктами. С момента запуска AI-помощники будут доступны в публичных, гибридных и частных облаках Cloud.ru», — добавил Евгений Колбин.
🔥25👍169🗿4🐳2🤔1🤓1👾1
Стали известны победители AIME 2025 на Kaggle. Это крупнейшая "олимпиада" по математике для ИИ. Собрали саммари по опубликованным решениям:

Все победители, которые поделились своими решениями, использовали модель DeepSeek-R1-Distill-Qwen-14B, просто с разной степенью дообучения, квантования и использования inference-движков. Особенно никто с экспериментами для обучения не запаривался, потому что задачка была больше на инженерную оптимизацию.

Почему? Потому что основным вызовом было ограничение на время и железо. Все 50 задач надо было решить за 5 часов, используя 4 GPU L4 (у них не очень большая пропускная способность, так что 5 часов – это реально мало).

То есть участник сдает ноутбук, который запускается на стороне организаторов и решает задачки. В ноутбуке можно контролировать, как модель распределяет задачи: в каком порядке решает, сколько токенов и времени тратит на каждую, как все параллелится между GPU.

И тут практически все как-то играли с перераспределением времени и токенов. Одни пытались предсказывать сложности задач перед решением и распределять относительно этого. Другие начинали с равных "долей" и динамически перераспределяли сэкономленные ресурсы. А кто-то даже пытался кластеризовать задачи по похожести и решать несколько за раз.

Интересно, что единственными, кто реально попотел над обучением стали ребята из японской лаборатории Sakana (9 место). Те самые, кто разработал агента-рисерчера, статью которого приняли на ICLR (пост). Вот у них полный набор: и файн-тюнинг SFT, и RL-дообучение с GRPO. Они как раз и использовали ModernBERT для оценки сложности.

В общем, вот лидерборд и некоторые описания решений, можете взглянуть
65👍38🔥18