Data Secrets
77.3K subscribers
6.03K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Вышел DeepCoder-14B-Preview – окрытая модель для кодинга уровня o3-mini

Ее выпустили Together AI совместно с Agentica. На LiveCodeBench выбивает 60.6%, на AIME 24 – 73.8%, на CodeForces – 1936 (рейтинг). Это полноценный уровень o3-mini (low) и o1.

Моделька с ризонингом. В качестве базовой модели использовали R1-Distill-14B. Ей удлинили контекст, а потом дообучили на кастомном качественно размеченном и покрытом тестами датасете.

Интересно, что обучали только на кодинге и последовательностях длины до 32к токенов, но при этом на бенчах видно, что моделька хорошо обобщается на контекст аж до 64к и очень неплохо себя показывает в математике.

Блогпост | Гитхаб | Веса | Датасет
71👍35🔥21🤔4
This media is not supported in your browser
VIEW IN TELEGRAM
Google дропнули Firebase Studio – IDE в браузере для вайб-кодинга 🎹

Это облачная среда агентской разработки приложений. Есть инструменты для прототипирования (включая дизайн), написания кода, тестирования, деплоя и мониторинга.

Получается end-to-end штука для реализации любого проекта в режиме zero code. Ну или, если хотите, авторский гугловский Cursor на максималках.

Пока что Firebase доступен в превью. Попробовать можно бесплатно здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯77🔥27👍141👻1
И еще один релиз от Google: новый чип TPUv7s

Его разрабатывали под кодовым названием Ironwood. В нем 192 гигабайта видеопамяти, и по сравнению с текущим TPUv5 пиковая производительность примерно в 10 раз выше, а энергоэффективность в 2 раз лучше.

При этом пропускную способность HBM заявляют 7.2 TBps на чип. Это в 4.5 раза больше, чем у Trillium.

В целом вполне себе уровень Nvidia

blog.google/products/google-cloud/ironwood-tpu-age-of-inference/
🤯55👍29❤‍🔥184🔥4
Админы читают список релизов Google
😁182🔥26🤯14👍5
Anthropic 🤝 OpenAI
подписка за 200 долларов


Anthropic последовали примеру конкурента и тоже сделали для Claude подписки за кучу денег. Новый план Max включает две опции:

За 100 долларов: лимиты в 5 раз больше, чем в Pro
За 200 долларов: лимиты в 20 раз больше, чем в Pro

При этом никаких эксклюзивных моделей в Max нет: в добавок к лимитам обещают просто приоритетную обработку запросов в периоды повышенного трафика и гипотетический ранний доступ к будущим новым фичам.

Желающие есть?
Please open Telegram to view this post
VIEW IN TELEGRAM
😁119🤯25🗿14🔥10🤔6🤨3👻3😎3👾21👍1
Новый твит Альтмана ⬆️

Кажется, сегодня что-то будет
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥116👍3011👾8🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ У ChatGPT появилась глобальная память

Раньше система запоминала только избранную информацию из прошлых чатов. Теперь же она помнит все ваши переписки полностью и может на них ссылаться, а также учитывает любые когда-либо высказанные вами предпочтения и интересы. Такой вот RAG на стероидах.

Доступно в Pro и Plus

* Обратите внимание, что если в прошлом вы отказались от Memory, то сейчас функция вам недоступна. Надо перейти в настройки и разрешить референсинг и память.
Please open Telegram to view this post
VIEW IN TELEGRAM
124👍5618🔥18👾5🤯2
OpenAI готовится выпускать GPT-4.1

(Да, вы все прочитали правильно, 4.1)

Об этом сообщает The Verge. Инсайдеры говорят, что грядет выпуск большой линейки моделей, среди которых будет GPT-4.1 – обновленная GPT-4o. Релиз ожидается уже на следующей неделе.

Нумерация – RIP. Но зато не будет путаницы с 4o и o4
😁144👍27🤨21🔥102🗿1
Мира Мурати собирается привлечь в свой стартап 2 миллиарда долларов при оценке в $10 миллиардов

Это в два раза больше чем, как сообщалось, она искала буквально два месяца назад.

Если все получится, то это будет крупнейший seed round в истории. Даже Safe Superintelligence Суцкевера привлекли на стадии идеи в два раза меньше.

Пятьсот на дым, пятьсот на трэп, ещё пятьсот на флекс (остальное на GPU) 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥118👍2220😎11🦄2
This media is not supported in your browser
VIEW IN TELEGRAM
Ого: OpenAI выпустили подкаст про то, как они обучали GPT-4.5

Присутствовали 3 инженера из команды разработки: Амин Тутунчян, Алекс Пейно и Дэниел Селсам. Что интересного рассказали:

Планирование выпуска GPT-4.5 началось еще год назад. Целью было создать модель в 10 раз умнее GPT-4. Сначала была куча тестов, а затем под GPT-4.5 пришлось почти полностью переписывать формы матриц, структуры слоёв и др (чтобы подстроиться под инфру).

Основным вызовом оказалось масштабирование GPU-кластера. С увеличением количества карт (например, с 10k до 100k), начинает возникать все больше отказов и ошибок. Так что в начале обучение не задалось, но потом основные проблемы постепенно разрешились.

Из забавного: прямо во время обучения была найдена критичная ошибка в реализации функции torch.sum в PyTorch. Она приводила к систематическим сбоям с доступом к памяти.

Оказывается, основная метрика стартапа – это лосс на их же внутреннем коде. Работает хорошо, потому что таких данных гарантировано никогда не было в паблике, а значит и в трейне.

Раньше модели были compute-bound, то есть ограниченные мощностями. 4.5 впервые стала моделью, ограниченной данными (data-bound). Сейчас это основная пробелма, потому что рост данных намного медленнее роста доступных вычислений.

В целом скейлинг, конечно, замедляется, но все еще работает за счет того, что в дате всегда присутствуют длинные хвосты редких, но важных концепций. Их можно "латать" новыми данными почти бесконечно.

Сейчас по эффективности обучения на тексте нейросети отстают от человека примерно в 100,000 раз. Так что, чтобы масштабироваться дальше, нам понадобятся новые алгоритмы, которые смогут извлекать больше знаний из меньшего объема даты. Да и методы обучения на масштабах миллионов видеокарт должны быть совсем другими.

Выпуск полностью – здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥3123👌1👨‍💻1
Data Secrets
OpenAI релизнули агентский бенчмарк PaperBench Он оценивает способности агентов искать и безошибочно воспроизводить содержание свежих статей (важный навык для таких популярных штук, как Deep Researcher, например). Для оценки взяли 20 докладов ICML 2024…
OpenAI опенсорснули еще один бенчмарк для агентов

BrowseComp проверяет, насколько модели способны находить в интернете труднодоступную или плохо-гуглящуюся информацию.

Подобных тестов есть уже несколько, но тут фишка именно в сложности вопросов. Ну, например:

Найди мне название научной работы, опубликованной на конференции EMNLP в период с 2018 по 2023 год, где первый автор получил степень бакалавра в Дартмутском колледже, а четвертый автор получил степень бакалавра в Пенсильванском университете.


Для понимания: люди решили только 29.2% задач, остальные пометили как «нерешаемые» (то есть сдались и не доделали). При этом из решенных задач правильно были решены только 86.4%.

По моделям: 4.5 решает 0.9%, o1 9.9%, а Deep Research 51.5% (правда он обучался на тех же данных, авторы это говорят открыто).

openai.com/index/browsecomp/
👍48😁167🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Google раскатили в своем сервисе NotebookLM бесплатный Deep Research для поиска источников

1. Заходим на notebooklm.google
2. Задаем любую тему
3. Модель бодро найдет вам 10 и больше самых релевантных веб-источников и аннотирует каждый в соответствии с запросом
4. Дальше бота можно попросить построить по ним майндмэп, написать конспект, сделать подкаст, ну или просто задать доп.вопросы

Умный гугл от гугл 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
👍85🔥369