Data Secrets
77.3K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
DeepSeek выпустили новую модель DeepSeek-V3.2-Exp

Качество примерно на уровне предыдущей DeepSeek-V3.1 Terminus, а цена стала на 50+% ниже.

Основное нововведение, за счет которого и удалось снизить косты и повысить скорость, – DeepSeek Sparse Attention(DSA). Не отходя от кассы на второй картинке можете посмотреть, насколько метод оптимизирует стоимость на длинных последовательностях.

DSA – это специальная вариация механизма внимания, которая позволяет вычислять аттеншен не на всех парах токенах, а избирательно.

В большинстве вариантов Sparse Attention маска для всех запросов совпадает (грубо говоря, все токены смотрят на одинаковые позиции), но здесь заявляется fine-grained. То есть маска формируется динамически для каждого токена, так что модель не теряет важные зависимости, и качество почти не падает.

Для этого сначала отрабатывает так называемый Lightning Indexer – легкий шустрый модуль, который вычисляет оценки важности между текущим токеном и предыдущими. Затем выбирается top-k наиболее важных токенов, на которых и будет выполняться внимание.

Ускорение, соответсвенно, получается за счет того, что сложность алгоритма уже не квадратичная по длине последовательности, а линейная.

Моделька доступна в приложении, в вебе и в API

Веса | Техрепорт
76🔥30👍187🐳3
Когда серфил arxiv и нашел золото. Те самые названия статей, которые мы заслужили:

P.S. На самом деле работа интересная, автор пытается дать четкое определение AGI и разобраться, подходят ли в принципе под него современные архитектуры.
😁18238❤‍🔥145👍2🐳2
⚡️ Вышел Claude Sonnet 4.5

Теперь у Anthropic снова SOTA модель для кодинга. Модель уверенно обгоняет GPT-5 на всех бенчмарках по программированию, на остальных идут почти вровень.

Также обновили Claude Code (ура!)

– Добавили новое расширения для VS Code
– Обновили интерфейс терминала
– Залили команду для быстрого возврата к предыдущему чекпоинту (или на несколько шагов назад) и команду для быстрого перехода к расширенному ризонингу
– Теперь агент прямо в терминале сможет создавать файлы, таблицы и диаграммы на основе ваших данных

https://www.anthropic.com/news/claude-sonnet-4-5
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥12325👍189😁3🍓3
This media is not supported in your browser
VIEW IN TELEGRAM
Также Anthropic выпустили research preview LLM-операционки

Что-то подобное уже было у Google (мы писали тут). Идея та же: LLM пишет ПО на лету, по вашему запросу.

Тыкаете на какое-то приложение – оно поднимается с нуля без заготовленного заранее кода. Открываете файл – содержимое генерируется тут же. Пример на видео.

Это, конечно, не серьезный продукт, а скорее просто продвинутая демонстрация способностей и реклама для нового Sonnet 4.5.

Поиграться, правда, получится, только если вы пользователь тарифа Max, и только в течение 5 дней.

https://claude.ai/imagine
🔥5422👀1813👍7😁4🤯2
This media is not supported in your browser
VIEW IN TELEGRAM
В ChatGPT теперь можно совершать покупки

Начиная с сегодняшнего дня жители США могут покупать любые продукты, не выходя из чата с ботом.

Для этого стартап в сотрудничестве с платежной системой Stripe разработали собственный опенсорсный протокол Agentic Commerce Protocol (ACP). Похожее решение совсем недавно выкатывали Google, но OpenAI видимо решили действовать самостоятельно.

Архитектура ACP немного отличается от гугловской и выглядит даже проще. ChatGPT просто отправляет зашифрованные данные на сервер продавца, а тот обрабатывает платеж и заказ как обычно. Из минусов: отложенные покупки (типа «купи это, как только появится в продаже») пока, судя по всему, не поддерживаются.

OpenAI подчеркивают, что это не реклама (пока еще 🙃). Стоимость товаров для покупателя не будет меняться в чате, поисковая выдача товаров не проплачивается продавцами, продавцу отправляются исключительно те данные, которые нужны для покупки.

Единственное: сами продавцы, которые подключили свои товары к системе, платят небольшую комиссию за каждую продажу в ChatGPT.

Блогпост | ACP
🤯82👍4022🤨76🔥3😁2🤔2🍓2
Data Secrets
⚡️ Вышел Claude Sonnet 4.5 Теперь у Anthropic снова SOTA модель для кодинга. Модель уверенно обгоняет GPT-5 на всех бенчмарках по программированию, на остальных идут почти вровень. Также обновили Claude Code (ура!) – Добавили новое расширения для VS Code…
Еще про новый Claude Sonnet 4.5: Anthropic пишут, что модель способна работать автономно до 30 часов подряд

Цитата из The Verge:

Модель потратила 30 часов, чтобы написать приложение, похожее на Slack или Teams. По данным Anthropic, в итоге она выдала около 11 000 строк кода и перестала работать только после того, как выполнила задачу полностью.


Больше деталей никаких нет, так что можно только верить на слово. К слову, в мае они сообщали, что Opus 4 работал автономно 7 часов. Прошло всего 5 месяцев. Если все действительно честно, то это просто невероятная скорость развития.
108👍35🔥20😁10🤯4🤔2
Wired пишет, что OpenAI тоже собираются делать свой ИИ-ТикТок

Идея та же, что и у только что вышедшего приложения от Meta*: соцсеть с короткими сгенерированными видео.

Самое интересное, что под капотом будет Sora 2 (давно пора).
🦄5432😁15👍5🤨432❤‍🔥2🤯2
Data Secrets
Вашему вниманию самый мимимишный робот на свете. Это совместная разработка Nvidia, Disney и Google DeepMind Малыша Blue в стиле Звездных войн показали сегодня ночью на GTC. Никто им не управляет, он работает автономно в реальном времени благодаря новому…
Nvidia опенсорснули свой физический движок Newton Physics Engine для робототехники

Помните милейшего робо-малыша Blue, которого Дженсен Хуанг показывал в марте на GTC? Вот он как раз был обучен на этой платформе. Она, кстати, разработана совместно с Google DeepMind и Disney Research.

Вместе с симуляционкой Nvidia также выложили модельку GR00T N1.6. Это фундаментальная модель для ризонинга и планирования. Плюс, в нее интегрировали уже ставшую популярной Cosmos Reason: она отрабатывает как deep-thinking мозг и позволяет роботу справляться с нечеткими инструкциями и обобщать знания для новых задач.

GR00T + Newton – по сути, готовая связка для обучения робота любого масштаба. Так что у робототехников, наверное, сегодня праздник.

Блогпост
92👍36🔥20🤔3😁1
Media is too big
VIEW IN TELEGRAM
⚡️ Вышла Sora-2, и это SOTA

Качество на демках – вау. Физика, анатомия, фотореализм – огонь. Можно даже создать собственного двойника и пустить его гулять по сгенерированным мирам (см прикрепленное видео). С животными, кстати, тоже работает, так что можете создать аватар для своего кота.

Звуковую дорожку и липсинки тоже генерирует очень даже достойно + поддерживает много языков. На практике на качество еще будем смотреть, конечно, но пока модель ощущается даже круче Veo 3.

Ну и, как и обещали, OpenAI сразу выкатили ИИ-ТикТок Sora App. Но доступ пока открыли только в Америке, и только по листу ожидания, так что придется подождать.

https://openai.com/index/sora-2/
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13132👍2614🤨102🫡1
This media is not supported in your browser
VIEW IN TELEGRAM
Breaking. Альтмана поймали за воровством видеокарт. Теперь ему грозит от 5 до 7 лет без инвестиций.

P.S. Видео ни в коем случае не фейк и не сгенерировано новой Sora 2
1😁50940🔥11🤝9🫡75🤯2❤‍🔥1
Бывший инженер Google открыл ИИ-стартап, в котором хочет изменить подход к обучению агентов

(Каких-то 5-6 лет назад так начиналась каждая вторая тех.новость, ха-ха. История повторяется, только теперь к «бывший инженер Google» добавляется еще «бывший инженер OpenAI»).

Ну так вот. Бывший инженер Google И бывший вице-президент по пост-обучению в OpenAI Вильям Федус действительно открыл очень занятный ИИ-стартап, который уже завирусился в X.

Главная цель компании – создать полноценного ИИ-ученого. Но не такого, каких сейчас релизит каждая вторая лаба, а самообучающегося и способного на долгие исследования.

Идея в том, чтобы обучить полномасштабного ученого, данных из интернета недостаточно. Знания должны возникать сами, и для этого ИИ-ученому нужна ИИ-лаборатория.

В последние годы лучшие передовые модели ИИ почти полностью исчерпали Интернет. Исследователи стремятся эффективнее использовать эти данные, но, как знает любой учёный: хотя перечитывание учебника может дать новые идеи, в конечном итоге необходимо проверить гипотезу на практике, чтобы убедиться в её работоспособности.


С другой стороны, если дать моделям возможность проверять свои идеи в настоящей физической среде, то (1) результаты их работы станут прозрачнее; (2) свежих данных параллельно можно наплодить сколько захочешь.

Сейчас первая цель Periodic Labs (так называется стартап) – открытие сверхпроводников, работающих при более высоких температурах, чем современные материалы. Достаточно амбициозно, потому что открытие такого материала может буквально изменить технику и, следовательно, весь мир.

https://x.com/liamfedus/status/1973055380193431965?s=46&t=pKf_FxsPGBd_YMIWTA8xgg
1👍117🔥472412🤔5😁3🕊2🗿1
В xAI разрабатывают аналог Википедии – Grokipedia

Илон Маск завявил, что платформа будет «значительным улучшением» Википедии, которая по мнению многих сейчас развивается политически предвзято.

Честно говоря, это просто необходимый шаг на пути xAI к познанию Вселенной.
😁157👌28💯14🗿11🫡4😎321👍1🔥1🤨1
Google показали, как AlphaEvolve ускоряет математические исследования

У многих ученых отношение к ИИ все еще скептическое. Считается, что результатам моделек на серьезный исследованиях нельзя доверять + они плохо интерпретируемы.

Google в своей новой статье предлагают способ, как угодить всем. Они показывают детерминированный алгоритм, с помощью которого ИИ может гарантировано ускорять и улучшать исследования.

Четкая проверка и определенный пайплайн тут как бы соединяется с черным ящиком – и получается магия.

Вот, предположим, у нас есть какой-то набросок доказательства, который надо улучшить. Система DeepMind не будет перерабатывать его целиком. Она найдет в нем место, которое можно качественно улучшить, и будет работать только с ним.

«Качественно» улучшить – значит так, что улучшения можно мониторить одной конкретной метрикой. При этом связь этого кусочка с остальным решением остается неизменной, это четко определено.

Получается, ИИ действует только локально и подконтрольно улучшает те фрагменты, которые может. Если это получается, то доказательно в целом улучшится. Метод называется lifting.

Конечно, это применимо не ко всем задачам. Но ко многим – да. Например, в ходе экспериментов система работала со всякими комбинаторными доказательствами, и вот что вышло:

– В задаче MAX-4-CUT из теории графов AlphaEvolve сократила существующий предел аппроксимации с 0.9883 до 0.987. Кажется, что это немного, но на самом деле в этой области ученые бьются за каждую сотую долю.

– На аналогичной проблеме MAX-2-CUT система отыскала edge case огромного рамануянова графа, который благодаря своим свойствам может внести вклад сразу в несколько доказательств важный теорем.

Пока это мелочи. Но представьте, если что-то подобное приземлит к себе каждая лаборатория в мире.

Статья
92👍37🔥20😁3🦄3
Tinker: стартап Миры Мурати Thinking Machines выпустил свой первый продукт

И это, между прочим, не модель, а даже кое-что поинтереснее: API для файнтюнинга.

Идея проста. Вы пишете код для файнтюнинга, а само обучение проводят уже Thinking Machines на своих серверах. Они занимаются всем, что связано с железом: распределение ресурсов, восстановление сбоев и тд.

Поддерживаются самые разные модели: от небольших до очень крупных, включая MoE.

В API доступны основные низкоуровневые примитивы (вроде forward_backward, optim_step или sample), из которых можно быстро собрать наиболее распространенные пайплайны дообучения.

Для тех, кто хочет запустить что-то посложнее, Thinking Machines дополнительно выпустили Tinker Cookbook. Это открытая либа с уже готовыми реализациями многих более специальных алгоритмов поверх API. Там можно найти, например, RLHF, Multi-Agent, Tool Use, Math Reasoning и тд.

Пишут, кстати, что Tinker уже попробовали несколько хороших лабораторий. Например, в Принстоне с ним обучили модель для доказательства теорем, а в Беркли с его помощью тестировали кастомный RL-метод для агентов.

К сожалению, продукт еще в приватной бете для разработчиков и рисерчеров. Но можно записаться в вейтлист (есть вероятность, что примут быстро).

Блогпост
🔥8823👍2317😁43🤯1
Делитесь своим системным промптом в комментариях 🤩
😁185👍35🔥1683🗿2🤔1😎1
Павел Дуров откроет ИИ-лабораторию в Казахстане 👽

Он сообщил, что Telegram уже некоторое время работает над технологией на стыке ИИ и блокчейна, которая «позволит миллиарду юзеров платформы использовать искусственный интеллект эффективно и приватно» (что бы это ни значило).

Теперь над этим проектом новоиспеченная лаборатория Alem AI будет работать совместно с казахстанским суперкомпьютером. В нем около 400 видеокарт H200.

Вот такие неожиданные новости
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤯173🔥8130😁19👍16🤨16🤔7🗿7❤‍🔥2