Data Secrets
77.4K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Data Secrets
У OpenAI появятся собственные чипы. Первые поставки ожидаются уже в 2026. Чипы под названием XPU разрабатываются совместно с Broadcom (они же помогали Google с TPU). Железо будет предназначено только для внутреннего использования и только для инференса.…
Кажется, производство собственных чипов резко входит в моду: xAI тоже обзаведутся личным железом к 2027 году

Оно разрабатывается также совместно с Broadcom и также только для инференса. Ожидается значительное преимущество по энергоэффективности и стоимости интеграции.

Маск неоднократно заявлял, что намерен в течение пяти лет развернуть мощность, эквивалентную 50 миллионам H100. Теперь понятно, причем тут слово «эквивалентную»: речь шла не о самих GPU, а о кастомных ASIC.

Где-то нервничает один Дженсен Хуанг
61👍37😁3115🔥6🗿3❤‍🔥2👏1
Data Secrets
GPT-5 решила (почти) открытую математическую задачу Инженер из OpenAI рассказал о том, как скормил модели статью с нерешенной мат.проблемой и модель, порассуждав 17 минут, смогла улучшить решение ученых. Речь идет об этой статье. Она относительно свежая…
Действительно ли GPT-5 способен открывать новую математику

20 августа Себастьян Бубек заявил, что GPT-5 Pro за считанные минуты решил открытую задачу в области выпуклой оптимизации (наш пост об этом). Новость разлетелась мгновенно, но позже некоторые эксперты настаивали, что бот просто использовал известную теорему Нестерова, и результат не такой уж и удивительный.

Плюс, Бубек – сотрудник OpenAI. Так что в глазах большинства его пост все равно выглядел как маркетинг.

И все-таки внимание специалистов это привлекло. Сегодня вот вышла очень яркая статья, в которой три исследователя из Люксембурга решили проверить, на что GPT-5 способен в статистике. Это уже интереснее, чем посты инженеров OpenAI в твиттере, потому что тут исследование (а) независимо и (б) проводится непосредственно экспертами области.

Они дали ему задачу, связанную с методом Мальявена–Стейна. Этот метод используется для доказательства центральных предельных теорем. До сих пор существовал только качественный результат: было известно, что некая последовательность случайных величин сходится к нормальному распределению, но никто не знал скорость этой сходимости.

Задача GPT-5 была вывести эту скорость, то есть получить количественный результат.

GPT-5 справился: он предложил и доказал новую теорему, которую никогда ранее не публиковали.

Если кому интересно: для суммы двух случайных величин из разных «хаосов» модель вывела, что расстояние до нормального распределения можно оценить через четвёртый кумулянт. А именно, чем меньше четвёртый кумулянт, тем ближе распределение Z к нормальному.


Но есть нюансы:

– На первых шагах GPT-5 допустил грубую ошибку в вычислениях и исправил ее только после наводки людей.
– В пуассоновском случае он не заметил ключевого свойства, пока авторы прямо не указали, где его найти.

Так что итоговый результат это результат серии уточняющих вопросов и проверок, а не one-shot.

Мораль: да, прогресс по сравнению с GPT-3.5/4 и даже серией o впечатляющий. Но GPT-5 все еще как начинавший аспирант. Он может генерировать правильные доказательства и идеи, если его направлять.
Но без человека легко допускает опасные ошибки и не находит ключевых идей самостоятельно. Плюс, на данном этапе его идеи – лишь комбинации уже существующих.

Так что по поводу «новой» математики пока все-таки мимо. Но вот по поводу помощи ученым – уже да.

arxiv.org/abs/2509.03065v1
171🔥66👍36😁11🤯9🍓1🤗1
Уже в 2026 году на Каннском фестивале будут показывать полностью сгенерированный мультик

Его снимает никто иной, как OpenAI.

Бюджет всей картины – менее 30 миллионов долларов. Это в разы меньше, чем обычно требуют мультипликационные съемки, причем основная часть суммы уйдет на художников (они будут отрисовывать образы персонажей) и актеров озвучки.

После Каннов – а они уже в мае, осталось то всего ничего – мультфильм обещают выпустить в прокат. Кстати, название довольно милое: Critterz, то есть Зверята.
🔥9031🗿3011👍9751🤨1
Сентябрь == настроение поучиться. Собрали для всех желающих подборку из свежих бесплатных курсов по ML/DL от топовых мировых университетов

Сразу скажем: в подборке нет старых курсов. Все перечисленное не старше весны 2025 года, так что и информация, и код – актуальны. Все курсы открытые и бесплатные, с большим количеством практики. Везде доступны записи лекций, слайды и доп.материалы, кое-где еще и домашки.

1️⃣ MIT 6.S191: Introduction to Deep Learning. Интенсивный вводный курс по глубокому обучению. Охватывает: основы нейронных сетей, обучение сверточных и рекуррентных сетей, генеративные модели (включая генерацию музыки), большие языковые модели, RL, файнтюнинг. Много практических примеров применения в компьютерном зрении, NLP, биомедицине, играх и тд. Сайт (записи лекций внутри)

2️⃣ Stanford CS231n: Deep Learning for Computer Vision. Отличный базовый курс по CV. В целом около 20 часов лекций с разбором архитектур (CNN, ResNet, трансформеры и др.), методов оптимизации, детекции объектов, сегментации, генеративных моделей, мульти-модального обучения и обучения с подкреплением для CV. Одна из преподавателей – легендарная Фей-Фей Ли. Сайт (тут лекции и материалы), плейлист с лекциями

3️⃣ Stanford CS336: Language Modeling from Scratch. Собственно, внутренность соответствует названию: это прекрасный практический курс по LLM, в котором вы по порядку пройдете все этапы разработки LLM с нуля. Сбор и очистка данных для предобучения, архитектура трансформеров, обучение моделей на GPU-кластерах и масштабирование, оптимизация производительности, файнтюнинг, методы безопасности и alignment. Ну, в общем, прямо от А до Я. Сайт, плейлист

4️⃣ Harvard CS 2881R: AI Safety. Курс запущен в сотрудничестве с OpenAI. Темы уже для продвинутых: технические аспекты элаймента, предотвращение нежелательного поведения, социальные и философские вопросы влияния ИИ, RLHF, Constitutional AI, ограничения и риски современных систем, и даже анализ возможных сценариев и экзистенциальных рисков. Сайт (записи лекций внутри)

5️⃣ CMU 11-785: Introduction to Deep Learning. Совсем свежий курс от университета Карнеги–Меллона, который еще даже не закончился в самом университете. Хороший охват тем: нейросети, прямое и обратное распространение, CNN, CV, рекуррентные и трансформерные архитектуры, оптимизационные алгоритмы (SGD, Adam и др.), регуляризация и тд. Вполне подробно. Затрагивается даже вопрос обобщающей способности. Доступны домашки и их разборы. Записи лекций (уже выложены 4 лекции и 2 семинара, остальное продолжает выходить), сайт

Сохраняйте (а лучше не просто сохраняйте, но и находите время смотреть) 👉
Please open Telegram to view this post
VIEW IN TELEGRAM
12111🔥379👍7😁6🤯31
В Сан-Франциско был найден самый злободневный арт
1😁378🔥34👍1687
Google завезли кучу полезных обновлений в NotebookLM. Знаем, как вы любите эту тулзу, так что вам должно быть интересно:

1. Добавился формат флэшкарт и квизов. Флэшкарты объяснят вам тему кратко в формате «вопрос-ответ» (+ есть кнопка «Объснить», если где-то захочется подробнее). Формат идеально подходит для самопроверки или повторения. Квизы – это уже полноценные тесты. Количество вопросов и сложность можно менять (+ также есть кнопка «Объяснить»).

2. Reports прокачались + теперь работают на всех языках.

– Во-первых, добавились рекомендации. Вы загружаете свои источники -> NotebookLM смотрит на них и сразу предлагает форматы овервью. Например, если это статья, то может предложить сделать блогпост или white paper с графиками и сравнениями с другими подходами. Если обучающее видео, то стади-гайд, объяснялку и тд.

– Во-вторых, теперь reports можно кастомизировать и добавлять к ним ваши собственные форматы и системные промпты.

3. Обновились знаменитые ИИ-подкасты (audio overview). Теперь в них можно выбрать, насколько глубоко и с какой стороны вы хотите погрузиться в тему через опции Deep Dive / Brief / Critique / Debate. Также работает на всех языках.

И кстати: видеообзоры, когда по вашей теме модель генерирует целую презентацию с озвучкой, теперь также доступны на русском и еще 80 языках.

Если бы у нас такое было во время учебы… Короче, пользуемся, друзья!
5🔥17848👍36🕊2😍1
У OpenAI снова проблемы с переходом в коммерческую организацию

В Калифорнии, где находится компания, разгорается конфликт вокруг её реструктуризации. Законы штата обязывают власти защищать интересы благотворительных фондов и дают им право подавать в суд, если некоммерческая организация действует вразрез со своим уставом. Теперь под проверку попала и OpenAI.

К делу уже подключилось множество игроков: крупнейшие фонды, профсоюзы, Meta и, конечно же, Илон Маск с xAI — они требуют от прокурора вмешаться и не допустить превращения OpenAI в прибыльную компанию.

Для OpenAI это крайне опасный прецедент. Вся её финансовая модель завязана на переходе в for-profit. Инвесторы пообещали около $19 млрд, но только при условии получения акций новой структуры. Без этого будущее IPO и дальнейшее финансирование окажутся под угрозой.

Если сделку заблокируют, OpenAI придётся искать обходные пути — например, перенести штаб-квартиру в штат с более мягкими законами.

https://www.wsj.com/tech/ai/openai-for-profit-conversion-opposition-07ea7e25
😁8426251514👍5👌11
Qwen продолжают расширять линейку своих моделей и выложили Qwen-3-ASR: модель распознавания речи с отличными метриками на русском

Особенно в релизе хвастаются универсальностью:

– Модель хорошо работает как с обычной речью, так и с песнями/репом/шумами. Word Error Rate (WER) меньше 8% даже в сложных условиях.

– Работает автораспознавание языка (то есть модель сама понимает, на каком языке говорит человек).

– Интересно, что можно подгрузить кастомный словарь. Загружаете список особенных слов или фраз (имена, терминологию или даже искусственно придуманные слова), и модель будет правильно их распознавать без дообучения.

Поддерживает английский, китайский, русский и ещё девять языков.

Единственный нюанс: весов пока нет, непонятно почему тянут. Доступ сейчас через API.

В общем, если выложат веса, то будет идеальный опенсорс для s2t. В том числе отличный вариант для пет проектов.

Демо | Блогпост | API
2❤‍🔥90👍50🔥28153😁2🤯2👀1🗿1
Стартерпак любого ML-инженера:
😁254👍3211🔥10🗿5💯3👨‍💻33❤‍🔥1
Media is too big
VIEW IN TELEGRAM
Итак, прошла презентация Apple (ну вы наверное уже видели оранжевый iPhone)

Как и ожидалось, в сфере ИИ ничего сверх-интересного. Исключение: синхронный голосовой перевод в AirPods Pro 3 и в айфоне. Это, как говорят разработчики, будет мгновенный перевод, работающий и для звонков, и для чатов, и (в случае с наушниками) для живой речи.

Обещают красиво, но на реальную точность перевода и задержку надо смотреть на практике. Если не будет сильно тормозить и ошибаться – Apple молодцы.

Из остального:

– Для звонков и чатов будет реализована быстрая подсветка истории контакта. То есть у каждого контакта в списке последних вызовов появится краткая автоматическая сводка ваших предыдущих диалогов с этим человеком. Прикольно, но по ощущениям не слишком полезно.

– Для организации галереи и контента на устройстве теперь будут использоваться персонализированные ИИ-фильтры. Фото, например, будут сразу классифицироваться по кастомным коллекциям.

– Мельком упомянули, что ИИ также будет использован для оптимизации батареи во всех аксессуарах (Apple Watch, AirPods), а также для улучшения адаптации звука и шумоподавления в наушниках.

Ну и, по классике, обещают, что вся обработка происходит локально на устройстве без передачи данных на серверы. Верим
Please open Telegram to view this post
VIEW IN TELEGRAM
😁125👍3620🗿8🔥55
Media is too big
VIEW IN TELEGRAM
Claude теперь умеет генерировать и редактировать pdf-ки, табличные файлы и презентации

Не слишком часто пишем про новые фичи ботов, но это приятная и интересная. Даете промпт – а вам на выход файл. Или вы файл – вам на выход отредактированный вариант.

Работает это так: у Claude есть доступ к частному окружению, в котором он пишет и запускает код для создания файлов, которые затем отправляет пользователю в чат.

Теоретически такая система открывает много возможностей: продвинутый анализ данных, обработка всяких фото/видо/аудио, да и вообще работа со всеми видами файлов. Так что ждем и других агентских фичей от Anthropic, а пока наслаждаемся генерацией таблиц и документов.

www.anthropic.com/news/create-files
👍11241🔥17🦄3😁1🫡11
Media is too big
VIEW IN TELEGRAM
Посмотрели интересное интервью Фей-Фей Ли для a16z. Захотелось пересказать здесь то, что она говорит про AGI и развитие LLM:

Язык – это на самом деле искусственный сигнал. В природе языка не существует. Если вы подаете на вход модели язык, то она действительно может его генерализировать и на выходе давать данные с достаточной силой обобщения, но это тоже будет только язык. То есть это language to language модели.

Но мир на самом деле трехмерный и подчиняется законам физики, а не языка. Он имеет собственные структуры благодаря материалам и другим вещам. Извлечь из этого мира информацию, уметь её представлять и генерировать – это по существу совершенно другая задача.

Конечно, можно использовать идеи LLM для ее решения, но просто масштабированием языковых моделей не добиться AGI. Будущее – в появлении моделей пространственного интеллекта (Genie – хороший пример).


Ее идеи, кстати, удивительно похожи на идеи Лекуна. Им бы объединиться и в одну лабу…
🔥220👍7632🗿13🤔8💯843😁1
Ни одна презентация Apple не обходится без последующих мемов

В этот раз соцсети заполонили шутки про синхронный перевод в новых AirPods.

Ну в общем, мы поддержали тренд и тоже мемов придумали. Переводим с ML-ного на человеческий 🤫
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁47050👍17🔥963❤‍🔥2💯1😎1