Data Secrets
81.3K subscribers
6.44K photos
669 videos
20 files
2.72K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Про ошибки обычно молчат, всем больше нравится оглашать успехи. Но в канале Яндекс Образование пошли другим путём: к Новому году команда запустила спецпроект, где ребята из Яндекса рассказывают о том, как росли через ошибки в 2025.

И это, в целом, хорошо описывает сам канал. В нём говорят про технологии с фокусом на людей, которые их создают. Здесь можно услышать мысли инженеров и исследователей, с которыми обычно сталкиваешься разве что на Хабре.

Яндексоиды разбирают, как устроены продукты и алгоритмы изнутри. Студенты делятся тем, как учатся на новых направлениях. Параллельно появляется много вменяемого контекста про образование и технологии в мире.

Кажется, канал постепенно обрастает живым комьюнити — если судить по тому, какие ребята там учатся и как они разговаривают. Там удобно наблюдать за технологиями, думать, спорить и разбираться. А ещё можно поучаствовать в конкурсе на лучшую ошибку — расскажите о свой в комментариях под этим постом и получите шанс выиграть новогодний подарок.

Реклама. ООО "ФРОМ СКРЭТЧ", ИНН 9724205560, erid 2VtzqxRpzCa
🗿5517😁17👍8🤓1
Разработчик Claude Code признался, что последние 30 дней 100% его контрибьютов в Claude Code были написаны самим Claude Code

И это, причем, не просто какой-то разработчик, а Борис Черный. Он считается «основателем» Claude Code (на самом деле в 2024 это был его сторонний проект, а во что он вырос – видите сами).

За последние тридцать дней я успешно залил 259 PR - - 497 коммитов, 40 тысяч строк добавлено, 38 тысяч строк удалено. Каждая строка была написана Claude Code + Opus 4.5.

Claude стабильно работает минуты, часы и даже дни подряд (с использованием Stop hooks). Разработка ПО меняется, и мы вступаем в новую эру в истории программирования. И это все еще только начало.


Невольно вспомнился этот мем ⬆️⬆️
Please open Telegram to view this post
VIEW IN TELEGRAM
4171😁8034🔥14👍63🕊2🗿2🤨1
Nvidia официально отказалась от идеи построить облачный сервис

DGX Cloud, фактически, перестал существовать. Как структура, он остается, но теперь будет обслуживать исключительно внутренний спрос Nvidia. Команда же переместилась в основном в R&D блок.

Будем честны: вряд ли кто-то сильно опечален. Спрос на DGX Cloud был мизерный: собственно, поэтому его и закрывают.

С другой стороны, Хуанг таким образом публично отказался от конкуренции с AWS. Ранее AWS наотрез отказалась участвовать в программе DGX Cloud и Хуанг, видимо, передумал раздражать своих крупнейших клиентов.
👍49🤯1411🤔6😁2👾2
Почему ваш RAG ломается в продакшне?

Часто проблема в том, что обычному скрипту не хватает автономности. Чтобы система работала стабильно, нужно управлять её состоянием и следить за метриками.

Proglib Academy запустила самый полный курс «Разработка ИИ-агентов». В программе есть всё — от поиска в векторных БД до сложных мультиагентных систем.

Внутри много практики:

➡️ продвинутый RAG и векторные базы данных;

➡️ оркестрация в LangGraph, CrewAI и AutoGen;

➡️ протокол MCP для обмена данными;

➡️ мониторинг, трассировка и безопасность;

➡️ оценка качества и A/B-тесты.

Для тех, кто хочет копнуть глубже, есть академический факультатив по анатомии агентов. В конце обучения вы сделаете готовую систему с защитой и логами, которую не страшно выпускать в прод.

🔗 Записаться на курс

Реклама. ИП Дрёмов А.С., ИНН 771391651571, erid 2VtzqvWkdmk
Please open Telegram to view this post
VIEW IN TELEGRAM
😁36🗿107👍75👾1
Теперь вы знаете, кого винить, если ИИ захватит мир

P.S. GPU действительно исторически появились для Quake и Half-Life 2. А, например, Демис Хассабис, глава ИИ в Google, начинал свою карьеру как геймдейвер. Вклад геймеров недооценен! ⌨️
Please open Telegram to view this post
VIEW IN TELEGRAM
18259😁43🔥14💯10🆒3😎1
Вау: Meta купила китайский стартап Manus

Это разработчики того самого агента Manus, который хайпанул в марте этого года. К слову, он до сих пор выбивает соту на нескольких бенчмарках, и пользователей у них куча.

Вообще, компания базировалась в Китае, но после покупки связи со страной будут разорваны (в том числе с крупными инвесторами типа Tencent и Hongshan), и Manus продолжит независимо работать из Сингапура.

Сумму сделки не раскрывают, но аналитики оценивают ее примерно в два миллиарда долларов. И это еще не сильно дорого для стартапа, который всего за 8 месяцев достиг ARR в 100–125 млн долларов.

Самого агента Manus планируется интегрировать в продукты Meta. В целом, для Meta это логичная покупка: у них у единственных до сих пор нет своего ИИ-продукта, и это сильно отодвигает назад. Может, теперь мы наконец увидим крутого агента уже под флагом Цукерберга?
74🔥32🤔22👍1198😁4🤯3
Еще одно новогоднее обещание от Илона Маска: миллиардер заявил, что xAI в течение 5 лет будет иметь больше вычислительных мощностей, чем все остальные компании вместе взятые

Напоминаем, что сейчас в Мемфисе строится Colossus 2. Мощность датацентра уже превышает 400 МВт, а цель составляет 2 ГВт. Это будет первый в мире гигаватный дата-центр + прямо сейчас xAI привлекает $20 млрд на дополнительные GPU.

Верим?
🤯130😎38😁27232119🗿8👍5🦄4🔥3🎄2
Yandex Cloud и Forbes запустили свою версию игры «Герои меча и магии» специально для CDO и дата-аналитиков

Можно сыграть за одного из персонажей и помочь решить его продуктовую задачу. Мы попробовали поиграть за Селину Маркетар: с ней надо найти лучшую локацию для размещения магазина. Для этого нужно передвигаться по карте и собирать нужные артефакты типа PostgreSQL, ClickHouse, DataLens и тд (у каждого героя набор свой).

Чтобы победить врага – в нашем случае Фантома Мертвой Локации – нужно собрать все артефакты. Их можно покупать за деньги данные, крафтить самостоятельно в кибер-кузнице или получать у хранителей, отвечая на вопросы по Data Science.

Внутри игры куча милых пасхалок на «Героев меча и магии», даже появляется ностальгия. В общем, тем, кто любит data-driven или играл в детстве в Героев, зайдет 100%.

Играть можно на десктопе и с телефона. В праздники – просто идеально, чтобы развлечься, вспомнить детство и заодно немного прокачать свои знания о работе с данными.

Играть тут
1🗿110🤨2719🔥11😁762👍2🤗2🤯1👾1
Не очень радостную новость вам принесли под Новый Год, но что делать: реклама в ChatGPT точно будет, и довольно скоро

Об этом сообщает The Information, а в том, что касается инсайтов, они обычно не ошибаются.

Ранее, если помните, запуск рекламы отложился из-за «красного кода», который объявили в стартапе из-за накаленной ситуации с Google. Теперь же приоритет запуска рекламы в ChatGPT снова высокий.

Оказывается, уже готовы макеты для различных рекламных форматов. А это значит, что тестирование и, далее, запуск – уже близко.

Грустно, конечно, но, как ни крути, это всегда было вопросом времени. Реклама в ChatGPT – буквально золотая жила, и OpenAI точно не будет от нее отказываться, тем более при их уровне расходов.

Сейчас у чатбота уже 900 миллионов юзеров, к 2030 (по некоторым прикидкам) будет около 2.6 миллиардов. И о каждом пользователе будет известно: что он любит, чем пользуется, о чем говорит с ИИ. Чем вам не крупнейшая в истории рекламная империя, м?

Из хороших новостей: пока запускать рекламу планируют только на бесплатный тариф. Может кого-нибудь это утешит 😐
Please open Telegram to view this post
VIEW IN TELEGRAM
1593919🤔13😁10🤨8🗿4🔥2👍1
Всем новогоднего настроения за наш счет!

31 декабря – самое время подводить итоги года. И специально для вас мы подготовили ИИ-бинго 🎅

Пока на столе еще не стоит оливье – заполняйте его и делитесь результатами в комментариях.

Есть те, кто выбил 16/16?
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁139🎄462114🔥4🗿43
Чем заняться на январских?

Проснулись, улыбнулись, доели салаты и пытаемся не потерять время на новогодних совсем уж даром. Мы собрали для вас небольшую подборку полезного контента на выходные.

Если хочется что-нибудь посмотреть:
– Новая документалка The Thinking Game про DeepMind от Google. Отличный сюжет про Демиса Хассабиса и разработку легендарных систем вроде AlphaGo, AlphaZero и AlphaFold.
– Свежее интервью Ильи Суцкевера у Дваркеша Пателя. Это прямо must watch, каждый эпизод можно разбирать на цитаты.
– Отличный фильм про Python этого года. В нем, кстати, снялся сам создатель – Гвидо ван Россум. Внутри – история языка, как он зарождался, развивался, и почему ML вывел его в топ-1 ЯП мира.


Если хочется поучиться:
Stanford CS230 | Autumn 2025: новый курс по глубокому обучению с легендарным Эндрю Ыном, детально охватывающий весь DL, начиная с перцептрона и заканчивая LLM. Доп.материалы к курсу здесь.
Stanford CS224R | Spring 2025: хороший курс по RL для более продвинутых.
Вот здесь мы делали подборку еще из 5 бесплатных ML/AI курсов от топовых университетов. Все не старше весны 2025 года, так что и информация, и код – актуальны.
12 курсов на любые ИИ-темы от Hugging Face.


Если хочется почитать:
– Отличная свежая книга по ML-системам от Гарварда. Про то, как строить, оптимизировать и поддерживать ML-решения на всех этапах – от данных и инфраструктуры до развертывания и эксплуатации. PDF, репозиторий.
The Smol Training Playbook от HuggingFace. По сути, интерактивный хардовый гайд по тому, как с нуля обучить и захостить языковую модель.
Книга Себастьяна Рашки по ML/DL, которую он недавно сделал бесплатной. 30 больших глав по нейросетям, компьютерному зрению, LLM, эвалу и методам деплоя моделей. Много практики, примеров, схем и картинок.
– Статьи из топа www.alphaxiv.org/: там все самое новое и популярное среди исследователей. Туда же – huggingface.co/papers: каждый день новый топ статей.


Если ничего не хочется, просто читайте Data Secrets: тоже полезно 🍿
Please open Telegram to view this post
VIEW IN TELEGRAM
2134👍31🎄19🔥11🤨8🤯2🗿1🆒1
DeepSeek предложили новую вариацию трансформера

Сегодня с вами разбираем свежую громкую статью под названием mHC: Manifold-Constrained Hyper-Connections от DeepSeek. В самой статье ну очень много математики, но мы попробуем разобрать идею на пальцах.

Священная корова трансформера – это residual connection (левая схема на скрине). Суть: вместо того, чтобы каждый слой полностью переписывал предыдущий, вход слоя добавляется к его выходу. Тем самым сигнал и градиенты не теряются по дороге, а плавно протекают сквозь глубину сетки без резких искажений.

В 2024 ученые из ByteDance предложили расширить residual connections и сделать их многопоточными (схема посередине на скрине). Теперь остаточная информация течет по нескольким "трубам", распределяется и перемешивается. Это называется Hyper-Connections, и такой подход немного раширяет топологию, позволяет потокам обмениваться "мыслями" и действительно дает какие-то приросты.

Но есть большой нюанс. Из-за HC в сети накапливается нестабильность. Матрицы H ничем не ограничены, и когда информация перемешивается, сигнал может резко усилиться или заглушиться. Это все приводит к тому, что HC не масштабируется на крупные модели.

Это и есть то, что в своей работе исправили DeepSeek. Они предложили хитрый математический хак, чтобы ограничить матрицу H_res, при этом не навредив эффективности метода. Дело в том, что ее ограничивают не просто значениями, а геометрией.

Авторы проецируют H_res на многообразие doubly-stochastic matrices(оно же Birkhoff polytope). Все элементы должны быть неотрицательные, суммы по строкам = 1, суммы по столбцам = 1 (совсем идеально эти свойства не выполняются, но итеративным алгоритмам матрицы к ним приближают). Основное свойство тут в том, что произведение таких матриц тоже doubly-stochastic, а еще у таких матриц среднее значение сигнала сохраняется по глубине.

То есть информация продолжает распространяться эффективно, но теперь еще и монотонно и без разрушения скейлинга. H_pre и H_post при этом так жестко ограничивать не надо, потому что они служат только для сбора и разброса сигнала по потокам и не передают сигнал между слоями.

Результаты:

Стабильность улучшилась на три порядка. В mHC (DeepSeek) Amax Gain ≤ 1.6, при том что в обычном HC – примерно 3000
Качество на reasoning-бенчмарках значимо усиливается, и выигрыш не исчезает при росте FLOPs
– При этом с оптимизированными ядрами по времени выходит всего +6.7% с четыремя потоками (считай, бесплатно)

Из минусов – сложности с инфраструктурой и дорогое масштабирование по количеству потоков.

www.alphaxiv.org/abs/2512.24880
👍10036🔥13🍓9🤨6🤯5😁3🕊2