Data Secrets
77.3K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Data Secrets
Рубрика «занимательные совпадения» Бретт Эдкок, фаундер известного робо-стартапа FugureAI, написал в Твиттере что: 1. Стартап разрывает контракт с OpenAI, который они заключали в начале прошлой весны 2. В течение 30 дней они покажут нечто такое, чего…
Media is too big
VIEW IN TELEGRAM
FigureAI только что представили своего нового робота-гуманоида, который оснащен ризонингом

FigureAI раньше работали с OpenAI, но месяц назад разорвали контракт и сделали заявление о том, что до весны представят что-то абсолютно новое. Кажется, их новый Helix – это оно, и они деликатно уточняют что «разработали его полностью самостоятельно».

По словам создателей Helix мыслит, как человек, и может справиться с любой домашней утварью, даже если никогда раньше (то есть в трейне) ее не видел. Судя по графикам из статьи, генерализация там действительно на уровне.

А еще он воспринимает речь и может взаимодействовать с человеком/другим роботом. При этом для всего этого используется единая небольшая модель VLA (Vision-Language-Action) на 7В.

Тех.репорт с деталями и тестами:
www.figure.ai/news/helix
🔥123👍33🤯16👾139
Там DeepSeek в честь недели опенсорса объявили, что будут 5 дней выкладывать репозитории с кодом их проектов

«Мы поделимся нашим небольшим, но честным прогрессом с полной прозрачностью. Это будут скромные строительные блоки нашего онлайн-сервиса, которые были задокументированы, развернуты и испытаны в реальных условиях»


Кажется, OpenAI уже пора отдать им название
👍234🔥95😁418💯7👌3
“Ъ” и Центральный университет выпустили совместный проект “Директора и люди”, посвященный стратегиям крупного бизнеса и участию выпускников вузов в реализации этих стратегий. Его первым гостем стал глава Т-Банка Станислав Близнюк.

Разобрали на цитаты основное:

У нас три ценности - клиенты, сотрудники и акционеры, причем именно в таком порядке.

Любой бизнес имеет шанс на рост, только если он вкладывается в науку

Работодатель должен выступать заказчиком университета. Сегодня это не совсем так, и работодатель часто считает, что кадры можно найти в капусте. Но нет, нельзя. Их надо взращивать, и это то, что мы делаем в ЦУ. Поэтому наши выпускники "золотые".

У нас есть понимание того, что какая-то доля набора в Т-Банк должна быть в виде джунов. Очень важная задача – брать кого-то молодого, необтесанного, но умного и перспективного.

Капитал школьника – напористость и любопытство. Первый, второй, третий, четвертый курс - это тот самый уникальный момент, когда нужно реализовывать этот капитал, который будет тебя потом кормить.
👍36🍌13🔥116🤯5🙈3😁2🌭1👀1
Anthropic на своей новой презентации показали интересный график

Это employee retention rate, то есть процент сотрудников, которые остались в стартапе спустя год, два, три и тд с момента найма.

У Anthropic эта метрика достаточно высокая, даже самая высокая среди всего ИИ-теха. OpenAI проваливается куда-то вниз, и, внезапно, у Perplexity тоже дела с этим не очень.
😁103🤔36👍175
Всплыло, что Илон Маск тихо построил еще один огромный датацентр стоимостью 700 миллионов долларов

Он расположен в Атланте, построен в сотрудничестве с X, и насчитывает 12000 GPU. Это не так много по сравнению с другим суперкомпьютером Маска, в котором 200к чипов, но все равно масштабно. Официальное назначение пока не раскрывается.
👍102😁36🔥199🤯5🌚2🍌2
OpenAI поделились текущей статистикой

🟦 Сейчас еженедельно они обслуживают 400 миллионов юзеров. Еще в декабре было 300 миллионов, кстати.

🟦 Сейчас у стартапа 2+ миллиона корпоративных клиентов: это в два раза больше, чем пол года назад.

🟦 Трафик в API тоже удвоился за последние 6 месяцев. Причем для недавно вышедшей o3-mini с момента запуска рост составил x5.

Самое интересное, что DeepSeek, возможно, не только не помешал росту OpenAI, но и ускорил его. Дело в том, что появление такого конкурента разгоняет внимание к ИИ и привлекает новую аудиторию, как бы провоцируя ее изучать рынок.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124🔥33🎉21🤔164
Аналитическая ИИ-лаборатория EpochAI опубликовала свои прогнозы на 2025:

К концу года FrontierMath будет решен на 75%. На данный момент это самый сложный мат.бенчмарк. Текущие модели (включая o3-mini) решают его на <10%, а o3, судя по анонсам, будет решать примерно на 25.

SWE Bench Verified будет решен на 90% (сейчас это <40).

Доход OpenAI составит примерно 12 миллиардов долларов. Это почти в 3.5 раза больше, чем в 2024.

Модели будут пока становиться больше, и можно ожидать повышение цен на API в 2-3 раза.

В целом прогресс за 2025 можно будет сравнить с прогрессом, который мы до этого наблюдали в течение двух лет, то есть с момента выхода GPT-4.

Отчет
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6419🌭106🙈1
Ничего особенного, просто твит ресерчера отдела безопасности OpenAI 😅
Please open Telegram to view this post
VIEW IN TELEGRAM
😁26436🤔33🤯17🔥10👍9🌚7
This media is not supported in your browser
VIEW IN TELEGRAM
Boston Dynamics опять радуют видео новинки. На этот раз показали миленького робо-байкера 🥰
Please open Telegram to view this post
VIEW IN TELEGRAM
173😍43👍32🔥135😁4
OpenAI начали удалять некоторые китайские и корейские аккаунты

Не какие попало, конечно, а только те, которые они подозревают в использовании технологии с целью мошенничества.

Якобы одни злоумышленники использовали ChatGPT, чтобы писать фейковые статьи «порочащие США» на испанском, другие, чтобы пилить сотни резюме и фиктивно получать работу в американских компаниях, а третьи, чтобы генерировать оскорбительные комментарии в Твиттере.

Версия правительства США: Азия использует ИИ, чтобы подорвать репутацию и безопасность Америки 🍿

Новость
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔90😁63👍24🤯18👻13🗿97🌭5🤪4👌21
This media is not supported in your browser
VIEW IN TELEGRAM
🤗 Hugging Face теперь можно пользоваться как SQL-студией

Ребята встроили в свой многомиллионный раздел с датасетами Data Studio. Теперь из нужной таблицы можно прямо на платформе извлечь то, что нужно, не скачивая ее полностью. Результат вернется в виде CSV, или им можно поделиться ссылкой.

Ну и самое приятное: писать SQL-запрос самому не обязательно. Достаточно описать все на естественном языке, а код за вас напишет DeepSeek V3.
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥200👍46🤩17🤗128🏆3
Китайская лаборатория MoonshotAI показала оптимизатор Muon, который оказался в два раза эффективнее AdamW

Сам оптимизатор не новый, он вышел еще в декабре и придумал его Келлер Джордан. У него Muon (основанный, кстати, на ортогонализации матриц) показал крутые результаты, но только на игрушечных задачах. Заветный скейлинг не был продемонстрирован.

В Moonshot показали, как завести Muon для больших моделей. Как оказалось, требуется всего ничего: добавить weight decay и внимательно настроить обновление в зависимости от размера матрицы весов. Хотя, надо сказать, что последнее не совсем очевидно: для этого надо было заметить, что RMS метода не равно единице и вывести для него верную формулу.

С таким набором Muon работает из коробки и даже не требует настройки гиперпараметров. В статье его проверили на модельке 3В/16В MoE, и он обошел AdamW на производительности в два раза.

Код опенсорснули тут, так что уже можно тестировать имплементацию
Please open Telegram to view this post
VIEW IN TELEGRAM
👍136🔥3822😐8❤‍🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic выпустит новую модель сегодня?

Довольно необычного вида предсказание на этот счет дал сегодня в твиттере Jimmy Apples. Этот аккаунт принадлежит инсайдеру. Он довольно редко пишет подобные предикты, но они часто оказываются правдой.

На этот раз он выложил вот такой видоизмененный клип на песню Karma Police, в котором от машины убегает Альтман, и подписал его «Реванш. Завтра».

Верим?
😁81👍18🔥182
Data Secrets
Там DeepSeek в честь недели опенсорса объявили, что будут 5 дней выкладывать репозитории с кодом их проектов «Мы поделимся нашим небольшим, но честным прогрессом с полной прозрачностью. Это будут скромные строительные блоки нашего онлайн-сервиса, которые…
Первый день опенсорса от DeepSeek

В конце прошлой недели ребята пообещали, что с 24 по 28 февраля выложат в открытый доступ пять репозиториев из их внутренней экосистемы.

Сегодня показали проект FlashMLA – оптимизированные GPU-ядра, которые крутятся в проде систем DeepSeek.

MLA – это multi latent attention, метод, позволяющий сокращать потребление памяти за счет сжатия матриц ключей и значений в трансформерах. Метод активно используется в моделях DeepSeek и в целом очень перспективный, но готовых оптимизаций для него пока не так много. Так что FlashMLA это готовое решение для бодрого инференса.

Проект поддерживает bfloat16, поэтому тут и скорость, и точность. Код годится для всей серии Hopper, то есть для H100, H800 и тд.

github.com/deepseek-ai/FlashMLA
🏆100👍3916🔥10💘1
На ML-собеседованиях все чаще спрашивают про применение LLM в реальных бизнес-проектах

Почему? Потому что компаниям нужны не просто те, кто знают, как моделька работает, а те, кто может эти знания положить на практику, решить задачу и принести компании пользу.

К сожалению, материалов по этой теме пока немного, а те, которые есть, теряются за огромным потоком (ИИ)нформации. Так что сегодня отдельно обращаем ваше внимание на вот этот вебинар про применение LLM в e-commerce: его проводят наши друзья из известной школы ШВМ.

На вебинаре разберут успешные и неудачные кейсы применения LLM, расскажут, какие модели реально работают и приносят бизнесу пользу, а также объяснят, какие важные задачи и почему пока не решены. Спикеры – огонь:

🟦 Артем Бочкарев – Head of Data Science в AliExpress (ну кто может лучше разбираться в ML в e-commerce?)
🟦 Александр Лыков – к.ф.-м.н., академический руководитель Школы Высшей Математики

Такое точно не пропускаем. Регистрируйтесь здесь, встретимся 27 февраля в 19:00.
Please open Telegram to view this post
VIEW IN TELEGRAM
27👍17🦄7🤯2😁1👌1
Data Secrets
arXiv -> alphaXiv Такие пет-проекты мы любим: студенты Стэнфорда создали alphaXiv, открытый дискуссионный форум для статей arXiv. Достаточно просто изменить в URL-адресе arXiv на alphaXiv и вы сможете задавать вопросы и писать комментарии непосредственно…
This media is not supported in your browser
VIEW IN TELEGRAM
Помните, мы рассказывали про AlphaXiv?

Это проект Стэнфорда: аналог всем известного arxiv, но с возможность писать комментарии и обсуждать вопросы поверх любой статьи.

Так вот, проект живет и, оказывается, с недавнего времени туда завезли буквально Cursor для рисерчеров. В любой статье можно выделить кусочек текста и попросить модель (там крутится Gemini 2 Flash) объяснить его или ответить на какой-то вопрос.

Киллер-фича: через @ можно в своем вопросе сослаться на другую статью. Тогда она загрузится в контекст модели и можно будет, например, попросить ассистента сравнить результаты, бенчмарки, подходы и тд.

С таким читать статьи гораздо приятнее, сами попробуйте: alphaxiv.org/
🤯142🔥77👍2910🍾3