AMD собирается приобретать ZT Systems за почти $5 миллиардов

Видимо, AMD надоело дышать в спину Nvidia и они решили что-то делать. ZT Systems – это компания, которая занимается дизайном вычислений и инфраструктуры для ИИ.

Кстати, сейчас ZT Systems также тесно сотрудничает с Intel и Nvidia. То есть возможно, AMD не просто покупают ценную компанию, а еще и лишают конкурента важного партнерства 🤔

Ну недаром же такое название, правильно? 🤷‍♂️🤷‍♂️🤷‍♂️

Наша свежая статья про дистилляцию и прунинг на примере новой модели Nvidia

Дистилляция и прунинг – новые тренды индустрии и ресерча. Ученые стараются научиться разрабатывать небольшие языковые модели, которые также эффективны, как крупные, но при этом гораздо легче, доступнее и дешевле.

Таким образом создавались Llama 3.1 70B, Llama 3.1 8B, Minitron 8B и 4В, и, возможно, даже GPT4o-mini. Если хотите разобраться – наша новая статья для вас!

В ней мы на примере новой работы Nvidia объяснили:

⚪️ Что такое дистилляция и прунинг, и какими они бывают
⚪️ Как их лучше использовать
⚪️ Как ученым удалось сделать из Lllama 3.1 8B модель в два раза меньше и бодрее, ставшую SOTA в своем размере

Читайте по ссылке: https://datasecrets.ru/articles/17

⚡️ Microsoft выпустили Phi 3.5

Всего релизнули три варианта модели:

➡️ Phi 3.5 mini instruct. Всего 3.8В параметров, 128К контекста. Эта малышка обгоняет Llama 3.1 8B и Mistral 7B и приближается к Mistral NeMo 12B! Обучалась 10 дней на 3.4T токенов с использованием 512 штук видеокарт H100.

➡️ Phi 3.5 MoE. Здесь 16x3.8B с двумя экспертами. Контекст также 128К. Эта обучалась уже подольше – 23 дня на 4.9Т токенов на том же кластере. Модель обгоняет Gemini flash!

➡️ Phi 3.5 Vision instruct (VLM). 4.2В. Обучалась на 500В токенов. И, приготовьтесь: по усредненным бенчмаркам эта модель оставляет позади всех кроме GPT-4o и Gemini 1.5 Pro (и то с небольшим отрывом).

Самый громкий и крутой релиз Microsoft за последнее время. Веса всех моделей лежат тут на HF. Будем ждать на Арене.

Наш мозг файнтюнится на синтетических данных, пока спит

В ML-сообществе внезапно вызвала большой отклик статья, выпущенная биологами из университета Калифорнии. В ней показано, что сны для мозга – это нечто большее, чем мы предполагали.

Оказывается, в фазе быстрого сна мозг выдает реальные двигательные команды и реагирует на них, как во время бодрствования. То есть для мозга "поверни налево" во сне и в реальности – фактически одно и то же, несмотря на то, что во сне эти команды не приводятся в действие.

Зачем мозг это делает? Чтобы совершенствовать нейронные связи даже когда он оторван от реальной среды. Это своеобразное "самомоделирование". При этом, что очень интересно, мозг во время такого сонного обучения глушит сигналы, которые он обычно получает "в ответ" от тела во время движений. Это нужно для того, чтобы случайно не привыкнуть ко снам слишком сильно и не разучиться пользоваться своим реальным телом.

Скажите, вы ведь тоже видите тут параллели с синтетическими данными, градиентами и оверфиттингом? 🤔

Тем временем Hugging Face сегодня пробил 5 миллионов пользователей. Напоминаем, что при этом у них в команде менее 200 человек 😮

Два брата-близнеца c Reddit пару недель назад выпустили книгу с объяснением главных DL-парадигм в картинках

Называется чудо "Illustrated book to learn about Transformers & LLMs" и выглядит просто колоссально кайфово. По главам:

▪️ основы нейросетей (перцептроны там всякие, обратное распространение и тд);
▪️ эмбеддинги и токенизация;
▪️ дальше RNN, LSTM, GRU;
▪️ и, конечно же, трансформеры. Тут все, от внимания и BERT до GPT, дистилляции и RLHF;
▪️ бонусом рассказ про классические задачи, такие как машинный перевод, sentiment extraction или RAG.

В общем, всё от и до, а куча картинок на каждой странице помогут понять и запомнить даже самые непростые вещи. Правда, доступна пока только печатная версия, но PDF авторы обещают скоро выкатить.

To Code, or Not To Code

Современный Гамлет? Да нет, просто новая статья, в которой показано, что предобучение на коде улучшает метрики на некодовых задачах.

Ресерчеры из Cohere обнаружили, что даже небольшое количество кода в претрейне повышает производительность модели на языковом ризонинге на 8% (по сравнению с претрейном только на тексте). При этом можно брать даже качественный синтетический код.

Отправляем другу гуманитарию 🤔

OpenAI такие: "Дааа, мы за регуляризацию! (...но только если регулируют не нас)"

В США сейчас рассматривают новый законопроект об искусственном интеллекте, который запретит опенсорс и разрешит разрабатывать сильный ИИ только небольшой группе компаний, фактически убив индустрию. OpenAI, конечно, в начале этот проект поддержали (можно ли было представить более выгодные для них условия?). Вот что сказал их стратегический директор Джейсон Квон неделю назад:

"Мы всегда считали, что ИИ должен регулироваться, и эта позиция остается неизменной».

Но потом появились новые детали о том, насколько жестко будут контролироваться эти избранные компании, и вот что Квон говорит сегодня:

"Законопроект Калифорнии об искусственном интеллекте поставит под угрозу рост и замедлит темпы инноваций ..."

Напоминаем, что OpenAI и, в частности, Альтман до этого были активными участниками лоббирования жесткого закона по регуляризации ИИ в Европе. Вот такие пироги 🤯