Boston Dynamics опять радуют видео новинки. На этот раз показали миленького робо-байкера 🥰

OpenAI начали удалять некоторые китайские и корейские аккаунты

Не какие попало, конечно, а только те, которые они подозревают в использовании технологии с целью мошенничества.

Якобы одни злоумышленники использовали ChatGPT, чтобы писать фейковые статьи «порочащие США» на испанском, другие, чтобы пилить сотни резюме и фиктивно получать работу в американских компаниях, а третьи, чтобы генерировать оскорбительные комментарии в Твиттере.

Версия правительства США: Азия использует ИИ, чтобы подорвать репутацию и безопасность Америки 🍿

Новость

🤗 Hugging Face теперь можно пользоваться как SQL-студией

Ребята встроили в свой многомиллионный раздел с датасетами Data Studio. Теперь из нужной таблицы можно прямо на платформе извлечь то, что нужно, не скачивая ее полностью. Результат вернется в виде CSV, или им можно поделиться ссылкой.

Ну и самое приятное: писать SQL-запрос самому не обязательно. Достаточно описать все на естественном языке, а код за вас напишет DeepSeek V3.

Китайская лаборатория MoonshotAI показала оптимизатор Muon, который оказался в два раза эффективнее AdamW

Сам оптимизатор не новый, он вышел еще в декабре и придумал его Келлер Джордан. У него Muon (основанный, кстати, на ортогонализации матриц) показал крутые результаты, но только на игрушечных задачах. Заветный ✨скейлинг✨ не был продемонстрирован.

В Moonshot показали, как завести Muon для больших моделей. Как оказалось, требуется всего ничего: добавить weight decay и внимательно настроить обновление в зависимости от размера матрицы весов. Хотя, надо сказать, что последнее не совсем очевидно: для этого надо было заметить, что RMS метода не равно единице и вывести для него верную формулу.

С таким набором Muon работает из коробки и даже не требует настройки гиперпараметров. В статье его проверили на модельке 3В/16В MoE, и он обошел AdamW на производительности в два раза.

Код опенсорснули тут, так что уже можно тестировать имплементацию

На ML-собеседованиях все чаще спрашивают про применение LLM в реальных бизнес-проектах

Почему? Потому что компаниям нужны не просто те, кто знают, как моделька работает, а те, кто может эти знания положить на практику, решить задачу и принести компании пользу.

К сожалению, материалов по этой теме пока немного, а те, которые есть, теряются за огромным потоком (ИИ)нформации. Так что сегодня отдельно обращаем ваше внимание на вот этот вебинар про применение LLM в e-commerce: его проводят наши друзья из известной школы ШВМ.

На вебинаре разберут успешные и неудачные кейсы применения LLM, расскажут, какие модели реально работают и приносят бизнесу пользу, а также объяснят, какие важные задачи и почему пока не решены. Спикеры – огонь:

🟦 Артем Бочкарев – Head of Data Science в AliExpress (ну кто может лучше разбираться в ML в e-commerce?)
🟦 Александр Лыков – к.ф.-м.н., академический руководитель Школы Высшей Математики

Такое точно не пропускаем. Регистрируйтесь здесь, встретимся 27 февраля в 19:00.

Между тем наконец вышел тех.отчет по Qwen2.5-VL

Сама модель вышла в конце января, и по бенчмаркам она соответствует таким моделям, как GPT-4o, Claude 3.5 Sonnet и DeepSeek v3. Особенно ее прокачали в понимании картинок, диаграмм и документов, и в вышедшем тех.отчете есть некоторые ответы на вопрос "как".

Итак, сама модель стоит на трех китах: LLM, визуальный энкодер и MLP-модуль для слияния.

🟦 С LLM ничего особенного, просто Qwen2.5, в которой RoPE эмбеддинги заменили на мультимодальный вариант MRoPE (Multimodal Rotary Position Embedding).

🟦 В качестве визуального энкодера крутят ViT. Тут две интересных детали. Во-первых, картинки не ресайзят: вместо этого энкодер работает с «нативным», то есть динамическим разрешением, и количество токенов на выходе зависит от исходного размера.

Во-вторых, сюда добавили Window Attention, и это помогает снизить сложность операций относительно ванильного селф-аттеншена, который используется традиционно. Кстати, при работе с видео кадры дополнительно группируются по два. В точности потерь почти нет, зато какое значительное облегчение по ресурсам.

🟦 MLP-модуль вставили для того, чтобы привести размерность визуальных признаков к размерности текстовых эмбеддингов. Тут работают два обычных линейных слоя.

И, конечно, исследователи сильно потрудились над данными. Датасет для претрейна огромный (4 триллиона токенов), и в нем и OCR, и межмодальные данные, и документ-парсинг, и локализация, и видео, и даже агентские сценарии (типа работы с интерфейсами компьютеров).

Само обучение били на три этапа: визуальное предобучение энкодера, полное мультимодальное предобучение и отдельно длинно-контекстное (благодаря как раз этому этапу у модели такое хорошее понимание документов). После шел файнтюнинг и DPO.

Статья полностью тут. Кстати, на днях обещают завести в Qwen 2.5 ризонинг.

Яндекс релизнул YandexGPT 5 и снова вернулся к выкладке в опенсорс. Модель доступна в двух версиях:

⭐ Lite – pretrain-версия на 8B параметров с длиной контекста 32k токенов, опубликована на Hugging Face без финального этапа обучения, этических фильтров и алаймента. Претрейн проходил в два этапа: на первом этапе модель инициализировалась случайными весами и обучалась преимущественно на русскоязычных и англоязычных текстах общим объёмом 15T токенов. На втором этапе, который назвали Powerup, модель обучалась на высококачественных данных объёмом 320B токенов. В своей категории YandexGPT 5 Lite достигает паритета с мировыми SOTA по ряду ключевых бенчмарков для pretrain-моделей, а по многим другим опережает их.

⭐ Pro – старшая модель, для которой компания впервые применила метод гибридного обучения, добавив в стандартный цикл базовые настройки открытой модели Qwen. За счёт внедрений удалось сократить затраты на обучение и увеличить его скорость до 20 раз.

Для обучения YandexGPT 5 поколения в компании улучшили обучающий датасет, внедрили методы обучения с подкреплением (DPO и PPO), собственную модификацию LogDPO, которая помогает избежать эффекта «разучивания» – ситуации, когда модель забывает уже выученные знания.

Подробности можно прочитать на Хабре.