Найден годный конспект по LLM на русском языке

Авторы реально постарались, потому что раскрыто буквально все, что нужно, чтобы понять принцип работы современных моделей. Что внутри, если кратко:

– Необходимая математика: линал и матанализ на пальцах
– Все про механизм внимания и трансформеры
– Детальное объяснение процесса предобучения
– RL – с нуля до обучения ризонинг-моделей типа o3
– И даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.

Все – в иллюстрациях, схемах и интуитивно понятных примерах. Для наглядности прикладываю несколько страниц.

Забрать полную pdf-версию абсолютно бесплатно можно здесь

#промо

🚨 Grok 4 — новая мощная модель от xAI

📊 Лидер на бенчмарках:
- Решает математику AIME25 на 100% — не ошиблась ни в одной из самых сложных задач
- ARC-AGI-2: 15.9% против 8.6% у прошлых лидеров — почти в два раза выше, чем у Claude 4 Opus.

🧠 Главное достижение — Humanity’s Last Exam:
- С максимальными ресурсами и включённой поддержкой внешних инструментов — 44.4% (а на текстовой части даже 50.7%).
- Даже без внешних инструментов — всё ещё лучше всех: 25.4%, у ближайшего конкурента (Gemini 2.5 Pro) — 21.6%.
- Почти половина презентации была посвящена именно этому тесту.

🛠 Что под капотом:
- Архитектура — та же, что у Grok 3.
- Изначально это должна была быть версия Grok 3.5, но решили увеличить объём обучения.
- На стадию логического обучения (reasoning) потратили в 10 раз больше ресурсов.
- Теперь объём дообучения через RL (reinforcement learning) сопоставим с основным обучением.
- Важно: теперь модель сразу обучают использовать внешние инструменты во время RL, как это делают в OpenAI (в o3 и o4-mini).

📉 Слабые места:
- Мультимодальность пока на слабом уровне: большинство тестов — чисто текстовые, и на HLE модель показывает просадку.
- Маск пообещал, что в следующей версии это исправят.

📏 Контекст увеличили до 256k токенов.

💬 API уже запущен:
- Стоимость — как у Grok 3 и Claude Sonnet.
- Но из-за "разговорчивости" на практике модель по цене ближе к Claude Opus.
- Grok 4 Mini не выпустили — жаль, ведь Grok 3 Mini была отличной за свою цену.

🏭 Инфраструктура xAI растёт стремительно:
- Через 3–4 недели стартует тренировка видеомодели на 100k+ GPU GB200.
- В июне компания привлекла $10 млрд: половина — инвестиции, половина — в долг.
- В планах — новое расширение дата-центра Colossus.

📌 Grok 4 — это не просто обновление, а важный шаг вперёд в развитии reasoning-моделей и интеграции с внешними возможностями.

Тестим здесь.

@ai_machinelearning_big_data

#grok

Вот уже результаты бенчмарков от Artificial Analysis:

- Grok 4 достиг индекса искусственного интеллекта (ИИ) 73, опередив OpenAI o3 (70), Google Gemini 2.5 Pro (70), Anthropic Claude 4 Opus (64) и DeepSeek R1 0528 (68).
- Цена Grok 4 эквивалентна Grok 3: 3/15 долларов США за 1 млн токенов ввода/вывода (0,75 доллара США за 1 млн токенов кэшированного ввода). Цена за токен идентична Claude 4 Sonnet, но выше, чем у Gemini 2.5 Pro (1,25/10 долларов США за <200 тыс. токенов ввода) и o3 (2/8 долларов США после недавнего снижения цены).
- Grok 4 лидирует не только по индексу искусственного интеллекта, но и по индексу программирования (LiveCodeBench и SciCode) и индексу математики (AIME24 и MATH-500).
- Рекордный результат в GPQA Diamond — 88%, что значительно выше предыдущего рекорда Gemini 2.5 Pro в 84%.
- Рекордный результат в Humanity's Last Exam — 24%, что превышает предыдущий рекорд Gemini 2.5 Pro в 21%. Обратите внимание, что наш бенчмарк использует исходный набор данных HLE (январь 2025 г.) и запускает текстовую часть без каких-либо инструментов.
- Совместный наивысший результат для MMLU-Pro и AIME 2024 — 87% и 94% соответственно.
- Скорость: 75 выходных токенов/с, медленнее, чем o3 (188 токенов/с), Gemini 2.5 Pro (142 токена/с), Claude 4 Sonnet Thinking (85 токенов/с), но быстрее, чем Claude 4 Opus Thinking (66 токенов/с).

- Окно контекста на 256 тыс. токенов. Это ниже контекстного окна Gemini 2.5 Pro в 1 миллион токенов, но выше, чем у Claude 4 Sonnet и Claude 4 Opus (200 тыс. токенов), o3 (200 тыс. токенов) и R1 0528 (128 тыс. токенов).
- Поддерживает ввод текста и изображений. Аудио пока нет.
- Поддерживает вызов функций и структурированный вывод.

Видели все эти ASMR ИИ-видосики с разрезанием чего-нибудь острым ножичком?

Я вам принес чумовейших индусов, которые докрутили идею до годного. Во вселенском, так сказать, масштабе.

Во-первых, это красиво.
Во-вторых, поглядите их инсту, там показано, как люди с опытом поста обращаются с VEO и другими генераторами.
https://www.instagram.com/cinefai.studios

@cgevent

StreamDiT: Real-Time Streaming Text-to-Video Generation

Запасаемся картами H100, ибо на них уже крутится генерация видео в реальном времени.

А ведь это всего лишь работа интерна из Метачки, сделанная с мая по ноябрь 2024 год.

Прочему остальные, кроме Адобченко, молчат?

Справедливости ради надо указать, что большая модель на 30B - не реалтайм, а вот дистиллированная, на 4B параметров, умеет в 16фпс на одной карте H100 и с разрешением 512p.
Что, тем не менее очень круто. Вон у Midjourney 480p, но ежики молчат, и генерят кактусы.

Кода нет, демо нет, есть только бумага.

Много видео тут:
https://cumulo-autumn.github.io/StreamDiT/

@cgevent