Главная идея книги - показать, почему и как глубокие нейросети учатся извлекать сжатые, информативные представления сложных данных, и что у них внутри:
📖 Читать онлайн: ma-lab-berkeley.github.io/deep-representation-learning-book
@ai_machinelearning_big_data
#book #deeplearning #representationlearning #ucberkeley #machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍92❤26🔥19🤔1
🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля
В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:
> • токенизатор (написан на Rust)
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)
Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.
💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике.
Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.
Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).
А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K
🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.
🟠 GitHub:https://github.com/karpathy/nanochat
🟠 Технические детали: https://github.com/karpathy/nanochat/discussions/1
@ai_machinelearning_big_data
#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT
В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:
> • токенизатор (написан на Rust)
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)
Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.
💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике.
Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.
Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).
А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K
🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.
@ai_machinelearning_big_data
#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥176❤50👍27🗿8💘3🥰1
Команда AI VK открыла регистрацию на VK RecSys Challenge — масштабное соревнование по созданию алгоритмов рекомендаций. В этом году командам и участникам предстоит решить одну из самых сложных задач индустрии — cold start. 🧠
В прошлом году более 1000+ участников решали задачу по предсказанию явного фидбэка (лайков/дизлайков) клипов, а в этом челендж посложнее. Обычно рекомендательные системы анализируют поведение пользователя и предлагают контент на основе прошлых взаимодействий. Здесь задача зеркальна: нужно предсказать, кому понравится новый клип, которого еще никто не видел. Участникам предстоит работать с реальными данными свежего датасета VK-LSVD, включающего 40 млрд обезличенных взаимодействий с 20 млн коротких видео.
Принять участие могут команды до 4 человек или индивидуально, а призовой фонд составит 2,5 млн рублей.
@ai_machinelearning_big_data
#news #ml #recsys #vkdataset #coldstart #machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤25😁14👍9🔥9🗿3
Он обучил модель считать, сколько раз буква r встречается в слове strawberry, и использовал этот пример, чтобы показать, как можно наделять маленькие языковые модели новыми навыками через синтетические задачи.
Сначала генерируются диалоги:
«Сколько букв r в слове strawberry?»
и правильные ответы.
После этого модель проходит дообучение (SFT) или обучение с подкреплением (RL), чтобы закрепить навык.
Карпаты объясняет, что для маленьких моделей важно продумывать всё до мелочей, как разнообразить запросы, как устроена токенизация и даже где ставить пробелы.
Он показывает, что рассуждения лучше разбивать на несколько шагов, тогда модель легче понимает задачу.
Nanochat решает задачу двумя способами:
— логически, рассуждая пошагово;
— через встроенный Python-интерпретатор, выполняя вычисления прямо внутри чата.
Идея в том, что даже крошечные LLM можно «научить думать», если правильно подготовить примеры и синтетические данные.
📘 Разбор: github.com/karpathy/nanochat/discussions/164
@ai_machinelearning_big_data
#AI #Karpathy #Nanochat #LLM #SFT #RL #MachineLearning #OpenSource
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤101👍56🔥19🤗3💘3🗿1
• Содержание: Курс включает 9 лекций, дополненных видео, подробными презентациями и примерами кода. Цикла - обучение разработке ИИ-агентов доступен написан понятно, даже для новичков в программирование.
• Темы: В лекциях рассматриваются такие темы, такие как RAG (Retrieval-Augmented Generation), эмбеддинги, агенты и протокол MCP.
Культовый трек CS 249 превратили в интерактивный учебник - и это, пожалуй, один из лучших стартов для инженеров, которые хотят делать реальные ML-системы, а не просто играться с моделями.
• Вся база по ML: объясняют фундамент с нуля, нужно только знание Python
• Проектирование систем и инженерия данных
• Подготовка датасетов, MLOps и мониторинг
• Развёртывание ИИ в IoT и продакшене
Это практический курс: не о формулах, а о том, как внедрять ML так, чтобы он приносил бизнесу прибыль.
Если хочешь понять, как модели живут в проде - идеальный вариант для старта.
NVIDIA показала, как собрать AI-агента, который понимает твои запросы на естественном языке и сам выполняет команды Bash.
В основе модель Nemotron Nano 9B v2: компактная, быстрая, идеально подходит для локального эксперимента.
Агент умеет:
- распознавать команды на естественном языке («создай папку», «покажи файлы»),
- превращать эти команды в рабочие Bash-срипты
- спрашивать подтверждение перед выполнением.
Весь код занимает ~200 строк Python, работает через FastAPI и LangGraph.
Можно расширить под DevOps, Git-операции, анализ логов или управление сервером.
Полностью бесплатно и максимально практично.
Что внутри:
• Python, Pandas, визуализация
• Основы машинного обучения и фичеринжиниринг
• Подготовка данных и работа с моделями
Практика без лишней теории учишься и сразу применяешь.
Вы узнаете, как масштабировать базы данных через шардинг - разбиение данных по серверам для роста производительности и отказоустойчивости.
Главное:
• Шардинг нужен, когда одна база больше не справляется с нагрузкой.
• Есть два популярных подхода — по диапазону (range) и по хешу (hash).
• Важно выбрать стабильный ключ (например, user_id) и избегать кросс-шардовых запросов.
• Прокси-слой немного увеличивает задержку, но даёт масштабируемость.
Отличный материал, если хочешь понять, как строят системы уровня YouTube. А здесь много базы по SQL
Читать
Список из 60 проектов на GitHub с открытым кодом по генеративному ИИ 0от текстовых моделей до аудио и видео.
Каждый проект - с описанием и ссылкой на репозиторий. Можно выбрать идею, запустить локально и собрать своё AI-портфолио.
👉 Еще больше полезного.
@ai_machinelearning_big_data
#AI #MachineLearning #DataScience #ML #ИИ #freecourses
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍102❤48🔥18🗿5💋1
🔥 Hugging Face снова выкатили полезные материалы.
Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
🔥100❤30🥰9🤩3
Это понятное и структурированное введение в основы агентных систем.
В гайде рассматриваются:
- архитектура агента и его основные компоненты
- роль LLM как «мозга» агента
- подключение и использование инструментов
- оркестрация нескольких агентов
- подходы к деплою и продакшн-интеграции
- метрики и способы оценки работы
- как создаются самообучающиеся и эволюционирующие агенты
- пример архитектуры AlphaEvolve
📌 Гайд: https://drive.google.com/file/d/1C-HvqgxM7dj4G2kCQLnuMXi1fTpXRdpx/view
@ai_machinelearning_big_data
#AI #Agents #Google #LLM #MachineLearning #AIResearch
Please open Telegram to view this post
VIEW IN TELEGRAM
❤72🔥30👍29⚡5🙈4🙏2
🚀 DeepSeek выпустили DeepSeek Math V2 - мощную модель для самопроверяемых математических рассуждений.
Модель способна не просто решать задачи, а самостоятельно проверять корректность своих доказательств.
Это шаг от генерации ответа к глубокому, надёжному и логически выверенному выводу.
📊 Результаты:
- уровень золотой медали на IMO 2025
- почти идеальные результаты на CMO 2024
- 118 из 120 баллов на Putnam 2024
🔍 Главное отличие от предыдущих моделей:
ИИ учится *мыслить строго*, пошагово формируя доказательство и сам проверяет логическую связность каждого шага.
Подходит как для автоматизированного решения задач, так и для обучения, генерации разборов и проверки решений.
https://huggingface.co/deepseek-ai/DeepSeek-Math-V2
@ai_machinelearning_big_data
#AI #DeepSeek #Math #LLM #MachineLearning #OpenSource #
Модель способна не просто решать задачи, а самостоятельно проверять корректность своих доказательств.
Это шаг от генерации ответа к глубокому, надёжному и логически выверенному выводу.
📊 Результаты:
- уровень золотой медали на IMO 2025
- почти идеальные результаты на CMO 2024
- 118 из 120 баллов на Putnam 2024
🔍 Главное отличие от предыдущих моделей:
ИИ учится *мыслить строго*, пошагово формируя доказательство и сам проверяет логическую связность каждого шага.
Подходит как для автоматизированного решения задач, так и для обучения, генерации разборов и проверки решений.
https://huggingface.co/deepseek-ai/DeepSeek-Math-V2
@ai_machinelearning_big_data
#AI #DeepSeek #Math #LLM #MachineLearning #OpenSource #
❤72👍23🔥13🦄4🤔3⚡2❤🔥2
🚀 GELab-Zero - первый полноценный open-source стек “Model + Infra” для GUI-агентов.
Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.
Что внутри:
• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.
Производительность:
• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).
Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.
🟠 HuggingFace: https://huggingface.co/stepfun-ai/GELab-Zero-4B-preview
🟠 GitHub: https://github.com/stepfun-ai/gelab-zero
🟠 Blog: https://opengelab.github.io/index.html
@ai_machinelearning_big_data
#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning
Это открытая альтернатива закрытым системам уровня GUI Agent MCP: готовая модель, готовая инфраструктура и новый бенчмарк, собранный под реальные задачи.
Что внутри:
• SOTA-модель 4B - лёгкая, быстрая, запускается локально.
• One-Click инфраструктура - без ADB и сложных зависимостей.
• AndroidDaily - новый бенчмарк, основанный на рабочих пользовательских сценариях.
Производительность:
• Лучшие результаты на открытых тестах - модель обходит гораздо более крупные системы вроде GUI-Owl-32B на ScreenSpot, AndroidWorld и OSWorld.
• 73.4% точности на AndroidDaily - существенно выше, чем UI-TARS-1.5 (47%), Gemini-2.5-pro-thinking (36.6%) и GPT-4o (19.6%).
Идея простая: скачивайте, запускайте локально, ломайте, улучшайте.
Открытый стек для GUI-агентов наконец доступен.
@ai_machinelearning_big_data
#AI, #Agents, #GUIAgents, #GELabZero, #OpenSource, #MachineLearning, #DeepLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤40👍20🔥11🥱3🦄1
Ключевые характеристики:
- MoE-архитектура: 30B параметров всего, ~3.5B активных
- Контекст до 1 миллиона токенов
- Гибридная архитектура:
- 23 слоя Mamba-2 + MoE
- 6 attention-слоёв
- Баланс между скоростью и качеством рассуждений
Требования:
- необходимо около 24 ГБ видеопамяти для локального запуска
Модель хорошо подходит для длинных диалогов, анализа документов и reasoning-задач
Интересный пример того, как MoE и Mamba начинают реально снижать требования к железу, сохраняя масштаб контекста и качество.
Для обучения Super и Ultra используется NVFP4 и новая архитектура Latent Mixture of Experts. Она позволяет задействовать в четыре раза больше экспертов при той же стоимости инференса. По сути, модель становится «умнее» за счёт более гибкого выбора экспертов, а не за счёт постоянной активации всех параметров.
Дополнительно применяется Multi-Token Prediction, что ускоряет обучение и улучшает качество рассуждений на длинных последовательностях. Это особенно важно для agentic и multi-agent сценариев, где модели работают с длинным контекстом и сложными цепочками решений.
NVIDIA публикует не только веса, но и данные для предобучения и постобучения, а также технические детали, которые объясняют, почему эти модели одновременно быстрые и сильные.
Такой уровень открытости - редкость для моделей этого масштаба и хороший сигнал для индустрии.@ai_machinelearning_big_data
#AI #LLM #NVIDIA #Nemotron3 #OpenSource #MachineLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥60❤26👍21🦄3👌2
⚡ Gemini 3 Flash - быстрый ИИ нового поколения от Google
Gemini 3 Flash:
- это очень быстрая модель с минимальной задержкой
- при этом она сохраняет сильные способности к рассуждению
- Frontier-уровень на GPQA Diamond - рассуждения уровня PhD
- Хорошие результаты на Humanity’s Last Exam
- State-of-the-art на MMMU Pro - хорошо работает с видео и мультимодальными данными
- В целом, качество сопоставимо с Gemini 3 Pro
Стоит в четыре раза дешевле, чем Gemini 3.0 Pro, при этом показывает сопоставимые результаты почти во всех бенчмарках, включая HLE и ARC-AGI 2. На некоторых бенчмарках модель обходит GPT-5.2.
Более того, в ряде тестов модель даже превосходит более мощную версию Pro, оставаясь при этом значительно дешевле.
По сути, Flash - это попытка Google сбалансировать три вещи одновременно: скорость + интеллект + стоимость.
Цены:
- Text input: $0.30 per 1M tokens
- Text output: $2.50 per 1M tokens
- Cache read: $0.075 per 1M tokens
- Input audio: $0.999 per 1M tokens
- Input audio (cached): $0.249 per 1M tokens
- Web search: $0.035 per request
- Cache storage: $1 per hour per 1M tokens
https://blog.google/products/gemini/gemini-3-flash/
@ai_machinelearning_big_data
#AI #Gemini #Google #LLM #Multimodal #AIModels #MachineLearning
Gemini 3 Flash:
- это очень быстрая модель с минимальной задержкой
- при этом она сохраняет сильные способности к рассуждению
- Frontier-уровень на GPQA Diamond - рассуждения уровня PhD
- Хорошие результаты на Humanity’s Last Exam
- State-of-the-art на MMMU Pro - хорошо работает с видео и мультимодальными данными
- В целом, качество сопоставимо с Gemini 3 Pro
Стоит в четыре раза дешевле, чем Gemini 3.0 Pro, при этом показывает сопоставимые результаты почти во всех бенчмарках, включая HLE и ARC-AGI 2. На некоторых бенчмарках модель обходит GPT-5.2.
Более того, в ряде тестов модель даже превосходит более мощную версию Pro, оставаясь при этом значительно дешевле.
По сути, Flash - это попытка Google сбалансировать три вещи одновременно: скорость + интеллект + стоимость.
Цены:
- Text input: $0.30 per 1M tokens
- Text output: $2.50 per 1M tokens
- Cache read: $0.075 per 1M tokens
- Input audio: $0.999 per 1M tokens
- Input audio (cached): $0.249 per 1M tokens
- Web search: $0.035 per request
- Cache storage: $1 per hour per 1M tokens
https://blog.google/products/gemini/gemini-3-flash/
@ai_machinelearning_big_data
#AI #Gemini #Google #LLM #Multimodal #AIModels #MachineLearning
👍91❤25🔥21😍5😁2🦄1
🚨 🚨 DeepSeek в первый день года показала реально важную штуку: улучшение трансформеров.
Китайцы предложили способ сделать shortcut-путь в трансформерах гибче, но при этом сохранить стабильность даже у очень больших моделей.
В обычном трансформере каждый блок что-то считает, а потом просто добавляет результат к исходному сигналу.
Это помогает информации проходить через много слоёв, не теряясь.
Hyper-Connections меняют shortcut-путь.
Был один поток, а стало несколько.
То есть shortcut превращается из простого «input + output» в умный маршрутизатор сигналов.
Проблема в том, что без ограничений такие смешивания могут усиливать сигнал слишком сильно или, наоборот, гасить его и большие модели начинают вести себя нестабильно.
mHC решает это так:
потоки остаются, но каждое смешивание работает как аккуратное усреднение.
Сигнал не может «взорваться» или исчезнуть - он остаётся под контролем.
Что это даёт на практике:
- модели остаются стабильными даже на масштабе 27B, дают лучшее качество и не страдают от скачков лосса.
Там, где обычные Hyper-Connections раздували сигнал до 3000×, mHC держат его примерно на уровне 1.6×.
Если коротко: был один shortcut,. сделали несколько, но заставили их смешиваться безопасно.
И трансформеры стали гибче и стабильнее.
https://arxiv.org/abs/2512.24880
@ai_machinelearning_big_data
#AI #DeepSeek #MachineLearning #NeuralNetworks #Research
Китайцы предложили способ сделать shortcut-путь в трансформерах гибче, но при этом сохранить стабильность даже у очень больших моделей.
В обычном трансформере каждый блок что-то считает, а потом просто добавляет результат к исходному сигналу.
Это помогает информации проходить через много слоёв, не теряясь.
Hyper-Connections меняют shortcut-путь.
Был один поток, а стало несколько.
Перед каждым шагом модель выбирает, какие потоки подать на вычисления.
Во время шага часть сигнала идёт «в обход»,
чтобы ничего не потерять.
После всё снова аккуратно объединяется.
То есть shortcut превращается из простого «input + output» в умный маршрутизатор сигналов.
Проблема в том, что без ограничений такие смешивания могут усиливать сигнал слишком сильно или, наоборот, гасить его и большие модели начинают вести себя нестабильно.
mHC решает это так:
потоки остаются, но каждое смешивание работает как аккуратное усреднение.
Сигнал не может «взорваться» или исчезнуть - он остаётся под контролем.
Что это даёт на практике:
- модели остаются стабильными даже на масштабе 27B, дают лучшее качество и не страдают от скачков лосса.
Там, где обычные Hyper-Connections раздували сигнал до 3000×, mHC держат его примерно на уровне 1.6×.
Если коротко: был один shortcut,. сделали несколько, но заставили их смешиваться безопасно.
И трансформеры стали гибче и стабильнее.
https://arxiv.org/abs/2512.24880
@ai_machinelearning_big_data
#AI #DeepSeek #MachineLearning #NeuralNetworks #Research
👍492😘89❤86🔥81👏55😎28🤗21✍14🙈10🎉7🥱2🦄1