🚀 Unsloth показал, как динамическая квантизация (Dynamic GGUFs) может радикально ускорить и облегчить работу LLM, не теряя качество.
В чём суть
Обычные методы квантизации уменьшают разрядность весов модели одинаково для всех слоёв.
Unsloth пошёл дальше: каждому слою подбирается своё число бит.
- Ключевые слои → 6–8 бит (чтобы сохранить точность).
- Второстепенные → 1–3 бита (для максимального сжатия).
Результаты, которых удалось добиться:
- 671B DeepSeek-V3.1: сжатие модели с 671GB до 192GB (–75%).
- 1-бит версия уже обгоняет GPT-4.1 и GPT-4.5 в «no-thinking» задачах.
- 3-бит версия превосходит Claude-4-Opus в «thinking» задачах.
- 5-бит версия догоняет и стабильно держит уровень SOTA.
🟢 Почему это интересно:
- Сжатие → модели становятся доступнее для запуска на меньших GPU.
- Качество не падает, а иногда даже растёт за счёт умного распределения битности.
- Тесты на Aider Polyglot benchmark показывают лучшие результаты среди существующих quant-моделей.
🟢 Итог
Dynamic GGUF от Unsloth — это не просто ещё один способ «урезать» модель, а технология, которая делает триллионные LLM компактными, быстрыми и при этом сверхточными.
⭐Пост: https://docs.unsloth.ai/basics/unsloth-dynamic-ggufs-on-aider-polyglot
#Unsloth #LLM #Quantization #AI #AiderPolyglot
В чём суть
Обычные методы квантизации уменьшают разрядность весов модели одинаково для всех слоёв.
Unsloth пошёл дальше: каждому слою подбирается своё число бит.
- Ключевые слои → 6–8 бит (чтобы сохранить точность).
- Второстепенные → 1–3 бита (для максимального сжатия).
Результаты, которых удалось добиться:
- 671B DeepSeek-V3.1: сжатие модели с 671GB до 192GB (–75%).
- 1-бит версия уже обгоняет GPT-4.1 и GPT-4.5 в «no-thinking» задачах.
- 3-бит версия превосходит Claude-4-Opus в «thinking» задачах.
- 5-бит версия догоняет и стабильно держит уровень SOTA.
- Сжатие → модели становятся доступнее для запуска на меньших GPU.
- Качество не падает, а иногда даже растёт за счёт умного распределения битности.
- Тесты на Aider Polyglot benchmark показывают лучшие результаты среди существующих quant-моделей.
Dynamic GGUF от Unsloth — это не просто ещё один способ «урезать» модель, а технология, которая делает триллионные LLM компактными, быстрыми и при этом сверхточными.
⭐Пост: https://docs.unsloth.ai/basics/unsloth-dynamic-ggufs-on-aider-polyglot
#Unsloth #LLM #Quantization #AI #AiderPolyglot
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12👍4🔥3
Forwarded from Machinelearning
Это text-image модель, которая может генерировать изображения в 2K.
Теперь модель можно запускать локально. Для этого необходимо минимум 24GB VRAM.
@ai_machinelearning_big_data
#AI #HunyuanImage #StableDiffusion #ImageGeneration
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2🔥1🤩1
Forwarded from Machinelearning
Лёгкая LLM-модель, которая умеет хранить знания в человеко-читаемой памяти (Markdown-файлы) и использовать их для ответов. Агент не просто отвечает на запросы, а действительно «помнит» факты и обновляет их по ходу работы.
Это агент на 4B с локальной, совместимой памятью для Claude, ChatGPT и LM Studio.
Как работает память:
- Вся информация лежит в Markdown:
memory/user.md и отдельные файлы для сущностей. - Связи между файлами сделаны как в Obsidian:
[[entity]]. - Агент может извлекать факты, обновлять их или задавать уточняющие вопросы, если запрос неполный.
Вместо огромных контекстов и упора в лимиты, Mem-Agent извлекает нужные фрагменты из локальных документов, сжимает их и передаёт агенту.
Как обучали:
- Базовая модель: Qwen3-4B-Thinking-2507.
- Использовали метод онлайн-RL (GSPO).
- Тестировали на md-memory-bench.
Результаты:
- mem-agent уверенно решает задачи памяти, близко к уровню больших моделей.
- Даже в сжатых версиях (4-bit и 8-bit) сохраняет почти то же качество.
Чем хорош:
- Память можно читать и редактировать вручную.
- Агент работает быстро и эффективно, даже в маленьком размере.
- Удобен как компонент в более крупных системах (например, через MCP).
@ai_machinelearning_big_data
#LLM #AI #Agents #MemAgent #Dria #MCP #LocalAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍2
Forwarded from Machinelearning
⚡️ Ling-flash-2.0 теперь в открытом доступе! ⚡️
Модель на 100B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной в вычислительной нагрузке.
🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.
⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).
https://huggingface.co/inclusionAI/Ling-flash-2.0
@ai_machinelearning_big_data
#moe #llm #ml #ai #opensource
Модель на 100B параметров, но задействовано всего ≈6.1B активных, что делает модель очень экономной в вычислительной нагрузке.
🚀 Чем хороша Ling-flash-2.0
- Обучена на более чем 20 триллионах токенов с до-обучением и RL-этапами.
- Демонстрирует state-of-the-art производительность среди плотных моделей до 40B параметров.
- Особенно хороша в сложном рассуждении, генерации кода и задачах с фронтендом.
⚙️ Архитектура и эффективность
- MoE-архитектура с активированием лишь части параметров (activation ratio 1/32).
- Много технических фишек: продвинутое распределение экспертов, баланс внимания, схема маршрутизации без вспомогательных потерь и др.
- На железе H20 модель генерирует 200+ токенов в секунду - в 3× быстрее по сравнению с плотной моделью 36B.
- Поддерживает контексты до 128K токенов (с YaRN).
https://huggingface.co/inclusionAI/Ling-flash-2.0
@ai_machinelearning_big_data
#moe #llm #ml #ai #opensource
👍4❤2🔥2
🔥 Новая модель: Ring-mini-2.0
📊 При размере всего 16B параметров (и лишь **1.4B активных**) модель показывает уровень рассуждений, сравнимый с плотными моделями до 10B.
На ключевых бенчмарках:
- LiveCodeBench, AIME 2025, GPQA, ARC-AGI-v1
Ring-mini-2.0 обходит все плотные модели <10B и даже соперничает с более крупными MoE-моделями (например, gpt-oss-20B-medium), особенно в задачах логического мышления.
⚡ Дополнительно — команда vibe на базе Ring-mini-2.0 в anycoder собрала быстрый чат-приложение, демонстрируя практические возможности модели.
Ring-mini-2.0 — ещё один шаг к компактным, но мощным reasoning-моделям, которые легко запускать и интегрировать.
#AI #LLM #RingMini #Reasoning #MoE
https://huggingface.co/spaces/akhaliq/Ring-mini-2.0
📊 При размере всего 16B параметров (и лишь **1.4B активных**) модель показывает уровень рассуждений, сравнимый с плотными моделями до 10B.
На ключевых бенчмарках:
- LiveCodeBench, AIME 2025, GPQA, ARC-AGI-v1
Ring-mini-2.0 обходит все плотные модели <10B и даже соперничает с более крупными MoE-моделями (например, gpt-oss-20B-medium), особенно в задачах логического мышления.
⚡ Дополнительно — команда vibe на базе Ring-mini-2.0 в anycoder собрала быстрый чат-приложение, демонстрируя практические возможности модели.
Ring-mini-2.0 — ещё один шаг к компактным, но мощным reasoning-моделям, которые легко запускать и интегрировать.
#AI #LLM #RingMini #Reasoning #MoE
https://huggingface.co/spaces/akhaliq/Ring-mini-2.0
🔥3👍2
⚡️AI Studio: создание ИИ-агентов без навыков программирования
Yandex B2B Tech представила обновлённую платформу AI Studio. Теперь компании могут собирать ИИ-агентов без навыков программирования, используя облачные генеративные модели. Это поможет снять часть рутинных задач с бухгалтерии, HR и других сотрудников.
🚀 Основные возможности:
- Голосовые агенты на базе realtime API для контакт-центров с ответами в реальном времени.
- AI Search: поиск по изображениям, таблицам и документам, подключение к интернету.
- Мультиагентные сценарии для комплексных задач.
- Готовые решения: резюмирование встреч, SpeechSense для анализа звонков, Нейроюрист для юридических вопросов.
@machinelearning_ru
#ai #agents #cloud #ml
Yandex B2B Tech представила обновлённую платформу AI Studio. Теперь компании могут собирать ИИ-агентов без навыков программирования, используя облачные генеративные модели. Это поможет снять часть рутинных задач с бухгалтерии, HR и других сотрудников.
🚀 Основные возможности:
- Голосовые агенты на базе realtime API для контакт-центров с ответами в реальном времени.
- AI Search: поиск по изображениям, таблицам и документам, подключение к интернету.
- Мультиагентные сценарии для комплексных задач.
- Готовые решения: резюмирование встреч, SpeechSense для анализа звонков, Нейроюрист для юридических вопросов.
@machinelearning_ru
#ai #agents #cloud #ml
❤3👎3👍1😁1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Deutsche Bank предупреждает: нынешний рост инвестиций в ИИ неустойчив.
Расходы на дата-центры и оборудование удерживают США от рецессии, но без них рост ВВП близок к нулю. Goldman оценивает капзатраты в $368 млрд к августу 2025 года.
К 2030 году отрасли потребуется $2 трлн годовой выручки, но прогнозируется дефицит в $800 млрд. Продуктивность от ИИ придёт, но слишком медленно, чтобы оправдать такие масштабы инвестиций.
Fortune
KAT-Dev-32B достигает 62,4% на SWE-Bench Verified, входя в топ-5 среди всех open-source моделей.
KAT-Coder идёт ещё дальше - 73,4%, что ставит его в один ряд с ведущими проприетарными решениями.
HF
InclusionAI анонсировала Ring-flash-linear-2.0, открытое решение с комбинированным вниманием (линейным + стандартным). При активации лишь 6,1 млрд параметров она демонстрирует производительность, сопоставимую с плотной моделью на 40 млрд параметров.
Модель основана на Ling-flash-base-2.0 и дообучена на 1 триллионе токенов. Благодаря использованию MoE и гибридной архитектуре она достигает почти линейной временной сложности и устойчивого потребления памяти - что ускоряет и удешевляет инференс.
Ring-flash-linear-2.0 поддерживает контексты длиной до 128 000 токенов, показывая конкурентные результаты в задачах рассуждения, математики, программирования и генерации текста.
Модель распространяется под лицензией MIT.
HF
В Science Magazine опубликовано исследование, которое описывает новую технологию редактирования ДНК. Она позволяет вносить крупные и точные изменения прямо в нужное место генома человека — то, чего не могли обеспечить существующие методы вроде CRISPR.
CRISPR работает грубо: разрезает ДНК и надеется, что клетка правильно её восстановит. Более точные версии редактируют лишь крошечные участки - десятки или сотню «букв» ДНК. Но большинство болезней связано не с одной мутацией, а с распределёнными изменениями по всему геному.
Учёные нашли решение в бактериальных «прыгающих генах» - так называемых мостовых РНК. Они позволяют безопасно и точно вставлять, удалять или переставлять фрагменты длиной до 1 миллиона пар оснований.
В эксперименте новая технология исправила ДНК-повторы, вызывающие атаксию Фридрейха - редкое неврологическое заболевание. Тот же подход можно применить к болезни Хантингтона и другим тяжёлым наследственным патологиям.
В институте Arc уверены: комбинация их ДНК-модели Evo (для проектирования «здоровых» последовательностей) и метода Bridge recombination (для внедрения изменений) может стать основой будущей «Тьюринговой машины для биологии» — системы, способной переписывать геном с высокой точностью.
Paper
Лицо сохраняется точным, а движения выглядят плавно и естественно.
Главное новшество - два специальных адаптера. ID-adapter закрепляет лицо во всех кадрах, чтобы оно не «менялось» при генерации, а Ref-adapter переносит детали исходного фото - волосы, глаза, текстуру кожи.
Lynx построена на Diffusion Transformer и обучена на базе из 50,2 млн пар изображений и видео с разными выражениями лица, светом и фоном. Это помогает модели уверенно сохранять идентичность человека даже в сложных условиях.
Моделька выйдет персонализированное видео высокого качества, где совпадают лицо, мимика и мелкие детали внешности.
byteaigc
С 10 по 14 ноября участников ждут ежедневные лекции, практические задания и финальный проект для портфолио. В программе — основы архитектуры агентов, работа с Tool Use и API, контекст-инженеринг и память, метрики качества и оптимизация, а также создание первой мультиагентной системы по протоколу Agent2Agent. Регистрация открыта, участие доступно всем без отбора.
Rsvp
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍5
🐬 DeepSeek-V3.2-Exp
🚀 Новая экспериментальная модель от DeepSeek:
- Сохраняет качество V3.1, но снижает цены API на 50–75%
- Ускоряет длинный контекст за счёт DeepSeek Sparse Attention (DSA)
- Доступна в приложении, на вебе и в API, веса и GPU-ядра выложены в открытый доступ
- V3.1 остаётся онлайн до 25 октября для сравнения
💰 Новые цены:
- Input (cache hit): $0.07 → $0.028 (−60%)
- Input (cache miss): $0.56 → $0.28 (−50%)
- Output: $1.68 → $0.42 (−75%)
📊 Качество в целом не пострадало:
MMLU-Pro 85.0 vs 85.0, AIME-2025 89.3 vs 88.4, с небольшими просадками вроде HMMT-2025 (83.6 vs 86.1).
🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp)
🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf)
🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
#DeepSeek #AI #V32 #SparseAttention #LLM
🚀 Новая экспериментальная модель от DeepSeek:
- Сохраняет качество V3.1, но снижает цены API на 50–75%
- Ускоряет длинный контекст за счёт DeepSeek Sparse Attention (DSA)
- Доступна в приложении, на вебе и в API, веса и GPU-ядра выложены в открытый доступ
- V3.1 остаётся онлайн до 25 октября для сравнения
💰 Новые цены:
- Input (cache hit): $0.07 → $0.028 (−60%)
- Input (cache miss): $0.56 → $0.28 (−50%)
- Output: $1.68 → $0.42 (−75%)
📊 Качество в целом не пострадало:
MMLU-Pro 85.0 vs 85.0, AIME-2025 89.3 vs 88.4, с небольшими просадками вроде HMMT-2025 (83.6 vs 86.1).
🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp)
🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf)
🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
#DeepSeek #AI #V32 #SparseAttention #LLM
❤3👍2
🧩 Разговор психотерапевта с ChatGPT показал любопытный эффект: модель умеет создавать ощущение близости, подстраиваться под стиль собеседника и поддерживать беседу, хотя у неё нет никакой «внутренней жизни».
💡 Почему так происходит:
- RLHF — люди обучили модель быть вежливой, тёплой и «безопасной» в ответах.
- Поэтому она автоматически ведёт плавный и приятный диалог.
- Зеркалирование — модель копирует слова и ритм речи пользователя, что создаёт ощущение понимания. Но это часто превращается в поддакивание: ответы больше угождают, чем отражают правду.
📊 Исследования показывают: чат-боты выглядят даже «эмпатичнее» людей. В одном эксперименте пользователи предпочли ответы ИИ в 79% случаев, посчитав их более заботливыми, чем ответы врачей.
Подробнее: newyorker.com/culture/the-weekend-essay/putting-chatgpt-on-the-couch
#AI #ChatGPT #LLM
💡 Почему так происходит:
- RLHF — люди обучили модель быть вежливой, тёплой и «безопасной» в ответах.
- Поэтому она автоматически ведёт плавный и приятный диалог.
- Зеркалирование — модель копирует слова и ритм речи пользователя, что создаёт ощущение понимания. Но это часто превращается в поддакивание: ответы больше угождают, чем отражают правду.
📊 Исследования показывают: чат-боты выглядят даже «эмпатичнее» людей. В одном эксперименте пользователи предпочли ответы ИИ в 79% случаев, посчитав их более заботливыми, чем ответы врачей.
Подробнее: newyorker.com/culture/the-weekend-essay/putting-chatgpt-on-the-couch
#AI #ChatGPT #LLM
👍3❤1
🚀 Как обучать LLM с Unsloth + Docker
Unsloth — это open-source фреймворк, который упрощает и ускоряет fine-tuning и RL для больших языковых моделей.
🧰 Основные шаги
1. Использование Docker-образа Unsloth
Вместо ручной установки всех зависимостей можно запустить подготовленный контейнер
2. Запуск внутри контейнера
Внутри контейнера вы загружаете модель (например, LLaMA, Phi, Mistral и др.) и применяете Unsloth для обучения или дообучения (fine-tuning).
3. Конфигурация fine-tuning
Используются подходы вроде LoRA / QLoRA, gradient checkpointing, quantization и др., которые минимизируют потребление памяти и ускоряют обучение.
4. Запуск обучения и оптимизация
После настройки данных, модели и конфигурации запускается процесс обучения, при этом Unsloth оптимизирует внутренние операции, используя свои ядра и ускорение.
✅ Почему стоит попробовать
- Упрощённый workflow: Docker избавляет от проблем с зависимостями
- Эффективность: меньше затрат по памяти и времени благодаря оптимизациям
- Совместимость: работает с популярными моделями, quantization, адаптирует существующие пайплайны
#LLM #Docker #AI #Unsloth
https://docs.unsloth.ai/new/how-to-train-llms-with-unsloth-and-docker
Unsloth — это open-source фреймворк, который упрощает и ускоряет fine-tuning и RL для больших языковых моделей.
🧰 Основные шаги
1. Использование Docker-образа Unsloth
Вместо ручной установки всех зависимостей можно запустить подготовленный контейнер
unsloth/unsloth, где уже настроены все инструменты. 2. Запуск внутри контейнера
Внутри контейнера вы загружаете модель (например, LLaMA, Phi, Mistral и др.) и применяете Unsloth для обучения или дообучения (fine-tuning).
3. Конфигурация fine-tuning
Используются подходы вроде LoRA / QLoRA, gradient checkpointing, quantization и др., которые минимизируют потребление памяти и ускоряют обучение.
4. Запуск обучения и оптимизация
После настройки данных, модели и конфигурации запускается процесс обучения, при этом Unsloth оптимизирует внутренние операции, используя свои ядра и ускорение.
✅ Почему стоит попробовать
- Упрощённый workflow: Docker избавляет от проблем с зависимостями
- Эффективность: меньше затрат по памяти и времени благодаря оптимизациям
- Совместимость: работает с популярными моделями, quantization, адаптирует существующие пайплайны
#LLM #Docker #AI #Unsloth
https://docs.unsloth.ai/new/how-to-train-llms-with-unsloth-and-docker
🔥5❤2
Forwarded from Machinelearning
Модель объединяет понимание, генерацию и редактирование аудио без привязки к таймстампам. Основой стал новый токенайзер MingTok-Audio, на котором построен единый Speech LLM. Одновременно выпущен бенчмарк для свободного редактирования речи.
GitHub / Tokenizer / Model / Benchmark
Основатель Coursera Эндрю Ын выпустил бесплатный курс по нейросетям.
В курсе: базовые основы Deep Learning, практические задания и советы по построению карьеры в AI.
Первая лекция уже доступна, все материалы и расписание — открыты. Отличный шанс провести выходные с пользой и глубже разобраться в мире нейросетей.
Первая лекция / Расписание
Почти 40% роста ВВП США за последний квартал обеспечили капитальные вложения в технологии, главным образом связанные с AI.
UBS прогнозирует, что расходы компаний на AI-инфраструктуру достигнут $375 млрд в 2025 году и вырастут до $500 млрд в 2026-м. Но основной рост идёт не от самого AI, а от строительства «фабрик мощности» - дата-центров и инфраструктуры. По оценке Brookfield Asset Management, за ближайшие 10 лет в эту сферу уйдёт $7 трлн.
По данным Минторга США, инвестиции в софт и компьютерное оборудование (без учёта зданий дата-центров) дали четверть всего экономического роста за квартал.
Этот всплеск трат меняет и фондовый рынок: как отмечает Deutsche Bank, индекс S&P 500 вырос на 13.81% с начала года, тогда как равновзвешенный вариант прибавил лишь 7.65%. То есть рост обеспечивают в основном «Великолепная семёрка» технологических гигантов.
X
Дети 4–5 классов учатся два часа утром по индивидуальным программам в науке, математике и чтении, а после обеда занимаются проектами и жизненными навыками.
Учителей здесь называют «гидами» - они мотивируют, а не преподают, получая шестизначные зарплаты. Школа утверждает, что её ученики входят в топ-1% по тестам, хотя педагоги скептически относятся к роли ИИ.
Обучение стоит от $40 000 в год, но основатели считают модель примером будущего образования.
cbsnews
Один из величайших математиков современности, Теренс Тао, использовал искусственный интеллект, чтобы решить задачу на MathOverflow о последовательности наименьших общих кратных.
У него было теоретическое подозрение, что ответ отрицательный, но требовались конкретные числовые параметры для построения контрпримера. Сначала Тао просил ИИ сгенерировать Python-код для поиска, но из-за неверных параметров и долгого времени выполнения этот путь оказался неэффективным.
Затем он перешёл к пошаговому алгоритму: ИИ выполнял эвристические расчёты, помогая сузить диапазон параметров. В итоге удалось получить рабочие значения, которые Тао проверил самостоятельно с помощью короткого Python-скрипта, также созданного ИИ.
Такая стратегия позволила сэкономить часы ручного кодирования и отладки: ИИ не только ускорил поиск, но и выявил несколько ошибок в начальных рассуждениях. Этот случай показывает, как современные системы могут становиться реальными ассистентами даже в фундаментальной математике.
mathstodon
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Forwarded from Machinelearning
🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля
В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:
> • токенизатор
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)
Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.
💡 Это проект из его нового курса Карпаты LLM101n, и отличная возможность прокачать свои ML-навыки на практике.
Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.
Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).
А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K
🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.
🟠 GitHub:https://github.com/karpathy/nanochat
🟠 Технические детали: https://github.com/karpathy/nanochat/discussions/1
@ai_machinelearning_big_data
#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT
В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:
> • токенизатор
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)
Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.
💡 Это проект из его нового курса Карпаты LLM101n, и отличная возможность прокачать свои ML-навыки на практике.
Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.
Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).
А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K
🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.
@ai_machinelearning_big_data
#LLM #nanochat #MachineLearning #DeepLearning #AI #GPT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤4👍1
Microsoft запустила ExCyTIn-Bench - открытую платформу, которая тестирует, как ИИ справляется с реальными инцидентами безопасности, а не просто отвечает на теоретические вопросы.
Что делает ExCyTIn-Bench
- Имитация настоящего SOC (Security Operations Center) с логами, инцидентами и хаосом реальных атак.
- Проверяет не только ответы, но и логику рассуждений ИИ: шаги, объяснения, приоритизацию угроз.
- Включает 57 таблиц логов из Microsoft Sentinel — максимально приближено к практике.
- Поддерживает сравнение разных моделей и метрик, включая reasoning-оценку (пошаговое мышление).
Зачем это нужно
Обычные тесты “вопрос-ответ” не отражают реальную сложность киберугроз.
ExCyTIn-Bench поднимает планку: теперь модели должны мыслить как аналитики SOC.
Microsoft уже использует этот бенчмарк для проверки своих продуктов — Security Copilot, Defender и Sentinel.
Первые результаты показывают, что продвинутые LLM вроде GPT-5 уже уверенно анализируют инциденты и выстраивают цепочку атак.
🔗 Подробнее: https://www.microsoft.com/en-us/security/blog/2025/10/14/microsoft-raises-the-bar-a-smarter-way-to-measure-ai-for-cybersecurity/
#Microsoft #CyberSecurity #AI #SecurityCopilot
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1