Анализ данных (Data analysis)
49.3K subscribers
2.84K photos
329 videos
1 file
2.41K links
Data science, наука о данных.

@haarrp - админ

РКН: clck.ru/3FmyAp
Download Telegram
Forwarded from Machinelearning
🤖 MiniMax-M2: компактная MoE-модель

MiniMax-M2 переосмысливает эффективность: это 230 млрд параметров (из них активно только 10 млрд) - мощная, быстрая и экономичная модель, которая сочетает интеллект уровня топовых LLM с оптимизацией под агентные применения и программирование.

🔹 Основные особенности

🧠 Интеллект мирового уровня.
По данным *Artificial Analysis*, MiniMax-M2 демонстрирует отличные результаты в математике, науке, программировании, следовании инструкциям и использовании инструментов.
Модель занимает #1 место среди всех open-source моделей по суммарному индексу интеллекта.

💻 Кодинг
Разработана для полного цикла разработкт - от файловых правок до тестировании кода и его автокоррекции.

Модель показывает отличные результаты на Terminal-Bench и (Multi-)SWE-Bench, что делает её эффективной в IDE, терминалах и CI-системах.

🧩 Агентные возможности.
MiniMax-M2 умеет планировать и выполнять сложные цепочки действий через shell, браузер, retrieval и code runners.
В тестах BrowseComp уверенно находит труднодоступные источники и восстанавливается после сбоев, не теряя цепочку рассуждений.

MiniMax M2 построена по принципу GPT-OSS и использует сочетание Full Attention и Sliding Window Attention (SWA). Это помогает эффективно работать с длинным контекстом - часть модели анализирует всё сразу, другая концентрируется на ближайших фрагментах текста.

Каждая attention-голова имеет собственный RMSNorm, а блоки Full Attention и SWA используют разные RoPE-параметры, это повышает гибкость и устойчивость модели.

MiniMax-M2 - это новый стандарт эффективности для AGI-агентов и кодинга: умнее, быстрее и дешевле, чем аналоги.

https://huggingface.co/MiniMaxAI/MiniMax-M2

@ai_machinelearning_big_data


#AI #MiniMax #LLM #ArtificialIntelligence #Benchmarks
9👍7
🧠 Ming-Flash-Omni-Preview - новый ориентир для omni-modal моделей с архитектурой 103B-A9B Sparse MoE, сочетающей мощь и эффективность.

📸 1. Контролируемая генерация изображений
Модель вводит концепт Generative Segmentation-as-Editing - можно править изображение на уровне пикселей. На бенчмарке GenEval — впечатляющий результат 0.90.

🎬 2. Понимание потокового видео
Расширенные возможности для детального анализа аудио-видео потоков в реальном времени — понимание контекста, сцен и звука синхронно.

🏹GitHub: https://github.com/inclusionAI/Ming
🤗Hugging Face: https://huggingface.co/inclusionAI/Ming-flash-omni-Preview
🤖ModelScope: https://modelscope.cn/models/inclusionAI/Ming-flash-omni-Preview

#OpenSourceModels #AI #OmniModal #MingFlash
6👍2🔥1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Google разместит ИИ-вычисления на околоземной орбите.

Google анонсировала проект Suncatcher, который будет строить ML-инфраструктуру в космическом пространстве. Концепция состоит из развертывания группировок спутников, оснащенных TPU и связанных оптическими каналами. Идея проекта в том, что на правильной орбите солнечная панель может быть до 8 раз продуктивнее, чем на Земле, а значит космос - это лучшее место для масштабирования вычислений.

Для реализации еще предстоит решить как поддерживать высокоскоростную межспутниковую связь, которая требует полета аппаратов в очень плотном строю (километр или менее). К началу 2027 года планируют запуск двух прототипов спутников для проверки работы оборудования на орбите.
research.google

✔️ Microsoft Azure преодолела барьер инференса в 1 млн. т/с.

Новый рекорд производительности был получен на виртуальных машинах Azure ND GB300 v6, запущенных на стоечной системе NVIDIA GB300 NVL72. В ходе тестов была достигнута совокупная скорость инференса модели Llama 2 70B в 1.1 млн токенов в секунду. Это на 27% больше предыдущего рекорда, установленного на GB200.

Новая конфигурация дала почти пятикратный прирост пропускной способности на один GPU по сравнению с поколением H100. Ключевыми факторами стали возможности архитектуры Blackwell, использование FP4 и оптимизация библиотеки NVIDIA TensorRT-LLM. Результаты были подтверждены независимой аналитической компанией Signal 65. Логи запуска тестового инстанса можно посмотреть на Github.
techcommunity.microsoft.com

✔️ ArXiv ужесточает модерацию CS-статей.

Платформа вводит новые, более строгие правила для раздела Computer Science. Причиной стал резкий рост числа обзорных и концептуальных статей низкого качества, многие из которых созданы с помощью нейросетей.

Теперь работы будут приниматься к публикации только после того, как их одобрят в рецензируемом научном журнале или на конференции. Авторам потребуется предоставить соответствующее подтверждение при загрузке работы, в противном случае статья будет отклонена. Новая политика не затрагивает обычные исследовательские статьи, однако в будущем может быть распространена и на другие научные области, если там возникнет схожая проблема.
blog.arxiv.org

✔️ AgiBot запустила роботов, обучающихся с подкреплением в реальном мире.

AgiBot в партнерстве с Longcheer Technology развернула систему обучения с подкреплением в реальном мире (RW-RL) на пилотной производственной линии. Это первый подтвержденный случай промышленного применения технологии, которая позволяет роботам обучаться непосредственно в процессе работы, а не следовать жестким инструкциям.

С RW-RL роботы AgiBot осваивают новые навыки за минуты, автономно адаптируясь к изменениям в деталях или производственных допусках. Система поддерживает стабильность промышленного уровня и не требует сложной аппаратной модификации при смене продукта. После успешного пилотного проекта компании планируют расширить применение RW-RL на сборку потребительской электроники и автомобильных компонентов.
gizmochina.com

✔️ Remote Labor Index: топовые ИИ-модели проваливают 97% реальных фриланс-задач.

Scale AI и Center for AI Safety опубликовали результаты бенчмарка Remote Labor Index, который оценивает способность ИИ выполнять реальную работу фрилансеров. В рамках теста исследователи взяли 240 завершенных проектов с биржи Upwork и поставили идентичные задачи 6 топовым ИИ-системам.

Результаты показали, что даже лучшие модели справились с заданиями на человеческом уровне лишь в 2.5% случаев. Почти 97% работ были признаны неудовлетворительными из-за низкого качества, неполных данных или поврежденных файлов. ИИ справился только с узкими задачами: создание логотипов или сведение аудио.

Тест наглядно подсветил огромный разрыв между показателями ИИ на синтетических бенчмарках и его реальной готовностью к автоматизации сложных проектов.
scale.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍8🔥8😢1
Forwarded from Machinelearning
⚡️ OpenAI выпустила GPT-5-Codex-Mini.

GPT-5-Codex-Mini - более доступная версия флагманского Codex, она в 4 раза эффективней по затратам по сравнению с полной версией GPT-5-Codex при небольшом компромиссе в производительности.

Разница в возможностях минимальна: на SWE-bench Verified версия Mini набрала 71.3%, в то время как старшая GPT-5-Codex - 74.5%. OpenAI рекомендует переключаться на Mini для решения более простых задач или для экономии ресурсов при приближении к лимитам. Старший Codex будет автоматически предлагать переход на Mini, когда пользователь достигнет 90% своего лимита.

Модель уже доступна в CLI и расширении для IDE, а в скором времени появится и поддержка через API.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥104
Forwarded from Machinelearning
🌟 RL-фреймворк для обучения MoE-моделей от создателей Chatbot Arena.

Miles - фреймворк для RL-обучения от команды LMSYS ORG, ориентированный на энтерпрайз-уровень.

Если вы следите за опенсорс разработками, вы наверняка слышали о предшественнике этой системы, проекте slime. Это легкий инструмент, который используют во многих современных пайплайнов пост-трейна. На нем, кстати, запускали GLM-4.6.

Slime доказал, что легковесный дизайн работает, и Miles делает следующий шаг - масштабное обучение архитектур MoE и поддержка тяжелых промышленных нагрузок.

🟡Технические детали.

Miles предлагает то, что называют "True On-Policy". Раньше между тренировкой и инференсом часто возникало расхождение. Теперь же, благодаря инфраструктурному подходу, LMSYS добилась нулевой дивергенции. Это стало возможным благодаря использованию Flash Attention 3, библиотеки DeepGEMM и ядер от Thinking Machines Lab, работающих в связке с torch.compile.

Вторая особенность - в использовании спекулятивного декодирования. Обычно в RL черновая модель замораживается, что мешает ей следовать политике целевой модели. LMSYS добавили онлайн-обучение черновой модели.

Результаты на тестах положительные: ускорение генерации более чем на 25%, особенно на поздних стадиях обучения.

🟡Стабильность.

Для энтерпрайза память - это деньги. В Miles включили механизмы, предотвращающие падение системы при некритичных ошибках OOM и исправили чрезмерное потребление памяти в FSDP.

В дорожной карте проекта обещают поддержку мультимодального обучения, совместимость со SGLang v2 и расширенное спекулятивное декодирование.


🟡Статья
🖥Github


@ai_machinelearning_big_data

#AI #ML #RL #Miles #LMSYS
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥32🥰1
🤖 Multi-Agent Evolve теперь полностью open-source 🚀

С его кодовой базой ты можешь взять любой LLM-чекпойнт и позволить ему саморазвиваться без внешнего надзора.
Это экспериментальная система, в которой агенты эволюционируют, создавая и оценивая собственные улучшения.

💻 Код:
https://github.com/ulab-uiuc/Multi-agent-evolve

🤗 Модели (Checkpoints):
https://huggingface.co/collections/ulab-ai/multi-agent-evolve

#AI #LLM #MultiAgent #OpenSource #EvolutionaryAI
🔥15👍2🥰2🤨1
⚡️ Tencent официально представила HY 2.0 - крупное обновление своей базовой модели.

Модель построена на архитектуре Mixture of Experts с общим размером 406B параметров и 32B активных.
Модель поддерживает контекст 256K токенов. HY 2.0 демонстрирует заметные улучшения на ключевых бенчмарках.

Главные достижения HY 2.0:
🧠 Reasoning: результат 73.4 на IMO AnswerBench - почти плюс 20 процентов, что закрепляет модель среди лидеров по математическому и научному мышлению.
🛠 Coding и Agents: скачок в SWE Bench Verified с 6.0 до 53.0, а Tau2 Bench вырос с 17.1 до 72.4.
Instruction Following: более стабильное выполнение сложных инструкций и естественный стиль ответов.

Модель выпускается в двух вариантах:
• HY 2.0 Think - для глубокого рассуждения, генерации кода и сложных задач
• HY 2.0 Instruct - для диалога, креативного письма и многотуровых контекстных бесед


🌐 Website: https://hunyuan.tencent.com
🔗 API Access: http://hunyuan.cloud.tencent.com/#/app/modelSquare
📄 Documentation: https://cloud.tencent.com/document/product/1729/104753

@data_analysis_ml


#AI #Tencent #Hunyuan #HY2 #LLM #MoE #DeepLearning #AIModels
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
12👍7🔥3
🧠 Xiaomi представила MiMo-V2-Flash - новую open-source MoE-модель с фокусом на максимальную скорость без потери качества.

Моделька на 309B параметров, из которых одновременно активны лишь 15B - за счёт умной MoE-маршрутизации модель достигает высокой эффективности. Сравнима с DeepSeek-V3.2 на общих бенчмарках.

MiMo-V2-Flash заточена под агентов и работу с инструментами.

🔥 Ключевые особенности

🏗️ Hybrid Attention
5:1 чередование 128-window SWA и Global Attention
Контекст — 256K токенов

🏆 Код и разработка
• SWE-Bench Verified - 73.4%
• SWE-Bench Multilingual - 71.7%
Новый SOTA среди open-source моделей

🚀 Скорость
• До 150 output tokens/sec
• Day-0 поддержка от @lmsysorg

MiMo-V2-Flash - пример того, как MoE-архитектуры выходят на новый уровень: быстрее, дешевле и готовые к агентным сценариям.

🤗 Model: http://hf.co/XiaomiMiMo/MiMo-V2-Flash
📝 Blog: http://mimo.xiaomi.com/blog/mimo-v2-flash
📄 Technical Report: http://github.com/XiaomiMiMo/MiMo-V2-Flash/blob/main/paper.pdf
🎨
AI Studio: http://aistudio.xiaomimimo.com

#AI #LLM #MoE #OpenSource #AgenticAI #MachineLearning #DeepLearning #GenAI #SWEBench #Xiaomi #AIModels
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍6🔥3
🚀 VoxCPM 1.5 - новый уровень реалистичной генерации речи! 🎧

Модель получила заметные улучшения, которые делают синтез голоса более естественным и технологически гибким.

Ключевые изменения:

🔊 Hi-Fi звук 44.1 kHz — качество приближено к студийному, вместо прежних 16 kHz
В 2 раза эффективнее — 1 секунда аудио теперь кодируется в 6.25 токена вместо 12.5
🛠 Расширенные возможности настройки — новые скрипты для LoRA и полного fine-tuning позволяют адаптировать модель под голосовые проекты
📈 Стабильность на длинных аудио — меньше артефактов и провалов при генерации

Ссылки для изучения и тестов:
HuggingFace: huggingface.co/openbmb/VoxCPM1.5
GitHub: github.com/OpenBMB/VoxCPM

#VoxCPM #TTS #AI #OpenSource
8👍3🔥1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ GPT-5.2-Codex.

OpenAI представила GPT-5.2-Codex, которую называет самым продвинутым инструментом для реальной программной инженерии на сегодняшний день. Модель получила нативную поддержку сжатия контекста, улучшенную интеграцию с терминалом Windows и способность проводить глубокий рефакторинг крупных репозиториев без потери логической нити.

Ключевой апдейт коснулся сферы безопасности - Codex резко прибавил способностей в анализе защищенности кода. Модель уже доступна платным пользователям ChatGPT, а API будет открыт в ближайшие недели.
openai.com

✔️ xAI представила Grok Voice Agent API.

Компания Илона Маска открыла публичный доступ к Grok Voice Agent API — нативному интерфейсу speech-to-speech для создания голосовых ассистентов. Решение построено на полностью собственной архитектуре, что позволило достичь задержки ответа менее 1 секунды.

API поддерживает вызов внешних инструментов, веб-поиск, прямую интеграцию с телефонией через SIP и понимает более 100 языков. В бенчмарке Big Bench Audio модель заняла 1 место с точностью 92,3%, опередив Gemini 2.5 Flash и GPT Realtime.

Главной фишкой стала ценовая политика: единый тариф составляет $0.05 за минуту. Это значительно дешевле, чем у OpenAI и ElevenLabs.
x.ai

✔️ VS Code получил поддержку стандарта Agent Skills.

В VS Code Insiders появилась поддержка Agent Skills - открытого протокола, разработанного Anthropic. Технология позволяет упаковывать инструкции, скрипты и вспомогательные ресурсы в модули, которыми можно пользоваться в разных ИИ-инструментах.

Главное отличие Agent Skills от привычных кастомных инструкций в функциональности: это не текстовые гайдлайны по стилю кода, а полноценные наборы инструментов для автоматизации задач, которые подгружаются в контекст модели динамически и только при необходимости.

Стандарт дает кросс-платформенность: созданный один раз скилл будет работать одинаково как в интерфейсе редактора, так и в CLI-агентах.
code.visualstudio.com

✔️ Google выпустила T5Gemma 2.

T5Gemma 2 получила серьезные архитектурные изменения по сравнению с первой версией. Чтобы снизить потребление памяти, инженеры внедрили tied word embeddings для энкодера и декодера, а также объединили механизмы self-attention и cross-attention в единый слой. Модели доступны в компактных конфигурациях на 270M, 1B и 4B параметров.

Новинка поддерживает контекстное окно до 128 тыс. токенов и умеет обрабатывать не только текст на 140 языках, но и изображения. В бенчмарках T5Gemma 2 обошла базовую Gemma 3 в задачах на длинный контекст, кодинг и мультимодальное понимание. Модели доступны на Hugging Face и Kaggle для исследовательских целей.
blog.google

✔️ ИИ-подразделение Марка Цукерберга открыло аудио-визуальный энкодер PE-AV.

Perception Encoder Audiovisual (PE-AV) - техническое ядро, лежащее в основе SAM Audio. Это мультимодальная модель, которая объединяет аудио, видео и текст в единое пространство эмбеддингов.

PE-AV умеет извлекать векторы признаков из аудио или видеокадров и формировать совместные аудиовизуальные представления. Это повышает точность в задачах кросс-модального поиска, детекции звуков и глубокого понимания сцен, где важен синхронный контекст изображения и звука.

В открытом доступе - 6 чекпоинтов модели разного размера (от Small до Large) с вариациями по количеству обрабатываемых кадров. Код опубликован на GitHub, а веса - на Hugging Face.
huggingface.co


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍75🔥2
🙂 Tongyi Lab, похоже, вот-вот выпустит Qwen-Image-Edit-2512

Вчера, на просторах сети Х, Tongyi Lab запостила тизер "новогоднего подарка, который уже в пути".

Так как все очень сильно и давно ждут Z-Image Base и Edit и Omni, сверхразумы Redditа пошли разгадывать таинственный пост.

Розыскную бригаду собирать не пришлось - новинку спойлернул gemini-code-assist в репозитории Modelscope : это будет qwen-image-2512


#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍2🥰2
🐳 DeepSeek начал новый год с серьёзной статьи.

В первый день года команда представила работу, посвящённую одной из самых болезненных проблем современных нейросетей: нестабильности обучения в сложных архитектурах.

И предложили решение: подход под названием mHC (Manifold-Constrained Hyper-Connections).

Смысл в том, что исследователи взяли мощную, но нестабильную архитектуру Hyper-Connections и ввели ограничения на внутренние связи.

1. Проекция на многообразие (manifold)
Вместо того, чтобы оставлять Hyper-Connections свободными, mHC накладывает на них ограничение, они проектируются на особое многообразие (матрицы с особыми свойствами).
Это восстанавливает identity-mapping, благодаря чему сигнал остаётся устойчивым даже через десятки или сотни слоёв.

2. Стабильность и масштабируемость
Благодаря этому ограничению сеть перестаёт «взрывать» или «затухать» сигнал при глубоком обучении, и её можно эффективно использовать в больших моделях без ухудшения качества и без сложных ухищрений.

3. Инфраструктурные оптимизации
Авторы также добавили инженерные улучшения:
- слияние ядер (kernel fusion)
- уменьшение накладных расходов по памяти
- эффекты смешанной точности
Это делает mHC быстрым и эффективным в реальных задачах даже при масштабных тренировках.

Результат впечатляет:

• обучение становится стабильнее на крупных масштабах
• модели лучше масштабируются
• повышается производительность
• снижается потребление памяти
• mHC обгоняет классические Hyper-Connections

Другими словами, DeepSeek показывает, что путь в будущее - не только большие модели, но и архитектуры, которые устойчивы изнутри.

#AI #DeepSeek #MachineLearning #NeuralNetworks #Research

https://arxiv.org/abs/2512.24880

https://www.youtube.com/watch?v=gT-0Qryi5KA
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3012🔥4
OpenAI готовит новую аудио-модель в связке с собственным аудио-устройством.

OpenAI активно развивает свои технологии голосового ИИ, готовя платформу для будущего персонального устройства с упором на голосовой интерфейс, релиз которого ожидается примерно через год.

Внутренние команды уже объединены, а новая архитектура голосовой модели должна выйти в первом квартале 2026 года.

Что уже известно по ранним результатам:

• нас ждет более естественная и эмоциональная речь
• мгновенный ответа
• понимание мгновенных перебиваний

Все это критически важно для голосового ассистента, который не просто отвечает на вопросы, а активно взаимодействует и помогает пользователю в повседневной жизни.

https://www.theinformation.com/articles/openai-ramps-audio-ai-efforts-ahead-device

#AI #OpenAI #VoiceAI #Innovation #Future
8👍4🔥3
🧠🚫 Как отучить LLM “думать по кругу” и сэкономить токены

У продвинутых LLM есть скрытая проблема: overthinking.

Модель уже нашла ответ…
но продолжает писать лишние рассуждения, самопроверки и повторяет одно и то же разными словами.

В итоге вы платите не за ум модели - а за повторение.
По оценкам, до 70% токенов уходит именно на такую “избыточную рефлексию”.

YuanLab выпустили Yuan3.0 Flash, где модель учат останавливаться вовремя.

Что внутри:

RIRM - reward-механизм: модель получает сигнал *когда пора завершать ответ*
(нашёл решение - закончи, не раздувай)

RAPO - адаптивная оптимизация policy, ускоряющая обучение на 50%+

Что это даёт:
- до 75% дешевле инференс
- без потери качества
- быстрее ответы, меньше затрат

Главная идея:

Запуск LLM будет не только за “самый умный ответ”,
а за самый дешёвый и быстрый умный ответ.

🚀Model: https://modelscope.cn/models/Yuanlab/Yuan3.0-Flash
🔧Github: https://github.com/Yuan-lab-LLM/Yuan3.0
📄 Paper: https://modelscope.cn/papers/2601.01718

#LLM #AI #Tokens #Inference #Optimization
👍2917🔥6🤔1
Forwarded from Machinelearning
⚡️ DeepSeek Engram: условная память LLM через поиск.

DeepSeek опять шатают устои архитектуры трансформеров свежайшим пейпером, который доказывает, что новое — это хорошо и очень хитро забытое старое.

Пока все пытаются запихнуть в LLM как можно больше слоев и параметров, DeepSeek задались вопросом: зачем тратить дорогой компьют на запоминание фактов, если их можно просто подсмотреть? Знакомьтесь:

🟡Engram — модуль, который возвращает нас к дедам с N-грамами.

DeepSeek предлагает разделить "думалку" (MoE-слои) и "хранилище знаний" (Engram):

🟢Hashed N-grams: модуль смотрит на входящий текст и нарезает его на N-грамы (последовательности токенов).

🟢O(1) Lookup: система делает мгновенный запрос в гигантскую хэш-таблицу эмбеддингов - это чисто статический поиск.

🟢Context-Aware Gating: самый сок. Модель не просто слепо берет данные из "хранилища знаний" - специальный гейтинг-механизм решает: "Нам сейчас нужен факт из памяти или будем думать сами?". Если найденный N-грам релевантен контексту, он подмешивается в скрытое состояние.

🟢Tokenizer Compression: чтобы хранилище знаний не лопнуло от мусора, похожие токены в нем схлопывают в один ID, например, "Apple" и "apple".

🟡Баланс распределения ресурсов.

Чтобы правильно поделить бюджет параметров между MoE и Engram посчитали сценарии масштабирования. График лосса от соотношения этих частей выглядит как буква U:

🟠Перекос в MoE (100% вычислений): модель тратит дорогие слои внимания на запоминание статики. Это неэффективно, лосс высокий.

🟠Перекос в Память (0% вычислений): модель превращается в гигантскую википедию. Она помнит факты, но у нее напрочь атрофируется ризонинг. Лосс тоже высокий.

🟢Золотая середина (дно U-кривой): 80% MoE и ~20% Engram.

🟡Тесты и результаты.

DeepSeek обучили модель Engram-27B и сравнили ее с классической MoE-27B при одинаковом бюджете параметров и FLOPs. Итоги:

Общее качество подросло: MMLU +3.4 пункта, HumanEval (код) +3.0.

На длинном контексте - разнос. В тесте на поиск иголки (NIAH) точность выросла с 84.2 до 97.0. Модель разгрузила слои внимания от запоминания локальных паттернов, и оно сфокусировалось на глобальном контексте.

Модель быстрее сходится. Engram берет на себя рутину в ранних слоях, тем самым позволяя модели сразу учиться сложным вещам.


🟡Архитектурный нюанс.

Таблица эмбеддингов для Engram может быть запредельно огромной (в пейпере разгоняли до 100B параметров) и, очевидно, в VRAM это не влезает.

Решили так: раз ID токенов известен до прогона слоя, то эти данные можно хранить в RAM и асинхронно подтягивать. В реале, оверхед от этой механики показал меньше 3%., т.е. мы получаем модель, которая знает больше, чем влезает в GPU, используя оперативку сервера.

🟡DeepSeek фактически легализовала подобие шпаргалок для LLM.

Вместо того чтобы заставлять модель учить все наизусть, ей дают гигантский справочник. Теоретически, это открывает путь к прекрасному ИИ светлого будущего, который может иметь условно-бесконечную память, ограниченную только объемом оперативки, а не VRAM.

Похоже, в V4 мы увидим как эта схема работает, ведь инсайдеры обещают у нее запредельные скилы.


🟡Техотчет
🖥Github
🟡Видео


@ai_machinelearning_big_data

#AI #ML #LLM #Engram #Deepseek
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
35👍14🔥8
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Nvidia запрашивала у пиратов доступ к массиву книг для обучения ИИ.

В обновленном коллективном иске против Nvidia всплыли неожиданные подробности: техногигант напрямую контактировал с крупнейшей теневой библиотеки Anna’s Archive. Согласно судебным документам, инженеры компании искали способ получить приоритетный доступ к массиву данных книг, чтобы ускорить обучение своих языковых моделей.

Ситуация выглядит парадоксально: авторы иска утверждают, что Anna’s Archive предупреждал Nvidia о нелегальном характере контента. Однако менеджмент Nvidia, ссылаясь на конкурентное давление и острую нехватку качественных текстов, дал добро на скачивание.

Речь шла о передаче 500 Тб информации, включающие материалы из LibGen и Sci-Hub, которые Nvidia планировала использовать для тренировки своих моделей.
torrentfreak.com

✔️ OpenAI научила ChatGPT вычислять возраст пользователей по их поведению.

OpenAI внедряет предиктивный анализ системы защитных фильтров для подростков. Алгоритм оценивает не только данные, указанные при регистрации, но и косвенные признаки: время активности в чате, историю аккаунта и поведенческие паттерны.

Если нейросеть решит, что перед ней несовершеннолетний, ChatGPT ограничит генерацию взрослого контента, а в случае ошибочного срабатывания - придется подтверждать возраст через сервис Persona с помощью селфи.

Это часть новой стратегии по ослаблении цензуры для взрослой аудитории, которая откроет доступ к материалам, ранее заблокированным для всех. Первыми новую механику опробуют пользователи из ЕС уже в ближайшие недели.
openai.com

✔️ Anthropic: страхи о тотальной замене людей пока преувеличены.

В свежем Economic Index Repot Anthropic выяснила, что ИИ берет на себя около четверти задач в половине всех профессий, но полное замещение сотрудников происходит менее чем в 10% компаний. Основной паттерн использования сместился от автоматизации к сотрудничеству.

В топе сценариев по-прежнему лидирует кодинг, однако характер работы изменился. Разработчики все чаще используют Claude не для генерации кода с нуля, а для обучения, получения фидбека и доработки решений.

Главный риск касается новичков. ИИ забрал на себя всю рутину, на которой традиционно набивали руку джуны и это создает проблему: продуктивность сеньоров растет, но у молодых специалистов исчезает полигон для получения первичного опыта.
anthropic.com

✔️ Manus автоматизировал сборку и доставку приложений в сторы.

Платформа представила функцию паблишинга, которая берет на себя техническую рутину по развертыванию приложений. Инструмент не только компилирует код, но и полностью автоматизирует подготовку тестовых окружений для iOS и Android.

Для Android система генерирует готовый AAB-файл, который остается лишь загрузить в Google Play Console. С Apple интеграция еще глубже: Manus самостоятельно создает запись приложения в аккаунте разработчика, упаковывает сборку и отправляет ее в App Store Connect на ревью в TestFlight. Функция уже открыта для всех пользователей с доступом к Develop Apps.
manus.im

✔️ Microsoft представила компактную модель для перевода бизнес-задач на язык математики.

OptiMind — MoE-модель с 20B/3.6A параметров, которая умеет преобразовывать текстовые описания задач (планирование логистики, производство или цепочки поставок) в готовые математические формулировки, понятные профессиональному софту.

Несмотря на скромный размер, OptiMind не уступает крупным аналогам. Инженеры Microsoft вручную чистили датасеты от некорректных решений и задействовали систему экспертных подсказок, которая корректирует логику модели в процессе генерации. Модель доступна на Hugging Face под лицензией MIT.
microsoft.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
12👍4🔥1🤨1
Forwarded from Machinelearning
⚡️ OpenAI Town Hall: что было на трансляции.

Пока ну почти все спали, Сэм Альтман провел анонсированный ранее стрим для разработчиков ИИ.

В течении часа глава OpenAI отвечал на вопросы и рассказывал про видение ИИ сейчас и в будущем. Главный тезис стрима:

Мы входим в эпоху "радикального изобилия", где интеллект станет слишком дешевым, чтобы его измерять.

Сэм Альтман прогнозирует, что к 2027 году стоимость инференса упадет в 100 раз, а модели уровня GPT-5.ХX станут основой для создания сложнейшего софта силами одного человека.

Основным дефицитным ресурсом останется человеческое внимание и способность генерировать качественные идеи.


Ключевые моменты трансляции

🟡Трансформация инженерии и экономики

Удешевление создания кода не снизит спрос на программистов, а наоборот, резко увеличит объем создаваемого софта. Инженеры будут тратить меньше времени на код и больше на проектирование.

ИИ станет дефляционным фактором. Софт, на разработку которого раньше уходили годы работы команд, теперь можно создать за пару сотен долларов инференса и одну хорошую идею.

Значительная часть мирового ВВП будет создаваться и потребляться через софт, генерируемый ИИ.

🟡Планы по GPT

Цель — сделать интеллект "too cheap to meter". К концу 2027 года ожидается появление моделей уровня 5.2X со снижением стоимости в 100 раз.

Скорость важнее цены. Разрабатываются методы выдачи результата в 1/100 времени от текущего, даже если это будет стоить дороже.

В GPT-4.5 был упор на текстовый стиль. В GPT-5 команда сместила фокус на "ризонинг, кодинг и инжиниринг". Альтман признает, что сейчас стиль может казаться громоздким, но это исправят в будущих итерациях.

🟡Агенты и персонализация

Будущее за приложениями, которые пишутся на лету под конкретного пользователя, т.е софт, который эволюционирует вместе с вашими привычками.

Готовится функция «Sign in with ChatGPT», которая позволит передавать ИИ контекст всей цифровой жизни пользователя (почта, файлы, история), чтобы он мог действовать как полноценный ассистент.

Обсуждается создание иерархии памяти: рабочая идентичность, личная и т.д., чтобы модель знала, какой контекст использовать в разных ситуациях.

🟡Безопасность и риски

Модели становятся слишком хороши в биологии. Старая стратегия блокировки доступа скоро перестанет работать. Нужен переход к стратегии устойчивости, как в пожарной безопасности.

Альтман признался, что сам быстро перешел от "никогда не дам ИИ доступ к компьютеру" до "пусть делает всё сам", потому что удобство перевешивает страх. Это создает риск скрытых уязвимостей, которые могут проявиться через недели работы агента.

🟡Инсайты и рекомендации

Стройте продукты, предполагая, что GPT-6 будет «невероятным». Если ваш бизнес выиграет от новой модели - вы на верном пути. Если модель его съест - это плохой путь.


Софт-скилс - самые важные навыки сейчас: высокая субъектность, способность генерировать идеи, устойчивость и адаптивность.


Альтман советует амбициозным разработчикам ИИ уходить из университетов, так как текущая академическая среда не успевает за темпами индустрии.


Используйте ИИ как безлимитного аспиранта или партнера по брейн-шторму для проверки тысяч идей в режиме "поиска в ширину".


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
15👍7🔥4🌚3🤣1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Deepmind раскатывет Project Genie.

Экспериментальный прототип Project Genie стал доступным для американских подписчиков тарифа Gemini Ultra. Проект построен на модели мира Genie 3 и может генерировать игровые 2D/3D-окружения по текстовым описаниям или референсным изображений, а затем свободно перемещаться по ним в реальном времени.

На старте доступны функции создания, исследования и модификации локаций. Генерация мира происходит процедурно прямо в процессе взаимодействия.

Длительность сессии - до 60 секунд, есть задержки отклика и визуальные артефакты. Под капотом - Nano Banana Pro и Gemini.
blog.google

✔️ DeepSeek будет делать ИИ-поисковик и платформу автономных агентов.

Китайский стартап открыл массовый наем специалистов для создания поисковой системы. Судя по описаниям вакансий, DeepSeek строит мультимодальный движок, который будет обрабатывать запросы через текст, изображения и аудио на разных языках.

Вторым вектором хантинга стали автономные агенты. Компания ищет инженеров для создания инфраструктуры постоянно работающих ИИ-помощников, способных решать задачи с минимальным вмешательством человека.

Конечной целью в описании позиций компания называет создание AGI.
bloomberg.com

✔️ Ai2 выложил открытых кодинг-агентов SERA.

Институт Аллена представил семейство открытых ИИ-агентов SERA, оптимизированных для работы с реальными кодовыми базами. Флагманская модель SERA-32B успешно решает более 55% задач в SWE-Bench Verified, опережая Qwen3-Coder и проприетарный Devstral Small 2. Младшая версия на 8 млрд. параметров - 29,4%, это тоже выглядит бодро для сопоставимой весовой категории.

Самое крутое здесь — это ценник. Инженеры научились тренировать агентов всего за $400, что примерно в 100 раз дешевле привычных методов. Секрет такой экономии в использовании синтетических данных.

Ai2 выкатили в опенсорс вообще все, включая скрипты для интеграции с Claude Code. Теперь, чтобы поднять собственного ИИ-разработчика, достаточно прописать буквально пару строчек кода..
allenai.org

✔️ Nvidia открыла стек ИИ-моделей для прогноза погоды.

Чипмэйкер опубликовал семейство открытых моделей и библиотек Earth-2, которое заменяет тяжелые физические симуляции нейросетями. Earth-2 генерирует метеопрогнозы на порядки быстрее и дешевле традиционных численных методов NWP.

В релиз вошли 3 архитектуры: Medium Range дает глобальный прогноз на 15 дней вперед по 70+ параметрам, генеративная система Nowcasting следит за штормами здесь и сейчас с окном прогноза до 6 часов и разрешением в километр и третий модуль, Global Data Assimilation, сокращает время расчета начальных атмосферных условий с часов до секунд.

Первые две уже доступны на GitHub и Hugging Face, а выход модуля ассимиляции данных запланирован на 2026 год.
nvidia.com

✔️ Google вывела фреймворк LiteRT в релиз.

Google официально отправила LiteRT (тот самый TensorFlow Lite) в стабильный продакшн. Разработчики наконец-то получили нормальный, унифицированный доступ к NPU от Qualcomm и MediaTek. Плюс ко всему, новый движок ML Drift на GPU обгоняет классический TFLite в среднем в 1,5 раза.

Результаты бенчмарков на Samsung S25 Ultra выглядят почти нереально: на Gemma 3 LiteRT умудрился обойти llama.cpp в 3 раза на процессоре и в 19 раз на GPU (в prefill).

Если вы раньше страдали при переносе моделей, хорошая новость: теперь есть прямая конвертация из PyTorch и JAX. При этом старые наработки не сломали: формат .tflite поддерживается, но Google рекомендует использовать новый API CompiledModel.
developers.googleblog.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥7👍4
⚡️ X-Coder - новый мощный релиз для код-LLM от IIGroup.

Команда выложила полноценный стек для обучения моделей программированию: синтетические датасеты, RL-выравнивание и готовые модели с сильным логическим мышлением.

Что внутри:

— X-Coder-SFT-376k - большой синтетический датасет (376K примеров), сгенерированный с помощью GPT-o3-mini и DeepSeek-R1
— X-Coder-RL-40k - набор для RL-дообучения, сфокусированный на логике, проверке решений и качестве рассуждений
— X-Coder-8B - модели на базе Qwen3 с упором на reasoning и задачи программирования

Главная идея —-полностью синтетическая эволюция данных: масштабирование качества без ручной разметки. Такой подход уже становится стандартом для обучения сильных coding-моделей.

Полезно, если вы:

• обучаете собственные code-LLM
• исследуете synthetic data + RLHF/RLAIF
• работаете с Qwen-экосистемой или агентами для программирования

Модели и датасеты:

https://modelscope.cn/datasets/IIGroup/X-Coder-SFT-376k

https://modelscope.cn/datasets/IIGroup/X-Coder-RL-40k

https://modelscope.cn/models/IIGroup/X-Coder-SFT-Qwen3-8B

#LLM #CodeAI #Qwen3 #DeepSeek #AI #Coding
🔥63😍2
🚀 Mistral научили маленькие модели думать как большие

Mistral AI представила семейство Ministral - компактные модели, созданные с помощью подхода cascade distillation.

- Большая модель Mistral 3 выступает в роли «учителя»
- Дистилляция проходит в несколько этапов, а не за один раз
- Каждая следующая модель учится на результатах предыдущей
- Быстрее inference
- Дешевле запуск в продакшене
- Подходит для edge-устройств и локального запуска
- Можно масштабировать AI-сервисы без огромных затрат
- В итоге - меньше размер, ниже стоимость, высокая точность

Большие модели будут использоваться для обучения…
а в продакшене будут работать маленькие и эффективные.

https://www.deeplearning.ai/the-batch/mistral-uses-cascade-distillation-on-mistral-3-to-build-ministral-family

#ai #ml #llm #Mistral
12👍9🔥5