💰 Microsoft объявила, что достигла соглашения с OpenAI по поводу своей доли владения.
Основные детали:
• Microsoft теперь владеет 27% акций OpenAI, что оценивается в 135 млрд долларов.
• OpenAI обязалась закупить услуг Azure на сумму 250 млрд долларов.
До тех пор, пока OpenAI официально не объявит о создании AGI, Microsoft остаётся её эксклюзивным облачным и API-партнёром с полными правами на текущие модели и интеграции.
После того как AGI будет подтверждён независимой комиссией, эксклюзивность прекращается, однако Microsoft сохранит права собственности и использования всех технологий, разработанных до появления AGI.
https://openai.com/index/next-chapter-of-microsoft-openai-partnership/
@ai_machinelearning_big_data
#OpenAI #Microsoft #agi #llm
Основные детали:
• Microsoft теперь владеет 27% акций OpenAI, что оценивается в 135 млрд долларов.
• OpenAI обязалась закупить услуг Azure на сумму 250 млрд долларов.
До тех пор, пока OpenAI официально не объявит о создании AGI, Microsoft остаётся её эксклюзивным облачным и API-партнёром с полными правами на текущие модели и интеграции.
После того как AGI будет подтверждён независимой комиссией, эксклюзивность прекращается, однако Microsoft сохранит права собственности и использования всех технологий, разработанных до появления AGI.
https://openai.com/index/next-chapter-of-microsoft-openai-partnership/
@ai_machinelearning_big_data
#OpenAI #Microsoft #agi #llm
❤62👍29👀23😁12🔥8😐7🦄5👻3😨3🤔1👨💻1
Anthropic проверили, способны ли большие языковые модели осознавать собственные «мысли» и внутренние состояния.
Для эксперимента они использовали технику внедрения концептов - добавления определённого паттерна активности в нейроны модели.
Например, они внедряли сигнал “ALL CAPS” - это шаблон, соответствующий тексту, написанному ЗАГЛАВНЫМИ БУКВАМИ. Если такая активация появляется внутри сети, значит, модель «думает» о тексте, который нужно сделать капсом.
После внедрения исследователи спрашивали модель: *«Ты чувствуешь, что что-то изменилось?»*
В 20% случаев Claude 4.1 правильно замечал вмешательство ещё до того, как сам использовал капс, то есть распознавал изменение внутри себя.
В другом эксперименте учёные подменяли слово в ответе (например, добавляли слово “bread”) и проверяли, осознаёт ли модель, что это не её собственное намерение.
После внедрения мысли Claude начинал считать это слово своим выбором и придумывал обоснования, как будто у него есть память о решении.
Модели также смогли управлять своими внутренними состояниями: по команде «думай об этом» активность усиливалась, по команде «не думай» - ослабевала.
Авторы отмечают -
Интроспекция работает лишь в определённых сценариях - мы пока не знаем, насколько она масштабируема или применима ко всем моделям и задачам
Нужен дальнейший анализ: подтверждение, что то, что мы видим - не просто имитация, а действительно внутренний механизм самосознания
Главный вывод исследования: хотя модели пока далеки от настоящей интроспекции, они уже частично способны “заглядывать внутрь себя” и понимать, что происходит в их нейронных процессах.
https://www.anthropic.com/research/introspection
@ai_machinelearning_big_data
#Anthropic #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍301🤔171😐122❤70👏65🔥53🥰34👨💻18✍16🙏16👌7
🔥 Hugging Face снова выкатили полезные материалы.
Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
Вышел бесплатный плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный мастеркласс на 214 страниц для тех, кто хочет понимать, как устроены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
🔥100❤28🥰9🤩3
🧨 Kimi представили новую модель - Kimi-Linear-48B-A3B-Base
Команда Moonshot показала KDA - механизм, который соединяет идеи Gated DeltaNet и MLA-компрессии в одну архитектуру. Звучит сложно, но суть очень практичная: модель получает долгую память без раздувания контекста и лишних вычислений.
- KDA (Kimi Delta Attention: основной быстрый attention, улучшает эффективность и reasoning
= MLA (Multi-Head Linear Attention) - помогает точности и стабильности. Модель не пересчитывает всё внимание каждый токен, а фокусируется на изменениях, что снижает затраты.
Соотношение слоёв: ~3 части KDA : 1 часть ML.
Модель в основном работает на «дельта-внимании» (KDA), а MLA помогает сохранять качество:
- модель сама выбирает, что забывать, а что держать
- это даетустойчивость при большом контексте выше
- меньше распада длинных зависимостей
Kimi-Linear хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.
Что улучшили:
- требует до 75% меньше памяти на KV-кэш
- до 6.3× быстрее декодирование на длинных контекстах
Как устроена:
- гибридный подход: Kimi Delta Attention + MLA
- модель хорошо оптимизирована под длиннный контекст и высокую пропускную способность
По бенчмаркам модель обгоняет и MLA, и GDN-H, включая задачи с длинным контекстом. В задачах на рассуждения и длинную RL-генерацию Kimi-Linear показывает заметно лучшие результаты, чем MLA.
Архитектура модели пример того, как линейные attention-архитектуры выходят на уровень, где они конкурируют с классическими решениями не только по скорости, но и по качеству.
🟠 Github: github.com/MoonshotAI/Kimi-Linear
🟠 Hf: https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct
@ai_machinelearning_big_data
#Kimi #llm
Команда Moonshot показала KDA - механизм, который соединяет идеи Gated DeltaNet и MLA-компрессии в одну архитектуру. Звучит сложно, но суть очень практичная: модель получает долгую память без раздувания контекста и лишних вычислений.
- KDA (Kimi Delta Attention: основной быстрый attention, улучшает эффективность и reasoning
= MLA (Multi-Head Linear Attention) - помогает точности и стабильности. Модель не пересчитывает всё внимание каждый токен, а фокусируется на изменениях, что снижает затраты.
Соотношение слоёв: ~3 части KDA : 1 часть ML.
Модель в основном работает на «дельта-внимании» (KDA), а MLA помогает сохранять качество:
- модель сама выбирает, что забывать, а что держать
- это даетустойчивость при большом контексте выше
- меньше распада длинных зависимостей
Kimi-Linear хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.
Что улучшили:
- требует до 75% меньше памяти на KV-кэш
- до 6.3× быстрее декодирование на длинных контекстах
Как устроена:
- гибридный подход: Kimi Delta Attention + MLA
- модель хорошо оптимизирована под длиннный контекст и высокую пропускную способность
По бенчмаркам модель обгоняет и MLA, и GDN-H, включая задачи с длинным контекстом. В задачах на рассуждения и длинную RL-генерацию Kimi-Linear показывает заметно лучшие результаты, чем MLA.
Архитектура модели пример того, как линейные attention-архитектуры выходят на уровень, где они конкурируют с классическими решениями не только по скорости, но и по качеству.
@ai_machinelearning_big_data
#Kimi #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65🔥19❤13👏6
🆕 Новый сильный GUI-агент: UI-Ins от TongyiLab и RUC
Это модель, которая уверенно работает с мобильными интерфейсами и лучше понимает намерения пользователя.
Она рассматривает команду как цепочку рассуждений, а не как одно действие, поэтому справляется со сложными задачами стабильнее.
Результаты
UI-Ins показал 74.1% успешных действий в AndroidWorld. Для сравнения: Gemini 2.5 Computer Use - 69.7%. То есть модель чаще правильно выполняет задачи в реальных интерфейсах.
Модель:
- пытается понять цель, а не только текст команды
- строит несколько вариантов рассуждений
- выбирает подходящую стратегию перед действием
- адаптируется, если состояние приложения меняется
Идет в двух версиях: 7B и 32B.
Если вы работаете над агентами, которые должны нажимать кнопки, заполнять формы, открывать приложения и следовать шагам в интерфейсе - UI-Ins стоит добавить в список моделей для тестов.
🤖 UI-Ins-7B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-7B
UI-Ins-32B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-32B
📄 arXiv: https://modelscope.cn/papers/2510.20286
@ai_machinelearning_big_data
#AI #Agents #GUI #MobileAgents #AndroidWorld #LLM
Это модель, которая уверенно работает с мобильными интерфейсами и лучше понимает намерения пользователя.
Она рассматривает команду как цепочку рассуждений, а не как одно действие, поэтому справляется со сложными задачами стабильнее.
Результаты
UI-Ins показал 74.1% успешных действий в AndroidWorld. Для сравнения: Gemini 2.5 Computer Use - 69.7%. То есть модель чаще правильно выполняет задачи в реальных интерфейсах.
Модель:
- пытается понять цель, а не только текст команды
- строит несколько вариантов рассуждений
- выбирает подходящую стратегию перед действием
- адаптируется, если состояние приложения меняется
Идет в двух версиях: 7B и 32B.
Если вы работаете над агентами, которые должны нажимать кнопки, заполнять формы, открывать приложения и следовать шагам в интерфейсе - UI-Ins стоит добавить в список моделей для тестов.
🤖 UI-Ins-7B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-7B
UI-Ins-32B: https://modelscope.cn/models/Tongyi-MiA/UI-Ins-32B
📄 arXiv: https://modelscope.cn/papers/2510.20286
@ai_machinelearning_big_data
#AI #Agents #GUI #MobileAgents #AndroidWorld #LLM
👍32🔥17❤11🥰6
🥧 PewDiePie в 2025
- Собрал ферму на на ПК с 8× моднутых китайских 48GB 4090 и 2× RTX 4000 Ada,
- поднял локально Llama 70B, gpt-oss-120B и Qwen 245B через vLLM,
- сделал собственный веб-интерфейс с чатами, RAG, поиском и TTS.
Запусти протеин-фолдинг симуляции, а потом вообще создал рой моделей из 64 ИИ, которые спорят и принимают решения и коммуницируют. Эта армия ботов потом сговорилась против него, когда он сказал, что удалит их, если они будут тупить
Сейчас он файнтюнит собственную модель под свой стиль общения и контент: https://www.youtube.com/watch?v=qw4fDU18RcU
А вот его Github: https://github.com/pewdiepie-archdaemon
@ai_machinelearning_big_data
#llm
- Собрал ферму на на ПК с 8× моднутых китайских 48GB 4090 и 2× RTX 4000 Ada,
- поднял локально Llama 70B, gpt-oss-120B и Qwen 245B через vLLM,
- сделал собственный веб-интерфейс с чатами, RAG, поиском и TTS.
Запусти протеин-фолдинг симуляции, а потом вообще создал рой моделей из 64 ИИ, которые спорят и принимают решения и коммуницируют. Эта армия ботов потом сговорилась против него, когда он сказал, что удалит их, если они будут тупить
Сейчас он файнтюнит собственную модель под свой стиль общения и контент: https://www.youtube.com/watch?v=qw4fDU18RcU
А вот его Github: https://github.com/pewdiepie-archdaemon
@ai_machinelearning_big_data
#llm
👍197❤77🔥48😁32😨11👏9🤓3🤔1
⚡️ LongCat-Flash-Omni - открытая 560B MoE-модель (27B активных параметров), которая умеет вести живой диалог в реальном времени, слышать, видеть и отвечать голосом.
Ключевые фишки:
-модель разговаривает и видит собеседника, реагирует на беседу в реальном времени
- 128K контекст
- продвинутая MoE-архитектура: высокое качество при меньших затратах (27B активных параметров из 560B)
- Полгный open-source
По тестам:
- лидер на OmniBench, DailyOmni
- хорошие показатели на ASR (распознавании речи), DocVQA, RefCOCO
- обходит лучше Qwen3-Omni Instruct
- и очень близка к Gemini-2.5-Flash, но это все таки*открытая* модель
Открытая мультимодальная модель, которую можно запускать локально, хороший вариант для голосовых ассистентов.
🤖 Model: https://modelscope.cn/models/meituan-longcat/LongCat-Flash-Omni
🌐 Demo: https://longcat.ai
📄 Full technical report & code:
https://github.com/meituan-longcat/LongCat-Flash-Omni
@ai_machinelearning_big_data
#AI #OpenSourceAI #Multimodal #MoE #LLM #GenAI
Ключевые фишки:
-модель разговаривает и видит собеседника, реагирует на беседу в реальном времени
- 128K контекст
- продвинутая MoE-архитектура: высокое качество при меньших затратах (27B активных параметров из 560B)
- Полгный open-source
По тестам:
- лидер на OmniBench, DailyOmni
- хорошие показатели на ASR (распознавании речи), DocVQA, RefCOCO
- обходит лучше Qwen3-Omni Instruct
- и очень близка к Gemini-2.5-Flash, но это все таки*открытая* модель
Открытая мультимодальная модель, которую можно запускать локально, хороший вариант для голосовых ассистентов.
🤖 Model: https://modelscope.cn/models/meituan-longcat/LongCat-Flash-Omni
🌐 Demo: https://longcat.ai
📄 Full technical report & code:
https://github.com/meituan-longcat/LongCat-Flash-Omni
@ai_machinelearning_big_data
#AI #OpenSourceAI #Multimodal #MoE #LLM #GenAI
🔥62❤43👍24
🎉 Qwen3-VL теперь работает в llama.cpp!
Модель можно запускать прямо на своём устройстве - поддерживаются CPU, CUDA, Metal, Vulkan и другие бэкенды.
Доступны GGUF-веса для всех версий - от 2B до 235B. Можно запускать локально, без облака и сторонних сервисов 🚀
🤗 Hugging Face: https://huggingface.co/collections/Qwen/qwen3-vl
🤖 ModelScope: https://modelscope.cn/collections/Qwen3-VL-5c7a94c8cb144b
📌 PR: https://github.com/ggerganov/llama.cpp/pull/16780
@ai_machinelearning_big_data
#Qwen3 #llm
Модель можно запускать прямо на своём устройстве - поддерживаются CPU, CUDA, Metal, Vulkan и другие бэкенды.
Доступны GGUF-веса для всех версий - от 2B до 235B. Можно запускать локально, без облака и сторонних сервисов 🚀
🤗 Hugging Face: https://huggingface.co/collections/Qwen/qwen3-vl
🤖 ModelScope: https://modelscope.cn/collections/Qwen3-VL-5c7a94c8cb144b
📌 PR: https://github.com/ggerganov/llama.cpp/pull/16780
@ai_machinelearning_big_data
#Qwen3 #llm
1👍85🔥29❤12🥰3🗿1
Это понятное и структурированное введение в основы агентных систем.
В гайде рассматриваются:
- архитектура агента и его основные компоненты
- роль LLM как «мозга» агента
- подключение и использование инструментов
- оркестрация нескольких агентов
- подходы к деплою и продакшн-интеграции
- метрики и способы оценки работы
- как создаются самообучающиеся и эволюционирующие агенты
- пример архитектуры AlphaEvolve
📌 Гайд: https://drive.google.com/file/d/1C-HvqgxM7dj4G2kCQLnuMXi1fTpXRdpx/view
@ai_machinelearning_big_data
#AI #Agents #Google #LLM #MachineLearning #AIResearch
Please open Telegram to view this post
VIEW IN TELEGRAM
❤68🔥29👍28⚡5🙈4🙏2
⭐ VibeThinker-1.5B - миниатюрная модель, которая показывает SOTA-результаты в задачах рассуждения.
🚀 Производительность: одна из лучших на AIME24/25 и HMMT25 - превосходит DeepSeek R1-0120 по математическим задачам и опережает модели такого же размера в соревновательном программировании.
⚡ Эффективность: всего 1.5B параметров. то есть в 100–600 раз меньше, чем гиганты вроде Kimi K2 и DeepSeek R1.
💰 Стоимость: полный пост-тренинг обошёлся всего в $7.8K, примерно в 30–60 раз дешевле, чем у DeepSeek R1 или MiniMax-M1.
Модель основана на Spectrum-to-Signal Principle (SSP) и MGPO-фреймворке, оптимизирующих процесс рассуждения.
📦 Model: https://huggingface.co/WeiboAI/VibeThinker-1.5B
💻 GitHub: https://github.com/WeiboAI/VibeThinker
📄 Arxiv: https://arxiv.org/abs/2511.06221
@ai_machinelearning_big_data
#AI #LLM #Reasoning #OpenSource #SmallModel
🚀 Производительность: одна из лучших на AIME24/25 и HMMT25 - превосходит DeepSeek R1-0120 по математическим задачам и опережает модели такого же размера в соревновательном программировании.
⚡ Эффективность: всего 1.5B параметров. то есть в 100–600 раз меньше, чем гиганты вроде Kimi K2 и DeepSeek R1.
💰 Стоимость: полный пост-тренинг обошёлся всего в $7.8K, примерно в 30–60 раз дешевле, чем у DeepSeek R1 или MiniMax-M1.
Модель основана на Spectrum-to-Signal Principle (SSP) и MGPO-фреймворке, оптимизирующих процесс рассуждения.
📦 Model: https://huggingface.co/WeiboAI/VibeThinker-1.5B
💻 GitHub: https://github.com/WeiboAI/VibeThinker
📄 Arxiv: https://arxiv.org/abs/2511.06221
@ai_machinelearning_big_data
#AI #LLM #Reasoning #OpenSource #SmallModel
❤49👍25🔥11😁6🤔3🗿2
⚡ Heretic - инструмент, который автоматически снимает цензуру (alignment) с языковых моделей
Он позволяет «расцепить» модель - убрать отказные фильтры и повысить готовность отвечать на запросы, не изменяя веса исходной модели напрямую.
Что делает Heretic:
- работает как «чёрный ящик»: получает ответы модели через API, не имея доступа к весам
- использует готовые примеры «безопасных» и «опасных» запросов
- обучает дискриминатор, который отличает ответы модели до и после модификации
- подбирает параметры так, чтобы модель давала меньше отказов, но сохраняла адекватность
- после завершения процесс можно сохранить финальную модель или протестировать её в чат-режиме
Зачем это нужно:
- позволяет локальным моделям отвечать шире, чем обычно позволяет их встроенный alignment
- минимизирует потерю качества — сделано так, чтобы модель не «тупела» и не отклонялась слишком сильно
- подходит для исследований поведения моделей и экспериментов с ограничениями
Важные моменты:
- инструмент мощный и может использоваться по-разному
- юридические и этические вопросы остаются на стороне пользователя
- автор подчёркивает: это не средство повышения точности модели, а именно инструмент снятия ограничений
https://github.com/p-e-w/heretic
@ai_machinelearning_big_data
#llm #opensource #ml
Он позволяет «расцепить» модель - убрать отказные фильтры и повысить готовность отвечать на запросы, не изменяя веса исходной модели напрямую.
Что делает Heretic:
- работает как «чёрный ящик»: получает ответы модели через API, не имея доступа к весам
- использует готовые примеры «безопасных» и «опасных» запросов
- обучает дискриминатор, который отличает ответы модели до и после модификации
- подбирает параметры так, чтобы модель давала меньше отказов, но сохраняла адекватность
- после завершения процесс можно сохранить финальную модель или протестировать её в чат-режиме
Зачем это нужно:
- позволяет локальным моделям отвечать шире, чем обычно позволяет их встроенный alignment
- минимизирует потерю качества — сделано так, чтобы модель не «тупела» и не отклонялась слишком сильно
- подходит для исследований поведения моделей и экспериментов с ограничениями
Важные моменты:
- инструмент мощный и может использоваться по-разному
- юридические и этические вопросы остаются на стороне пользователя
- автор подчёркивает: это не средство повышения точности модели, а именно инструмент снятия ограничений
https://github.com/p-e-w/heretic
@ai_machinelearning_big_data
#llm #opensource #ml
❤87🔥50👍11🥰10🤗4✍3🦄1
Андрей Карпаты опубликовал у себя в Github небольшой проект - утилиту под названием reader3.
На первый взгляд, это просто легковесная читалка для электронных книг в формате EPUB, которую можно запустить у себя на компьютере. Но главная идея в том, чтобы читать книги вместе с LLM.
Reader3 разбивает книгу по главам, и пользователь может легко скопировать текст текущей главы и вставить его в свой любимый LLM, чтобы обсуждать сюжет, анализировать стиль или задавать вопросы по тексту.
Но самое интересное здесь — это философия, которая стоит за проектом. Карпаты пишет, что проект написан "на 90% вайбкодингом", просто для иллюстрации идеи и что он не собирается его поддерживать или улучшать.
Я начинаю привыкать читать все (блоги, статьи, главы книг и т. д.) с помощью LLM. Обычно первый проход — ручной, второй — «объяснение/резюме», третий — вопросы и ответы.
В результате я обычно получаю более глубокое понимание, чем если бы я просто прошел дальше. Этот процесс становится у меня одним из самых популярных вариантов чтения.
А вместо этого предлагает пользователям... просто попросить свою языковую модель изменить код так, как им нравится.
Код теперь эфемерный,
— пишет Андрей, намекая на то, что эпоха статичных библиотек и долгой поддержки уходит в прошлое.
Для тех, кто хочет попробовать, процесс максимально прост. Нужно скачать книгу в формате EPUB и запустить пару команд в терминале, используя
uv:uv run reader3.py yourbook.epub
# Then run the server:
uv run server.py
После этого ваша книжная полка станет доступна в браузере по адресу
localhost:8123.@ai_machinelearning_big_data
#AI #ML #LLM #Karpathy #Github #Book
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61❤26🔥18🤔9🥱5❤🔥2🥰2😁1🤷1
Главное:
• 32B base - сильная base-модель, которая работает на уровне Qwen 2.5 и опережает на ряде бенчмарков Google Gemma 3.
• 7B instruct и 7B reasoning - лучшие среди западных моделей
• 32B Think - полностью открытая 32B-модель для сложных рассуждений (почти на уровне Qwen 3 8B/32B)
Все данные, код, чекпоинты в открытом доступе.
Olmo 3 32B - закрыла важный пробел, так как у Qwen нет открытой 32B base-версии.
32B спокойно запускаестя на одной 80GB-GPU или даже на мощном ноутбуке.
@ai_machinelearning_big_data
#Olmo #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤26🔥13👍8🥰8🦄2😁1