⚡️ ChatGPT-5.1

OpenAI выпустила GPT-5.1, сделав основной упор на интеллект и качество диалога.

🟢GPT-5.1 Instant - модель с функцией адаптивного мышления. Она способна самостоятельно «задумываться» над сложными задачами, что позволило выбивать более высокие баллы по математическим задачам AIME 2025 и задачам по программированию Codeforces. Модель стала лучше следовать инструкциям и получила более «теплый» стиль общения по умолчанию.

🟢GPT-5.1 Thinking тоже была улучшена: она быстрее справляется с простыми запросами и выдает более четкие ответы с меньшим количеством жаргона.

Вместе с моделями OpenAI расширила возможности кастомизации тона ответов, добавив новые стили: «Профессиональный», «Откровенный» и «Необычный».

Обновление уже раскатывают на платных подписчиков, а доступ через API появится в ближайшие дни. Предыдущие версии GPT-5 останутся доступны в течение трех месяцев.

@ai_machinelearning_big_data

#news #ai #ml

🌟 NVIDIA KVzap: жмем KV-кэш в 4 раза.

Все любят длинный контекст, но для GPU это больно - KV-кэш растет линейно и быстро сжирает VRAM. Например, для Llama-65B на 128k токенов кэш весит 335 ГБ. Существующие методы прунинга либо медленные, либо тупые и режут важное, либо требуют переобучения модели.

NVIDIA предложили метод KVzap, который решает, какие токены можно забыть, глядя только на текущие хидден-стэйты.

🟡Логика метода разбита на 2 этапа:

Поиск идеала (KVzip+).
Берется медленный, но точный метод KVzip: модели скармливают текст, заставляют его повторить, и смотрят, на какие прошлые токены она реально обращает внимание. Это золотой стандарт важности токена. Но в проде так делать нельзя, это двойная работа.

Аппроксимация (KVzap).
Тут и происходит вся суть: крошечная модель-суррогат смотрит на входящий хидден-стэйт токена и предсказывает, насколько этот токен будет важен в будущем, то есть пытается угадать скор KVzip.

Модели 2-х видов:

KVzap-Linear: простейшая линейная проекция (одна матрица). Она берет хиден-стэйт и тупо проецирует его в скалярный скор важности. Сложность: экстремально низкая (~0.02%).

KVzap-MLP: двухслойный перцептрон. Внутри есть скрытый слой размером 1/8 от размерности модели и нелинейная активация. Сложность: низкая, но выше линейной (~1.1%).

🟡Все вместе это работает так

Токен залетает в слой трансформера, модель-суррогат быстро считает его скор важности. Если он ниже порога - токен в кэш не пишется или удаляется. Но при этом всегда оставляется скользящее окно из последних 128 токенов, чтобы не терять локальный контекст, иначе модель сыпется.

🟡Результаты тестов.

Проверяли на Qwen3-8B, Llama-3.1-8B и Qwen3-32B. Спойлер: работает везде.

Удалось выкинуть до 75% KV-кэша, а это сжатие в 4 раза. На бенчмарках RULER (длинный контекст), LongBench и AIME25 падение метрик или нулевое, или меньше 1%. Оверхед от суррогатной модели мизерный - менее 1% FLOPs.

🟡Звучит, конечно, как гем, но давайте про минусы:

🟠Нужно дообучить этот маленький MLP для каждого слоя целевой модели. Датасет нужен, но процесс быстрый.

🟠Удаление токенов создает рваный кэш. У разных голов будет разное количество сохраненных токенов.

Это плохо, потому что стандартные ядра Paged Attention любят структуру. Чтобы реально получить ускорение, а не только экономию памяти, нужно писать кастомные CUDA-ядра, которые смогут эффективно жевать блоки переменной длины.

🟠Порог отсечения фиксированный. Если промахнуться с ним, то модель начнет галлюцинировать или забудет начало.

🟡По итогу, KVzap - крутой шаг к тому, чтобы гонять длинные контексты на GPU попроще.

Метод умнее, чем Streaming LLM, и быстрее, чем полные методы разреженного внимания.

Ждем интеграции в vLLM или TRT-LLM, а пока, чтобы скрасить ожидание, NVIDIA собрала на HF интерактивный лидерборд популярных методик компрессии KV-кэша.

Код и веса моделей-суррогатов из тестов пейпера в открытом доступе, так что нет никаких ограничений, чтобы не покрутить KVzap на каком-нибудь тестовом сетапе.



@ai_machinelearning_big_data

#AI #ML #LLM #KVZAP #NVIDIA

📌Ян Лекун: индустрия движется в тупик, игнорируя реальный путь к AGI.

Один из пионеров глубокого обучения и лауреат премии Тьюринга Ян Лекун резко критикует вектор развития ИИ.

Покинув пост в империи Марка Цукерберга в ноябре прошлого года, он говорит, что Кремниевая долина стала жертвой стадного чувства.

Исключительный фокус на больших языковых моделях — это тупиковый путь, который не приведет к созданию AGI, несмотря на колоссальные инвестиции.

Лекун утверждает, что индустрия буквально одурманена LLM. Фундаментальная проблема архитектуры трансформеров заключается в отсутствии способности к планированию и пониманию физического мира.

Системы, построенные на них обучаются исключительно на цифровых массивах данных; они могут предсказывать текст, но не понимают причинно-следственных связей реальности и не могут моделировать последствия своих действий.

Масштабирование языковых моделей имеет жесткий предел и не позволит достичь даже уровня человеческого интеллекта, не говоря уже о сверхразуме.

Для реализации своего видения Лекун основал Advanced Machine Intelligence Labs (AMI Labs). Стартап планирует создание систем, способных строить планы и прогнозировать исходы событий - то, чего лишены современные генеративные модели.

Отдельно досталось американским техно-гигантам за секретность. Лекун считает отказ от Open Source катастрофой и стратегической ошибкой.

Пока корпорации в США прячут разработки под замок, пытаясь сохранить лидерство, китайские компании используют открытый код и могут перехватить инициативу за счет скорости и креативности.

@ai_machinelearning_big_data

#news #ai #ml

⚡️ OpenAI представила GPT-5.3-Codex-Spark.

Это облегченная высокоскоростная версия GPT-5.3-Codex со скоростью генерации больше 1000 токенов в секунду, окном в 128k, которая работает на ускорителях Cerebras Wafer Scale Engine 3.

OpenAI называет ее моделью для кодинга в реальном времени.

Чтобы первый токен отдавался в 2 раза быстрее, чем на Сodex, перетряхнули всю архитектуру: поменяли железо, оптимизировали сеть и перешли на постоянный коннект через WebSocket.

Если есть подписка ChatGPT Pro - уже можно пробовать в VS Code или CLI.

@ai_machinelearning_big_data

#news #ai #ml

⚡️ Иран объявил дата-центры Google, Microsoft и NVIDIA легитимными военными целями.

Связанное с КСИР иранское агентство Tasnim опубликовало список объектов для возможных будущих ударов. В него впервые официально вошла ближневосточная инфраструктура американских IT-гигантов: Google, Amazon, Microsoft, NVIDIA, IBM и Oracle. Под угрозой оказались региональные офисы компаний, дата-центры и исследовательские лаборатории.

Иранская сторона объясняет этот шаг тем, что вычислительная инфраструктура корпораций тесно связана с военными и экономическими операциями США и Израиля. По заявлению агентства, текущие региональные конфликты перерастают в полноценные инфраструктурные войны, в связи с чем список потенциальных IT-мишеней будет постепенно расширяться.
aljazeera.com

✔️ Microsoft вступилась за Anthropic в споре с Пентагоном.

Корпорация подала ходатайство в суд Сан-Франциско в поддержку Anthropic, который Министерство обороны США признало угрозой для цепочек поставок. Microsoft просит суд заморозить решение Пентагона и наложить временный запрет на блокировку текущих государственных контрактов.

По заявлению Microsoft, немедленный запрет на использование технологий Anthropic вынудит IT-компании экстренно перестраивать архитектуру своих продуктов. Это грозит серьезными сбоями в работе ИИ-инструментов, которые уже внедрены и активно используются американскими военными. Временная отсрочка позволит избежать хаоса и обеспечит более безопасный переходный период для оборонного ведомства.

Действия Microsoft продиктованы прямым финансовым интересом. В ноябре корпорация объявила о планах вложить в Anthropic до 5 млрд. долларов, параллельно оставаясь ключевым инвестором их главного конкурента - OpenAI.
cnbc.com

✔️ NVIDIA выпустила открытую модель Nemotron 3 Super.

Модель на 120В на архитектуре МоЕ с 12 млрд. активных параметров была создана специально для автономных агентов, выполняющих сложные многоступенчатые задачи. Под капотом гибрид из слоев Mamba, которые экономят память, и классических трансформеров, отвечающих за глубокий логический вывод.

Модель получила контекстное окно на 1 млн. токенов. Дополнительно внедрена функция мульти-токеновой генерации, ускоряющая выдачу результатов в 3 раза.

Nemotron 3 Super под открытой лицензией NVIDIA доступна на HuggingFace. Ее интеграцию уже начали Perplexity, Palantir, Siemens и другие крупные IT-компании.
developer.nvidia.com

✔️ Perplexity анонсировала автономную ИИ-систему на базе Mac mini.

ИИ-поисковик предложил концепцию агента, который работает круглосуточно без участия пользователя. Personal Computer интегрируется с локальными файлами и приложениями на выделенном Mac mini, автономно выполняя сложные рабочие процессы. Система построена на гибридной архитектуре: взаимодействие с десктопом происходит локально, а тяжелые вычисления перенесены на серверы Perplexity.

Ядро платформы - собственный движок оркестрации, который автоматически переключается между передовыми моделями для решения задач. Контролировать ИИ-помощника можно удаленно с любого устройства. Особое внимание уделили безопасности: внедрены функция экстренного отключения, ведение детального аудита всех сессий и ручное подтверждение для чувствительных действий системы. Записаться в лист ожидания проекта можно по ссылке.
PerplexityAI в сети Х

✔️ Anthropic запустила свой исследовательский институт.

Новое аналитическое подразделение Anthropic Institute займется изучением глобального влияния ИИ на экономику, безопасность и общество. Возглавил инициативу сооснователь стартапа Джек Кларк. Институт сфокусируется на трансформации рынка труда, рисках злоупотребления технологиями, а также на механизмах сохранения человеческого контроля над саморазвивающимися ИИ-системами.

В команду вошли около 30 специалистов из существующих отделов Anthropic, включая группу стресс-тестирования Frontier Red Team. К проекту уже присоединились бывшие исследователи из Google DeepMind и OpenAI.
anthropic.com

@ai_machinelearning_big_data

#news #ai #ml

✔️ Утечка в Anthropic раскрыла детали новой модели Claude.

Из-за ошибки в CMS в открытый доступ попали около 3000 внутренних документов Anthropic. Главной утечкой стала информация о разработке новой модели, которая в черновиках упоминается как Mythos и Capybara. Представители компании подтвердили тестирование продукта.

Mythos или Capybara представляет собой новый класс моделей, стоящий на ступень выше актуальной флагманской Opus. Разработчики заявляют о качественном скачке в логике, написании кода и кибербезопасности - результаты тестов значительно превосходят показатели Opus 4.6.

В документах говорится, что возможности модели по поиску уязвимостей могут представлять угрозу. Из-за этого релиз будет крайне осторожным: сначала API откроют узкой группе раннего доступа. Другой преградой для релиза стала высокая стоимость инференса - Anthropic пытается оптимизировать архитектуру, чтобы сделать использование модели рентабельным.
fortune.com

✔️ OpenAI запустила систему плагинов для Codex.

Обновление ориентировано в первую очередь на корпоративные IT-команды, которые смогут упаковывать рабочие процессы, интеграции и настройки MCP-серверов в версионируемые пакеты. Из коробки Codex поддерживает работу с Slack, Figma, Notion и Gmail.

Через эти плагины Codex может брать на себя задачи по планированию, сбору информации и координации, которые предшествуют разработке и управлять последующими процессами.

Новая функция уже доступна в приложении Codex, CLI и расширениях для IDE. В будущем OpenAI планирует запустить официальный каталог плагинов и добавить платформу для их публикации.
OpenAI Developers в сети Х

✔️ Суд временно заблокировал запрет Пентагона на использование моделей Anthropic.

Федеральный суд США вынес предварительное постановление, запрещающее Министерству обороны разрывать связи с разработчиком чат-бота Claude. Судья встала на сторону стартапа, расценив действия властей как незаконную месть за корпоративную позицию, а не как защиту национальной безопасности.

Суд также отверг аргументы правительства о риске саботажа со стороны Anthropic. Юристы стартапа доказали техническую невозможность подобных сценариев: после развертывания модели на стороне заказчика компания лишается доступа к ней и не может удаленно отключить нейросеть, изменить ее код или отследить, как именно военные ее применяют.

Вступление судебного приказа в силу отложено на семь дней, чтобы дать правительству время на апелляцию. Представитель Минобороны назвал вердикт «позором», сославшись на фактические ошибки суда.
bloomberg.com

✔️ В Gemini появилась функция миграции из ChatGPT и Claude.

Google добавила в Gemini возможность легкого перехода с конкурирующих ИИ-платформ. Теперь можно перенести предпочтения, сохраненный контекст и полную историю чатов из ChatGPT и Claude.

Механика миграции работает двумя способами. Для переноса персональных настроек используется промпт: его нужно скопировать в старый ИИ-ассистент для генерации сводки, а затем вставить ответ в Gemini. Историю диалогов предлагается загружать архивом истории в формате ZIP объемом до 5 ГБ. Это позволит продолжить старые беседы уже в интерфейсе Google.

В рамках обновления раздел Past Chats также переименован в Memory.
blog.google

✔️ CapCut расширил географию доступа к генератору видео Seedance 2.0.

Вслед за релизом инструмента Video Studio на базе Seedance 2.0, CapCut открыла доступ к функциям генерации для новых регионов. Теперь обновление доступно пользователям из Европы, Канады, Австралии, Новой Зеландии и Южной Кореи.

Опробовать возможности модели можно в бесплатном пробном периоде на всех платформах сервиса, включая мобильное приложение, десктопный клиент и веб-версию.

Для пользователей сервиса также опубликовано руководство по работе с новыми ИИ-инструментами редактора.
СupCut в сети Х

@ai_machinelearning_big_data

#news #ai #ml