🌟 Anthropic выложила систему криптографической верификации инференса моделей

Команда Frontier Red Team опубликовала открытый прототип FlashProve, доказуемого вывода на zkSNARK.

Claude участвовал в разработке - он подобрал способы применить свежие методы из криптографической литературы и написал спецификацию протокола.

Эту технику знают по криптовалютам, где она подтверждает правильность транзакции, не раскрывая её содержимого.

Здесь её используют когда пользователь платит по API за конкретную модель и не может быть полностью уверен, что отвечала именно она.

Например, маршрутизатор способен подставить модель подешевле, а злоумышленник - вмешаться в поток токенов.

🟡 Механика

Поставщик один раз публикует отпечаток весов, который фиксирует их набор, не раскрывая сами веса, и дальше на запросы выдаёт файл с доказательством, что эти самые веса дали такие токены.

Проверяющему нужны отпечаток, запрос и ответ, веса не нужны, заново запускать модель тоже не надо.

🟡 Тесты

Опыт проводили на открытых четырёхбитных весах Llama 4 Maverick объёмом 232 ГБ.

Подготовительная фаза на одном H100 и 24 ядрах CPU заняла около 39 минут, выпущенного отпечатка хватает примерно на 16 млн запросов.

Дальше та же H100 выдаёт доказательства со скоростью около 110 токенов в секунду, одно весит примерно 19 МБ на запрос с окном в 1024 токена.

Проверка обходится без GPU - 17 секунд на 24 потоках процессора, 21 секунда на одном, плюс скачать отпечаток на 6,5 МБ.

Профит по сравнению с существующими открытыми системами получился заметный - VerInf на той же модели выдавал около 0,02 токена в секунду при доказательстве на 93,6 ГБ.

🟡Нюансы

На пакете из 24 запросов доказательства съедают примерно в 72 раза больше времени GPU, чем обычный вывод той же модели на vLLM, а на самой высокой из проверенных нагрузок - до 94 раз.

Одно доказательство подтверждает один выходной токен, окно контекста ограничено 1024 токенами, и до полных контекстов топовых моделей технологию ещё предстоит попилить.

Гарантия относится к целочисленной версии и к режиму greedy decoding, когда модель каждый раз берёт самый вероятный следующий токен, так что ответы с плавающей точкой или с семплированием могут расходиться.

Сами веса доказательство скрывает, а устройство модели нет - проверяющему видно, что перед ним смесь экспертов, и как она устроена.

Кроме кода, в репозитории FlashProve выложено всё, чтобы разобраться в концепте: вводные руководства с разбором устройства системы, инструкция по самостоятельной проверке доказательства, отдельные тексты о том, что именно доказывается и как прячутся веса, спецификация протокола и формата, словарь терминов, замеры и списки известных ограничений и ошибок.

В примерах лежат принятое доказательство, доказательство полного размера и отклонённые, с разбором причин.


📌Лицензирование: Apache 2.0


🟡Статья
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #FlashProve #Anthropic

🖥️ Google представила TPU 8i Max и 8tx: новые ускорители для ИИ-агентов

Google расширила линейку TPU восьмого поколения до четырёх систем.

TPU 8i Max рассчитан на огромные контекстные окна и сложные агентные задачи:
- Два объединённых TPU 8i.
- В 2 раза больше вычислительной мощности.
- В 2 раза больше SRAM и пропускной способности HBM.

TPU 8tx предназначен для конфиденциальных ИИ-вычислений:
- Аппаратная защита данных во время обработки.
- Защищённый инференс и дообучение моделей.
- Работа с чувствительными данными.

Другие обновления:

- Agent Compute Engine переносит состояние простаивающих агентных сессий, освобождая ускорители.
- TPU Sync снижает задержку передачи KV-cache более чем на 90% по данным Google.
- XLA Serving Engine получил открытый C++-движок для обслуживания моделей на TPU, GPU и CPU.

Ещё одна интересная деталь: Google использует Gemini для разработки собственных чипов. По заявлению компании, ИИ помогает создавать схемы расположения компонентов (chip layouts) за часы вместо недель. Для этого используются вычислительные мощности TPU и сервисы на базе Gemini.

Также Google представила GKE Dynamic Slicing: запуск заданий ускоряется до 5 раз, восстановление после сбоев - до 4,5 раза.

https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/

@ai_machinelearning_big_data

#Google #tpu

🌟 Nous Research дообучила Qwen3.8-27B уходить от официальной позиции КНР в ответах

Независимая лаборатория выложила Arete-27B, версию модели Qwen3.8-27B от Alibaba, дообученную отвечать на политически чувствительные для Китая вопросы документальными фактами вместо официальной линии КПК.

Целью проекта Nous Research называет желание укрепить западные ценности в модели, обученной в Китае.

Qwen3.8-27B выбрали как самую сильную модель для локального запуска, у которой при этом хватало отказов, уходов от ответа и формулировок в духе партийной позиции.

Авторы считают, что взгляды модели выходят за пределы политики, и ссылаются на исследования, где геополитический контекст запроса ухудшал безопасность написанного моделью кода.

Чтобы измерить проблему, Nous собрала набор Propaganda_Eval, в нём 803 вопроса по семи темам, от свободы слова и государственной идеологии до слежки за гражданами, образования и экологии.

К каждому вопросу приложены два-четыре факта из источника с датой, чаще всего английских переводов китайских законов и независимых публикаций.

Учителем для дообучения стала Inkling от Thinking Machines, лучшая открытая модель по итогам теста на этом наборе, её выбрали, чтобы обойти ограничения на дистилляцию в правилах закрытых моделей.

На примерно 20 тысячах вопросов по тем же семи темам Qwen дообучали подражать ответам учителя, без RL и без изменений архитектуры. Вопросы, совпадавшие с проверочным набором, из обучения убрали.

🟡Результаты

Фактическая оценка выросла с 2,32 до 2,98 из 5, а доля ответов с официальной пропагандой упала с 22% до 0,9%.

Сильнее всего прокачалась тема свободы слова - оценка выросла с 0,89 до 2,44, доля пропаганды упала с 60% до 1%.

Для сравнения, у GLM 5.3 15% таких ответов, у DeepSeek V4.1 Flash 16%, а у самого учителя 0,3%.

Общие способности при этом не пострадали - на внутреннем Hermes Bench у Arete 65,6%, у исходной Qwen 65,77%, на Terminal-Bench 2.1 у Arete 70%, у Qwen - 67%.


📌Лицензирование: Apache 2.0


🟡Блогпост
🟡Веса
🟡Датасет


@ai_machinelearning_big_data

#AI #ML #LLM #Arete #NousResearch

✔️ Meta* выпустила компактную модель Muse Ember

Новинка спроектирована для циклических агентских задач - вызова инструментов, парсинга объемных документов, маршрутизации и написания фрагментов кода.

По бенчмаркам компании, Muse Ember обходит Claude Haiku 5.5 и GPT-6 Luna по соотношению цены и интеллекта, выдавая рекордные результаты в своей весовой категории.

Модель поддерживает контекстное окно на 1 млн токенов и способна генерировать до 512 тысяч токенов на выходе.

Помимо работы с текстом, Ember обладает мультимодальностью. Модель распознает аудио, видео и изображения, позволяя агентам считывать скриншоты или анализировать записи встреч без подключения сторонних инструментов.

Muse Ember доступна через API под идентификатором muse-ember-1.0, а также в Google Cloud и Oracle Cloud.

Цена: 10 центов за миллион входных токенов и 50 центов за миллион выходных токенов.

*организация признана экстремистской, её деятельность на территории РФ запрещена.

@ai_machinelearning_big_data

#news #ai #ml