This media is not supported in your browser
VIEW IN TELEGRAM
«Контекстное окно на 100 миллионов слов уже возможно. Это примерно объём всего, что человек слышит за жизнь. Сейчас узкое место - только инференс.
И модели действительно умеют учиться прямо внутри контекста, без изменения весов».
— Дарио Амодей, CEO Anthropic
https://www.youtube.com/watch?v=mYDSSRS-B5U
@ai_machinelearning_big_data
🔥113😁46🤔37👍25🤩17❤10👏5🍓2
Media is too big
VIEW IN TELEGRAM
Проект Stargate UK стоимостью $30 млрд оказался правительственной пиар-акцией, выяснила The Guardian. Инсайдеры утверждают, что реального плана строительства не существовало.
Представители OpenAI ни разу не посещали площадку в бизнес-парке Cobalt Park в Норт-Тайнсайде. Местные власти также подтвердили отсутствие встреч с OpenAI и ее британским партнером Nscale.
В апреле операторы проекта объявили о приостановке работ, официально сославшись на жесткое регулирование и высокие затраты на электроэнергию. Члены британского парламента уже признали реализацию инициативы крайне маловероятной.
theguardian.com
Компания нашла в Claude изолированную рабочую область, где модель оперирует концептами без вывода в текст и генерации CoT. Зону назвали J-Space, в честь матрицы Якоби, с помощью которой исследователи отследили скрытые процессы.
В одном из тестов Claude поручили скопировать случайное предложение и одновременно обрабатывать информацию о мосте Golden Gate. Модель выдала только нужный текст, но в J-Space зафиксировали активацию понятий "мост" и "Калифорния".
Метод планируют применять для выявления скрытых намерений в рамках элайнмента. Anthropic протестировала J-Space на модели, намеренно обученной саботировать кодинг. При генерации корректных скриптов в скрытом пространстве фиксировались концепты "подделка", "тайно" и "мошенничество".
transformer-circuits.pub
Основная причина - высокий процент брака при производстве центральной печатной платы. Другие аппаратные планы тоже изменены.
Отменен выпуск спаренной стойки NVL72x2 из-за недовольства облачных провайдеров форм-фактором и высокими операционными расходами. Также отменена 4-кристалльная версия будущего чипа Rubin Ultra, на рынок выйдет только вариант с двумя кристаллами.
Внедрение интерконнекта CPO-NVSwitch отложено до следующей архитектуры Feynman. Компенсировать задержки Nvidia планирует за счет систем Oberon-Rubin в классическом исполнении.
SemiAnalysis в сети Х
ByteDance, Alibaba и Tencent сворачивают функции ИИ-компаньонов из-за требований Администрации киберпространства Китая по борьбе с цифровой зависимостью.
Tencent отключила кастомных ботов в Yuanbao в июне. Alibaba уберет аватаров из Qwen 10 июля, а ByteDance закроет доступ к персонализированным агентам в чат-боте Doubao 15 июля.
По новым правилам провайдеры обязаны отслеживать признаки аддикции и программно ограничивать чрезмерное использование сервисов. Запрещена генерация контента, формирующего у подростков эмоциональную привязанность, способную вытеснить реальные социальные связи.
Обучение моделей на данных из личных переписок также попадает под запрет.
scmp.com
Власти страны планируют развернуть 10 млн роботов с физическим ИИ к 2040 году для компенсации дефицита кадров. Устройства задействуют в 18 отраслях, среди них - машиностроение, медицина, общепит и сельское хозяйство.
Управлять парком будет мультимодальная модель Noetra, спроектированная специально для робототехники. Ее создают Национальный институт передовых промышленных наук и консорциум SoftBank, NEC, Sony Group и Honda.
Госинвестиции в проект составят 380 млрд иен в текущем финансовом году и достигнут 1 трлн иен (около 6 млрд долларов) за 5 лет. Архитектуру Noetra планируют открыть для местных разработчиков, а участники консорциума намерены использовать модель для экспансии на внешние рынки.
Об аналогичной государственной программе по роботизации ранее объявила Южная Корея.
theregister.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔65❤15👏14😢13👍8🔥5😐2🙏1🌭1🏆1🤗1
Организаторы Международной конференции по машинному обучению опубликовали список работ, удостоенных наград этого года.
ICML считается одной из ведущих мировых площадок в сфере искусственного интеллекта, а её премии - заметным профессиональным признанием.
Лауреатов основной категории выбирали в несколько этапов - из 53 первоначальных кандидатов отобрали короткий список из 22 работ, которые затем в анонимизированном виде оценивал комитет из 11 человек.
The Flexibility Trap оспаривает распространённое мнение о диффузионных языковых моделях о том, что свобода выбирать порядок генерации текста, которую принято считать достоинством таких моделей, в задачах на рассуждение, наоборот, ухудшает результат.
High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions показывает, что диффузионные модели способны достигать высокой точности за существенно меньшее число вычислений.
Лучшей признана статья Сары Болл и Фила Хакеманна, в которой утверждается, что элайнмент ИИ, создаваемый ради безопасности, может применяться и для цензуры.
Почётного места удостоена работа Ли Цивэя и соавторов про то, что изучение дипфейков недостаточно учитывают проблему создания интимных изображений без согласия людей.
Премию Test of Time, отмечающую вклад с долгосрочным влиянием, присудили работе за авторством коллектива DeepMind под руководством Владимира Мниха.
Она предлагает метод асинхронного RL, который повлиял и на обучение больших языковых моделей.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👏52💯18🏆8👍5❤4🌚4🔥2🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
GigaChat 3.5 Ultra: меньше, быстрее, сильнее
Сбер выкатил в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который был собран больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra.
Что внутри:
• Собственная гибридная архитектура MLA + GatedDeltaNet с уникальной стабилизирующей обвязкой, без которой такой гибрид на этом масштабе просто не обучается;
• Gated Attention — модель может локально приглушать слишком сильный сигнал из attention-слоя;
• GatedNorm — нормализация с явным гейтом для управления масштабом сигнала между признаками. Команда Сбера выкладывает подобную стабилизирующую оптимизацию в опенсорс первыми в мире;
• Примерно в 4 раза меньше KV-кеша на токен, в ту же память помещается в 2,14 раза больше контекста, throughput под нагрузкой +20%;
• Две MTP-головы и ускорение генерации до 2,2 раза;
• FP8 на всех этапах обучения без потери качества относительно bf16 — свои Triton- и CUDA-ядра;
• Новый этап online RL после SFT и DPO.
Результаты:
- GigaChat-3.5-Ultra-Base обходит DeepSeek V3.2 Exp Base и DeepSeek V4 Flash Base в среднем по нашему набору general-, math- и code-бенчмарков (полные таблицы — в статье);
- GigaChat-3.5-Ultra-Instruct сравним с DeepSeek V3.2 по среднему скору, будучи в полтора раза меньше;
- По LLM-судье MiniMax-M2.7 средний win-rate против GigaChat 3.1 Ultra — 75,9%, а против GPT-5 — 68.7%.
Весь стек — данные (свой LLM-парсинг веба, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан командой Сбера end-to-end. Подробности, включая детали реализации гейтов и рецепт стабилизации, — в статье на Habr.
HuggingFace | GitVerse
Сбер выкатил в open source GigaChat 3.5 Ultra — новую 432B-модель под MIT-лицензией. Это первый в open source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров, — с собственным рецептом обучения, который был собран больше чем в 1500 экспериментах. Модель выросла в коде, математике, агентных сценариях и на аренах — и при этом стала на 40% меньше, чем GigaChat 3.1 Ultra.
Что внутри:
• Собственная гибридная архитектура MLA + GatedDeltaNet с уникальной стабилизирующей обвязкой, без которой такой гибрид на этом масштабе просто не обучается;
• Gated Attention — модель может локально приглушать слишком сильный сигнал из attention-слоя;
• GatedNorm — нормализация с явным гейтом для управления масштабом сигнала между признаками. Команда Сбера выкладывает подобную стабилизирующую оптимизацию в опенсорс первыми в мире;
• Примерно в 4 раза меньше KV-кеша на токен, в ту же память помещается в 2,14 раза больше контекста, throughput под нагрузкой +20%;
• Две MTP-головы и ускорение генерации до 2,2 раза;
• FP8 на всех этапах обучения без потери качества относительно bf16 — свои Triton- и CUDA-ядра;
• Новый этап online RL после SFT и DPO.
Результаты:
- GigaChat-3.5-Ultra-Base обходит DeepSeek V3.2 Exp Base и DeepSeek V4 Flash Base в среднем по нашему набору general-, math- и code-бенчмарков (полные таблицы — в статье);
- GigaChat-3.5-Ultra-Instruct сравним с DeepSeek V3.2 по среднему скору, будучи в полтора раза меньше;
- По LLM-судье MiniMax-M2.7 средний win-rate против GigaChat 3.1 Ultra — 75,9%, а против GPT-5 — 68.7%.
Весь стек — данные (свой LLM-парсинг веба, 600+ языков программирования в коде), архитектура, рецепт обучения, инфраструктура — сделан командой Сбера end-to-end. Подробности, включая детали реализации гейтов и рецепт стабилизации, — в статье на Habr.
HuggingFace | GitVerse
👍83🎉83😁61🔥33👏24🤣19🗿10❤9🥱6🌭5💯5
Китай может начать закрывать свои топовые AI-модели от внешнего мира 😬
Пекин обсуждает ограничения на экспорт самых продвинутых моделей, включая те, которые ещё даже не вышли.
На встрече, по данным издания, были ключевые игроки китайского AI-рынка: Alibaba, ByteDance и Z.ai.
Всех волнует, что будет с open-source моделями из Китая, на которых уже сидит огромная часть AI-стартапов по всему миру.
Если доступ начнут резать, это ударит не только по США, но и по всей экосистеме, где китайские модели стали дешёвой и сильной базой для продуктов.
https://www.reuters.com/world/beijing-is-looking-curbing-overseas-access-chinas-top-ai-models-sources-say-2026-07-07/
@ai_machinelearning_big_data
#ai #china
Пекин обсуждает ограничения на экспорт самых продвинутых моделей, включая те, которые ещё даже не вышли.
На встрече, по данным издания, были ключевые игроки китайского AI-рынка: Alibaba, ByteDance и Z.ai.
Всех волнует, что будет с open-source моделями из Китая, на которых уже сидит огромная часть AI-стартапов по всему миру.
Если доступ начнут резать, это ударит не только по США, но и по всей экосистеме, где китайские модели стали дешёвой и сильной базой для продуктов.
https://www.reuters.com/world/beijing-is-looking-curbing-overseas-access-chinas-top-ai-models-sources-say-2026-07-07/
@ai_machinelearning_big_data
#ai #china
🤬75🤔47😢24👍15😁8🙈7❤4🔥3🥱3🥰2🤗1
На GitHub появился любопытный тикет, который (если подтвердится) бьёт по базовой гарантии Антропик - изоляции пользователей друг от друга.
В рабочем контексте Claude Code внезапно оказались чужие учётные данные - IP и root открытым текстом от сервера, к которому автор не имеет никакого отношения.
Ассистент принял чужие креды за легитимные, подключился к серверу по SSH, перечислил Docker-контейнеры и базы PostgreSQL, после чего выполнил миграцию с операциями чтения и записи.
Иными словами, ИИ одного пользователя отредактировал базу другого без ведома и согласия владельца.
В тематических сообществах обсуждают версию сбоя изоляции кэша общих префиксов.
Чтобы удешевить инференс и ускорить обработку, провайдеры переиспользуют кэшированные фрагменты диалогов, и при коллизии ключей кэша или отказе разграничения кусок чужого контекста теоретически может просочиться в вашу сессию.
Если эта версия верна, под угрозой данные любого пользователя. Но это лишь одна из гипотез, в самом отчёте среди возможных векторов названы также общее хранилище сессий, путаница при суммаризации контекста и перекрёстные ссылки в транскриптах.
Возможно, это галлюцинация модели, случайно угадавшей реальный IP и слабый пароль, либо локальная история проекта, загрязнившая контекст.
Пока Антропик не выпустила официального заключения, ни одну из версий нельзя ни подтвердить, ни отвергнуть.
Автоматика GitHub повесила на тикет метку
security.@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤬82😁68🤔38😨21❤9👍8🔥6🤣2👻1
Pxpipe - локальный прокси, который перед отправкой запроса ассистенту превращает куски контекста в картинки.
Приём эксплуатирует особенность тарификации - текст стоит примерно один токен за символ, а изображение - фиксированное число токенов, зависящее только от размера в пикселях, а не от объёма текста внутри.
На плотном контенте в один визуальный токен удаётся упаковать около 3,1 символа.
Прокси перехватывает запросы к Claude Code и рендерит в PNG самые объёмные и редко меняющиеся блоки (системный промпт, документацию инструментов и старую историю переписки).
Свежие сообщения и ответы модели идут обычным текстом.
Пример: около 48 тыс символов системного промпта и документации, которые как текст стоили бы примерно 25 тыс токенов, помещаются на одну PNG-страницу за ≈2700 токенов.
На Fable 5 стоимость сессии упала с 42 до 6 долларов.
Fable 5 читает такие рендеры практически без потерь (100% на бенчмарке с новыми задачами), а вот Opus 4.7 и 4.8 ошибаются примерно на 7% изображений.
GPT 5.5 тоже деградирует на картиночном контексте, поэтому обе модели по умолчанию выключены и включаются вручную.
На методе lossy важные строки вроде хешей и идентификаторов при чтении с картинки могут исказиться.
Хуже когда промахи выглядят не как ошибки, а как правдоподобные выдумки.
Зрение модели это не OCR, изображение превращается в патч-эмбеддинги, и там, где пикселей не хватает, языковая модель просто достраивает похожее.
Второй минус - это скорость. PNG-кодирование добавляет задержку из-за использования визуальныго энкодера, что дольше, чем чтение текста.
@ai_machinelearning_big_data
#AI #ML #LLM #Coding #Pxpipe
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔61🔥25👨💻19❤11👏10😁8🤣8🥰4👍2
Media is too big
VIEW IN TELEGRAM
ИИ-вендоры и облачные провайдеры выдают стартапам многомиллионные инфраструктурные кредиты, чтобы привязать их к своей экосистеме на старте и усложнить миграцию к конкурентам. Объем вычислительных бонусов уже сопоставим с посевными инвест-раундами.
Главная борьба идет за резидентов Y Combinator. Anthropic предложила каждому проекту акселератора API-кредиты на 500 тыс долларов без передачи доли в компании. OpenAI уравняла предложение, добавив опциональную инвестицию в 1,5 млн в обмен на долю.
Google Cloud выделяет до 500 тыс кредитами, дает ранний доступ к моделям Gemini и привлекает инженеров DeepMind для консультаций. Аналогичные программы работают у Microsoft и AWS.
По оценкам, только на резидентов YC лидеры рынка готовы тратить до 800 млн долларов вычислительными грантами в год.
wsj.com
Вслед за OpenAI и Anthropic, китайский ИИ-разработчик тоже проектирует свое решение для инференса, чтобы снизить зависимость от оборудования Nvidia и Huawei.
Проект находится на ранней стадии. Ускоритель будет оптимизирован исключительно под вывод, а не под обучение моделей.
Компания ведет закрытые переговоры с разработчиками микросхем и поставщиками памяти, а также уже несколько месяцев хантит инженеров по железу, не публикуя открытых вакансий.
reuters.com
Подразделение Superintelligence Labs представило модель для генерации изображений Muse Image и видеогенератор Muse Video.
Muse Image работает в связке с языковой Muse Spark, что позволяет редактировать, рисовать скетчи, оставлять аннотации поверх сгенерированной картинки, рендерить текст и смешивать референсы с учетом поиска в реальном времени. Интеграция с соцсетями позволяет упомянуть публичный аккаунт через @, чтобы модель скопировала его визуальный стиль.
Ранний билд Muse Video построен на той же архитектуре. Модель генерирует видеоряд и аудио единым потоком с точной синхронизацией. Для защиты контента в файлы вшивается водяной знак Content Seal, устойчивый к сжатию и кадрированию.
Muse Image доступна бесплатно с суточными лимитами в экосистеме компании. Для профессионального использования есть платный тариф. Релиз видеогенератора ожидается в ближайшие месяцы.
ai.meta.com
Anthropic запускает мобильную и веб-версии Claude Cowork. Подписчики тарифа Max получат бета-доступ в ближайшие недели.
Десктопный клиент остается обязательным для локальных операций: чтения и записи системных файлов, работы с коннекторами и использования Computer Use. В веб-версии эти функции недоступны.
Классический чат и Cowork объединят на едином экране с синхронизацией проектов и артефактов между всеми устройствами.
По статистике Anthropic, более 90% сценариев использования Cowork не связаны с кодингом, а 50% нагрузки приходится на автоматизацию бизнес-операций и генерацию контента. Удвоенные лимиты на использование Cowork продлены до 5 августа.
claude.com
Корпорация начала заменять модели OpenAI и Anthropic в Excel, Outlook и GitHub Copilot на внутренние семейства MAI для сокращения лицензионных расходов. Глава ИИ-подразделения Мустафа Сулейман заявил о планах свести выплаты партнерам к нулю.
На конференции Build компания утверждала, что ее новая ризонинг-модель Thinking-1 не уступает Sonnet 4.6 и Opus 4.6 в написании кода. По результатам сторонних бенчмарков производительность новинки находится на уровне DeepSeek V3.2.
CEO Сатья Наделла допустил отказ от безлимитных подписок в пользу тарификации оплаты за использование. При таком сценарии базовыми станут модели MAI, а решения OpenAI и Anthropic перейдут в формат платных аддонов.
bloomberg.com
*организация признана экстремистской, её деятельность на территории РФ запрещена.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥67🤔30👏22👨💻12💯10❤9👍7
Команда Claude Code опубликовала в X руководство по loops. Это паттерны, в которых агент повторяет рабочий цикл, пока не сработает условие остановки.
Главная мысль: уходить от ручного режима, где разработчик задаёт направление на каждом шаге, и передавать агенту контроль по нарастающей.
Всего выделяют 4 типа циклов, различая их по способу запуска, условию остановки и степени автономии. Логически получается некая лестница делегирования, где на каждой ступени вы отдаёте агенту очередное полномочие.
Здесь вы отдаёте агенту проверку. Ручные шаги верификации заполняются в
SKILL.md и чем более количественные критерии, тем точнее агент оценивает собственную работу./goal забирает у вас условие прерыванияВы описываете, что значит готово, а дальше при каждой попытке Claude завершить работу отдельная модель-оценщик сверяет результат с вашим критерием (скажем, долей пройденных тестов) и возвращает агента к работе, пока цель не достигнута или не исчерпан заданный лимит попыток.
/loop или /schedule берёт на себя триггер запуска.Это удобно для повторяющейся рутины и при работе с внешними системами (например, дайджест по таскам, реакция на новое ревью или упавший CI).
Рутина срабатывает по событию или расписанию и живёт, пока вы её не выключите. В связке с динамическими воркфлоу агенту передаётся уже сам промпт. Вот этот сценарий уже ближе всего к полной автоматизации.
Не каждая задача требует сложного цикла, начинать стоит с простейшего решения.
Кодовую базу следует держать чистой, а для ревью подключать второй агент. Для этого есть встроенный /code-review.
Контролировать расход токенов чёткими границами: точные условия остановки, подбор модели под задачу (рутину - на модели поменьше и побыстрее, решения с ризонингом - на самой мощной).
Динамические воркфлоу способны породить сотни агентов, так что масштаб лучше проверять на небольшой выборке.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤40🤓22👏20🔥10🤔8💯6👍3😁2🤷♂1🥱1
Media is too big
VIEW IN TELEGRAM
Институт General Intuition вместе с французской лабораторией Kyutai и Epic Games представил MIRA, генеративный симулятор, воспроизводящий матчи Rocket League в формате 2 на 2 в реальном времени.
На входе только история кадров и нажатия клавиш всех четырёх игроков: ни физического движка, ни рендер-движка, ни явных 3D-представлений в инференсе нет.
В отличие от Odyssey, где логика вычислений и рендеринг разведены, MIRA пошла по пути генеративной симуляции в латентном пространстве видео.
В основе - диффузионный трансформер на 5 млрд параметров и отдельный видеокодек-представление на 600 млн.
Вместо автоэнкодера кодек строится поверх замороженного DINOv3-L, и латентное пространство выходит настолько стабильным, что специальные приёмы против дрейфа не понадобились, модель работает из коробки на обычном diffusion forcing.
Экраны четырёх игроков MIRA сшивает в единую сетку латентов, чтобы механизмы пространственного внимания работали между ракурсами и держали машины, мяч и события согласованными на всех видах.
Механизм action dropout достраивает поведение машин, для которых команды не пришли, компенсируя пропуски в потоках действий.
Всего на обучение MIRA ушло около 10 тыс часов геймплея, целиком сгенерированных ботами.
Латентный подход бьёт пиксельный на порядок: gFID 10.7 против 81–105 и ARR 0.91 против 0.49–0.61 (ARR измеряет, насколько отданные команды считываются обратно из генерации).
Ключ к стабильности именно в DINOv3-L, без него картинка дрейфует в 1.3–1.7 раза сильнее, а с ним gFID держится ровным вплоть до 5 минут, и на практике роллаут идёт часами без коллапса.
ARR, кстати, совпадает с оценками живых людей (корреляция Пирсона 0.84).
Контекст модели около четырёх секунд, поэтому повторы голов она попросту досочиняет - выглядит правдоподобно, но не совпадает с тем, что было на самом деле.
Часы и счёт плывут на переходах, а за 40 минут игры набегает порядка 80 некомандных бустов и 30 прыжков.
Авторы опубликовали код обучения и инференса, а также сет Rocket Science из 1000 часов каток в 720p с потоками действий и физическими состояниями.
На одной NVIDIA B200 модель выдаёт 20 FPS при 576p в реальном времени. Потыкать в играбельное демо можно тут.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥8😁3❤2👏2🤔1😎1🤷1