🔥 NVIDIA представила Universal Deep Research (UDR)

UDR — настраиваемый агент для глубокого ресёрча, который «оборачивается» вокруг любого LLM.

Почему это важно:
🟠**Гибкая настройка агента без кода** — UDR не ограничивает жёсткими сценариями, как большинство тулзов.
🟠Можно создавать, редактировать и комбинировать стратегии поиска и анализа.
🟠В репо есть примеры стратегий (minimal, expansive, intensive), но главная сила — в кастомизации под свои задачи.

По сути, это гибкий ресёрч-агент, который можно адаптировать под любой рабочий процесс.

🟢Project: https://research.nvidia.com/labs/lpr/udr
🟢Code: https://github.com/NVlabs/UniversalDeepResearch
🟢Lab: https://nv-dler.github.io

@ai_machinelearning_big_data

#NVIDIA #UDR #UniversalDeepResearch #AI #LLM #ResearchAgent #AIAgents #DeepResearch

💰 Google TPUs - главный конкурент NVIDIA?

Аналитики считают: если бы Google выделила бизнес по TPU-чипам вместе с лабораторией DeepMind, то объединённая компания могла бы стоить около $900 млрд.

Пока этого не произойдёт, но сама цифра показывает масштаб.

📌 Что такое TPU и почему они важны
🟢Чипы, созданные специально для машинного обучения
🟢Их производительность — до 42,5 экзафлопс
🟢Сами чипы сопоставимы с NVIDIA по скорости и энергоэффективности
🟢 За полгода активность разработчиков в Google Cloud выросла на 96% , благодаря собственному железу

🔥 Новые поколения чипов
- 6-е поколение Trillium уже пользуется высоким спросом
- 7-е поколение Ironwood станет первым TPU, ориентированным на крупномасштабный inference — этап, когда модели реально используются после обучения

Anthropic и xAI активно рассматривают переход на TPU, так как улучшенная поддержка через JAX делает их использование на больших масштабах заметно проще.

Google уже заключила сделку с Fluidstack (Нью-Йорк) и ведёт переговоры с другими облачными провайдерами, которые раньше работали в основном с NVIDIA (например, Crusoe и **CoreWeave**).

В итоге Google выходит в прямую конкуренцию с NVIDIA — и впервые за долгое время у «зелёного гиганта» появился серьёзный соперник.

🟢Новость: marketwatch. com/story/google-may-be-sitting-on-a-900-billion-gem-that-could-disrupt-nvidias-dominance-20662ec6

@ai_machinelearning_big_data

#google #nvidia #tpu #deeplearning

🖥 Nvidia меняет стратегию и уходит от универсальных GPU.

Теперь каждый чип будет заточен под конкретный этап LLM-инференса.

Инференс делится на два шага:
- Prefill - первая стадия. Требует огромной вычислительной мощности, но почти не использует память.
- Decode - вторая стадия. Наоборот, сильно нагружает память, но вычислений нужно меньше.

Раньше, например, R200 объединял в одном GPU и мощные вычислительные блоки, и много памяти. В итоге это было дорого и неэффективно:
- при Prefill простаивает память,
- при Decode — простаивают вычислительные блоки.

🟢Новый подход Nvidia — разные GPU под разные задачи:

- Rubin CPX - оптимизирован для Prefill
• 20 PFLOPS вычислений
• 128 GB GDDR7
• 2 TB/s пропускная способность

- R200 — GPU под Decode
• 288 GB HBM4
• 20.5 TB/s памяти

📆 Планы компании:
- **2024–2025**-— линейка Blackwell (B200, GB300): рост вычислений и памяти.
- 2026–2027 - Rubin разделится:
• VR200 — для Decode (максимум HBM).
• CPX — для Prefill (много вычислений, дешёвая память).
- 2027 — VR300 Ultra: 66.7 PFLOPS и 1024 GB HBM4E.

Nvidia перестраивает линейку так, чтобы каждый GPU работал максимально эффективно именно под свой этап инференса.

#Nvidia #GPU #AI #Blackwell #Rubin #LLM

🖥 Большая сделка $NVDA и $INTC

NVIDIA и Intel объявили о стратегическом партнёрстве сразу на несколько поколений продуктов.

NVIDIA инвестирует $5 млрд в акции Intel по $23.28 за штуку, а совместные решения будут объединять x86-CPU от Intel и RTX-GPU от NVIDIA через NVLink.

🔹 ПК
- Intel выпустит x86 SoC с интегрированными GPU-чиплетами NVIDIA RTX.
- Это даст более плотную связку CPU+GPU, чем PCIe (Peripheral Component Interconnect Express) - это высокоскоростная шина, которая используется для соединения различных компонентов компьютера)

🔹 Дата-центры
- Intel создаст кастомные x86-CPU специально для NVIDIA.
- NVIDIA будет предлагать клиентам выбор: ARM или x86 в своих AI-платформах.
- Это усиливает позиции NVIDIA и даёт Intel шанс вернуться в топ.

💰 Финансовая часть
- NVIDIA покупает пакет акций Intel на $5 млрд.
- Сделка - про продуктовую коллаборацию, а не про производство GPU на Intel Foundry.

⚡️ Почему это интересно:
- Windows-ПК могут превратиться в полноценные AI-машины.
- Для дата-центров появится выбор CPU-архитектуры, что расширяет рынок NVIDIA.
- Для Intel — шанс доказать, что её CPU могут конкурировать в ключевых сегментах на рынке.

❓ Что остаётся за непонятным:
- Когда именно выйдут продукты и на каких процессах их будут делать.
- Детали NVLink: пропускная способность, топология памяти (DRAM ↔ HBM).
- Как будет выглядеть софт: CUDA/драйверы на Windows/x86, поддержка Linux.
- Как посчитают выручку: RTX-чиплеты в Intel-SoC и CPU в NVIDIA-платформах.

Это огромный плюс для Intel и стратегическое расширение для NVIDIA.

Если сделка произойдет, рынок ПК и дата-центров ждёт новая волна AI-систем.

А вот $AMD и $ARM теперь будет куда сложнее конкурировать.

После объявления о сделке акции Intel полетели вверх на безумные 30%.

@ai_machinelearning_big_data

#NVIDIA #Intel #NVDA #INTC #AI #GPU

🖥 Huawei строит план, чтобы догнать Nvidia за 3 года - ставка не на мощность отдельного чипа, а на масштабирование кластеров.

Идея проста: собрать тысячи Ascend-чипов в **SuperPod**-стойки с новой шиной UnifiedBus, чтобы они работали как единый ускоритель.

В 2026 году Huawei обещает SuperPod 950 с 8,192 чипами, что даст:
- в 6,7 раза больше вычислительной мощности,
- в 15 раз больше памяти,
- в 62 раза выше пропускную способность,
чем у Nvidia NVL144.

К 2028-му скорость связи между чипами хотят поднять до 4 Тбит/с (у Nvidia сейчас 1,8).

В будущем Huawei говорит даже о кластерах из миллиона чипов.

⚠️ Но главное слабое место — производство. После санкций компания лишилась доступа к фабрикам TSMC. Попытка сделать 5нм чип Ascend 910D провалилась: слишком мало годных кристаллов выходит с пластин. Последний реальный прорыв — 7нм чип в Mate 60 Pro в 2023 году.

У Китайцев есть амбиции и архитектура, но нет надёжного производства. Это и есть главный барьер на пути к конкуренции с Nvidia.

🟠Новость: bloomberg.com/news/articles/2025-09-23/huawei-plans-three-year-campaign-to-overtake-nvidia-in-ai-chips

@ai_machinelearning_big_data


#Huawei #Nvidia #AIChips #SuperPod

🖥 Глава Nvidia Дженсен Хуанг объяснил, почему инвестировал $2 млрд в компанию Илона Маска xAI - и сделал это с редкой откровенностью:

«Единственное, о чём я жалею, что не дал ему больше денег.
Когда речь идёт о проектах, в которых участвует Илон, ты хочешь быть частью этого. Он дал нам шанс инвестировать в xAI и это инвестиция в действительно великое будущее. Это не просто партнёрское финансирование, это вера в идею».

Крупнейшие компании Amazon, Microsoft и Google - управляют бизнесом на несколько триллионов долларов и тратят около сотни миллиадров на инфраструктуру дата-центров.

Но сейчас происходит тектонический сдвиг:
💡 переход от CPU-систем к генеративным AI-платформам на GPU, и этот переход только начинается.

Nvidia уже продала оборудования на сотни миллиардов долларов для этой новой эры,
но на фоне многотриллионного рынка AI-инфраструктуры и это тольео начало пути.

Мир вступает в долгосрочный цикл экспансии инвестиций в ИИ,

Nvidia - в самом центре этого колоссального рынка. 🚀

@ai_machinelearning_big_data


#Nvidia #xAI #ElonMusk #JensenHuang #AI #инвестиции #технологии #GPU

Ошеломляющий контраст: одна NVIDIA ($4.6 трлн) сейчас стоит дороже, чем все банки США и Канады вместе ($4.2 трлн) 🫧

@ai_machinelearning_big_data


#nvidia

🖥 Ничего необычного - просто в одном из сеульских кафе заметили СЕО Nvidia, который отмечал капитализацию в $5 трлн жареной курицей и пивком.

С ним за столом сидели руководители Samsung и Hyundai.

@ai_machinelearning_big_data

#Nvidia

🌟 NVIDIA KVzap: жмем KV-кэш в 4 раза.

Все любят длинный контекст, но для GPU это больно - KV-кэш растет линейно и быстро сжирает VRAM. Например, для Llama-65B на 128k токенов кэш весит 335 ГБ. Существующие методы прунинга либо медленные, либо тупые и режут важное, либо требуют переобучения модели.

NVIDIA предложили метод KVzap, который решает, какие токены можно забыть, глядя только на текущие хидден-стэйты.

🟡Логика метода разбита на 2 этапа:

Поиск идеала (KVzip+).
Берется медленный, но точный метод KVzip: модели скармливают текст, заставляют его повторить, и смотрят, на какие прошлые токены она реально обращает внимание. Это золотой стандарт важности токена. Но в проде так делать нельзя, это двойная работа.

Аппроксимация (KVzap).
Тут и происходит вся суть: крошечная модель-суррогат смотрит на входящий хидден-стэйт токена и предсказывает, насколько этот токен будет важен в будущем, то есть пытается угадать скор KVzip.

Модели 2-х видов:

KVzap-Linear: простейшая линейная проекция (одна матрица). Она берет хиден-стэйт и тупо проецирует его в скалярный скор важности. Сложность: экстремально низкая (~0.02%).

KVzap-MLP: двухслойный перцептрон. Внутри есть скрытый слой размером 1/8 от размерности модели и нелинейная активация. Сложность: низкая, но выше линейной (~1.1%).

🟡Все вместе это работает так

Токен залетает в слой трансформера, модель-суррогат быстро считает его скор важности. Если он ниже порога - токен в кэш не пишется или удаляется. Но при этом всегда оставляется скользящее окно из последних 128 токенов, чтобы не терять локальный контекст, иначе модель сыпется.

🟡Результаты тестов.

Проверяли на Qwen3-8B, Llama-3.1-8B и Qwen3-32B. Спойлер: работает везде.

Удалось выкинуть до 75% KV-кэша, а это сжатие в 4 раза. На бенчмарках RULER (длинный контекст), LongBench и AIME25 падение метрик или нулевое, или меньше 1%. Оверхед от суррогатной модели мизерный - менее 1% FLOPs.

🟡Звучит, конечно, как гем, но давайте про минусы:

🟠Нужно дообучить этот маленький MLP для каждого слоя целевой модели. Датасет нужен, но процесс быстрый.

🟠Удаление токенов создает рваный кэш. У разных голов будет разное количество сохраненных токенов.

Это плохо, потому что стандартные ядра Paged Attention любят структуру. Чтобы реально получить ускорение, а не только экономию памяти, нужно писать кастомные CUDA-ядра, которые смогут эффективно жевать блоки переменной длины.

🟠Порог отсечения фиксированный. Если промахнуться с ним, то модель начнет галлюцинировать или забудет начало.

🟡По итогу, KVzap - крутой шаг к тому, чтобы гонять длинные контексты на GPU попроще.

Метод умнее, чем Streaming LLM, и быстрее, чем полные методы разреженного внимания.

Ждем интеграции в vLLM или TRT-LLM, а пока, чтобы скрасить ожидание, NVIDIA собрала на HF интерактивный лидерборд популярных методик компрессии KV-кэша.

Код и веса моделей-суррогатов из тестов пейпера в открытом доступе, так что нет никаких ограничений, чтобы не покрутить KVzap на каком-нибудь тестовом сетапе.



@ai_machinelearning_big_data

#AI #ML #LLM #KVZAP #NVIDIA