Исследовательская группа DeepReinforce разработала систему полностью автоматического написания GPU-кода для матричного умножения под названием CUDA-L2.
Этот код работает на 10–30% быстрее, чем cuBLAS и cuBLASLt, а это, на минуточку, уже оптимизированные библиотеки от самой NVIDIA.
Обычно такие библиотеки создаются вручную людьми, которые используют готовые шаблоны ядер. А автотюнеры лишь подкручивают параметры, например, размер тайлов.
Но DeepReinforce считают, что даже критически важные и глубоко оптимизированные задачи, как HGEMM, могут быть улучшены с помощью LLM, работающей в связке с RL.
В системе CUDA-L2 языковая модель буквально пишет исходный код CUDA с нуля для каждого размера матрицы. Она не просто меняет параметры, она может менять структуру кода, циклы, стратегию тайлинга, паддинг и даже свизл-паттерны. А еще, она сама выбирает стиль программирования - будь то сырой CUDA, CuTe, CUTLASS или inline PTX.
Процесс выглядит так: цикл RL запускает сгенерированные ядра на реальном железе, измеряет скорость и корректность, а затем обновляет LLM. Со временем модель выводит свои собственные правила производительности, вместо того чтобы полагаться на знания, заложенные людьми.
В качестве генератора использовалась модель DeepSeek 671B. Ее дополнительно доучили на смеси массива CUDA-ядер и качественном коде из библиотек PyTorch, ATen, CUTLASS и примеров от NVIDIA.
Для претрейна и файнтюна LLM большая часть времени GPU тратится именно на операции матричного умножения HGEMM. Если ускорить эти ядра на те самые 10–30%, которые обещает CUDA-L2, то весь процесс обучения становится заметно дешевле и быстрее.
Поскольку CUDA-L2 обрабатывает около 1000 реальных размеров матриц, а не пару вручную настроенных, ускорение работает для самых разных архитектур. Это значит, что в тот же бюджет на GPU можно вместить больше токенов обучения, больше прогонов SFT или RLHF и т.д.
HGEMM-ядра, созданные CUDA-L2, стабильно быстрее стандартных библиотек.
В так называемом "оффлайн-сценарии" CUDA-L2 работает примерно на 17–22% быстрее, чем
torch.matmul, cuBLAS и cuBLASLt. Она даже на 11% обгоняет cuBLASLt AutoTuning, который сам по себе уже использует поиск ядра.А в "серверном", сценарии, который имитирует реальный инференс с паузами между вызовами - разница еще больше: буст в 24–29% по сравнению с
torch.matmul и cuBLAS.Простым рисёрчем проект не ограничен, в репозитории на Github авторы выложили оптимизированные ядра HGEMM A100 для 1000 конфигураций.
В планах: расширение на архитектуры Ada Lovelace, Hopper, Blackwell, поддержка более плотных конфигураций и 32-битный HGEMM.
@ai_machinelearning_big_data
#AI #ML #CUDA #DeepReinforce
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍105❤32🔥27🤷6⚡1🆒1🦄1
Media is too big
VIEW IN TELEGRAM
Подключение ИИ-инструментов к рабочим процессам разработки открывает новый вектор атак. Проблема затрагивает Gemini CLI, Claude Code и OpenAI Codex.
Механизм взлома основан на внедрении скрытых инструкций в issues, пулл-реквесты или коммиты. Когда агент считывает этот текст для анализа, он может ошибочно интерпретировать его как прямую команду, а не как пассивные данные.
Тестирование, проведенное Aikido Security показало, что уязвимость актуальна как минимум для 5 компаний из списка Fortune 500. Google оперативно устранила брешь в Gemini CLI, однако эксперты настоятельно рекомендуют инженерам ограничивать полномочия ИИ-агентов и внедрять строгую валидацию входных данных.
aikido.dev
Google Research анонсировала Titans — новую архитектуру, которая решает проблему эффективности обработки огромных массивов данных. Фишка - в механизме «глубокой обучаемой памяти», которая обновляется непосредственно в процессе инференса, превращая работу сети в непрерывный цикл онлайн-обучения.
Вместо сохранения всего контекста Titans использует градиенты как индикатор неожиданности: модель запоминает только те токены, которые несут новую информацию и отсеивает предсказуемые данные. Это позволяет поддерживать контекстные окна объемом более 2 млн. токенов при сохранении линейной скорости вычислений, свойственной RNN.
В тестах на длинный контекст и ризонинг архитектура обошла по производительности Transformer++ и Mamba 2.
research.google
OpenRouter совместно с фондом a16z опубликовали исследование «State of AI», основанное на анализе 100 триллионов обработанных токенов. Главный инсайт — рост популярности рассуждающих моделей: во второй половине 2025 они уже генерируют половину всего трафика платформы.
Драйвером индустрии остается разработка ПО: на задачи по написанию и отладке кода приходится более 50% всех запросов. Одновременно растет доля open-source решений, открытые модели занимают уже треть рынка, локомотивами выступают китайские DeepSeek и Qwen.
Эксперты прогнозируют скорый переход к прокси-инференсу, когда сложные задачи будут автоматически распределяться между несколькими специализированными моделями.
openrouter.ai
Техногигант приобрел компанию Limitless (ранее Rewind), создателя умного кулона, который записывает, транскрибирует и индексирует разговоры пользователя в реальном времени.
Устройство Limitless позиционировалось как аппаратный «расширитель памяти», позволяющий мгновенно находить информацию в прошлых диалогах. Это направление сейчас переживает бум: ранее стартап привлек более $33 млн. инвестиций, в том числе от фонда a16z и Сэма Альтмана.
Согласно заявлению, продажи устройств Limitless новым клиентам будут прекращены. Текущие владельцы гаджетов продолжат получать поддержку, но для дальнейшего использования сервиса им придется принять новые условия конфиденциальности.
reuters.com
MIT представила устройство размером с насекомое. В основе разработки лежат мягкие приводы и двухуровневый ИИ-контроллер, объединяющий методы предиктивного планирования и имитационного обучения. Такая архитектура позволяет роботу мгновенно адаптироваться к внешним возмущениям.
На тестах микро-бот показал уверенную маневренность, выполнив 10 непрерывных сальто за 11 секунд в условиях сильных порывов ветра. Проект планирует создавать автономные рои для поисково-спасательных миссий: благодаря миниатюрным размерам и ударопрочности, они смогут проникать в узкие расщелины завалов при ЧС.
Следующим этапом станет интеграция бортовых камер и сенсоров для полноценной навигации вне помещений.
news.mit.edu
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍50❤17🔥8🙊2😁1🦄1
The Verge пишет, что по информации инсайдеров, OpenAI планирует представить обновление уже в начале следующей недели, ориентировочно 9 декабря.
Ожидается, что GPT-5.2 вернет компании доминирующие позиции в сегменте больших языковых моделей.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38😁28❤9🔥8🦄2✍1🤗1