RL для оптимизации схем квантовых вычислений

Помните ИИ-систему AlphaChip от Google, которую они используют для дизайна TPU? Так вот: теперь в компании сделали что-то подобное для квантовых чипов.

Модель называется AlphaTensor-Quantum, и она действительно может ускорять вычисления, сокращая количество так называемых Т-гейтов.

Гейты – это специальные матрицы для обработки кубитов. Их есть два вида: эффективные Клиффордские и неэффективные T. Вторые необходимы для универсальных вычислений, но очень прожорливы с точки зрения ресурсов. Самое простое решение – воткнуть много таких и все. Но если хотим эффективнее, приходится долго оптимизировать схемы и сокращать их количество.

Так вот AlphaTensor-Quantum как раз обучен строить схемы вычислений с минимальным количеством Т-гейтов. Система экономит просто огромное количество времени по сравнению с ручной настройкой и превосходит все существующие методы.

А самое интересное, что обучено все в игровом стиле. То есть во время трейна модель училась за минимальное количество «ходов» переходить от неэффективного тензора A к более эффективному B.

RL-сила www.nature.com/articles/s42256-025-01001-1

Midjourney внезапно опубликовали статью про языковые модели

Оказывается, они активно экспериментируют с файнтюнингом LM на задачи креативного написания текстов. Это действительно актуальная проблема, потому что основные методы пост-трейна, которые направлены на повышение качества генерации, также частно приводят к понижению разнообразия и креатива в ответах. Из-за этого модели и разговаривают часто "не по-человечески".

В статье же предложили вместо классики использовать видоизмененный RL с добавленным «отклонением» (deviation). На практике классические лоссы DPO и ORPO просто домножаются на нормализованную меру того, насколько конкретный ответ отличается от остальных вариантов по тому же промпту.

Получается, модель учится не только генерировать качественный текст, но и демонстрировать разнообразие в стиле и семантике. И это работает: на reddit-reward результаты вот так затюненой Llama-3.1-8B почти совпадают с показателями человеческих данных. То есть люди практически не отличают креативные тексты даже такой крошечной модели от людских.

В общем, Midjourney однозначно удивили. Было бы забавно увидеть от них какую-нибудь не image модельку на проде. Статья

P.S. Что-то подобное недавно показывал в своем твиттере Альтман: он говорит, что OpenAI тоже разработали Creative Writing модель и даже опубликовал пример того, как она пишет рассказ. Однако никакого намека на то, что она выйдет для юзеров, не было.

Там мощно обновился DeepSeek-v3

Вообще, это должно было быть рядовое обновление, как время от времени обновляют чекпоинты 4o или других моделей.

Но пользователи говорят, что в данном случае разница в способностях с предыдущей версией разительная, особенно на математике и программировании.

В конфигах ничего особо не поменялось, так что за деталями ждем тех.отчет.

Веса – здесь (почти 700GB 💀). В официальном чате обновления пока нет, но OpenRouter уже все раскатили, так что попробовать бесплатно можно тут