Группа «Т-Технологии», в которую входит Т-Банк, начинает строить свои дата-центры

В совете по развитию цифровой экономики подчеркивают, что в условиях текущих ограничений этот шаг позволит больше контролировать безопасность данных клиентов, ведь в любой момент внешние сервисы могут попасть под санкции.

"Растущий спрос на создание ЦОД в том числе продиктован ускорившейся гонкой за создание суперинтеллекта, в которой невозможно участвовать без развитой технологичной инфраструктуры", – сообщила заведующая кафедрой мировых финансовых рынков и финтеха РЭУ им. Г. В. Плеханова Светлана Фрумина.

К 2027 в Т-Банке намерены запустить уже два центра обработки данных. В каждом из построенных ЦОД будут установлены свыше 100 тыс. серверов, а также Т-Банк станет первым банком в мире, использующим в дата-центрах технологию Direct Free Air Cooling. Проектный показатель эффективности использования электроэнергии (Power Usage Effectiveness, PUE) составит 1.15, это значительно ниже среднемирового уровня — 1.6.

Сейчас, когда ходит все больше и больше слухов о том, что модели ИИ якобы перестали масштабироваться, многие вспоминают и возвращаются к легендарной статье Scaling Laws for Neural Language Models от OpenAI. Она была написана в 2020 году. Многие уверены, что в этой работе впервые исследуются законы скейлинга моделей, и потому она считается основополагающей. Но знали ли вы, что на самом деле scaling laws изобрели намного раньше?

Еще в 2017 году, в год выхода гугловской статьи про трансформер, вышла папира исследователей из Baidu Research, в которой они описали точно такие же зависимости и влияние количества параметров в модели и токенов в трейне на лосс. Правда, вместо трансформера ученые использовали LSTM, и не называли свои выводы "законами". Но зато они уже тогда проверили заключения и на обработке изображений, и на задаче распознавания речи, так что получился вполне себе мультимодальный подход.

Вот главный вывод из статьи OpenAI (цитата):

Лосс масштабируется как степенной закон с ростом размера модели, размером набора данных и объемом вычислений, используемых для обучения. Другие архитектурные детали, такие как ширина или глубина сети, оказывают минимальное влияние. Эти соотношения позволяют нам определить оптимальное распределение фиксированного бюджета вычислений.

А вот – из статьи Baidu Research (тоже цитата):

Наши эмпирические результаты показывают масштабирование лосса по степенному закону с ростом таких факторов как размер датасета и объем вычислений. При этом тюнинг самой модели только смещает лосс, но, по-видимому, не влияет на показатель степенного закона. Мы также показываем, что размер модели масштабируется сублинейно с ростом объема данных. Эти соотношения масштабирования имеют существенное значение, так как могут служить руководством при проектировании вычислительных систем.

Все новое – хорошо забытое старое?

Миниатюра: заказчик и ML-команда

Нас ждут ИИ-видеоигры от Илона Маска

В Твиттере он прокомментировал пост о том, что индустрия игр загибается и объяснил это тем, что слишком много студий геймдева принадлежит корпорациям.

«В xAI мы собираемся открыть студию разработки игр с ИИ, чтобы снова сделать игры великолепными!»

LM Arena опять радует прогрессом: разработчики добавили RepoChat Arena, в котором можно проверить модели на умение работать с кодовой базой

Видимо, решение вдохновлено высокой популярностью Cursor, Copilot и других разработчиков из коробки. На арене теперь можно отправить моделям ссылку на репозиторий и попросить их исправить баги / добавить фичи / задать вопросы по коду и тд, а затем проголосовать за ту модель, которая справилась лучше.

Теперь ждем лидерборд с первыми результатами

Для аналитиков тоже нашли порцию новогоднего настроения

Фотоны вместо электронов – is all we need?

Некоторое время назад в сети завирусилось видео, которое показывает "световую" нейронную сеть. Бред, конечно: кусочки стекла, линза, – при чем тут реальные системы? Но, как на днях объяснил один из бывших ведущих инеженеров Google, разумное зерно в этом все же есть.

Смотрите: современные процессоры оперируют электронами, "проталкивая" их по проводам. Но что, если заменить электроны на фотоны? Проводимость такого сигнала в меди была бы в 3 раза выше, при этом с минимальным выделением тепла. Фотонные чипы могли бы достигать частоты >100Ггц/с (современные работают на 3-5 Ггц). При этом чип2чип соединения тоже будут работать лучше: по сравнению с сегодняшними датацентрами потребление энергии на аналогичных мощностях снизилось бы в 200 раз!

Соответсвенно, падает и сложность операций. Матричное умножение, на котором стоит все глубокое обучение, традиционно имеет сложность O(n^2), а в оптическом инференсе занимало бы O(1), то есть константу.

Такими разработками люди, кстати, уже занимаются (например, Ayar Labs и Lightmatter). Даже Intel смотрит в эту сторону: в трансиверах 400G уже используется кремниевая фотоника. Пока что индустрия не развита, подходящего сырья мало, и стоимость одного устройства слишком высока: это и отделяет фотонные системы от распространения.

Возможно, пройдет 5-10 лет, и мы увидим прогресс в этой области. А пока продолжаем умножать матрицы квадратично...

OpenAI рассчитывает в новом году на b2b

Об этом пишет The Information. Журналисты взяли интервью у директора по продажам стартапа и тот ясно дал понять, что в 2025 OpenAI целится в пятую ступень развития ИИ (вот тут пост про все ступени, которые описывал Альтман) – то есть в ИИ, который может управлять предприятием.

Для достижения цели они настроены подписывать крупные контракты с бизнесом и серьезно расширяют отдел продаж. «Мы думаем, что индустрия к этому готова: фокус применения ИИ смешается со стартапов на традиционный сферы, такие как здравоохранение и строительство».

Получается, что за год OpenAI планируют перепрыгнуть ступень ризонеров и новаторов, и достичь AGI (при этом на первых двух ступенях мы находились порядка пяти лет). Было упомянуто, кстати, что с точки зрения продукта стартап делает ставку именно на модель o1.

Свежее исследование от Apple: всего один параметр в LLM может разрушить способность всей модели генерировать осмысленный текст

Во многих предыдущих работах уже было показано, что некоторые веса модели имеют больше значения, чем остальные. В частности, доказано, что существуют небольшие группы весов-выбросов (до 0.01%), которые составляют основную часть качества модели.

Apple же пошли дальше и выявили, что в моделях есть удивительный THE SUPER WEIGHT – параметр, зануление которого приводит к коллапсу модели, то есть вообще лишает ее способности генерировать что-то адекватное. Перплексия без него повышается в три раза, а на zero-shot качество ответов падает до случайного бормотания.

В статье также предлагается метод поиска такого супер-веса за один проход по сети. Дело в том, что, оказывается, супер-веса связаны с супер-активациями – исключительно большими актвациями, которые были обнаружены недавно в другой работе. При этом это не случайная корреляция, и как раз с помощью обнаружения скачков активаций (то есть на практике скачков в инпут и аутпут распределениях слоев) можно обнаружить супер-вес.

Кстати, супер-вес может быть не один: в некоторых сетях их обнаружили около шести, но обычно не более трех. При этом до и после файнтюнинга расположение супер-веса не меняется, а еще они обычно располагаются в ранних слоях.

Интересно то, что знания о расположении таких супер-весов можно эффективно применять для оптимизации квантования или дистилляции. Например, просто обрабатывая такие веса специальным образом, ученые добились того, что ванильные методы сжатия достигают перформанса продвинутых, выростая в качестве на 75-82%. Это очень достойный результат.

Статья полностью – здесь