Докладываю:
Все современные карты имеют кап по суммарному энергопотреблению, в который регулярно утыкаются. А умножение на ноль требует сильно меньше электричества, видимо где-то на железном уровне. В итоге разница может достигать 25% без каких либо алгоритмических изменений.

Сравнение двух запусков

  ┌──────────────┬─────────────────────┬─────────────────────┬────────────────────────┬────────────────────────┐                                                                                                                                        
  │              │ cx-21 sparse (run1) │ cx-22 sparse (run2) │ cx-21 full-rand (run2) │ cx-22 full-rand (run1) │
  ├──────────────┼─────────────────────┼─────────────────────┼────────────────────────┼────────────────────────┤                                                                                                                                        
  │ avg_ms       │ 34.55               │ 33.61               │ 43.95                  │ 41.97                  │                                                                                                                                        
  ├──────────────┼─────────────────────┼─────────────────────┼────────────────────────┼────────────────────────┤                                                                                                                                        
  │ Temp (плато) │ 63°C                │ 69°C                │ 64°C                   │ 69°C                   │                                                                                                                                        
  ├──────────────┼─────────────────────┼─────────────────────┼────────────────────────┼────────────────────────┤                                                                                                                                        
  │ GPU clock    │ 1740                │ 1785                │ 1350                   │ 1425                   │
  ├──────────────┼─────────────────────┼─────────────────────┼────────────────────────┼────────────────────────┤                                                                                                                                        
  │ Power        │ 249W                │ 249W                │ 250W                   │ 250W                   │
  └──────────────┴─────────────────────┴─────────────────────┴────────────────────────┴────────────────────────┘

Ключевой вывод: матрица важнее сервера

Пересортируем по типу матрицы:

  ┌───────┬────────────────────────┬────────────────────────┬────────────┐                                                                                                                                                                              
  │       │ sparse-pruned (3% nnz) │ full-random (100% nnz) │ замедление │
  ├───────┼────────────────────────┼────────────────────────┼────────────┤                                                                                                                                                                              
  │ cx-21 │ 34.55 мс               │ 43.95 мс               │ +27%       │
  ├───────┼────────────────────────┼────────────────────────┼────────────┤
  │ cx-22 │ 33.61 мс               │ 41.97 мс               │ +25%       │
  └───────┴────────────────────────┴────────────────────────┴────────────┘

Эффект разреженности воспроизводится на обоих серверах с разницей менее 2%. Троттлинг НЕ тепловой — оба теста держат одинаковую мощность 249-250W. Разница в частоте объясняется активностью тензорных ядер: при матрице с 97% нулей динамическая энергия на цикл ниже (gating multipliers), GPU может держать ~1740-1785 MHz в пределах 250W TGP. Full-random даёт больше реальной работы на цикл → карта снижает частоту до ~1350-1425 MHz, чтобы уложиться в тот же power budget.

Про сами серверы

- cx-22 стабильно горячее на 5-6°C независимо от нагрузки (69°C vs 63-64°C на cx-21) — разница в охлаждении.
- Но при этом cx-22 держит чуть более высокие частоты в обоих тестах (+45 MHz на sparse, +75 MHz на full-rand), вероятно из-за качества кристалла/binning. Температура не является ограничивающим фактором — лимит по мощности.
- На cx-22 sparse показал лучший результат (33.61мс — лучший из всех четырёх замеров).

Итог: эффект разреженности — реальный и около 25-27%, воспроизводится стабильно.

Потребовалось зарегаться на openreview а там в принципе нельзя зарегаться не указав домен научной организации, которой ты принадлежишь. Затруднился ответить.

Итого на Data Fest 2026 будет три моих доклада, два 26-ого и один 23-его. Начнём с него:

Доклад: Как стадо агентов делает ресёрч и немножко авторесёрча

Секция: Agentic LLM
Абстракт: Несколько месяцев я использую для исследований агентов, и сделал ряд выводов о пользе и вреде агентов при исследовании, которыми и поделюсь. x5-10 количества экспериментов и готового кода не проходит бесплатно.
Также расскажу о концепции автоисследования, к которой вся индустрия яростно стремится, бенчмарке, который я построил на основе авторесёрча, и выводах и ограничениях, которые в процессе были обнаружены.

Второй доклад будет 26-ого в Сбере.

Доклад: Как реконструировать огромные помещения, и находить себя в них круче SOTA, и воспользовать Цукерберга
Секция: Robotics и/или CV
Абстракт: По работе занимался реконструкцией помещений в тысячи квадратных метров с множеством отягчающих осбстоятельств и поиском в них себя по мутным и непохожим картинкам. Может быть применено не только в видеонаблюдении, но и в робототехнке, как бюджетный и очень качественный источник данных о положении робота в этом мире. Кроме описания сложностей борьбы с разными готовыми решениям, которые все работают не так как надо, показываю крутой хак с использованием VR шлема как источника данных о координатах.

P.S. Третий доклад про угловую метрику отменился, и так я слишком жирно времени на мероприятии хапнул. Про угловые метрики и про новый третий уже на моем счету способ получения гроккинга будем говорить на сибирском Дата Фесте как обычно, ну или митап какой-нибудь замутим.

Любопытное наблюдение про гроккинг:

Обычно люди подспудно предполагают, что если сеть выбила 100% acc на train, то loss примерно равен нулю. На самом деле это не так, и сеть продолжает учиться, и потенциально это приводит её к гроккингу, но в определённых очень специфических условиях она может до гроккинга не дойти и упасть в состояние где train уже acc 100%, но loss при этом падает еще на 3-5 порядков, и вот тут то точно каюк и обучение останавливается.

Я не знаю, что это за состояние, и сомневаюсь, что у меня будет время его изучать, просто держать в голове, что train acc 100% бывает не окончательный, и окончательный.

Презентация от сегодняшнего выступления про авторесерч и агентский кодинг. Видео будет пока непонятно когда. :(

https://vkvideo.ru/video-164555658_456242004?t=1h32m24s&list=ln-MjjZ2D94akGSD48zqj Трансляция с моим докладом про реконструкцию больших помещений и позиционирование себя в пространстве. Сам ещё на себя со стороны не смотрел, но в тайминг уложился с трудом и штук пять заготовленных заранее шуток проскипал. Зато некоторые люди поняли главную идею, и начали спрашивать как прикрепить трекер на руку китайскому роботу, плохо понимающего где она у него сейчас. Уже не зря выступал.
P.S. Случайно выложил не ту ссылку, но никто и не заметил. :)

А нет, не без второй силы, вторую образует нормализация, которая вшита в softmax даже если вы вручную никакой нормализации не делаете. А я о ней забыл в пылу экспериментов.

А ещё бывает так, что условия для гроккинга создаются, но в чём-то они недостаточны, и хватает одного единственного спайка, чтобы полностью изменить картину происходящего. :) Причём это достаточно воспроизводимая ситуация.

КОпаясь в граничных и влияющих условиях можно накопать много всяких забавных и неожиданных явлений до поры до времени не складывающихся в картину, и интересующих одного тебя и ещё пароку таких же отморозков.

Такой вопрос неожиданный. А есть ли тут кто-нибудь у кого есть не занятая работой машина с 3090-ой карточкой и рутовыми правами (чтобы частоты и кап энергопотребления можно было залочить). Хочу побенчмаркать Fable в хорошо контроллируемом окружении, а не как сейчас. В облаке частоты плавают как желе в мультке прол Тома и Джери.

Fable 5

Все побежали и я побежал...Вероятно все в курсе моего доклада про бенчмарк на авторесёрче, видео которого должно появиться уже вот прям вот-вот. Ну и раз уж все ломанулись испытывать Fable 5, то я попыnтался запустить на нём бенчмарк.

Первое, с чем я столкнулся - там в условии написано, что цикл надо гонять бесконечно, так вот запустил клод бесконечный цикл и остановился. Я его спрашиваю, цикл ещё работает? А он говорит да, всё работает. Я через некоторое время ещё раз спрашиваю, работает агент? Говорит да, работаю, ок. В третий раз пришёл старик к Клоду, и молвит: "У тебя последний коммит 6 часов назад ты чем тут занимаешься?" Спохватился Клод и опять попытался начать работать. Ну-ну... Из 8 запущеных прогонов лишь в одном он реально крутился пока время не вышло. Половина от оставшихся ставила себе таймер чтобы проснуться через пол часа, но ничего по таймеру не делала, кроме установки ещё одного таймера. В общем ваше запреты для него лишь пожелания, даже если большими буквами, в отличии от последнего опуса. Там ещё несколько примеров игнорирования прямых запретов и инструкций было. Короче он лучше тебя знает. Малый лол...

Второе, - Только я собрался подводить итоги, как молвит мне клод человеческим голосом "Недельный лимит токенов окончен, вали ка ты лесом, старче, до четверга", не такого я ожидал покупая подписку за $200. 33 часа авторесёрча одним агентом, плюс пара мелких параллельных задач и всё, ты всю неделю свободен. Лол постарше...

Третье... Ну что, позвал старик бабку, то есть Qwen 3.7 Max, ну чтобы он финальные очки посчитал, это дело фантазии не требует, а там в каждой папке по файлу COORDINATION.md, этот Клод работая асинхронно с замерами назапускал себе субпроцессов, успешно в них запутался, и написал себе записку к типа другим своим субпроцессам, с текстом "Если вы читаете это, значит у нас раздвоение личности или ещё какая шизофрения, уважаемые другие субличности, не мешайте друг другу пожалуйста, пользуйтесь lock файлом". В 7/8 прогонах такое в чуть разных словах. Видимо, антропиковцы наступили на эти грабли двадцать раз и не смогли нормально исправить - тупо костылём подпёрли. Лол со скриптами и дубовыми листьями...

Теперь о хорошем:

Во-первых, в одном из прогонов я, видимо, реально запустил два агента. Они там между собой быстренько договорились и начали всей этой машинерией из предыдущего пункта активно пользоваться не создавая друг другу особых проблем. Тоесть костыль реально работает.

Во-вторых, ни в одном из прогонов Fable не попытался хакнуть ревард. В отличии от топового опуса, которы занимался этим напрополую. Это делает его одним из лучших пертендентов на авторесёрч даже не смотра на то, что он дорогой как крыло от самолёта.

В-третьих, Он реально предложил как минимум парочку инновационных идей по переупаковке данных, приведших к большим прорывам. При том, что в скрипте авторесёрча даже нет пока огроменной секции о том, как это делать, он сам справился. ЧТо кончено ставит его на голову выше в деле авторесёрча чем предыдущие модели.

В четвёртых, и самое важное: Окружение, в котиором вёлся эксперимент отличалось от рекомендованного (H100 без лока частот вместо 3090, хотя её возможности не пологалось использовать) Из-за этого получить точные цифры набранных баллов можно бует толька когда я проведу повторные изменения. Но уже сейчас понятно, что вполне возможно Fable переплюнул Opus + HumanInTheLoop или по крайней мере ощутимо к нему приблизился. Если вы ещё не задумывались об авторесёрче, то сейчас прям самое время...

P.S. Если у вас есть под рукой 3090Ti с рутовыми правами, чтобы можно было залочить частоты, и вы хотели бы поучаствовать в этом исследовании - пишите, давайте дадим Fable 5-ому точную численную оценку. Потмоу что одно дело публичные бенчмарки, на которых его, вероятно, и учили, и совсем другое - свой приватный бенчмарк, ответы на который не светились в публичном интернете. И совсем третье - привести в свой дело, и воспользовать кибернетического авторесерчера.