Давно мы про картиночные модели не писали. А тут собрали супербыстрый UltraViT для мобильных (для одного конкретного S25 пока), который даёт сумасшедшие почти 150 кадров в секунду. Микс быстрых свёрток вначале и полноценного внимания в конце с разреженными и поканальными блоками посередине. А кроме быстрой архитектуры ещё и хитрый пайплайн дистилляции.
UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models
Ioannis Maniadis Metaxas, Adrian Bulat, Alberto Baldrati, Anestis Zaganidis, Yassine Ouali, Hyeonuk Kim, and Georgios Tzimiropoulos
Paper: https://arxiv.org/abs/2607.23373
Review: https://arxiviq.substack.com/p/ultravit-latency-optimized-on-device
ЧТО сделали: Предложили UltraViT — четырёхступенчатый пирамидальный визуальный энкодер для мобильных визуально-языковых моделей (LVLM). Операции перемешивания токенов на каждом этапе подбирали по реальным замерам задержки на мобильном NPU. Для предобучения использовали двухэтапную схему: сначала плотную пространственную дистилляцию признаков, затем генеративное обучение через замороженную языковую модель с чередованием декодеров разного размера.
ЧТО получили: В составе LLaVA-OneVision (модель назвали UltraVLM) энкодер обходит переобученную FastVLM на задачах визуальных вопросов и ответов: DocVQA (71.8% против 66.7%), ChartQA (72.2% против 66.0%) и TextVQA (68.9% против 62.9%). На мобильном NPU в разрешении 512 × 512 он выдаёт 148.9 инференса в секунду против 91.4 у FastVLM и 7.6 у SigLIP-400M.
ПОЧЕМУ это важно: UltraViT снижает задержку кодирования картинки при 512 × 512 до 6.6 мс и сжимает число визуальных токенов в 16 раз прямо внутри архитектуры, без их последующего прунинга. Правда, отрыв по точности от FastVLM во многом объясняется двухэтапным рецептом предобучения, который к бейзлайну в основном сравнении не применяли.
Быстро фигачить картинки тут: https://xn--r1a.website/gonzo_ML_podcasts/4834
UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models
Ioannis Maniadis Metaxas, Adrian Bulat, Alberto Baldrati, Anestis Zaganidis, Yassine Ouali, Hyeonuk Kim, and Georgios Tzimiropoulos
Paper: https://arxiv.org/abs/2607.23373
Review: https://arxiviq.substack.com/p/ultravit-latency-optimized-on-device
ЧТО сделали: Предложили UltraViT — четырёхступенчатый пирамидальный визуальный энкодер для мобильных визуально-языковых моделей (LVLM). Операции перемешивания токенов на каждом этапе подбирали по реальным замерам задержки на мобильном NPU. Для предобучения использовали двухэтапную схему: сначала плотную пространственную дистилляцию признаков, затем генеративное обучение через замороженную языковую модель с чередованием декодеров разного размера.
ЧТО получили: В составе LLaVA-OneVision (модель назвали UltraVLM) энкодер обходит переобученную FastVLM на задачах визуальных вопросов и ответов: DocVQA (71.8% против 66.7%), ChartQA (72.2% против 66.0%) и TextVQA (68.9% против 62.9%). На мобильном NPU в разрешении 512 × 512 он выдаёт 148.9 инференса в секунду против 91.4 у FastVLM и 7.6 у SigLIP-400M.
ПОЧЕМУ это важно: UltraViT снижает задержку кодирования картинки при 512 × 512 до 6.6 мс и сжимает число визуальных токенов в 16 раз прямо внутри архитектуры, без их последующего прунинга. Правда, отрыв по точности от FastVLM во многом объясняется двухэтапным рецептом предобучения, который к бейзлайну в основном сравнении не применяли.
Быстро фигачить картинки тут: https://xn--r1a.website/gonzo_ML_podcasts/4834
arXiv.org
UltraViT: Latency-Optimized On-device Vision Encoder for Large...
Large Vision-Language Models (LVLMs) remain bottlenecked by massive computational footprints, precluding their deployment on resource-constrained edge devices. While efforts to compress LVLMs...
🔥8❤3👏2
Помните KAN, Kolmogorov-Arnold Networks? Как-то мало слышал про них в этом году, но вот чуваки сделали визуальный плейграунд KANLab на базе TensorFlow Playground.
Также микростатья про это:
KANLab: TensorFlow Playground for Kolmogorov-Arnold Networks
https://arxiv.org/abs/2610.20117
Также микростатья про это:
KANLab: TensorFlow Playground for Kolmogorov-Arnold Networks
https://arxiv.org/abs/2610.20117
arXiv.org
KANLab: TensorFlow Playground for Kolmogorov-Arnold Networks
KANLab is a browser-based visualization tool designed to interactively teach the core concepts of Kolmogorov-Arnold Networks (KAN), forked from the widely successful TensorFlow Playground. To...
👍8🔥3❤1
Очередная прикольная работа от Саканы про memory-augmented сети. В очередной раз странно, что такую архитектуру никто не предложил раньше (myself included)...
Continuous Memory Machines
Ciaran Regan, Kai Arulkumaran, Luke Darlow, Stefania Druga, Sebastian Risi, Llion Jones
Paper: https://arxiv.org/abs/2610.07907
Review: https://arxiviq.substack.com/p/continuous-memory-machines
Code: https://github.com/SakanaAI/continuous-memory-machines
ЧТО сделали: Авторы представили рекуррентную нейросеть Continuous Memory Machine (CMM), которая разделяет быстрые вычисления и долгосрочное хранение с помощью двух матриц памяти. Архитектура расширяет их прошлую работу Continuous Thought Machine (CTM), вычислявшую через истории активаций отдельных нейронов и их попарные корреляции. В CMM добавили постоянную матрицу долговременной памяти и общий трансформер, обновляющий обе памяти одновременно.
ЧТО получили: На задаче Priority Sort бинарная кросс-энтропия CMM на тесте составила 4.1x10^-3 против 1.4x10-2 у сети с внешней памятью Differentiable Neural Computer (DNC) и 2.7x10^-2 у каузального трансформера. В прохождении лабиринтов 39x39 CMM полностью решает 61.6% лабиринтов (от 22.8% до 90.7% по разным сидам) против 37.4% у CTM, а в 20-shot линейной регрессии выбивает 30.63% точности против 8.78% у CTM.
ПОЧЕМУ это важно: Внимание со специальным нулевым sink-токеном (токеном-стоком для сброса лишнего внимания) позволяет рекуррентной сети самой решать, когда читать из долговременного хранилища, а когда опираться на быструю локальную динамику. Правда, запуск трансформера на каждом рекуррентном шаге поднимает пиковое потребление памяти GPU на задаче Copy-100 до 22.3 GiB против 634.5 MiB у CTM.
Растить память тут: https://xn--r1a.website/gonzo_ML_podcasts/4835
Continuous Memory Machines
Ciaran Regan, Kai Arulkumaran, Luke Darlow, Stefania Druga, Sebastian Risi, Llion Jones
Paper: https://arxiv.org/abs/2610.07907
Review: https://arxiviq.substack.com/p/continuous-memory-machines
Code: https://github.com/SakanaAI/continuous-memory-machines
ЧТО сделали: Авторы представили рекуррентную нейросеть Continuous Memory Machine (CMM), которая разделяет быстрые вычисления и долгосрочное хранение с помощью двух матриц памяти. Архитектура расширяет их прошлую работу Continuous Thought Machine (CTM), вычислявшую через истории активаций отдельных нейронов и их попарные корреляции. В CMM добавили постоянную матрицу долговременной памяти и общий трансформер, обновляющий обе памяти одновременно.
ЧТО получили: На задаче Priority Sort бинарная кросс-энтропия CMM на тесте составила 4.1x10^-3 против 1.4x10-2 у сети с внешней памятью Differentiable Neural Computer (DNC) и 2.7x10^-2 у каузального трансформера. В прохождении лабиринтов 39x39 CMM полностью решает 61.6% лабиринтов (от 22.8% до 90.7% по разным сидам) против 37.4% у CTM, а в 20-shot линейной регрессии выбивает 30.63% точности против 8.78% у CTM.
ПОЧЕМУ это важно: Внимание со специальным нулевым sink-токеном (токеном-стоком для сброса лишнего внимания) позволяет рекуррентной сети самой решать, когда читать из долговременного хранилища, а когда опираться на быструю локальную динамику. Правда, запуск трансформера на каждом рекуррентном шаге поднимает пиковое потребление памяти GPU на задаче Copy-100 до 22.3 GiB против 634.5 MiB у CTM.
Растить память тут: https://xn--r1a.website/gonzo_ML_podcasts/4835
arXiv.org
Continuous Memory Machines
Recurrent neural networks typically compress information into a single vector-valued recurrent state, forcing short-term computation and long-term retention to share the same representation. Past...
👍7❤3🔥3
Фантастики вам на ночь.
Agentic Economies for Autonomous Scientific Discovery
Nenad Tomašev, Matija Franklin, Atoosa Kasirzadeh, Vivek Natarajan, Alan Karthikesalingam, Sebastien Krier, Simon Osindero
Paper: https://arxiv.org/abs/2609.31562
Review: https://arxiviq.substack.com/p/agentic-economies-for-autonomous
Code: N/A
Model: N/A
ЧТО сделали: Авторы представили Agentic Economies for Science — рыночную архитектуру для автономных научных систем (мультиагентных моделей, которые генерируют гипотезы и проводят эксперименты). Она координирует учёных, ИИ-агентов и роботизированные лаборатории: назначает цены за доступ к данным, позволяет торговать токенизированными исследовательскими заявками и верифицирует физические эксперименты через смарт-контракты.
ЧТО получили: В этой концептуальной статье авторы указывают, что стоимость вычислительной генерации гипотез стремится к нулю, поэтому научный поиск ограничивается неэластичной проверкой в реальном мире. Например, по закону Ирума стоимость одобрения лекарства в FDA удваивается каждые 9 лет и уже достигла $2.6 млрд за молекулу. Чтобы отсеивать слабые идеи до лаборатории, фреймворк вводит 4-уровневый рынок данных и 4-этапный пайплайн обмена гипотезами (Hypothesis Exchange Pipeline), отделяющий генерацию идей от экспериментов в мокрой лаборатории.
ПОЧЕМУ это важно: Работа переносит фокус в ИИ для науки с изолированного улучшения рассуждений на явный учёт стоимости, комбинаторные аукционы ресурсов и автоматическое эскроу для репликации результатов. При этом вся предложенная инфраструктура остаётся концептуальной и пока не имеет эмпирического прототипа.
Фонтанировать идеями тут: https://xn--r1a.website/gonzo_ML_podcasts/4836
Agentic Economies for Autonomous Scientific Discovery
Nenad Tomašev, Matija Franklin, Atoosa Kasirzadeh, Vivek Natarajan, Alan Karthikesalingam, Sebastien Krier, Simon Osindero
Paper: https://arxiv.org/abs/2609.31562
Review: https://arxiviq.substack.com/p/agentic-economies-for-autonomous
Code: N/A
Model: N/A
ЧТО сделали: Авторы представили Agentic Economies for Science — рыночную архитектуру для автономных научных систем (мультиагентных моделей, которые генерируют гипотезы и проводят эксперименты). Она координирует учёных, ИИ-агентов и роботизированные лаборатории: назначает цены за доступ к данным, позволяет торговать токенизированными исследовательскими заявками и верифицирует физические эксперименты через смарт-контракты.
ЧТО получили: В этой концептуальной статье авторы указывают, что стоимость вычислительной генерации гипотез стремится к нулю, поэтому научный поиск ограничивается неэластичной проверкой в реальном мире. Например, по закону Ирума стоимость одобрения лекарства в FDA удваивается каждые 9 лет и уже достигла $2.6 млрд за молекулу. Чтобы отсеивать слабые идеи до лаборатории, фреймворк вводит 4-уровневый рынок данных и 4-этапный пайплайн обмена гипотезами (Hypothesis Exchange Pipeline), отделяющий генерацию идей от экспериментов в мокрой лаборатории.
ПОЧЕМУ это важно: Работа переносит фокус в ИИ для науки с изолированного улучшения рассуждений на явный учёт стоимости, комбинаторные аукционы ресурсов и автоматическое эскроу для репликации результатов. При этом вся предложенная инфраструктура остаётся концептуальной и пока не имеет эмпирического прототипа.
Фонтанировать идеями тут: https://xn--r1a.website/gonzo_ML_podcasts/4836
arXiv.org
Agentic Economies for Autonomous Scientific Discovery
Recent advances in agentic Artificial Intelligence (AI) systems have marked a shift in AI for Science: moving away from the use of individual AI systems for narrow task execution, toward...
👍12
Прикольная история. Во всех массовых реализациях софтмакса и кроссэнтропии есть баги, приводящие к проблемам округления. И вот после более чем десятка(ов) лет активного пользования всем этим, их наконец обнаружили. В очередной раз возникает вопрос, почему не раньше.
A Fix for Softmax and Cross-Entropy
Jonathan T. Barron, Dan Gnanapragasam, Michael Tschannen
Paper: https://arxiv.org/abs/2610.31642
Review: https://arxiviq.substack.com/p/a-fix-for-softmax-and-cross-entropy
Code: N/A (self-contained JAX snippets provided in paper)
Model: N/A
ЧТО сделали: Авторы переписали софтмакс, лог-софтмакс и кросс-энтропию (для жёстких и мягких меток) в логарифмическом пространстве. Это исправляет два бага округления в фреймворках глубокого обучения: Softmax Collapse (зануление градиента целевого логита при высокой уверенности модели) и Softmax Cancellation (ненулевой остаточный градиент в дистилляции, когда логиты студента уже совпали с логитами учителя).
ЧТО получили: На модулярном сложении (a + b mod 31) в bf16, fp32 и fp64 Fixed Cross-Entropy даёт 98.9%–100.0% тестовой точности против 93.3%–100.0% у стандартной кросс-энтропии, 48.9%–97.9% у Zero-sum Projection (вычитание среднего из градиентов) и 95.6%–97.4% у StableMax (кусочно-рациональная замена софтмакса). В полиномиальном гроккинге без регуляризации (a^2 + b^2 mod 97) Fixed Cross-Entropy достигает 85% точности, тогда как стандартная кросс-энтропия падает с 61% до 23%.
ПОЧЕМУ это важно: Drop-in replacement базовых функций лосса убирает скачки лосса («эффект рогатки», Slingshot) при гроккинге и дрейф весов при дистилляции в bf16 без перевода в fp64. Правда, все эксперименты проведены на небольших задачах модулярной арифметики, а проверенные здесь огромные отступы логитов и почти нулевые зазоры между студентом и учителем в масштабном обучении встречаются редко.
Округлять с багами и без багов здесь: https://xn--r1a.website/gonzo_ML_podcasts/4837
A Fix for Softmax and Cross-Entropy
Jonathan T. Barron, Dan Gnanapragasam, Michael Tschannen
Paper: https://arxiv.org/abs/2610.31642
Review: https://arxiviq.substack.com/p/a-fix-for-softmax-and-cross-entropy
Code: N/A (self-contained JAX snippets provided in paper)
Model: N/A
ЧТО сделали: Авторы переписали софтмакс, лог-софтмакс и кросс-энтропию (для жёстких и мягких меток) в логарифмическом пространстве. Это исправляет два бага округления в фреймворках глубокого обучения: Softmax Collapse (зануление градиента целевого логита при высокой уверенности модели) и Softmax Cancellation (ненулевой остаточный градиент в дистилляции, когда логиты студента уже совпали с логитами учителя).
ЧТО получили: На модулярном сложении (a + b mod 31) в bf16, fp32 и fp64 Fixed Cross-Entropy даёт 98.9%–100.0% тестовой точности против 93.3%–100.0% у стандартной кросс-энтропии, 48.9%–97.9% у Zero-sum Projection (вычитание среднего из градиентов) и 95.6%–97.4% у StableMax (кусочно-рациональная замена софтмакса). В полиномиальном гроккинге без регуляризации (a^2 + b^2 mod 97) Fixed Cross-Entropy достигает 85% точности, тогда как стандартная кросс-энтропия падает с 61% до 23%.
ПОЧЕМУ это важно: Drop-in replacement базовых функций лосса убирает скачки лосса («эффект рогатки», Slingshot) при гроккинге и дрейф весов при дистилляции в bf16 без перевода в fp64. Правда, все эксперименты проведены на небольших задачах модулярной арифметики, а проверенные здесь огромные отступы логитов и почти нулевые зазоры между студентом и учителем в масштабном обучении встречаются редко.
Округлять с багами и без багов здесь: https://xn--r1a.website/gonzo_ML_podcasts/4837
arXiv.org
A Fix for Softmax and Cross-Entropy
Standard implementations of softmax, log-softmax, and cross-entropy have two numerical bugs. The first bug, Softmax Collapse, rounds the target logit's gradient to zero if that one logit is much...
👍13🔥3🤯3👀1