⚡️ Matrix Exponential Attention (MEA) - экспериментальный механизм внимания для трансформеров

MEA предлагает альтернативу классическому softmax-attention. Вместо нормализации через softmax используется матричная экспонента, что позволяет моделировать более сложные, высоко-порядковые взаимодействия между токенами.

Ключевая идея
Внимание формулируется как exp(QKᵀ), а вычисление экспоненты аппроксимируется через усечённый ряд. Это даёт возможность считать внимание линейно по длине последовательности, не создавая огромные n×n матрицы.

Что это даёт
- Более выразительное внимание по сравнению с softmax
- Higher-order взаимодействия между токенами
- Линейная сложность по памяти и времени
- Подходит для длинных контекстов и исследовательских архитектур

Проект находится на стыке Linear Attention и Higher-order Attention и носит исследовательский характер. Это не готовая замена стандартному attention, а попытка расширить его математическую форму.

Для ML-исследователей и инженеров, которые изучают новые формы внимания, альтернативы softmax и архитектуры для длинных последовательностей.

Экспериментально. Интересно. Не для продакшена - пока.

GitHub: github.com/yifanzhang-pro/MEA