🔬⚡️ Test-Time Training RNN (ТТТ) - новый прорыв в машинном обучении! 🚀
Self-attention справляется с длинным контекстом, но имеет квадратичную сложность. Существующие слои RNN линейно сложны, но ограничены способностью скрытых состояний. Мы предлагаем новый класс слоев моделирования последовательностей с линейной сложностью и выразительными скрытыми состояниями.
💡 Главная идея: сделать скрытое состояние моделью машинного обучения и обновлять его путем самообучения даже на тестовых последовательностях. Наши слои называются Test-Time Training (TTT), и мы предлагаем две реализации: TTT-Linear и TTT-MLP.
👥 Исследования показывают, что TTT-Linear и TTT-MLP превосходят существующие модели. Они эффективно используют длинный контекст и показывают значительную производительность по сравнению с Transformer и Mamba.
📊 TTT-Linear уже быстрее Transformer при контексте 8k и сопоставим с Mamba по времени выполнения. TTT-MLP ориентирован на дальнейшие исследования и решает проблемы с памятью ввода-вывода, открывая новые горизонты для будущих исследований.
Для подробностей и доступа к статье посетите arXiv:
🟡Arxiv
🔗 Код доступен в JAX и PyTorch.
🖥 GitHub for Pytorch Stars: 277 | Issues: 3 | Forks: 12
🖥 GitHub for Jax [ Stars: 129 | Issues: 1 | Forks: 6 ]
Не пропустите этот инновационный шаг в машинном обучении! 🚀
#MachineLearning #RNN #AI #Research #Innovation
Self-attention справляется с длинным контекстом, но имеет квадратичную сложность. Существующие слои RNN линейно сложны, но ограничены способностью скрытых состояний. Мы предлагаем новый класс слоев моделирования последовательностей с линейной сложностью и выразительными скрытыми состояниями.
💡 Главная идея: сделать скрытое состояние моделью машинного обучения и обновлять его путем самообучения даже на тестовых последовательностях. Наши слои называются Test-Time Training (TTT), и мы предлагаем две реализации: TTT-Linear и TTT-MLP.
👥 Исследования показывают, что TTT-Linear и TTT-MLP превосходят существующие модели. Они эффективно используют длинный контекст и показывают значительную производительность по сравнению с Transformer и Mamba.
📊 TTT-Linear уже быстрее Transformer при контексте 8k и сопоставим с Mamba по времени выполнения. TTT-MLP ориентирован на дальнейшие исследования и решает проблемы с памятью ввода-вывода, открывая новые горизонты для будущих исследований.
Для подробностей и доступа к статье посетите arXiv:
🟡Arxiv
🔗 Код доступен в JAX и PyTorch.
🖥 GitHub for Pytorch Stars: 277 | Issues: 3 | Forks: 12
🖥 GitHub for Jax [ Stars: 129 | Issues: 1 | Forks: 6 ]
Не пропустите этот инновационный шаг в машинном обучении! 🚀
#MachineLearning #RNN #AI #Research #Innovation