Лучшая новость за сегодня: твиттерский спроектировал шаблон мемов в Glif

Claude 3.5 генерирует мем в виде json, с помощью Wojak Lora создается подходящее изображение, а потом все схлопывается вместе.

Получаются истинные шедевры. Пробуйте сами здесь.

- Как вы стали таким успешным математиком?
- Я просто хотел побеждать в монополию

Ученые из Калифорнийского университета показали способ учить LLM без перемножения матриц

Перемножение матриц – основная операция в LLM из-за механизма внимания. Именно она тянет на себя большинство вычислительных затрат, и чем больше контекст и количество параметров – тем больше и больше перемножение матриц ест.

Чтобы это побороть, авторы (вдохновшись BitNet) внесли в архитекуру LLM три основных изменения:

– вместо традиционных чисел с плавающей запятой веса представляют из себя только числа из набора (-1, 0, 1)
– перепроектирован self-attention: теперь на его месте рекуррентный блок, в котором используются только базовые операции
– использован Gated Linear Unit (GLU) из LSTM – его адаптировали под триплетные веса.

В итоге получилось, что такие модели могут достигать перформанса привычных трансформеров, при этом мощно сокращая память и компьют. Кроме того, авторы показывают, что архитектура хорошо скейлится.

Доступен код, так что можно поиграться своими руками. Кроме того, советуем прочитать статью.