Snowflake представляет гибридный трансформер Arctic с 480 млрд параметров

Команда исследователей Snowflake AI разработала Arctic - гибридную архитектуру трансформера с плотной модуляцией экспертов (dense-MoE).
Arctic сочетает в себе плотную модель трансформера на 10 млрд параметров с остаточной MoE MLP на 128x3,66 млрд параметров, в сумме составляя 480 млрд параметров и 17 млрд активных параметров, выбранных с использованием гейтинга top-2.
Для использования Arctic необходимо установить последнюю версию DeepSpeed и использовать квантизацию FP8 или FP6. Рекомендуется использовать одну мощную машину с 8 ГПУ H100, например, AWS p5.48xlarge или Azure ND96isr_H100_v5.

480 млрд параметров!

#Snowflake #Arctic #LargeLanguageModels
-------
@tsingular