Крутой инструмент для ускорения LLM

Это Medusa, и она упрощает и ускоряет большие языковые модели. Делает она это так: в процессе обучения к LLM добавляется несколько так называемых «heads», которые затем отдельно настраиваются в процессе обучения. В процессе генерации каждый из этих выходов выдает несколько вероятных слов для соответствующей позиции. Затем эти варианты комбинируются и обрабатываются с помощью механизма внимания, а наиболее правдоподобные из них отбираются для дальнейшего декодирования.

🖥 Github
🗂 Подробнее о том, как это работает

😻 #NN

Тинькофф запустил бесплатный геосервис для поиска лучших мест для бизнеса на основе Big Data

Он опирается на данные аналитического проекта Tinkoff Data, обрабатывающего сведения о потребительском поведении 37 млн клиентов банка. С помощью сервиса можно оценить количество конкурентов и потенциальных покупателей в районе, средний чек, среднее оборот, стоимость аренды и прочее.

Респект ребятам

😻 #news

Главное в оптимизации SQL-запросов – понимание порядка их выполнения

😻 #SQL

Ребята из Сбера завезли новую библиотеку по spell checking и spell corruption – SAGE

Она содержит открытые SOTA модели для коррекции правописания на русском и на английском языках, бенчмарк с датасетами для оценивания, реализованными методами аугментации текстов и т.д. И все это – в опенсурсе. На GitHub есть несколько демо в colab, так что пора пробовать!

Российские исследователи не перестают радовать

😻 #news