Новая LLM Mixtral-8x-7B произвела фурор и ввела в моду Mixture of Expert

Эта архитектура отличается тем, что использует нескольких "экспертов" (каждый из которых представляет из себя нейросеть) для решения разных задач. От ансамблей она отличается тем, что эксперты не объединяются, то есть в решении участвует только один.

Какой токен какому эксперту отправить решает так называемый роутер – это тоже обучаемая сеть. В общем, вот вам список литературы, который поможет быстро разобраться (и не отстать от тренда):

❤️Отличный разбор на HuggingFace
❤️Ёмкий видео-разбор архитектуры от Trelis Research
❤️Первая статья по применению MoE в NLP (в авторах Джефф Дин и Джеффри Хинтон)
❤️Про MoE для LLM

Кстати, по слухам, GPT-4 тоже представляет из себя MoE.

😻 #advice #news

Ох уж этот конец года: даже у GPT-4 падает продуктивность

Выяснилось, что если модель думает, что сейчас май, то отвечает в среднем подробнее, чем «в декабре». Статистическая значимость на месте: t-test p < 2.28e-07. Среди экспертов уже родилось предположение, что в ходе обучения модель учла тот факт, что люди перед празниками ленятся и пишут тексты меньшего объема 🎄

Эксперимент проводился с помощью изменения параметра current date. Опыт, кстати, можно воспроизвести: вот код.

😻 #news

Ты и твой друг, когда решили уйти в собственный стартап и стать вторыми Альманом и Маском.

😻 #memes

Это что, 5 пальцев на руках?

У Google DeepMind вышла новая text-to-image модель: диффузионка Imagen2. Доступно пока только через API на Vertex AI. Пообещали фотореалистичность, лучшую чувствительность к промптам и высокое качество изображений.

😻 #news

Гарвард тоже радует подарками к Новому Году

Мы об их свежем курсе, конечно. Абсолютно бесплатном, как вы любите. Он посвящен AI: в программе теорвер, классический ML, нейросети, NLP, CV, модели Маркова и еще много чего. В числе преподов крутой David J. Malan.

Стартует сегодня! Не советуем упускать возможность.

😻 #advice

Новый Год только через 2 недели, а под админской ёлкой уже лежат подарки 🎁

Все эти книги – для вас, ведь уже завтра в 19:00 появятся итоги розыгрыша. Если еще не участвуешь, то есть шанс запрыгнуть в последний вагон: https://xn--r1a.website/data_secrets/2936

Сейчас идет одна из крупнейших конференций по ML – NeurlIPS 2023

Каждый год на ней награждают победителей в разных номинациях. В этом году самые интересные – "Две самые выдающиеся статьи" и "Test of Time Award" (за актуальность сквозь время).

Награда "выдающаяся статья" досталась "Privacy Auditing with One (1) Training Run" by Thomas Steinke et al. и "Are Emergent Abilities of Large Language Models a Mirage?" by Rylan Schaeffer et al. Это статья про обобщающую способность LLM, своеобразное разоблачение того, что мы называем emergent abilities (отвечает тренду alignment'а).

А вот с Test of Time все еще интереснее: она досталась старому доброму word2vec, то есть статье “Distributed Representations of Words and Phrases and their Compositionality” by Tomas Mikolov. Действительно, она была опубликована 10 (!!!) лет назад, процитирована 40к раз, и все еще не потеряла актуальности и применяется во многих кейсах.

😻 #news

Google становится все приятнее

Скоро можно будет напрямую экспортировать результаты поиска по вопросам, связанным с Python, в Google Colaboratory. Фича уже достуна в числе экспериментальных функций Chrome, нужно просто активировать Search Generative Experience.

😻 А вообще, какую часть своего кода люди пишут сами?

Математично

😻 #memes