Взять LLM за RAGa в 60 минут

Вводный курс от deeplearning.ai
В мир прекрасного ранкинга и LMок

https://www.deeplearning.ai/short-courses/building-evaluating-advanced-rag/

Жиза👇

Че, шкет, не только крот птица перелётная, но и LLM тоже. Пока не пообещаешь "шоколадки" не полетит.

https://habr.com/en/news/778022/

Когда очередная corporation заононсила свою супер-мега-гига-лонг LLM.

В ролях:

- Глава маркетинга в белом, радостный за годовые бюджеты на рекламу.
- Не менее радостные челы , что делали research и pretrain, у которых неожиданно получилось.
- Коммитивший за их успех тех-лид в красном предвкушает грейдап.
- Грустный СЕО, который осознаёт, что их фин.модель из-за потраченного компьюта при его жизни не выйдет в 0.
(в конце крупным планом)

Lost in the middle или найди меня через промт, если сможешь.

Крч шкет, помнишь уже было раньше, когда идешь ты такой по sequence в LSTM/GRU и инфа затухает в middle hidden states? Нет? Ну ты ещё молодой, садись расскажу.

Вот я помню. И решалось это так: делали чисто bidirectional проходом и навалом сверху attention. Но в отличии от LSTM, которое училось так e2e, с LLM такое дело позволить себе больно, да и casual masking для next token prediction влезает.

Поэтому дяди придумали снова давать чаевые писать в промт специально акцентуализированные вставки. Мол чел обрати внимание тут над бы не забыть эту инфу.

Вобщем, всё как с тобой шкет, когда препод по матану на лекции говорит: "а вот за это я буду карать на сессии". Правда у тебя кожанного мешка это мимо пролетает и на сессии ты наказан, а LLM это нихило так докидывает, с 27% аж до 98% метрики качества.

Учись, крч.

Мне же интересно:

1. Есть ли механизмы на уровне архитектуры, а не промт тюна? Ну там префикс-токены хитрым натыкать образом и их тюн и тп.

2. Можно ли делать за счёт внешней модели squad выбор отрезка акцентуации в тексте?

Падаванами славятся лиды.

Приходите посмотреть на нашего Марка на новогоднюю ML-тренировку в Yandex.

https://xn--r1a.website/yandexforml/228

Как выглядит Жоский ИИ Дядя в отпуске.

P. S. Кто узнал схему на мониторе, пишем в комментариях.

Украл тут👇
https://xn--r1a.website/nlp_daily

Зашёл посмотреть, как там мой sbert поживает. Народ, у модели sbert_mt в той же репе sentence вектора ещё круче!

Но динамика кача радует.

Немножко Жоских идей от ИИ Дяди если МоЕ не твоё, но реализовать хочется:

Крч, шкет, тут Mistral, запилил свою MoE 7b. И да это не те, что макароны, и, о боги ИИ, не корабли ВМФ.

Как сделали?

Кажись по классике switch transformer запилили роутинг FFN на 8 экспертов, ток берут топ2. И нет блин, это не 8 по 7b LLM роутятся. Даже для BERT-base FFN занимает порядка 59М весов из 85М на все 12 блоков трансформера и это из 110М всех весов модели. Те почти 60%!?

А тут представьте у вас 8 FFN роутятся в топ2 и на всех К блоков декодера в 7b. Крч, какие-то, люди посчитали и там чет около для 45b модели получается GPU памяти бы иметь.

Поэтому, вот тебе ещё одна идея, пока все играются в песочнице на уровне FFN, не будь как все, ломай систему и делай MoE на small-LM. А как сделаешь, не забывай байтьку жоского Дядю, хотя бы последним автором впиши.

Хотите подробностей по Mixtrail, код тут.

Ну тут прям вкусно расписали.

https://huggingface.co/blog/moe

Особенно хорошо, про параллелизм на GPU и как эксперты между собой разбирают разную доменную инфу.

UPD. Прям MoE ренессанс какой-то!

Знаю, что баян... Но...

Literally моя команда.