Взять LLM за RAGa в 60 минут

Вводный курс от deeplearning.ai
В мир прекрасного ранкинга и LMок

https://www.deeplearning.ai/short-courses/building-evaluating-advanced-rag/

Жиза👇

Че, шкет, не только крот птица перелётная, но и LLM тоже. Пока не пообещаешь "шоколадки" не полетит.

https://habr.com/en/news/778022/

Когда очередная corporation заононсила свою супер-мега-гига-лонг LLM.

В ролях:

- Глава маркетинга в белом, радостный за годовые бюджеты на рекламу.
- Не менее радостные челы , что делали research и pretrain, у которых неожиданно получилось.
- Коммитивший за их успех тех-лид в красном предвкушает грейдап.
- Грустный СЕО, который осознаёт, что их фин.модель из-за потраченного компьюта при его жизни не выйдет в 0.
(в конце крупным планом)

Lost in the middle или найди меня через промт, если сможешь.

Крч шкет, помнишь уже было раньше, когда идешь ты такой по sequence в LSTM/GRU и инфа затухает в middle hidden states? Нет? Ну ты ещё молодой, садись расскажу.

Вот я помню. И решалось это так: делали чисто bidirectional проходом и навалом сверху attention. Но в отличии от LSTM, которое училось так e2e, с LLM такое дело позволить себе больно, да и casual masking для next token prediction влезает.

Поэтому дяди придумали снова давать чаевые писать в промт специально акцентуализированные вставки. Мол чел обрати внимание тут над бы не забыть эту инфу.

Вобщем, всё как с тобой шкет, когда препод по матану на лекции говорит: "а вот за это я буду карать на сессии". Правда у тебя кожанного мешка это мимо пролетает и на сессии ты наказан, а LLM это нихило так докидывает, с 27% аж до 98% метрики качества.

Учись, крч.

Мне же интересно:

1. Есть ли механизмы на уровне архитектуры, а не промт тюна? Ну там префикс-токены хитрым натыкать образом и их тюн и тп.

2. Можно ли делать за счёт внешней модели squad выбор отрезка акцентуации в тексте?

Падаванами славятся лиды.

Приходите посмотреть на нашего Марка на новогоднюю ML-тренировку в Yandex.

https://xn--r1a.website/yandexforml/228

Как выглядит Жоский ИИ Дядя в отпуске.

P. S. Кто узнал схему на мониторе, пишем в комментариях.

Украл тут👇
https://xn--r1a.website/nlp_daily

Зашёл посмотреть, как там мой sbert поживает. Народ, у модели sbert_mt в той же репе sentence вектора ещё круче!

Но динамика кача радует.

Немножко Жоских идей от ИИ Дяди если МоЕ не твоё, но реализовать хочется:

Крч, шкет, тут Mistral, запилил свою MoE 7b. И да это не те, что макароны, и, о боги ИИ, не корабли ВМФ.

Как сделали?

Кажись по классике switch transformer запилили роутинг FFN на 8 экспертов, ток берут топ2. И нет блин, это не 8 по 7b LLM роутятся. Даже для BERT-base FFN занимает порядка 59М весов из 85М на все 12 блоков трансформера и это из 110М всех весов модели. Те почти 60%!?

А тут представьте у вас 8 FFN роутятся в топ2 и на всех К блоков декодера в 7b. Крч, какие-то, люди посчитали и там чет около для 45b модели получается GPU памяти бы иметь.

Поэтому, вот тебе ещё одна идея, пока все играются в песочнице на уровне FFN, не будь как все, ломай систему и делай MoE на small-LM. А как сделаешь, не забывай байтьку жоского Дядю, хотя бы последним автором впиши.

Хотите подробностей по Mixtrail, код тут.

Ну тут прям вкусно расписали.

https://huggingface.co/blog/moe

Особенно хорошо, про параллелизм на GPU и как эксперты между собой разбирают разную доменную инфу.

UPD. Прям MoE ренессанс какой-то!

Знаю, что баян... Но...

Literally моя команда.

Я подумывала написать в канал, когда соберу первый раунд или хотя бы пройду в аксель со своим стартапом и буду тут флексить. Но потом решила, что по мере своих сил буду держать вас в курсе. Так ведь интереснее 👀

💃 Итак, с чем же я планирую покорять fashion e-commerce? 💃

🪩 Какую проблему решаем?
"Перед выходом из дома я сомневаюсь, что оделся/оделась достаточно хорошо. Я чувствую неуверенность и дискомфорт."

🪩 Как сейчас решаем проблему?
mvp: Определяем какие цвета идут человеку, какому стилю он хочет следовать, что хочет подчеркнуть/скрыть при помощи одежды, одет ли он по погоде и даем алгоритм, как быстро улучшить свой сегодняшний образ по фотке в полный рост (например: заправь рубашку, подверни штаны, накинь куртку и так далее).

Есть мысли по развитию, но будем отталкиваться от фидбека пользователей 😏

🪩 Что уже успели сделать?
Сделали лендос, залетели в тестфлайт с mvp, а также подались в YC, techstars. Скоро узнаем, зовут ли нас на собесы. Планируем выйти в стор в Q1 2024

P.S. если хотите потестить прилу - напишите "+" в комменты или мне в личку, первым 20ти пошарю ссылку на тестфлайт

Ниче, шкет. Пока, они (альфовцы) ходят по чужим хакам и зарабатывают видимо вам и др. на призовые со своего хака. А вообще этот весь флекс от них задолбал, но когда видишь такое - вопросики возникают еще, какое отношение к комьюнити и какое отношение к собственному пиару. Одно дело показать , что они выйграли и за это ещё допом платят своим ребятам, другое, когда сами организовали конкурс и выплатить не могут до сих пор.

https://xn--r1a.website/kaggle_fucker/111