Завезли блендер на максималках с LLM и FLAN-T5.

Чтобы не плодить обзоров см. у корешей тут:
https://xn--r1a.website/lovedeathtransformers/6023

От себя добавлю:

Мы в своей работе уже давно используем классик схему: encoder RoSBERTa +Faiss-KNN + reranker. В качестве реранкера используем или lgbm или cross-encoder.

С появлением у нас GPTlike моделей мы перешли к блендер схеме (где-то в q2-3 2022г.): LLM+retrieval cands + reranker. Это позволило нам добавить интересности от GPT генераций и релевантности/фактологичности от retrieval.

Поэтому если хочется улучшить свои метрики а-ля SSA: специфичность и релевантность. Советую блендер схему. Ну и конечно рад, что мы смотрим в одном направлении с индустрией.

Впереди выходные, а значит время посмотреть что-то интересное.

Мой падаван @qwertysobaka составил лист выступлений нашей большой команды #SaluteDevices на #DataFest2023.

Надеюсь в нём вы найдете доклады по интересам.

https://xn--r1a.website/kaggle_fucker/77

Пошёл новый урожай картохи либ для inference and serving LLM - vllm

Много знакомых приходит с вопросом, какие либы посоветуешь для инференса LLM. Обычно сношаются с этим: text-generation-inference; FasterTransformer. Понятно ещё докучи + accelerate и bits and bytes. Вот вам в копилочку ещё VLLM.

VLLM это либа, которая даёт возможность удобного сервинга/инференса с использованием:

- Поддержка оптимизаций с CUDA

- Интеграция с моделями HF (gpt-neo, LLAMA like, opt, gpt2 like etc.)

- Динамический батчинг для входящих запросов, beam search, parallel sampling etc.

- TensorParallelism для multigpu inference.

- Оптимизация attention inference с Paged attention.

И др.

Дока и блогпост тут.

Попробуйте сами и делитесь в комментариях как оно.

Steam (не)против нейросетей.

Что мы любим делать в свободное от работы время, а лучше в выходные? Конечно зайти в любимую игру и пройти очередной уровень или затащить катку.

Причём тут на канале про ML игры?- спросите вы. Ответ прост - нейросети уже давно влились в gamedev, а с появлением генеративных сеток возможности разработчиков возросли. Это касается не только оптимизации алгоритмов и поведения ИИ персонажей, но и контента, дизайна и др.

Но не всё в последнее время так гладко. И вот уже Valve отказывает разработчикам в выпуске игр на своей платформе, если при её создании использовались нейросети.
В чем соль? Да в том же, что и рассказывал ранее, тк нейросети для обучения используют данные из различных источников,то компания Valve запросила подтверждения отсутствия нарушения авторских прав в разрезе этих данных. Поэтому выход игры не может быть одобрен до предоставления доказательств.

Самое интересное, что и после удаления билдов, созданных нейросетями и обновлению их на ручные, Valve также отказала в выпуске.

При этом, например, уже в Steam есть несколько игр с прямым указанием, что при создании использовался ИИ. Даже авторы, ожидаемого ремейка 2023г, System shock не скрывают этого и будут далее юзать генеративки для создания игр (а именно MidJourney).

Вот так регулирование AI просачивается и в мой любимый мир игр.. (

Машинное отучение.

Нет, автор не ошибся. Да он в своём уме, если че это всё Google - они анонсировали на платформе kaggle новое соревнование.  Оно станет частью соревновательного трека NeurIPS2023.

Вообще интересная идея. На мой взгляд, машинное отучение может стать прекрасным дополнением для выравнивания обучения (alignment).
Есть мнение, что RL PPO нужен в тч для указания что НЕ надо делать модели при генерации, помимо, того чтобы отранжировать лучшие. Кто-то из моих коллег по цеху даже считает это первостепенной задачей.

Так вот. Результаты соревнования: новые методы и эвристики - уверен помогут на этапе SFT модели выполнить роль регулирования забываемости. Ведь помимо того, что нужно не забыть после pretrain ( см. катострофическое забывание), нам нужно и исключить влияние тех плохих источников данных, что мы упустили в сет обучения.

В общем участвуем и/или ждём обзоров решения победителей к концу года.

Подробнее тут:
https://ai.googleblog.com/2023/06/announcing-first-machine-unlearning.html?m=1

И тут: https://unlearning-challenge.github.io/

Неплохая демонстрация простыми словами, что происходит в потрошках трансформера. Да ещё и с гифоном.

https://prvnsmpth.github.io/animated-transformer/

Tree of Thoughts [2023] - заставляем GPT исследовать чертоги своего разума

Поговорим о разных видах взаимодействия с LLM.
1) Базовый - составляем запрос с задачей в модель, получаем ответ на выходе
2) Chain of Thoughts - просим модель описывать пошагово ход решения задачи и рассуждения, и в конце ответ.
3) Iterative refinement - В течение нескольких запросов, просим модель критиковать и улучшать решение.
4) В случае, если нам нужен ответ на задачу, в которой применимо ансамблирование ответов, можно запускать предыдущие методы несколько раз и потом комбинировать их ответы в один финальный

В статье авторы изобретают ещё более хитрый способ заставить модель анализировать. Мы генерируем дерево мыслей. Корень - это изначальная задача, а дети любой вершины - это добавление к рассуждению какой-то мысли. Данное дерево можно растить, посылая в LLM запрос вида "придумай следующий шаг к решению", и подавая текущее состояние на вход.

Как оценивать качество вершины? Используем саму же LLM, веря, что модель с оценкой мыслей справляется лучше, чем с их генерацией. Таким образом, мы можем каким-нибудь алгоритмом обхода дерева с эвристиками искать в нём решение, в котором шаги решения будут высоко оценены моделью. Я думаю, что детали тут слишком быстро устареют и конкретный алгоритм нам не важен.

Что по результатам? Они не радикально выше, но, видимо, схема помогает решать некоторые задачи, в которых такое "поисковое мышление" уместно. Например, большой буст наблюдается в решении мини-кроссвордов, т.е. заполнении буквами сетку 5 на 5 согласно вопросам. Классический способ решения подразумевает как раз поиск по дереву, так что прирост от подхода ожидаем.

Возможно, что со временем мы придём к какой-то black-box абстракции над LLM, где схема промптинга станет частью скрытой от пользователя реализации, и подобные алгоритмы конструирования ответа станут весьма сложными. А вы как думали, сверхсильный-ИИ-GPT возьмёт и расскажет всё просто так?

Получасовой обзор статьи

@knowledge_accumulator

Эх мечты... Мечты..

Помоги LLM выбрать лучшие ответы.

На kaggle завезли соревку по задаче реранкинга генераций GPT-3.5. Нужно из топ-5 генераций выбрать топ-3 лучших в ранжированном виде. Метрика MAP@3, что логично. Домен "сложный научный". В обучении 200 пар)

В общем расчехляйте свои пайпы по созданию reward моделек. И вперёд за медальками.

Heroes of NLP and Magic... Или объявлена неделя NLP соревнований...

Теперь придётся дублировать себя почкованием и тп, что успеть в две соревки...

CommonLit Challenge уже был когда-то на просторах kaggle, нужно оценивать работы студентов по некоторой шкале оценок, выделяя детали, идею и беглость языка.

Оценка естественно раз по баллам, то и метрика MCRMSE (среднее корней MSE по шкалам) уже предвкушаю биас на редкие оценки)

Обязательно советую посмотреть лучшие решения прошлого соревнования:

-сперва конечно мастера необычных и простых решений https://youtu.be/nof28KMutAk,
-потом уже более привычный космолет https://www.kaggle.com/competitions/commonlitreadabilityprize/discussion/258554

Удачи!

Шолле так офигел оШоллел от релиза LLAMA2. Что керас теперь будет оберткой для тф, торча и джакса)

И шутеечки вдогонку

Мы строили, строили и наконец построили.

🔺 ruGPT-3.5. Открытая русскоязычная LLM от Сбера

Друзья, мы выложили в open source нашу языковую модель (pretrain), на основе которой обучали GigaChat!

🔸 Претрейн довольно большой — 13B (13 миллиардов параметров). Модель видела много разнообразного текста (книги, статьи, чаты и т.д.), в основном на русском языке, а также на английском (около10%). Дополнительно дообучали на коде.

🔸 ruGPT-3.5 13B можно дообучать на инструктивных датасетах и получать свои версии ChatGPT, которые бы хорошо понимали русский язык.

🔸 Решили выложить с открытой лицензией (MIT), так что каких-либо ограничений в этом плане в отличии от LLaMA нет.

Написали небольшой пост про это, прошу поддержать, кому интересно.

👉 Хабр | Hugging Face

Твоя кроличья LAPCA.
(может и на удачу...)

В семействе Language Agnostic энкодеров прибыло. Напомню, что уже существует LABSE .
Идея у LABSE простая: давайте возьмём некоторую multi-lingual модельку и помимо MLM, NSP таски на pre-train или на дотюн вкинем ещё одну. Будем сводить эмбеды фраз на разных языках, но имеющих один перевод. Такой вот мой любимый contrastive learning.

Что же нового досыпали разработчики из Huawei + Николенко на LAPCA(у) ? :)

На самом деле, идея вполне на поверхности. Используются две задачи. Первая-сводим пары запрос/ответ или запрос/документ в рамках одного языка, решая классическую задачу information retrieval. Вторая же задача призвана, как я считаю, якорить или арканить для того же ответа/запроса его перевод. Тут указано, что для ответа/документа происходит матч с его переводом или текстом на другом языке схожим по смыслу.

Также выделяют ребята три подхода:
- Параллельный майнинг тех самых переводов.
- Hard negative майнинг. Тут по классике ищем сложные негативы с помощью самой же модели.
- Третий пункт они зовут self-training, но по мне - это по аналогии с п.2 сэмплинг позитивов при помощи самой обучаемой модели и topK KNN, но на домене QA.

Далее, всё это учится с помощью encoder с shared weights. Т.е. по сути сиамская сетка. И имеет два лосса: L-self и L-IR.
Их объединяют классически как joint-loss= a*L-IR+(1-a)*L-self.
Также авторы советуют претрейнить сначала с a=0 для параллельного сета и с a=1 для QA + IR дата-сета. И, видимо, далее уже jointly.

В общем взяли всё лучшее и соединили.
Остаются два вопроса:
- Сравнения с LaBSE , казалось бы логичным, нет в таблицах.
- Почему нельзя всё зарядить в триплеты (и парафразы и фразу перевод)?

Скрины прилагаются.

Вот тут как раз авторы уповают на жёсткую связность переводов в векторном пространстве после их метода обучения.

Разумеется, предлагаемая схема

Интересное про RL, от рок-н-роллщиков из жёлтого банка. 👇