torchiano с молоком оптимизациями, пожалуйста.

Завезли оптимизаций инференса для LLM - torchao


https://pytorch.org/blog/pytorch-native-architecture-optimization/ гляньте

По чатикам уже ходит анонс 135m модельки на 690млрд токенах обученной: https://huggingface.co/amd/AMD-Llama-135m

Чет с таким капасити кажется будет слабова-то.

Но я бы также смотрел сюда👇

Интересный обзор, в котором авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Рассматриваются архитектура, инсайты обучения, датасеты, возможности к рассуждению, а также математика и кодинг.
Не обошли стороной анализ затрат на инференс, delay по ответам и др.

https://arxiv.org/abs/2409.15790

Anthropic делится современной "базой" для улучшения RAG.

Антропики продолжают образовывать разработчиков и предлагают "новый" хинт для работы с RAG - контекстуально дополненные вектора чанков текста.

Основная идея использовать не только микст bm25 и dense vector индексов, но и предварительно чанки дополнять информацией связанной с ними из разных частей документа, откуда эти чанки были нарезаны. Для этого используется Claude3 Haiku. Которому дают инструкцию сделать краткое примечение на 50-100токенов. Промпт имеет вид:

<document> {{WHOLE_DOCUMENT}} </document> Here is the chunk we want to situate within the whole document <chunk> {{CHUNK_CONTENT}} </chunk> Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.

На выходе мы получаем чанк следующего формата:

original_chunk = "The company's revenue grew by 3% over the previous quarter." contextualized_chunk = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million. The company's revenue grew by 3% over the previous quarter."

Такой хинт позволил улучшить метрики до 35% (правда смотрят на reduce ошибки). Кстати, авторы также приготовили кукбук с кодом на поиграться тут.

Мое мнение: Мы тоже ведем экспы с LLMками для изменения текстов в RAG. Но работаем именно с перефразами запроса, для улучшения multi-hop метода. Однако, в отличии от метода "заметок" антропика, наш подход требует и тюна эмбеддера к таким стилям запроса и уже тогда е2е мы имеем ап метрик +6-10п.п.

Использование таких вот заметок очень помогает связать инфо о чанках с другими частями текста, которые ссылаются на них, ведь одна и таже инфа может обсуждаться в разных местах.

Помимо этого в блоге также есть полезная инфа про реранкинг, проблемы нарезки и выбора эмбеддера, но это уже известная база. Читаем, преисполняемся.

Фулл пайп индекса

Улучшения

Еще метрик

e2e пайп с реранком

С одной стороны рад, деды воевали заслужили, но по физике Карл!? С другой стороны как бэ и не биология и не совсем математика, а по информатике и кибернетике нет ничего..

А куда бы вы определили этих ребят в рамках доступных Нобелевской премии наук?
Пишем в комментарии.

https://www.nobelprize.org/prizes/physics/2024/press-release/

Теперь и хемоинформатика пошла.

upd. link
https://www.nobelprize.org/prizes/chemistry/2024/press-release/

OpenAI с хайпом и прорывом с ChGPT и тп. открыл год Меча и Магии в созвездии премий "около MLных" исследований ?)

upd. Ждем следующих номинантов.

Больше мемов про Нобеля седня не будет...

Наверное

Аугментекс вошел в пубертат. 👇

Да уж, вот вам и текстовые аугментации

#ShitPost

Недавно обнимашки закинули в репо гайд по оценке LLM моделек.

Ребяты запилили все по полочкам:

1. Автометрики.
2. Оценка кожАных.
3. LLM как судья.

Везде есть база, хинты и даже мета метрики, к примеру в LLM as judge.

Репо: https://github.com/huggingface/evaluation-guidebook

Turbo Alignment — новая библиотека для алайнмента от Т-Банка.

Еще совсем недавно была выпущена модель T-lite от Т-Банка. А теперь ребятки открыли доступ к библиотеке Turbo Alignment. Данное решение позволяет из коробки тюнить свои LMки, понижает порог входа для ML специалистов в этом направлении, а также уменьшает time2market решений на базе LLM, тк вам не нужно настраивать собственный пайплайн обучения.

В библиотеке уже доступны:

▶️No-code-запуск экспериментов, скрипты для обучения большого количества алгоритмов, модуль для быстрого тестирования моделей и инструменты для мониторинга метрик во время обучения.

▶️Инструменты для исследований и разработки. Turbo Alignment предоставляет все необходимые средства для добавления новых методов обучения и их сравнения с уже существующими решениями на конкретных задачах. Библиотека создана при участии лаборатории T-Bank AI Research и также дает доступ к последним исследованиям в области AI Alignment.

▶️Поддержка сложных процессов обучения. Turbo Alignment оптимизирован для распределенного обучения на нескольких видеокартах и серверах (Multi-GPU и Multi-Node).

Вот такой вклад в демократизацию работы с LLM внесли ребятки. Код тык тут.