Jina новая SoTa на MTEB.

Ребята из Jina снова доказывают, что размер не имеет значение и их 0.57b модели тому доказательство.

Вышла новая версия модели, которая в своем типо-размере бьет конкурентов на MTEB. Опережены: openaAI и e5-instruct, - при этом mistral-e5-instruct в 12.5 раза жирнее и всего 1 пункт разницы. Что для прода не так важно, как латенси+точность и главное контекст, который у jina 8к+RoPe+ flash attetion! Т. е. ваш любимый RAG в т. ч. long-term с биг доками будет покорен. Конечно мы добавим замеры на ruMTEB в будущем.

Немного о том, как Jina сделали это:

- XLM roberta как база, в тч токенайзер оттуда.
- Multitask-learning с 4 LoRA adapters под 4 task specific. Мы кстати также учили sbert-mt, но без адаптеров.
- Уже классика prefix-tuning для разных задач свой текстовый префикс.

За материал спасибо @lovedeathtransformers, за картинку @oulenspiegel (@oulenspiegel_channel)

Четко) 👇

В развитие темы про "не только трансформеры" и SSM. На The Gradient попалась неплохая статья с полезной интуицией про Мамбу:

https://thegradient.pub/mamba-explained/

Ты приходишь ко мне просить падение лосса, но ты просишь без уважения(с)

муз.тема

torchiano с молоком оптимизациями, пожалуйста.

Завезли оптимизаций инференса для LLM - torchao


https://pytorch.org/blog/pytorch-native-architecture-optimization/ гляньте

По чатикам уже ходит анонс 135m модельки на 690млрд токенах обученной: https://huggingface.co/amd/AMD-Llama-135m

Чет с таким капасити кажется будет слабова-то.

Но я бы также смотрел сюда👇

Интересный обзор, в котором авторы сравнивают по различным критериям 59 малых языковых моделей с открытым исходным кодом. Рассматриваются архитектура, инсайты обучения, датасеты, возможности к рассуждению, а также математика и кодинг.
Не обошли стороной анализ затрат на инференс, delay по ответам и др.

https://arxiv.org/abs/2409.15790

Anthropic делится современной "базой" для улучшения RAG.

Антропики продолжают образовывать разработчиков и предлагают "новый" хинт для работы с RAG - контекстуально дополненные вектора чанков текста.

Основная идея использовать не только микст bm25 и dense vector индексов, но и предварительно чанки дополнять информацией связанной с ними из разных частей документа, откуда эти чанки были нарезаны. Для этого используется Claude3 Haiku. Которому дают инструкцию сделать краткое примечение на 50-100токенов. Промпт имеет вид:

<document> {{WHOLE_DOCUMENT}} </document> Here is the chunk we want to situate within the whole document <chunk> {{CHUNK_CONTENT}} </chunk> Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.

На выходе мы получаем чанк следующего формата:

original_chunk = "The company's revenue grew by 3% over the previous quarter." contextualized_chunk = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million. The company's revenue grew by 3% over the previous quarter."

Такой хинт позволил улучшить метрики до 35% (правда смотрят на reduce ошибки). Кстати, авторы также приготовили кукбук с кодом на поиграться тут.

Мое мнение: Мы тоже ведем экспы с LLMками для изменения текстов в RAG. Но работаем именно с перефразами запроса, для улучшения multi-hop метода. Однако, в отличии от метода "заметок" антропика, наш подход требует и тюна эмбеддера к таким стилям запроса и уже тогда е2е мы имеем ап метрик +6-10п.п.

Использование таких вот заметок очень помогает связать инфо о чанках с другими частями текста, которые ссылаются на них, ведь одна и таже инфа может обсуждаться в разных местах.

Помимо этого в блоге также есть полезная инфа про реранкинг, проблемы нарезки и выбора эмбеддера, но это уже известная база. Читаем, преисполняемся.

Фулл пайп индекса

Улучшения

Еще метрик

e2e пайп с реранком

С одной стороны рад, деды воевали заслужили, но по физике Карл!? С другой стороны как бэ и не биология и не совсем математика, а по информатике и кибернетике нет ничего..

А куда бы вы определили этих ребят в рамках доступных Нобелевской премии наук?
Пишем в комментарии.

https://www.nobelprize.org/prizes/physics/2024/press-release/

Теперь и хемоинформатика пошла.

upd. link
https://www.nobelprize.org/prizes/chemistry/2024/press-release/

OpenAI с хайпом и прорывом с ChGPT и тп. открыл год Меча и Магии в созвездии премий "около MLных" исследований ?)

upd. Ждем следующих номинантов.

Больше мемов про Нобеля седня не будет...

Наверное