Как сделать SOTA RAG?

Самые продвинутые RAG сегодня уже умеют:

▪️ Обрабатывать мультимодальные документы и выдавать мультимодальные ответы;
▪️ Распределять нагрузку по разным моделям в зависимости от сложности инпута. Это называется LLM routing;
▪️ Работать мультиязычно. Это значит, что запрос может быть на одном языке, документы на втором, а выходы на третьем;
▪️ Повышать качество ответов с помощью пост-проверок;
▪️ Ну и конечно дообучаться на фидбеке с продакшена.

Из недавнего можно обратить внимание на хорошую работу от Google под названием Speculative RAG. Вышла буквально несколько дней назад. Там у них подход такой:

Берем несколько маленьких дистиллированных моделей, которые параллельно генерят нам драфты (каждая из отдельного подмножества документов). Затем за один проход по этим черновикам более крупная модель собирает саммари.

Получается своеобразный Mixture of Experts или мультиагентный подход. Преимуществ получается несколько. Во-первых, так как контекст на каждую маленькую модельку уменьшается, то и информации теряется меньше. Во-вторых, никакой документ не будет проигнорирован из-за его положения в контексте + мы как бы генерируем разные точки зрения. Ну и в-третьих, это просто быстрее.

Точность относительно других систем выше на 13%, а задержка меньше в половину. Короче, Google как всегда молодцы, а статья мастрид.

⚡️ Новая статья от OpenAI: Prover-Verifier Games improve legibility of language model outputs

Проблема: по мере оптимизации моделей те начинают отвечать правильнее, но вылезает другая неприятность. Понимать их рассуждения становится сложнее. Другими словами, выходы становятся менее "разборчивыми". Особенно это нехорошо для всякой математики или других точных областей знаний.

Исследователи из OpenAI заметили это и предложили интересное решение в виде своеобразной ролевой игры. У нас есть два игрока: «prover», который генерирует решение, и «verifier», проверяющий его.

Суть вот в чем: prover – это сильная рабочая модель, а verifier – слабая маленькая моделька (видимо олицетворяющая человека 😄 ). Prover должен генерировать такой ответ, чтобы verifier смог его легко понять и оценить, и при этом ответ еще и должен быть правильный. Таким образом получается Trade-Off между перформансом и разборчивостью.

Вообще, статья достаточно приятная и легко читается. Вот здесь краткий блогпост, а вот тут папира полностью.

⚡️ Nvidia переходит на опенсорс ядра для GPU. Об этом компания сообщила в своем блоге. Следующий выпуск драйвера R560 уже будет с открытым исходным кодом.

Вот это новости, которые мы заслужили

😧 Новая модель от OpenAI или "Ой, куда я жмал"

Каким-то образом пресса умудрилась выпустить новости о релизе новой модели от OpenAI без каких-либо официальных подтверждений от самой компании. По всеобщим догадкам получилось это случайно, из-за обычной невнимательности с часовыми поясами.

Говорят, что выйдет легкая и быстрая младшая сестра gpt-4o, которая заменит gpt-3.5-turbo. gpt-4o-mini поначалу будет только текстовой, но мультимодальность однажды тоже завезут.

Не верить таким крупным издательствам повода нет, да и на арене на днях была замечена некая upcoming-gpt-mini. В стиле OpenAI это скорее всего и был тест gpt-4o-mini. Так что с нетерпением ждем новостей.

Иии... вышла gpt-4o-mini !

Вот официальный анонс. Основное:

▪️ Модель дешевая: цена составляет 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов. Это на 60% дешевле GPT-3.5 Turbo. Все благодаря токенизатору и легковесности.

▪️ Обучена на данных до октября 2023, имеет контекст 128к токенов и поддерживает выходы до 16к токенов.

▪️ Прирост относительно GPT-3.5 Turbo особенно хорошо виден на MGSM, MATH и HumanEval, то есть на математике и программировании.

▪️ Среди других моделей уступает только старшему братику GPT-4o.

▪️ Пользователи Free, Plus и Team уже могут пользоваться GPT-4o mini вместо GPT-3.5. API уже поддерживает текст и vision. В чат мультимодальность тоже завезут, но когда – непонятно.

Ну, погнали пробовать?

⚙️ Apple задает жару: только что они выпустили новую модель DCLM 7B и опенсорснули ее всю, от данных до весов

MMLU 0.6372. Это больше, чем Mistral, но меньше, чем Llama3. Обучена только на открытых данных: DCLM-BASELINE, StarCoder, ProofPile2. Всего видела 2.5Т токенов. Контекст – 2048.

Метриками не блещет, да, зато открытый датасет – это хорошая новость. Код на PyTorch. Уже доступно на HF и в Transformers.

Модель | Код | Датасет | Статья

Слышали о Мише Ласкине из DeepMind? У него там классное интервью вышло

Ласкин родился в России, эмигрировал в США, работал над Gemini и AlphaGo в DeepMind, а сейчас является CEO и ко-фаундером ReflectionAI.

Так вот. На днях вышло его интервью про развитие ИИ, его опыт, компанию и пр. Интересное:

➡️Миша верит, что до AGI примерно три года, сейчас технология развивается пугающе быстро

➡️Текущие языковые модели достаточно широкие и общие с точки зрения знаний, но глубины рассуждений им не хватает. Глубина агентов – основная цель ReflectionAI

➡️Оптимальный путь создания AGI — сочетание обучения на большом количестве данных с обучением с подкреплением, как это было сделано с AlphaGo. Сейчас, по мнению Ласкина, RL уделяют недостаточно внимания

➡️В частности нерешенной фундаментальной проблемой RLHF в текущих моделях является получение робастных универсальных reward моделей

➡️Еще одна недостаточно изученная область – интерпретируемость моделей. «Понимание теоретических принципов, лежащих в основе их возможностей, похоже на физику конца 1800-х годов» - сказал ученый.

Ссылка на полное интервью

Очередной скандал с данными для обучения

Что объединяет Mr.Beast, The Wall Street Journal и Гарвард? У них всех «украли» видео для обучения моделек. К такому выводу пришли журналисты из Wired и Proof News.

А дело вот в чем: есть такой открытый датасет под названием The Pile. К нему и раньше были вопросы из-за большого количества мата, религиозных и расовых оскорблений и пр. А сейчас выяснилось, что он еще и содержит субтитры более 170к роликов с 48 тысяч YouTube каналов. Это, естественно, полное нарушение правил платформы.

Однако обвиняют во всем все равно корпорации: Apple, Nvidia, Anthropic и др. Те даже не пытались скрыть, что используют Pile, и явно ссылались на него в статьях, ведь это (еще раз) открытый датасет.

Anthropic, кстати, журналистам так и сказали, мол: «Ну и предъявляйте создателям Pile, мы то что нарушили?». Остальные компании и вовсе воздержались от комментариев.

Ну и вообще, использование субтитров с YouTube для обучения уже ни для кого не новость. Еще давно выяснилось, что OpenAI и Google транскрибируют видео и даже разрабатывают для этого специальные инструменты (почитайте этот наш пост).

А Proof News, кстати, даже инструмент выкатили для проверки того, не используют ли ваш канал для ИИ. Проверьте, вдруг повезло 😂