Андрей Карпаты как всегда лучший в аналогиях

В своем твиттере он попытался объяснить концепцию токенизации через эмоджи. Каждый токен – уникальный смайлик, и, по сути, LLM должна с нуля изучить, что все это означает, на основе статистики обучающих данных.

«Так что проявите немного сочувствия, когда в следующий раз спросите LLM, сколько букв «r» в слове «strawberry», потому что ваш запрос для модели выглядит следующим образом:
👩🏿‍❤️‍💋‍👨🏻🧔🏼🤾🏻‍♀️🙍‍♀️🧑‍🦼‍➡️🧑🏾‍🦼‍➡️🤙🏻✌🏿🈴🧙🏽‍♀️📏🙍‍♀️🧑‍🦽🧎‍♀🍏💂»

Кроме того, Андрей даже ноутбучек в колабе залил, чтобы с аналогией можно было поиграться. Вот ссылка.

Подробнее о проблемах токенизации – в этом нашем посте

Статья: как ломаются большие системы и как их траблшутить

Редко где сейчас обучают Site Reliability Engineering (SRE), то есть качественной работе с высоконагруженными системами. А зря 🦆

Такие задачи в индустрии очень востребованы (вся индустрия буквально == высоконагруженная система), и в идеальном мире каждый разработчик и программист должен быть в теме.

Нашел статью на Хабре для вкатывания. Автор – преподаватель Школы анализа данных Яндекса и руководитель Yandex Infrastructure Руслан Савченко (есть чему поучиться). В статье прикладная база: про распределенные системы, самые частые поломки, про подводные камни и то, как их побороть. Там же – ссылка на плейлист с материалами интенсива SRE-week от ШАДа, где найдете больше подробностей по теме .

Headless-AD: первая модель в In-Context Learning, которая умеет обобщаться на новые действия

Ее представили исследователи из T-Bank AI Research и AIRI на ICML 2024. Раньше ИИ-агенты умели выполнять только фиксированный набор действий, а при появлении новых требовали переобучения с нуля.

Чтобы решить эту проблему, исследователи провели несколько модификаций с Algorithm Distillation: отказались от конечного линейного слоя (отсюда название Headless-AD), внедрили кодировку действий случайными векторами и контекст, который позволяет информировать модель о доступных действиях.

Эксперименты показали, что Headless-AD способна к выполнению любой комбинации и количества действий, при этом сохраняя качество их выполнения.

Статья | Github

Орги LMSYS арены видимо получили настолько много вопросов про GPT-4o-mini, что решили дать официальный комментарий

Последние дни 4o-mini действительно как-то уж слишком высоко. Организаторы уверяют, что у них все честно, прозрачно, открытый код, часть данных тоже открыты ну и прочее.

Сегодня вот даже специально опубликовали 1к кейсов с голосом за 4o-mini и выкатили демо, в котором можно пройтись КОНКРЕТНО по 4o-mini на разных языках и скиллах. Запарились, в общем, молодцы.

На самом деле, самих организаторов арены мало кто подозревает: дело не в них, а в модели. Просто OpenAI очень сильно затюнили ее под человеческие предпочтения (вероятно, на тех же данных с LMSYS), вот и результат. Конечно, корреляция между «угодой» юзеру и реальными способностями большая, но разница между этими понятиями все-таки есть 🌚

Никто:
Абсолютно никто:
OpenAI, которые нашпинговывают модели данными с LMSYS:

Статистику давно повторяли?

Давайте немного поломаем голову над кроссвордом для любителей статистики и математики, а заодно и проверим себя. Поехали!

По горизонтали:

1. Усатый друг любого аналитика.
3. Когда нормального распределения нет, но очень хочется, надо вспомнить О НЕМ.
4. Его статистический закон также известен как "20% усилий дают 80% результата".
5. Причинно-следственная связь на языке математики.
8. Он любил проверки гипотез и ирисы.
10. С этой теоремой неразрывно дружит формула полной вероятности.
11. Стандартное отклонение выборки - это квадратный корень из __.
12. Вероятность отклонения нулевой гипотезы, если альтернативная гипотеза верна.
14. Значения признака, повторяющиеся с наибольшей частотой.
15. В законе про случайные величины их три, а в концепции управления производством – шесть.

По вертикали:

2. И в ЦПТ, и в ЗБЧ случайные величины должны быть __.
6. Относительная величина сравнения сложных совокупностей и отдельных их единиц.
7. Какое распределение используется для оценки доверительного интервала математического ожидания нормально распределенной случайной величины с неизвестной дисперсией?
9. Металлодетектор выдал сигнал тревоги, сработав на пряжку ремня. Это пример ошибки _ рода.
13. Не путайте со средним.

Ну что, сколько разгадали?

Мы и сегодняшний кроссворд