Gemma специально натаскана на то, чтобы выбить больший скор на LMSYS арене?

В Твиттере заметили, что в тех.отчете упоминается, что модель тюнилась специально на датасете LMSYS-chat-1M. Твит набрал кучу просмотров и комментариев, пользователи шутят, что это "тестирование на трейне".

Однако на самом деле все не так, как выглядит. Во-первых, в отчете явно указано, что из датасета использовались только вопросы, но не ответы, так что это похоже скорее на выравнивание распределения, а не на попытку во что бы то ни стало выбить скор побольше.

Ну и наконец в мире борьбы за ЛЮБЫЕ данные очевидно, что Google не последние, и уж тем более не первые, кто воспользовались LMSYS-chat-1M. К тому же, датасет публичный, для чего же еще он нужен, как не для обучения моделей?

В общем, наезд не засчитан

Основано на реальных событиях из жизни админа

Как считаете, так и было задумано?

На LMSYS арене появилась новая категория рейтинга – «многошаговые» разговоры

Проверяется способность модели не просто ответить на вопрос, а разумно поддерживать долгий диалог.

В этом рейтинге Claude 3.5 сравнялся с GPT-4o и делит с ним 1 место! Лучшими открытыми моделями стали Gemma-2-27B и Llama-3-70B, они на 10 месте.

Кстати, в главном рейтинге Gemma-2-27B обогнала ламу и стала лучшей опенсорс моделью.

Миллионы лет эволюции, открытие законов физики, изобретение электричества, перфокарты, первые компьютеры, перцептрон, сверточные нейросети, механизм внимания, диффузия и visual трансформеры …

… чтобы мы получили это:

Фиксируем: по данным опроса, 76% сотрудников NVIDIA миллионеры, при этом почти 37% зарабатывают более 20 миллионов.

Вы знаете, куда в следующий раз подавать резюме

Искусственные нейроны? А может лучше искусственный ДНК?

Разработчик запилил репозиторий с ДНК-подобным обучением. На языке ML это означает, что там нет ни лосса, ни градиентов, ни оптимизатора.

«Менее 1% биомассы всей жизни - это организмы, которые имеют какие-либо нейроны. Это означает, что более 99% всей жизни учится только с помощью репликации ДНК + мутации. Тем не менее, ни одна современная техника ML не настроена на это. Это должно измениться» – написал он.

В репе примерно 300 строк кода, который имплементирует игрока в крестики-нолики. По графикам сходится хорошо, учится быстро.

В общем, не теряйте, мы ушли разбираться в коде и играться

Тем временем админ: 🫷🏿😐🫸🏻

Зацените: это шесть огромных вентиляторов, которые только что установила Tesla в Техасе.

Они будут охлаждать дата-центр стоимостью $2 млрд: 50к единиц GPU Nvidia и собственное железо Tesla.

Выглядит как прототип новой nvidia RTX 5090,000,000

Обновленный EAGLE для ускорения инференса уже здесь

Первый EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) работал примерно так: вместо того чтобы генерировать текст последовательно, метод сразу создает несколько черновиков продолжения. Затем из дерева черновиков выбираются лучшие, что позволяет ускорить генерацию.

EAGLE-2 улучшает этот процесс, используя вероятности (confidence scores) черновиков для оценки их качества, учитывая контекст.

В результате с EAGLE-2 можно генерировать ответы языковых моделей на двух видеокартах RTX 3060 (~$600) быстрее, чем на более продвинутой A100 (~$10k).

Доступно демо, статья и код

– Только не списывай точь-в-точь
– Ладно ✨✨✨

Меньше данных -> лучше модель

Нет, мы ничего не перепутали. Исследование, проведенное исследователями из MIT, доказывает, что у нас есть все шансы ускорить и облегчить обучение LLM за счет изящной обработки обучающей выборки.

Исследователи предложили метод под названием "perplexity-based data pruning". Сначала берется крохотная модель, задача которой – выбрать самые полезные кусочки из датасета, оценив перплексию каждого семпла. Перплексия – это мера того, насколько «удивлена» модель данным примером. Получается, чем эта метрика больше, тем более информативный кусочек попался.

И... сюрприз: далее обучая уже большую взрослую модель на таких обрезанных данных, мы получаем лучшие результаты, чем когда обучаем на исходном наборе, который в 30 раз больше.

Минус один: эксперименты показали, что метод нужно адаптировать под каждый отдельный датасет. Несмотря на это, работа сделала еще один шаг к тому, чтобы сокращение данных наконец стало стандартной частью обучения моделей.

Это шедевр: известное австралийское медиа, которое снимает колкую политическую сатиру, опубликовало видео про ИИ

В ролике пародийный ИИ-ассистент GovGPT, "сделанный компанией ClosedAI", с сарказмом и пасхалками прожаривает тех-гигантов и отвечает на вопрос "Будет ли SkyNet?".

Ничего лучше вы сегодня не увидите

Anthropic готовы профинансировать создание новых качественных ИИ-бенчмарков

Очень многие исследователи уже не раз упоминали, что существующие бенчмарки не отражают реальные "человеческие" способности моделей, а лишь проверяют умение решать отдельные задачи. Чтобы понимать, насколько наши модели на самом деле умные и подходят пользователю, нам нужны новые продвинутые бенчмарки.

Над этой проблемой работают ресерчеры из Google, Meta и других компаний, а теперь вот и Anthropic приобщились. Они, как истинные пионеры в alignment'е, больше всего мечтаю получить сложные тесты, направленные на проверку безопасности сетки. Однако бенчмарки, хорошо оценивающие общий перформанс, тоже готовы проспонсировать.

Получить финансирование может как организация, так и отдельные исследователи, так что если знаете, как распознать AGI – вот форма подачи заявки.

Нашли классный конспект по классическому машинному обучению.

Это 75 страниц базовой базы с красивым оформлением и на русском языке. Из тем: регрессия, классификация, кластеризация, деревья и ансамбли. Идеально подойдет для подготовки перед собесом или экзаменом.