Новая аналитика от любимых Epoch AI: с 2022 Nvidia продала около 3 млн GPU H100 💵

При этом большинство продаж пришлось всего на 4 комапнии: Google, Microsoft, Meta и Amazon (не удивляйтесь, что тут нет OpenAI: они арендуют компьют у Microsoft).

При этом все перечисленные гиганты дополнительно разрабатывают собственные чипы, которые, правда, в основном не продают, а просто используют внутри компании или сдают в аренду в облаках.

На Kaggle закончилось соревнование, в котором нужно было предсказывать пользовательские предпочтения

Это именно те предпочтения, которые определяют места моделей на Арене. Кстати, Kaggle как раз и проводила соревнование вместе с LMSYS. Разборы решений победителей уже выложили на YouTube и в виде райтапа вот здесь. Что там было интересного:

⚙️ Среди используемых моделей внезапно лучше всех оказалась способна понимать человеческие предпочтения Gemma-2-9b

⚙️ Среди тех участников, кто использовал модели побольше, наиболее успешные решение получились у тех, кто использовал дистилляцию

⚙️ Многие также использовали специальные Reward/ranking модели вместо базовых или instruct: они оказывались эффективнее

⚙️ Псевдо-лейбелинг снова показал себя как главный инструмент победителей

⚙️ Выигрышной стратегией оказалось усреднение оценок нескольких LoRA

Вот так как-то, принимаем к сведению 🔑

OpenAI снова выпустили новый открытый бенчмарк: его назвали MLE-bench

Бенчмарк, как можно догадаться из названия, проверяет, насколько хорошо ИИ справляется с задачами по ИИ 😭

Технически, исследователи взяли 75 соревнований с Kaggle, прогнали по ним агентов и сравнили результаты с человеческими бейзлайнами из лидерборда. Лучше всего на этом бенчмарке себя показала (ни за что не поверите) модель o1-preview: она в 16.9% процентах случаях вошла в тройку лидеров.

Напоминаем, что это уже второй опенсорсный бенчмарк от OpenAI за месяц. До этого они выложили MMMLU – мультиязычную версию MMLU.

Исходный код выложили здесь, а полный текст статьи – тут

Многие говорят, что LLM никогда не сможет перерасти в AGI, потому что «эти модели всего лишь предсказывают следующее слово»

Так ли это? Наткнулись на интересную цитату Ильи Суцкевера, которая может заставить переосмыслить такую позицию:

«Я попытаюсь объяснить, почему предсказание следующих слов требует глубокого понимания. Допустим, вы читаете детектив: сложная линия повествования, запутанные детали, разные герои, загадки, события. Представим последнюю страницу книги, на которой автор говорит: «преступление совершил…». Попробуйте предсказать это слово»

Think about it 🤔

Итак, главное из эссе Дарио Амодеи, CEO Anthropic:

⚪️ Powerful AI (не AGI, обратите внимание) появится примерно в 2026. В понимании Дарио Powerful AI – это ИИ, который умнее лауреата Нобелевской премии по биологии и инженерии, который может доказывать не доказанные человечеством теоремы, писать очень хорошие романы и управлять любым ПО и оборудованием.

⚪️ По мнению Амодеи, многие ИИ-компании (пальцем он не показывает, но все все поняли) переоценивают возможности своих технологий. Даже лучший ИИ сегодня все еще не может «думать». Модели по-прежнему не столько рассуждают, сколько воспроизводят закономерности, которые наблюдали в трейне.

⚪️ В течение следующих 7–12 лет ИИ может помочь найти лекарство от рака, почти всех инфекционных заболеваний, генетических расстройств и болезни Альцгеймера. А в течение 5–10 лет ИИ уже будет способен вылечить депрессию, шизофрению, наркоманию и даже совершенствовать человеческий мозг.

⚪️ В итоге средняя продолжительность жизни человека удвоится и достигнет 150 лет. «Мой основной прогноз заключается в том, что биология и медицина с поддержкой ИИ позволят нам сжать прогресс, которого биологи-люди достигли бы за следующие 50–100 лет, до 5–10 лет».

⚪️ Что касается экономики и социума: ИИ может решить проблему голода в мире, переломить ход изменения климата, кратно увеличить ВВП на душу населения, снизить предвзятость в правовой системе. Опасностей ИИ Дарио касается совсем вкратце, и говорит, что основной трудностью для человечества будет переосмысление экономики в новых реалиях.

Напоминаем, что в оригинале эссе можно прочитать здесь

Ученые из университетов Женевы и Эдинбурга вместе с Microsoft разработали модель, генерирующую CS:GO в реальном времени

Вот демо: можно попробовать побегать самостоятельно. Видео генерируется исходя из ваших действий – поворотов, прыжков, выстрелов.

Сама модель называется DIAMOND (DIffusion As a Model Of eNvironment Dreams) – внутри у нее RL агент, обученный в полностью сгенерированной диффузией модели мира. Вот страничка соответствующей статьи.

Весь код, кстати, тоже в опенсорсе, так что можно такую CS’ку и локально запустить 😎

⚙️ Там наконец-то открыли доступ к API Grok-2 и Grok-2 mini

Контекст 33К токенов, цены: $4.2 / M input, $6.9 / M output. Цена на инпут несколько завышена (для сравнения на последнюю gpt-4o это $2.50 / M input, а на Claude 3.5 Sonnet – $3 / M), зато на аутпут наоборот ниже обычного (для gpt-4o цена на output составляет $10.00 / M output, на Sonnet – $15 / M)