⚪️ Японские СМИ выражают опасения по поводу LLM. Они говорят, что это «зайцы» в мире СМИ, которые используют контент с сайтов и не генерируют значительного ответного трафика.

Особенно бизнес-моделям сайтов, по их мнению, вредят Perplexity-подобные системы, однако они хотя бы указывают источник. Журналистам удалось доказать, что GPT, например, на некоторые вопросы отвечает чуть ли не дословными отрывками из новостных статей (конечно, без ссылок на источник).

Согласны, обидно получается

⚡️ Llama 3 на 400B слили на день раньше

Все, как всегда, благодаря 4chan. Правда весит все чудо 820GB 😝

В интернете уже есть ссылки на торенты. Пару часов назад модель также была замечена на HF под именем miqu2, но сейчас оттуда ее уже почистили.

⚡️ Breaking! Llama 3.1 405B будет новой SOTA

Как вы помните, вчера модель слили на 4chan. А ночью в сеть просочились и бенчмарки. Выглядит очень сочно, на многих тестах моделька обгоняет даже взрослую GPT-4o.

Вместе с llama 3.1 на 405В параметров выходят 3.1 на 70В и на 8В. Посмотрите в таблице, какой у них мощный прирост относительно обычных троек на то же количество параметров. Есть предположение, что это получилось потому что это не дотренированные или дотюненные с нуля модели, а дестилляции моделей покрупнее.

То есть ученые не сразу обучили модель с 70В или 8В параметрами, а обучили модель с Х параметрами, где Х>>8/70В, а потом провели дистилляцию. Очень интересный подход.

Кажется, у нас наконец будет опенсорс уровня GPT-4o 🥳

🔥 Такое любим: обновление Google Colab с интерактивными таблицами

В Colab наконец-то добавили функцию InteractiveSheet, с помощью которой можно создавать и редактировать таблицы прямо в ноутбуке.

Идеально для анализа или просто экспорта результатов.

А вот это круто: Яндекс открывает аспирантуру по искусственному интеллекту

В стиле ИТ-компании все будет практико-ориентировано. Чтобы наука и продукт жили дружно, у студентов будут одновременно руководители из вузов и самого Яндекса. А еще каждый аспирант будет получать… гранты по 800к в год. Кто там говорил про бедных студентов? 🤑

Первый набор начнет учиться этой осенью. Среди партнеров уже НИУ ВШЭ и ИТМО, и компания обещает кратно увеличить их число. Из Яндекса подключатся лиды из беспилотных авто и Yandex Cloud. Задачи будут соответствующие: придумывать способы адаптации YandexGPT, улучшать LLM, повышать безопасность автономного транспорта и другой экшен.

За 3-4 года будет даже возможность скататься на стажировки в зарубежные лабы и университеты + поучаствовать в А* конференциях.

В общем, респект 🫡

Еще несколько интересных технических деталей из статьи Llama 3.1:

➡️ Неожиданно раскрылись детали того, почему обучение сетки дважды прерывали. В статье детально описывается топология кластера из 24к H100. Оказывается, в первый раз обучение прервали из-за того, что 148 из них вышли из строя на ранней стадии предобучения. Во второй раз просто сервер отказал ❤️‍🔥

➡️ С данными тоже забавно: несколько раз их корректировали прямо во время предобучения, чтобы повысить перформанс. Разработчики также полностью отказались от переведенных данных. Вместо этого, чтобы собрать достаточно промптов для тюнинга моделей по определенным скиллам (в частности по математике), они провели масштабный краудсорсинг с экспертами. Теперь понятно, на что ушли сотни миллионов...

➡️ В статье также много интересного про пост-трейнинг с RL. Самое захватывающее: они обнаружили, что даже для моделей с длинным контекстом в DPO при дообучении достаточно использовать только short context data. Это своего рода прорыв. Общая схема пост-обучения на картинке.

К слову про RL: если взглянуть на сравнения по человеческим предпочтениям, то Llama 3.1 сильно уступает GPT-4o. Однако судя по всему OpenAI просто ОЧЕНЬ сильно натаскали свое детище на LMSYS, а значит эти результаты не означают лучший перформанс на реалворлд задачах.

У Цукерберга тем временем вышло новое интервью (видимо в честь релиза модельки). Некоторые занятные мысли бизнесмена оттуда:

➡️В будущем у нас будет не один ИИ-бог (то есть сверхмодель), а миллиарды ИИ-агентов, которые будут версиями нас самих

➡️Скорее всего, таких агентов будет даже больше, чем людей: художники, предприниматели и бизнес будут создавать сразу много моделей, которые будут взаимодействовать с миром от их лица

➡️Альтман, конечно, заслуживает огромного уважения за его заслуги, но «немного иронично» иметь компанию под названием OpenAI и выпускать закрытые модели 🔵

➡️ У Meta уже есть настроенный вычислительный кластер, некоторые данные и архитектура, а также прямо сейчас они проводят эксперименты для того, чтобы максимально увеличить время обучения их следующей модели — Llama 4

➡️Мы все еще должны отличать человека от интеллекта, загруженного в облако, ведь личностью нас делают не только мысли, но и такие вещи, как энергия и любовь 🥹

🇫🇷 Mistral разбавляет Llama-повестку дня своей новой моделью

Да-да, еще и дня не прошло с релиза прошлой громкой LLMки, а вот уже и новая подоспела. У свежей Large 2 от французов 123B параметров, контекст как у новой ламы (128к), опенсорс.

Особенно выделяется в математике и программировании. В целом, не SOTA, конечно, но свое почетное место займет. Вот веса на HF.

Видимо, скоро придется вообще из новостей не вылезать, чтобы за всем уследить 😅

OpenAI грозит финансовый крах?

По данным нового отчета The Information, в 2024 компания может потерять до 5 миллиардов долларов. По данным их инсайдеров, по состоянию на март этого года OpenAI уже потратила почти $4 миллиарда на аренду серверов.

Плюсом к этому идут затраты на обучение (по оценкам, $3 млрд). Кстати, в начале года на это планировалось потратить всего $800 млн, но что-то пошло не по плану.

+ Зарплаты, которые составляют примерно $1.5 млрд. Учитывая, что общая выручка оценивается примерно в $4 млрд, несложная математика указывает на огромный дефицит. Похоже, Microsoft опять пора готовиться расчехлять кошелек.

Когда у тебя почти самый быстрорастущий бизнес в истории, а денег все равно нет 🔵

В продолжении утреннего поста о возможном финансовом крахе OpenAI. Мы заинтересовались и собрали по сети еще несколько свежих артефактов о рынке. Оцените сами:

⚪️ Bloomberg отметил в статье, что инвесторы не уверены, что вложения компаний в ИИ смогут быстро окупиться.
⚪️ Материнская компания Google – Alphabet – превзошла ожидания аналитиков по прибыли, но трейдеры все же негативно восприняли рост капиталовложений Alphabet. На фоне общей картины рынок акций США резко обвалился, падение S&P 500 и Nasdaq стало максимальным с 2022г.
⚪️ Многие стартапы уходят с рынка из-за маленькой возможности роста и дороговизны разработки, из недавнего например: сервис бывшего ML-разработчика Google — CreatorML. Из-за высокой стоимости разработки и поддержки сервиса сервис пришлось закрыть.

Верим в рынок или все-таки пузырь? 😭