😧 Новая модель от OpenAI или "Ой, куда я жмал"

Каким-то образом пресса умудрилась выпустить новости о релизе новой модели от OpenAI без каких-либо официальных подтверждений от самой компании. По всеобщим догадкам получилось это случайно, из-за обычной невнимательности с часовыми поясами.

Говорят, что выйдет легкая и быстрая младшая сестра gpt-4o, которая заменит gpt-3.5-turbo. gpt-4o-mini поначалу будет только текстовой, но мультимодальность однажды тоже завезут.

Не верить таким крупным издательствам повода нет, да и на арене на днях была замечена некая upcoming-gpt-mini. В стиле OpenAI это скорее всего и был тест gpt-4o-mini. Так что с нетерпением ждем новостей.

Иии... вышла gpt-4o-mini !

Вот официальный анонс. Основное:

▪️ Модель дешевая: цена составляет 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов. Это на 60% дешевле GPT-3.5 Turbo. Все благодаря токенизатору и легковесности.

▪️ Обучена на данных до октября 2023, имеет контекст 128к токенов и поддерживает выходы до 16к токенов.

▪️ Прирост относительно GPT-3.5 Turbo особенно хорошо виден на MGSM, MATH и HumanEval, то есть на математике и программировании.

▪️ Среди других моделей уступает только старшему братику GPT-4o.

▪️ Пользователи Free, Plus и Team уже могут пользоваться GPT-4o mini вместо GPT-3.5. API уже поддерживает текст и vision. В чат мультимодальность тоже завезут, но когда – непонятно.

Ну, погнали пробовать?

⚙️ Apple задает жару: только что они выпустили новую модель DCLM 7B и опенсорснули ее всю, от данных до весов

MMLU 0.6372. Это больше, чем Mistral, но меньше, чем Llama3. Обучена только на открытых данных: DCLM-BASELINE, StarCoder, ProofPile2. Всего видела 2.5Т токенов. Контекст – 2048.

Метриками не блещет, да, зато открытый датасет – это хорошая новость. Код на PyTorch. Уже доступно на HF и в Transformers.

Модель | Код | Датасет | Статья

Слышали о Мише Ласкине из DeepMind? У него там классное интервью вышло

Ласкин родился в России, эмигрировал в США, работал над Gemini и AlphaGo в DeepMind, а сейчас является CEO и ко-фаундером ReflectionAI.

Так вот. На днях вышло его интервью про развитие ИИ, его опыт, компанию и пр. Интересное:

➡️Миша верит, что до AGI примерно три года, сейчас технология развивается пугающе быстро

➡️Текущие языковые модели достаточно широкие и общие с точки зрения знаний, но глубины рассуждений им не хватает. Глубина агентов – основная цель ReflectionAI

➡️Оптимальный путь создания AGI — сочетание обучения на большом количестве данных с обучением с подкреплением, как это было сделано с AlphaGo. Сейчас, по мнению Ласкина, RL уделяют недостаточно внимания

➡️В частности нерешенной фундаментальной проблемой RLHF в текущих моделях является получение робастных универсальных reward моделей

➡️Еще одна недостаточно изученная область – интерпретируемость моделей. «Понимание теоретических принципов, лежащих в основе их возможностей, похоже на физику конца 1800-х годов» - сказал ученый.

Ссылка на полное интервью

Очередной скандал с данными для обучения

Что объединяет Mr.Beast, The Wall Street Journal и Гарвард? У них всех «украли» видео для обучения моделек. К такому выводу пришли журналисты из Wired и Proof News.

А дело вот в чем: есть такой открытый датасет под названием The Pile. К нему и раньше были вопросы из-за большого количества мата, религиозных и расовых оскорблений и пр. А сейчас выяснилось, что он еще и содержит субтитры более 170к роликов с 48 тысяч YouTube каналов. Это, естественно, полное нарушение правил платформы.

Однако обвиняют во всем все равно корпорации: Apple, Nvidia, Anthropic и др. Те даже не пытались скрыть, что используют Pile, и явно ссылались на него в статьях, ведь это (еще раз) открытый датасет.

Anthropic, кстати, журналистам так и сказали, мол: «Ну и предъявляйте создателям Pile, мы то что нарушили?». Остальные компании и вовсе воздержались от комментариев.

Ну и вообще, использование субтитров с YouTube для обучения уже ни для кого не новость. Еще давно выяснилось, что OpenAI и Google транскрибируют видео и даже разрабатывают для этого специальные инструменты (почитайте этот наш пост).

А Proof News, кстати, даже инструмент выкатили для проверки того, не используют ли ваш канал для ИИ. Проверьте, вдруг повезло 😂

⚪️ Японские СМИ выражают опасения по поводу LLM. Они говорят, что это «зайцы» в мире СМИ, которые используют контент с сайтов и не генерируют значительного ответного трафика.

Особенно бизнес-моделям сайтов, по их мнению, вредят Perplexity-подобные системы, однако они хотя бы указывают источник. Журналистам удалось доказать, что GPT, например, на некоторые вопросы отвечает чуть ли не дословными отрывками из новостных статей (конечно, без ссылок на источник).

Согласны, обидно получается