Хотите разобраться, как работает o1? Советуем начать со статьи "Let’s Verify Step by Step", которую в мае 2023 выпустила команда OpenAI
Среди авторов – уже покинувшие компанию Ян Лейке, Илья Суцкевер и Джон Шульман, а подход, рассмотренный в статье – это, вероятно, модель o1 в зародыше.
Итак, речь в работе идет про улучшение мультишагового ризонинга: в частности, в ней сравнивается outcome supervision (фидбэк только на итоговый ответ) и process supervision (фидбэк после каждого шага рассуждений).
Технически, исследователи под каждый вариант трейна обучают отдельные варианты reward модели: PRMs(process reward models) и ORMs (outcome reward models) соответственно. Обучали на датасете из 800K размеченных людьми решений задач.
Итог: PRM обогнал ORM на всех тестах. Например, на MATH PRM выбил 78.2%, а ORM – 72.4%. К тому же, оказалось, что если к процессу прикрутить Active learning, то эффективность данных подскакивает в 2.6x (то есть того же результата становится возможным добиться на датасете в 2.6 раз меньше).
И самое интересное: именно в этой статье выдвигалась гипотеза о том, что большая PRM может выступать в качестве искусственного human supervision для модели поменьше. Тогда это проверили только на игрушечном тесте, но результаты получились многообещающими. Возможно, именно эта идея положила начало o1.
Оригинал статьи читаем здесь
Среди авторов – уже покинувшие компанию Ян Лейке, Илья Суцкевер и Джон Шульман, а подход, рассмотренный в статье – это, вероятно, модель o1 в зародыше.
Итак, речь в работе идет про улучшение мультишагового ризонинга: в частности, в ней сравнивается outcome supervision (фидбэк только на итоговый ответ) и process supervision (фидбэк после каждого шага рассуждений).
Технически, исследователи под каждый вариант трейна обучают отдельные варианты reward модели: PRMs(process reward models) и ORMs (outcome reward models) соответственно. Обучали на датасете из 800K размеченных людьми решений задач.
Итог: PRM обогнал ORM на всех тестах. Например, на MATH PRM выбил 78.2%, а ORM – 72.4%. К тому же, оказалось, что если к процессу прикрутить Active learning, то эффективность данных подскакивает в 2.6x (то есть того же результата становится возможным добиться на датасете в 2.6 раз меньше).
И самое интересное: именно в этой статье выдвигалась гипотеза о том, что большая PRM может выступать в качестве искусственного human supervision для модели поменьше. Тогда это проверили только на игрушечном тесте, но результаты получились многообещающими. Возможно, именно эта идея положила начало o1.
Оригинал статьи читаем здесь
👍42❤19🔥11
OpenAI просит инвесторов вообще не надеяться на прибыль до 2029 года
При этом выручка компании в 2029 достигнет $100 млрд. И прибыли не просто не будет – OpenAI уйдет в минус. В компании сообщают, что в 2026 убыток составит $14 млрд: это х3 по сравнению с убытком за 2024. И это не включая компенсацию акциями.
Кстати, в то же время валовая маржа компании по итогам 2024 будет равна примерно 41%.
Учимся правильно привлекать инвесторов
При этом выручка компании в 2029 достигнет $100 млрд. И прибыли не просто не будет – OpenAI уйдет в минус. В компании сообщают, что в 2026 убыток составит $14 млрд: это х3 по сравнению с убытком за 2024. И это не включая компенсацию акциями.
Кстати, в то же время валовая маржа компании по итогам 2024 будет равна примерно 41%.
Учимся правильно привлекать инвесторов
😁91👍21🔥12🤝4
Forwarded from XOR
Вокруг OpenAI новый скандал: Bloomberg выпустил материал о том, что OpenAI украли идею и даже название компании! По порядку:
🟢 Оказывается, существует две компании — OpenAI и Open AI. Одну создали Альтман и Брокман, другую — неизвестный прессе, но известный в Кремниевой долине Гай Равин.
🟢 Гай взял домен open.ai в марте 2015 года (до создания Альтманом OpenAI) и владеет зарегистрированным товарным знаком «Open AI», поданным в декабре того же года.
🟢 Идеей было создать открытый ИИ, конкурента DeepMind.
Поэтому Равин придумал название, которое могло бы мгновенно передать эту идеологию: Open AI.
🟢 Звучит очень знакомо, да? Дело в том, что это заявление идентично тому, которое Альтман и Брокман декларировали почти год спустя. При этом есть письменные подтверждения тому, что Гай был раньше, а не выдумал это потом.
🟢 Гай при этом искал финансирование в тех же кругах и общался с теми же людьми, с которыми потом общались OpenAI. Например, с Маском и Apple, чему тоже есть подтверждения.
🟢 Разумеется, ребята из OpenAI и Open AI познакомились, так как Гай был в шоке, когда узнал, что компания с такой же целью и даже тем же названием получила финансирование.
🟢 Равин говорит, что на личной встрече Брокман подчеркнул, что OpenAI будет работать на благо человечества. Но для Равина он вел себя так, как будто они только что запустили горячий коммерческий стартап. OpenAI посоветовала парню бросить свой проект, парень отказался.
🟢 В январе 2022 года OpenAI подала заявку на получение собственного товарного знака. Внезапно Альтман отправил электронное письмо Равину впервые с 2015 года и спросил «открыт ли ты для того, чтобы отдать домен open.ai и связанные с ним права на IP-адрес?» (не бесплатно).
🟢 Не поверите, но Равин согласился! Но сказал, что деньги ему не нужны и пусть лучше компания пожертвует их на некоммерческую академическую инициативу ИИ. Но разговор замялся.
🟢 Теперь же OpenAI подала в суд на Open AI за украденный товарный знак. 🤡
История звучит абсурдно, но прочитайте полную версию статьи и вы убедитесь сами.
«Вы не могли конкурировать с их деньгами, но вы могли бы конкурировать с идеологией. Пообещайте исследователям, что они будут создавать ИИ открыто, на благо человечества, а не для получения прибыли, и вы можете обратиться к лучшим.»
Поэтому Равин придумал название, которое могло бы мгновенно передать эту идеологию: Open AI.
История звучит абсурдно, но прочитайте полную версию статьи и вы убедитесь сами.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯131👍19👀14❤6😁5🐳1😎1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁291👍38❤16🔥7🤨4❤🔥3💯2🙈2🌚1
Вчера открылся доступ к API Grok, и уже сегодня энтузиасты прогнали модель по бенчмаркам и выяснили, что она не так уж и хороша в программировании
На тестах aider она находится где-то на уровне GPT 3.5 Turbo и проигрывает почти всем закрытым моделям.
Это довольно странные результаты, учитывая, что на LMSYS арене модель завоевала на coding лидерборде уверенное второе место. Впрочем, что бенчмарки, что арена не всегда могут отражать реальность (см., например, этот пост про то, насколько обычный маркдаун ответа влияет на мнение пользователей)
На тестах aider она находится где-то на уровне GPT 3.5 Turbo и проигрывает почти всем закрытым моделям.
Это довольно странные результаты, учитывая, что на LMSYS арене модель завоевала на coding лидерборде уверенное второе место. Впрочем, что бенчмарки, что арена не всегда могут отражать реальность (см., например, этот пост про то, насколько обычный маркдаун ответа влияет на мнение пользователей)
👍18🤔14❤6
Вау, это что, новости не о том, что из OpenAI кто-то ушел, а наоборот?
К компании присоединяется Себастьен Бубек – до этого он работал вице-президентом по генеративному ИИ в Microsoft.
Какую именно роль Бубек займет в OpenAI, пока не ясно. В Microsoft он занимался моделями из семейства Phi, для обучения которых, кстати, использовались синтетические данные, сгенерированные GPT-like модельками от OpenAI.
К компании присоединяется Себастьен Бубек – до этого он работал вице-президентом по генеративному ИИ в Microsoft.
Какую именно роль Бубек займет в OpenAI, пока не ясно. В Microsoft он занимался моделями из семейства Phi, для обучения которых, кстати, использовались синтетические данные, сгенерированные GPT-like модельками от OpenAI.
😁52👍14❤7🤔3🐳1
Google подписала со стартапом Kairos Power контракт на строительство 7 ядерных реакторов
Использоваться они будут, само собой, для питания датацентров. Целью корпорация видит дополнительные ядерные мощности примерно в 500 МВт. Сообщается, что первый реактор будет запущен в 2030, остальные созреют к 2035.
Это первая в истории подобная сделка
Использоваться они будут, само собой, для питания датацентров. Целью корпорация видит дополнительные ядерные мощности примерно в 500 МВт. Сообщается, что первый реактор будет запущен в 2030, остальные созреют к 2035.
Это первая в истории подобная сделка
🤯89👏17❤10🔥5🙈5😁3👀2👍1
Что и требовалось доказать: Роботы Optimus на мероприятии Tesla дистанционно управлялись операторами
В компании утверждают, что роботы могут двигаться и самостоятельно, но на мероприятии большинство их действий (включая того самого робота у бара и танцующих роботов) почему-то контролировали операторы. Маск об этом, конечно, не упомянул.
И еще интересный факт: изначально роботы Optimus не должны были присутствовать на меро. Маск потребовал включить их в программу всего за три недели до мероприятия.
В компании утверждают, что роботы могут двигаться и самостоятельно, но на мероприятии большинство их действий (включая того самого робота у бара и танцующих роботов) почему-то контролировали операторы. Маск об этом, конечно, не упомянул.
И еще интересный факт: изначально роботы Optimus не должны были присутствовать на меро. Маск потребовал включить их в программу всего за три недели до мероприятия.
😁81👾12❤4😐4👍2
OpenAI выяснили, влияет ли ваше имя на ответы, которые дает вам ChatGPT
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
💅60👍9👏8❤3🤯2
Опубликовали список сабмитов на ICLR 2025! Конференция пройдет в апреле в Сингапуре, но уже сейчас есть возможность ознакомиться с поданными на нее статьями.
Приятного чтения
Приятного чтения
👍28🔥8❤5
Не завидуем сотрудникам Маска: то заставляют за три недели до мероприятия внезапно добавить в программу роботов, то за 19 дней ставишь кластер на 100 000 GPU
Особенно в шоке от ситуации с кластером CEO Nvidia. По словам Хуанга, на сетап системы такого масштаба в среднем необходимо четыре года. Фантастика.
Хотели бы себе такого начальника?
Особенно в шоке от ситуации с кластером CEO Nvidia. По словам Хуанга, на сетап системы такого масштаба в среднем необходимо четыре года. Фантастика.
Хотели бы себе такого начальника?
🌚104❤21😁19😐16👍10🔥8🙈5🤗1
Интересная статья вчера оказалась на первом месте в daily papers: китайские исследователи предложили бенчмарк, в котором LLM нужно показать свою способность отличать сгенерированный контент
Бенчмарк забавно назвали LOKI, и он содержит вообще все возможные модальности: текст, картинки, видео, 3D модели, аудио. При этом все они размечены по доменам, и конечно, помечены как сгенерированные или нет.
По LOKI прогнали 22 LLM. Результат: предсказания большинства моделей близки к случайным. Но вот GPT-4o контент, сгенерированный его ИИ-братьями, различает довольно неплохо, и заметно проседает только на тексте (что немудрено, учитывая, что это модальность, которую модели генерируют лучше всего). Более-менее с текстом справляется только Claude-3.5-Sonnet, и то выбивает не более 61.5% на бинарном выборе.
Код экспериментов лежит здесь. Сам датасет обещают выложить скоро.
Бенчмарк забавно назвали LOKI, и он содержит вообще все возможные модальности: текст, картинки, видео, 3D модели, аудио. При этом все они размечены по доменам, и конечно, помечены как сгенерированные или нет.
По LOKI прогнали 22 LLM. Результат: предсказания большинства моделей близки к случайным. Но вот GPT-4o контент, сгенерированный его ИИ-братьями, различает довольно неплохо, и заметно проседает только на тексте (что немудрено, учитывая, что это модальность, которую модели генерируют лучше всего). Более-менее с текстом справляется только Claude-3.5-Sonnet, и то выбивает не более 61.5% на бинарном выборе.
Код экспериментов лежит здесь. Сам датасет обещают выложить скоро.
👍37❤11😁4🔥3
Контекст обеих – 128к токенов. В Ministral 8B добавлено специальное чередующееся скользящее окно внимания для ускорения инференса (что-то похожее на механику в Gemma-2, о которой мы писали тут). Ориентированы обе модельки, конечно, как и все LM в таких весах, на локальный запуск.
По бенчмаркам (сравнивают с весьма ограниченным количеством моделей) семейство превосходит LLama 3.1 и Gemma в соотвутсвующих размерах.
Весов для 3В не будет
Веса Ministral 8B Instruct (только для ресерча) тут
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🙈5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
«Мы последнее поколение, которое не готово к тому, что какой-то инструмент, используемый нами, окажется умнее нас» – Сэм Альтман 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
😁89💯29🤪10👍6🔥6🤔2🌚2🙈2