Так-так: кажется, OpenAI больше не хочет делиться деньгами с Microsoft 💸
The Information пишет, что после реструктуризации OpenAI планирует сократить долю выручки, которую делит с Microsoft.
Сейчас это 20%, и договор действителен до 2030 года. Но уже сейчас OpenAI говорит потенциальным инвесторам о том, что дальше они планируют делиться не более чем 10 процентами.
Microsoft пока ситуацию не комментируют (ну еще бы)
The Information пишет, что после реструктуризации OpenAI планирует сократить долю выручки, которую делит с Microsoft.
Сейчас это 20%, и договор действителен до 2030 года. Но уже сейчас OpenAI говорит потенциальным инвесторам о том, что дальше они планируют делиться не более чем 10 процентами.
Microsoft пока ситуацию не комментируют (ну еще бы)
Please open Telegram to view this post
VIEW IN TELEGRAM
😁105❤11🤝5🤔4🔥1
Вышла новая модель от Mistral – Mistral Medium 3. Что надо знать:
➖ Не опенсорс 😞
➖ Зато отличное соотношение цена/качество. Цены: $0,4/M и $2/М. Это в разы дешевле многих передовых моделей. Например, в 8 раз дешевле Sonnet.
➖ По бенчмаркам соответствует Sonnet 3.7 и GPT-4o. На математике даже круче.
➖ Мультимодальность есть
➖ Контекст 128к токенов
В целом, отличный уровень. Кстати, одновременно стартап показал новую версию своего чат-бота Le Chat для бизнеса. Туда добавили больше фичей с инструментами, веб-поиск, агента программиста и возможность интеграции любых источников данных компании.
В целом, отличный уровень. Кстати, одновременно стартап показал новую версию своего чат-бота Le Chat для бизнеса. Туда добавили больше фичей с инструментами, веб-поиск, агента программиста и возможность интеграции любых источников данных компании.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥55👍31❤10😁2🎉2🤔1
Сэм Альтман и Грег Брокман поделились первыми фото с масштабной стройки одного из датацентров проекта Stargate.
Альтман пишет, что это будет самый мощный вычислительный ИИ-кластер в мире🔵
Альтман пишет, что это будет самый мощный вычислительный ИИ-кластер в мире
Please open Telegram to view this post
VIEW IN TELEGRAM
👍100🔥41😁21❤11🤔5🤯2👌1
Разбираем новую громкую статью «Absolute Zero Reasoner» про то, как дообучить модель вообще без данных
Сейчас в рисерче наблюдается яркий тренд на максимальное сокращение количества данных для дообучения. Совсем недавно хайповала работа, в которой проводили RL для ризонинга всего на одном примере.
А сейчас ученые вообще предложили способ полностью перейти на самогенерируемое обучение. То есть модель сама разрабатывает для себя учебную программу и задачи, решает их, проверяет и учится. Подробнее:
➖ У нас есть LLM, которую мы хотим дообучить. Но теперь она будет играть сразу две роли: Proposer и Solver. Proposer генерирует новые задачи, а Solver их решает.
➖ Так как роли две, обучается модель тоже "с двух сторон", то есть мы даем ревард как за решения, так и за сами задачи. r_solve – обычная бинарная награда за правильный ответ (решил - 1, не решил - 0). А вот r_propose – обучаемая награда, то есть она динамически зависит от того, насколько у солвера хорошо или плохо получается решать сгенерированные задачи. Цель тут – генерировать задачи средней сложности, не сильно простые, и не слишком хардовые.
➖ Обучается все с помощью Task-Relative REINFORCE++. Это авторская модификация PPO для учёта разных «задача + роль» конфигураций. Схемы обучения обеих ролей остаются полностью симметричными, но зато можно отдельно контролировать лернинг рейты или бейзлайны.
В статье подход реализовывали только на задачах по программированию, чтобы ответы можно было проверять просто в интерпретаторе, без человеческой разметки. За основу брали Qwen2.5, и полученный AZR-Coder-7B показывает относительно базовой модели и других подходов очень неплохие приросты.
От ванильного RL почти не отстает, а участие человека сведено к минимуму. При этом и другие приятные плюшки RL сохраняются. Например, видны кросс-доменные приросты метрик по математике (хотя, повторимся, обучали все только на кодинге).
Почитать полностью советуем здесь
Сейчас в рисерче наблюдается яркий тренд на максимальное сокращение количества данных для дообучения. Совсем недавно хайповала работа, в которой проводили RL для ризонинга всего на одном примере.
А сейчас ученые вообще предложили способ полностью перейти на самогенерируемое обучение. То есть модель сама разрабатывает для себя учебную программу и задачи, решает их, проверяет и учится. Подробнее:
В статье подход реализовывали только на задачах по программированию, чтобы ответы можно было проверять просто в интерпретаторе, без человеческой разметки. За основу брали Qwen2.5, и полученный AZR-Coder-7B показывает относительно базовой модели и других подходов очень неплохие приросты.
От ванильного RL почти не отстает, а участие человека сведено к минимуму. При этом и другие приятные плюшки RL сохраняются. Например, видны кросс-доменные приросты метрик по математике (хотя, повторимся, обучали все только на кодинге).
Почитать полностью советуем здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤89🔥39🤯28👍20👾1
This media is not supported in your browser
VIEW IN TELEGRAM
В Deep Research в ChatGPT добавили возможность интеграции GitHub
То есть теперь можно присоединить к боту определенный репозиторий и задать по нему любой вопрос. Модель уйдет на несколько минут искать ответ, а после вернется с большим отчетом.
Репорт, который будет отдавать модель, выглядит примерно так, то есть развернутое объяснение со ссылками на конкретные места в коде. Здорово, кстати, что ссылки – это значит именно переадрессация на определенные строки кода на гитхабе, а не просто скопированный в чат кусок файла. Так намного удобнее ориентироваться.
Фичу раскатят на всех платных пользователей в ближайшие дни 🍯
То есть теперь можно присоединить к боту определенный репозиторий и задать по нему любой вопрос. Модель уйдет на несколько минут искать ответ, а после вернется с большим отчетом.
Репорт, который будет отдавать модель, выглядит примерно так, то есть развернутое объяснение со ссылками на конкретные места в коде. Здорово, кстати, что ссылки – это значит именно переадрессация на определенные строки кода на гитхабе, а не просто скопированный в чат кусок файла. Так намного удобнее ориентироваться.
Фичу раскатят на всех платных пользователей в ближайшие дни 🍯
👍116🔥41❤22🫡9
Media is too big
VIEW IN TELEGRAM
«Сложно сказать, насколько мы еще опережаем Китай. Я думаю, ненамного»
В сенате США вчера проводили слушание по вопросу укрепления позиций Америки в ИИ-гонке. В качестве свидетелей приглашали несколько представителей индустрии, в том числе Альтмана. Собрали интересные цитаты:
Если вдруг захотите посмотреть все 3 часа слушания, вот запись😶
В сенате США вчера проводили слушание по вопросу укрепления позиций Америки в ИИ-гонке. В качестве свидетелей приглашали несколько представителей индустрии, в том числе Альтмана. Собрали интересные цитаты:
➖ Мы убеждены, что OpenAI обладает лучшими моделями в мире. Тем не менее, очень сложно сказать, насколько мы опережаем Китай, но я бы сказал… ненамного.➖ DeepSeek добился двух впечатляющих результатов: сильная опенсорс модель и приложение, которое в какой-то момент стало более скачиваемым, чем ChatGPT. Пока что DeepSeek не обогнал ChatGPT в качестве потребительского ИИ по умолчанию, но если бы это случилось, это было бы… плохо.➖ В конечном итоге стоимость ИИ сравняется со стоимостью энергии. Роботы могут создавать чипы, оптимизировать сети, но электрон есть электрон. В конечном итоге интеллект будет масштабироваться настолько, насколько это позволит сеть.➖ Скоро в истории человечества произойдут большие перемены. Эти системы способны на вещи, которые мы даже не можем себе представить. (Да, куда же без высказываний в стиле «да не маркетинг это» )
Если вдруг захотите посмотреть все 3 часа слушания, вот запись
Please open Telegram to view this post
VIEW IN TELEGRAM
😁111👍70❤10🤯5🕊4
ByteDance выпустили Seed-Coder-8B – мини-модель для кодинга, по качеству превосходящую Sonnet 3.7 и o1-mini
Модель вышла в трех версиях: Base, Instruct и Reasoning. Инстракт обходит почти все опенсорс аналоги в своем весе, а ризонинг бьет R1, o1-mini и Claude Sonnet 3.7 на IOI 2024. Контекст – 32к токенов.
В реализации хочется отметить сбор данных. Пайплайн похож на подход DeepSeek на максималках. Для чистки сырых данных (репозитории, коммиты, код из общедоступного веба) почти все ручные фильтры заменили на единый LLM-фильтр.
Для этого специально обучали небольшую модель оценивать читабельность, модульность, ясность, переиспользуемость и тд кода, а затем ее пропускали по датасету и она отбрасывала все самые "плохие" файлы. Так получилось выбросить примерно 10% датасета, то есть буквально кучу мусора.
Датасет, к сожалению, не выложили. Зато все модели в опенсорсе.
Тех.отчет | Репозиторий | Блогпост | Веса
Модель вышла в трех версиях: Base, Instruct и Reasoning. Инстракт обходит почти все опенсорс аналоги в своем весе, а ризонинг бьет R1, o1-mini и Claude Sonnet 3.7 на IOI 2024. Контекст – 32к токенов.
В реализации хочется отметить сбор данных. Пайплайн похож на подход DeepSeek на максималках. Для чистки сырых данных (репозитории, коммиты, код из общедоступного веба) почти все ручные фильтры заменили на единый LLM-фильтр.
Для этого специально обучали небольшую модель оценивать читабельность, модульность, ясность, переиспользуемость и тд кода, а затем ее пропускали по датасету и она отбрасывала все самые "плохие" файлы. Так получилось выбросить примерно 10% датасета, то есть буквально кучу мусора.
Датасет, к сожалению, не выложили. Зато все модели в опенсорсе.
Тех.отчет | Репозиторий | Блогпост | Веса
1👍127❤31🐳11🔥4😁4🤔3☃1
Fun fact: ИИ сыграл немалую роль в выборе имени нового Папы Римского
Как вы знаете, на днях в Ватикане выбрали нового Папу. Им стал 69-летний американец Роберт Фрэнсис Превост. В качестве папского псевдонима он выбрал имя Лео XIV, и неспроста.
В обращении к Коллегии Кардиналов Папа объяснил, что имя Лео отсылает к Папе Льву XIII, который управлял церковью во время начала промышленной революции. Сейчас, по его мнению, нас ждет еще одна революция, и поэтому есть некоторая аналогия между ним и Львом XIII.
Кстати, новый Папа – математик. У него степень бакалавра по математике университета Вилланова и даже несколько опубликованных статей по статистике.
Как вы знаете, на днях в Ватикане выбрали нового Папу. Им стал 69-летний американец Роберт Фрэнсис Превост. В качестве папского псевдонима он выбрал имя Лео XIV, и неспроста.
В обращении к Коллегии Кардиналов Папа объяснил, что имя Лео отсылает к Папе Льву XIII, который управлял церковью во время начала промышленной революции. Сейчас, по его мнению, нас ждет еще одна революция, и поэтому есть некоторая аналогия между ним и Львом XIII.
«В наши дни Церковь должна предлагать свое учение в ответ на еще одну промышленную революцию – появление искусственного интеллекта. Последние разработки в этой области ставят перед Церковью новые задачи по защите человеческого достоинства, справедливости и труда»
Кстати, новый Папа – математик. У него степень бакалавра по математике университета Вилланова и даже несколько опубликованных статей по статистике.
1👍223❤52🔥33❤🔥3🤔3😁2
Media is too big
VIEW IN TELEGRAM
Наткнулись тут на YouTube на речь Дженсена Хуанга в честь получения премии Эдисона
Оказывается, предприниматель выиграл ее еще в апреле, но вручение произошло только на днях. Премия Эдисона – это очень престижная награда за самые важные и влиятельные коммерческие изобретения и проекты в мире.
Ранее премию получали Стив Джобс, Илон Маск, Тед Тернер (основатель канала CNN) и другие.
Кстати, в этом году Nvidia исполняется 32 года. Но Хуанг говорит, что ключевым моментом для компании стала «ставка на ИИ, сделанная 15 лет назад».
youtu.be/j5jL5OM1hyk
Оказывается, предприниматель выиграл ее еще в апреле, но вручение произошло только на днях. Премия Эдисона – это очень престижная награда за самые важные и влиятельные коммерческие изобретения и проекты в мире.
Ранее премию получали Стив Джобс, Илон Маск, Тед Тернер (основатель канала CNN) и другие.
Кстати, в этом году Nvidia исполняется 32 года. Но Хуанг говорит, что ключевым моментом для компании стала «ставка на ИИ, сделанная 15 лет назад».
youtu.be/j5jL5OM1hyk
🔥94👍34❤22🏆3👏2
Пу-пу-пу, тот самый понедельник после майских. Чтобы немного поднять всем настроение, несем с утра приятную новость
Пока все отдыхали на шашлыках, мы с командой торопились поскорее закончить для вас кое-что особенное. И это – большой конспект по большим языковым моделям.
Внутри – все, что нужно, чтобы от А до Я понять, как работают современные LLM:
– необходимая математика
– механизм внимания и трансформеры со схемами и интуитивными примерами
– все про предобучение
– основы и алгоритмы RL + ризонинг
– ... и даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.
По секрету: работа над конспектом заняла у нас больше месяца.
500 🔥 и завтра мы выложим сюда полную pdf-версию
Пока все отдыхали на шашлыках, мы с командой торопились поскорее закончить для вас кое-что особенное. И это – большой конспект по большим языковым моделям.
Внутри – все, что нужно, чтобы от А до Я понять, как работают современные LLM:
– необходимая математика
– механизм внимания и трансформеры со схемами и интуитивными примерами
– все про предобучение
– основы и алгоритмы RL + ризонинг
– ... и даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.
По секрету: работа над конспектом заняла у нас больше месяца.
500 🔥 и завтра мы выложим сюда полную pdf-версию
947🔥1.8K❤68⚡30👍27❤🔥2🕊1
Исследователи из лабы SakanaAI предложили новую архитектуру нейросетей, вдохновленную биологическими нейронными процессами – Continuous Thought Machine
Кстати, SakanaAI – это та самая японская лаборатория, выпустившая ИИ-ученого, статья которого прошла рецензирование на ICLR воркшоп. Ну так вот⬇️
Ключевая фишка CTM (Continuous Thought Machine) в наличии тиков мыслей. Аналогия с мозгом тут в том, что человек на самом деле не получает ответы за один "проход" по нейронам, как это делается, например, в трансформерах.
Живые нейроны активны всё время, через миллисекунды после первого сигнала информация осмысливается глубже, подключаются новые области коры и тд. Это и называется "тик". В нейросетях один тик – это как бы один прямой проход. В трансформерах для получения ответа тик всегда один, а в CTM их может быть и 5, и 10, и 50. Модель сама решает, сколько ей нужно – в зависимости от сложности задачи.
При этом проходы не независимые. Для каждого нейрона мы храним историю пред- и пост-активаций, чтобы он мог «смотреть» на свою динамику на предыдущих тиках. И, кстати, нейроны в CTM тоже необычные. Здесь это не просто сумма взвешенных входов, как в большинстве моделей, а самостоятельный мини-перцептрон (MLP). Все это тоже построено на аналогиях из биологии.
Ну и еще одна ключевая особенность CTM – это синхронизация нейронов. В нейробиологии считается, что важны не столько независимые активации нейронов, сколько то, как и когда они активируются относительно друг друга. Нейроны, чьи осцилляции или пики потенциала происходят синхронно, чаще участвуют в совместной обработке информации.
Поэтому здесь специально вычисляется так называемая матрица синхронизаций. Она показывает скалярные корреляции временных рядов активаций. Самые важные подмножества затем идут либо в слой внимания, либо напрямую проецируются в логиты.
И да, все это вполне прилично (и иногда лучше классических архитектур) работает на классических задачах типа ImageNet-1K, CIFAR-10 и MNIST, а еще модель отлично решает лабиринты.
В общем, работа большая и сложная, но в статье все расписано вполне доходчиво, так что советуем почитать полностью или полистать интерактивный репорт
Код в опенсорсе, кстати
Кстати, SakanaAI – это та самая японская лаборатория, выпустившая ИИ-ученого, статья которого прошла рецензирование на ICLR воркшоп. Ну так вот
Ключевая фишка CTM (Continuous Thought Machine) в наличии тиков мыслей. Аналогия с мозгом тут в том, что человек на самом деле не получает ответы за один "проход" по нейронам, как это делается, например, в трансформерах.
Живые нейроны активны всё время, через миллисекунды после первого сигнала информация осмысливается глубже, подключаются новые области коры и тд. Это и называется "тик". В нейросетях один тик – это как бы один прямой проход. В трансформерах для получения ответа тик всегда один, а в CTM их может быть и 5, и 10, и 50. Модель сама решает, сколько ей нужно – в зависимости от сложности задачи.
При этом проходы не независимые. Для каждого нейрона мы храним историю пред- и пост-активаций, чтобы он мог «смотреть» на свою динамику на предыдущих тиках. И, кстати, нейроны в CTM тоже необычные. Здесь это не просто сумма взвешенных входов, как в большинстве моделей, а самостоятельный мини-перцептрон (MLP). Все это тоже построено на аналогиях из биологии.
Ну и еще одна ключевая особенность CTM – это синхронизация нейронов. В нейробиологии считается, что важны не столько независимые активации нейронов, сколько то, как и когда они активируются относительно друг друга. Нейроны, чьи осцилляции или пики потенциала происходят синхронно, чаще участвуют в совместной обработке информации.
Поэтому здесь специально вычисляется так называемая матрица синхронизаций. Она показывает скалярные корреляции временных рядов активаций. Самые важные подмножества затем идут либо в слой внимания, либо напрямую проецируются в логиты.
И да, все это вполне прилично (и иногда лучше классических архитектур) работает на классических задачах типа ImageNet-1K, CIFAR-10 и MNIST, а еще модель отлично решает лабиринты.
В общем, работа большая и сложная, но в статье все расписано вполне доходчиво, так что советуем почитать полностью или полистать интерактивный репорт
Код в опенсорсе, кстати
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍126❤43🔥36🤯6🤨5❤🔥2🤔1🐳1🍓1