За последние несколько месяцев из OpenAI ушли многие люди, которые были, как в команде Суцкевера, так и в других командах.
Из того, что мы нашли в паблике - Уильям Сондерс, Павел Измайлов, Леопольд Ашенбреннер.
Кто-то ушел в стартап Маска, xAI.
В любом случае, уход массовый как со-основателей #OpenAI ( #Суцкевера и #Карпати) серьезная история, следствие скандала #увольненияOpenAI , где в итоге Сэмом и Ильей скорее всего было принято решение, что работать они не смогут дальше вместе, но, чтобы не испугать инвесторов, то уход Ильи будет не моментальный, а через полгода.
Если посмотреть на то, что было сделано за полгода, то видно, как #Альтман ходил на встречи с богатейшими людьми мира и пытался собирать деньги срочно на свой проект по чипам. Пока неизвестно, что ему удалось.
Одновременно с этим #Microsoft наняли всю команду исследователей стартапа #Inflection, которые были конкурентом OpenAI. Они диверсифицировали свои риски. И эта команда уже внутри MSFT создала большую языковую модель.
OpenAI был не просто стартапом - однодневкой, его основатели хотели сломать ход игры на шахматной доске ИТ-гигантов. То есть амбиции были огромные. Они хотели занять место #IBM, #Google.
Об этом можно прочитать в сливных исковых документах, когда Маск начал судиться с OpenAI.
Если вы не понимаете/не знаете до конца кто такой Илья Суцкевер, то вот короткое интро+ссылки:
В 2012 году #Хинтон #Суцкевер и Алекс Крижевский разработали систему, способную анализировать тысячи снимков и обучать саму себя распознавать в реальности похожие объекты с высочайшей точностью. Эта разработка называется AlexNet, она признана новаторской. Это была первая работа, которая популяризировала сверточные нейронные сети в компьютерном зрении. С помощью них решаются задачи сегментации, классификации, детектирования, обработки изображений.
https://tttttt.me/blockchainRF/8149
https://tttttt.me/blockchainRF/8390
А также загуглите для успокоения.
В представленной таблице вы можете посмотреть, откуда хантил на свой стартап #xAI #Маск.
Из того, что мы нашли в паблике - Уильям Сондерс, Павел Измайлов, Леопольд Ашенбреннер.
Кто-то ушел в стартап Маска, xAI.
В любом случае, уход массовый как со-основателей #OpenAI ( #Суцкевера и #Карпати) серьезная история, следствие скандала #увольненияOpenAI , где в итоге Сэмом и Ильей скорее всего было принято решение, что работать они не смогут дальше вместе, но, чтобы не испугать инвесторов, то уход Ильи будет не моментальный, а через полгода.
Если посмотреть на то, что было сделано за полгода, то видно, как #Альтман ходил на встречи с богатейшими людьми мира и пытался собирать деньги срочно на свой проект по чипам. Пока неизвестно, что ему удалось.
Одновременно с этим #Microsoft наняли всю команду исследователей стартапа #Inflection, которые были конкурентом OpenAI. Они диверсифицировали свои риски. И эта команда уже внутри MSFT создала большую языковую модель.
OpenAI был не просто стартапом - однодневкой, его основатели хотели сломать ход игры на шахматной доске ИТ-гигантов. То есть амбиции были огромные. Они хотели занять место #IBM, #Google.
Об этом можно прочитать в сливных исковых документах, когда Маск начал судиться с OpenAI.
Если вы не понимаете/не знаете до конца кто такой Илья Суцкевер, то вот короткое интро+ссылки:
В 2012 году #Хинтон #Суцкевер и Алекс Крижевский разработали систему, способную анализировать тысячи снимков и обучать саму себя распознавать в реальности похожие объекты с высочайшей точностью. Эта разработка называется AlexNet, она признана новаторской. Это была первая работа, которая популяризировала сверточные нейронные сети в компьютерном зрении. С помощью них решаются задачи сегментации, классификации, детектирования, обработки изображений.
https://tttttt.me/blockchainRF/8149
https://tttttt.me/blockchainRF/8390
А также загуглите для успокоения.
В представленной таблице вы можете посмотреть, откуда хантил на свой стартап #xAI #Маск.
OpenAI после Google пошел в Reddit, чтобы там обучать свои ИИ-модели
Эта сделка позволит создателю ChatGPT обучать свои модели искусственного интеллекта на контенте Reddit.
OpenAI получит доступ к API, который предоставляет в онлайн-режиме структурированный и уникальный контент от Reddit.
В обмен Reddit начнет предлагать определенные ИИ функции OpenAI пользователям и модераторам своей площадки, который станет рекламным партнером Reddit.
Отметим, что #Reddit уже разрешает #Google использовать свой контент для обучения данных Gemini. Контракт на доступ к данным Reddit составляет $60 млн в год.
Никаких цифр по договору #OpenAI и Reddit пока нет.
Эта сделка позволит создателю ChatGPT обучать свои модели искусственного интеллекта на контенте Reddit.
OpenAI получит доступ к API, который предоставляет в онлайн-режиме структурированный и уникальный контент от Reddit.
В обмен Reddit начнет предлагать определенные ИИ функции OpenAI пользователям и модераторам своей площадки, который станет рекламным партнером Reddit.
Отметим, что #Reddit уже разрешает #Google использовать свой контент для обучения данных Gemini. Контракт на доступ к данным Reddit составляет $60 млн в год.
Никаких цифр по договору #OpenAI и Reddit пока нет.
Openai
OpenAI and Reddit Partnership
OpenAI and Reddit Partnership
We’re bringing Reddit’s unique content to ChatGPT and our products.
We’re bringing Reddit’s unique content to ChatGPT and our products.
Общее view по итогам анонсов #Google и #OpenAI на этой неделе, что же они нам говорят о том, что будет дальше в ИИ.
1. Представленный Gemini 1.5 Flash стал 🚀 Google. Небольшая модель с 1МБ контекста и производительностью Flash просто невероятна.
А у OpenAI теперь лучшая большая модель с GPT-4o, а у Google — лучшая маленькая модель с Gemini 1.5 Flash.
Гонка продолжается.
2. Несмотря на это, уровень конвергенции впечатляет — сходство между GPT4o и Astra(Google), Veo(Google) и Sora(OpenAI) и тд.
Похоже, что Google и OpenAI следуют одинаковым техническим траекториям.
Для отрасли лучше дивергенция, чем конвергенция. Увы.
3. Огромные успехи в оценке GPT-4o, которые ошеломляют, по-видимому, почти полностью обусловлены отличными ПОСТ-ТРЕНИРОВКАМИ.
Сравнение GPT-4 при запуске с GPT - 4o, которые работают круглосуточно, показывает силу отличного пост-тренинга с отличными данными.
4. По факту большинство различий между топовыми моделями сегодня (#Claude3, #Llama3, #GPT-4o, #Gemini1.5), похоже, полностью обусловлены пост-обучением, а не предварительным обучением.
Это может быть из-за проблем с цепочкой поставок на этапе предварительного обучения — подготовка вычислительных ресурсов + нехватка данных.
5. Тем не менее, это указывает на то, чего нам, возможно, следует ожидать и в отношении будущего развития:
Дальнейшее развитие постобучения, которое требует большого количества пограничных данных.
Дальнейший прогресс может быть полностью ограничен из-за обилия данных после обучения.
6. Все это сходится к тому, что рассматривать все области передовых исследований:
агенты, мультимодальность, многоязычие, экспертная цепочка мыслей, рабочие процессы предприятия и т.д.
Все это зависит от данных, которых сегодня просто не существует, и нам нужны средства производства.
7. Данные ИИ — ОЧЕНЬ сложная проблема, и простого пути ее решения нет.
Чисто синтетические данные не являются спасением: синтетические данные не могут раздвинуть границы моделей за пределы текущих возможностей. Это инструмент, а не панацея.
Это сложная проблема симбиоза #ИИ и человека-эксперта.
8. Нужны кардинальные изменения. Каждый крупный прорыв в области #искусственногоинтеллекта за последние 20 лет был обусловлен улучшением качества и увеличением объема данных, начиная с оригинальной глубокой нейронной сети #AlexNet на #ImageNet.
Законы масштабирования ясно показывают, куда мы движемся: нам нужно больше данных.
1. Представленный Gemini 1.5 Flash стал 🚀 Google. Небольшая модель с 1МБ контекста и производительностью Flash просто невероятна.
А у OpenAI теперь лучшая большая модель с GPT-4o, а у Google — лучшая маленькая модель с Gemini 1.5 Flash.
Гонка продолжается.
2. Несмотря на это, уровень конвергенции впечатляет — сходство между GPT4o и Astra(Google), Veo(Google) и Sora(OpenAI) и тд.
Похоже, что Google и OpenAI следуют одинаковым техническим траекториям.
Для отрасли лучше дивергенция, чем конвергенция. Увы.
3. Огромные успехи в оценке GPT-4o, которые ошеломляют, по-видимому, почти полностью обусловлены отличными ПОСТ-ТРЕНИРОВКАМИ.
Сравнение GPT-4 при запуске с GPT - 4o, которые работают круглосуточно, показывает силу отличного пост-тренинга с отличными данными.
4. По факту большинство различий между топовыми моделями сегодня (#Claude3, #Llama3, #GPT-4o, #Gemini1.5), похоже, полностью обусловлены пост-обучением, а не предварительным обучением.
Это может быть из-за проблем с цепочкой поставок на этапе предварительного обучения — подготовка вычислительных ресурсов + нехватка данных.
5. Тем не менее, это указывает на то, чего нам, возможно, следует ожидать и в отношении будущего развития:
Дальнейшее развитие постобучения, которое требует большого количества пограничных данных.
Дальнейший прогресс может быть полностью ограничен из-за обилия данных после обучения.
6. Все это сходится к тому, что рассматривать все области передовых исследований:
агенты, мультимодальность, многоязычие, экспертная цепочка мыслей, рабочие процессы предприятия и т.д.
Все это зависит от данных, которых сегодня просто не существует, и нам нужны средства производства.
7. Данные ИИ — ОЧЕНЬ сложная проблема, и простого пути ее решения нет.
Чисто синтетические данные не являются спасением: синтетические данные не могут раздвинуть границы моделей за пределы текущих возможностей. Это инструмент, а не панацея.
Это сложная проблема симбиоза #ИИ и человека-эксперта.
8. Нужны кардинальные изменения. Каждый крупный прорыв в области #искусственногоинтеллекта за последние 20 лет был обусловлен улучшением качества и увеличением объема данных, начиная с оригинальной глубокой нейронной сети #AlexNet на #ImageNet.
Законы масштабирования ясно показывают, куда мы движемся: нам нужно больше данных.
Google DeepMind
Gemini 2.0 Flash Experimental
Gemini 2.0 Flash Experimental is our workhorse model with low latency and enhanced performance, built to power agentic experiences.
Кому выгодно лидерство #DeepSeek? Какой ИТ-гигант помог ему и зачем?
В то время как технологическое сообщество пытается осмыслить прорыв DeepSeek, аналитики спорят о будущем #NVIDIA, а инвесторы переоценивают миллиардные вложения в ИИ-инфраструктуру, #Meta* сохраняет удивительное спокойствие. А Андрей Карпатый, со-основатель OpenAI может объяснить это спокойствие.
Мы @blockchainrf стараемся проанализировать все происходящее вокруг #DeepSeek, а также сопоставить с тем, что говорили и делали ИТ-гиганты в части open source. И отмечаем, что среди гигантов Meta первая продвигала открытый исходный код. Потом присоединились #Google, #Microsoft и др.
Только что Андрей #Карпатый написал большой пост про DeepSeek и отметил 2 ключевых момента:
1. Глубокое обучение имеет "ненасытный аппетит" к вычислениям
2. Существует два типа обучения:
- Имитационное (как текущие LLM)
- Обучение с подкреплением (RL) - значительно более мощное.
Анализируя хронологию событий и заявлений Meta за последние 2 года, мы видим признаки тщательно спланированной стратегии. Это наша @blockchainrf интерпретация, основанная на открытых данных.
Вот, на что мы обращаем внимание:
1. 2023: Первые намеки
Летом Ян #ЛеКун шокирует сообщество заявлением "Machine Learning sucks!"на симпозиуме в Гонконге. Он не критикует, он намекает на необходимость принципиально нового подхода.
В ноябре Meta представляет I-JEPA - альтернативу трансформерам. Это не эксперимент, а первый шаг к чему-то большему. Фокус на обучении с подкреплением вместо имитации.
2. 2024: Подготовка почвы.
ЛеКун методично формирует новую повестку:
- Март: "Не тратьте время на LLM"
- Май: Концепция "objective-driven" архитектуры
- Июль: Партнерство с Groq (новые LPU чипы)
- Октябрь: Детальное видение Objective-Driven AI
Неожиданный ход летом 2024 -
Meta делает то, чего никто не ожидал - открывает исходный код Llama и активно продвигает идею открытого ИИ. На первый взгляд, это кажется рискованным. Но был ли это риск?
- Открытие исходного кода Llama
- Активное продвижение открытого ИИ
- На первый взгляд - риск, на деле - расчет
Карты раскрываются (январь 2025).
DeepSeek, используя наработки Meta:
- Снижает стоимость обучения в 20 раз
- Работает на обычных GPU
- Достигает уровня закрытых моделей
Реакция ЛеКуна на работу DeepSeek - короткий твит: "Nice job! Open research / open source accelerates progress." За этой сдержанностью - триумф стратегии.
На прошлой неделе было заявление ЛеКуна в Давосе о "новой парадигме ИИ в ближайшие 3-5 лет" читается теперь совсем иначе. Meta не просто предсказывает будущее - она методично его создает.
Гениальная стратегия Meta:
1. Открыли код -> DeepSeek использовал и улучшил
2. Создали конкуренцию закрытым моделям
3. Сами готовят следующий прорыв.
Если объединить наблюдения Карпати о природе глубокого обучения, последовательные заявления ЛеКуна и действия Meta, складывается картина удивительно продуманной стратегии. Пока все обсуждают эффективность текущих подходов, Meta, похоже, готовит следующий ход в ИИ.
*Запрещенная организация в России.
В то время как технологическое сообщество пытается осмыслить прорыв DeepSeek, аналитики спорят о будущем #NVIDIA, а инвесторы переоценивают миллиардные вложения в ИИ-инфраструктуру, #Meta* сохраняет удивительное спокойствие. А Андрей Карпатый, со-основатель OpenAI может объяснить это спокойствие.
Мы @blockchainrf стараемся проанализировать все происходящее вокруг #DeepSeek, а также сопоставить с тем, что говорили и делали ИТ-гиганты в части open source. И отмечаем, что среди гигантов Meta первая продвигала открытый исходный код. Потом присоединились #Google, #Microsoft и др.
Только что Андрей #Карпатый написал большой пост про DeepSeek и отметил 2 ключевых момента:
1. Глубокое обучение имеет "ненасытный аппетит" к вычислениям
2. Существует два типа обучения:
- Имитационное (как текущие LLM)
- Обучение с подкреплением (RL) - значительно более мощное.
Анализируя хронологию событий и заявлений Meta за последние 2 года, мы видим признаки тщательно спланированной стратегии. Это наша @blockchainrf интерпретация, основанная на открытых данных.
Вот, на что мы обращаем внимание:
1. 2023: Первые намеки
Летом Ян #ЛеКун шокирует сообщество заявлением "Machine Learning sucks!"на симпозиуме в Гонконге. Он не критикует, он намекает на необходимость принципиально нового подхода.
В ноябре Meta представляет I-JEPA - альтернативу трансформерам. Это не эксперимент, а первый шаг к чему-то большему. Фокус на обучении с подкреплением вместо имитации.
2. 2024: Подготовка почвы.
ЛеКун методично формирует новую повестку:
- Март: "Не тратьте время на LLM"
- Май: Концепция "objective-driven" архитектуры
- Июль: Партнерство с Groq (новые LPU чипы)
- Октябрь: Детальное видение Objective-Driven AI
Неожиданный ход летом 2024 -
Meta делает то, чего никто не ожидал - открывает исходный код Llama и активно продвигает идею открытого ИИ. На первый взгляд, это кажется рискованным. Но был ли это риск?
- Открытие исходного кода Llama
- Активное продвижение открытого ИИ
- На первый взгляд - риск, на деле - расчет
Карты раскрываются (январь 2025).
DeepSeek, используя наработки Meta:
- Снижает стоимость обучения в 20 раз
- Работает на обычных GPU
- Достигает уровня закрытых моделей
Реакция ЛеКуна на работу DeepSeek - короткий твит: "Nice job! Open research / open source accelerates progress." За этой сдержанностью - триумф стратегии.
На прошлой неделе было заявление ЛеКуна в Давосе о "новой парадигме ИИ в ближайшие 3-5 лет" читается теперь совсем иначе. Meta не просто предсказывает будущее - она методично его создает.
Гениальная стратегия Meta:
1. Открыли код -> DeepSeek использовал и улучшил
2. Создали конкуренцию закрытым моделям
3. Сами готовят следующий прорыв.
Если объединить наблюдения Карпати о природе глубокого обучения, последовательные заявления ЛеКуна и действия Meta, складывается картина удивительно продуманной стратегии. Пока все обсуждают эффективность текущих подходов, Meta, похоже, готовит следующий ход в ИИ.
*Запрещенная организация в России.