Общее view по итогам анонсов #Google и #OpenAI на этой неделе, что же они нам говорят о том, что будет дальше в ИИ.
1. Представленный Gemini 1.5 Flash стал 🚀 Google. Небольшая модель с 1МБ контекста и производительностью Flash просто невероятна.
А у OpenAI теперь лучшая большая модель с GPT-4o, а у Google — лучшая маленькая модель с Gemini 1.5 Flash.
Гонка продолжается.
2. Несмотря на это, уровень конвергенции впечатляет — сходство между GPT4o и Astra(Google), Veo(Google) и Sora(OpenAI) и тд.
Похоже, что Google и OpenAI следуют одинаковым техническим траекториям.
Для отрасли лучше дивергенция, чем конвергенция. Увы.
3. Огромные успехи в оценке GPT-4o, которые ошеломляют, по-видимому, почти полностью обусловлены отличными ПОСТ-ТРЕНИРОВКАМИ.
Сравнение GPT-4 при запуске с GPT - 4o, которые работают круглосуточно, показывает силу отличного пост-тренинга с отличными данными.
4. По факту большинство различий между топовыми моделями сегодня (#Claude3, #Llama3, #GPT-4o, #Gemini1.5), похоже, полностью обусловлены пост-обучением, а не предварительным обучением.
Это может быть из-за проблем с цепочкой поставок на этапе предварительного обучения — подготовка вычислительных ресурсов + нехватка данных.
5. Тем не менее, это указывает на то, чего нам, возможно, следует ожидать и в отношении будущего развития:
Дальнейшее развитие постобучения, которое требует большого количества пограничных данных.
Дальнейший прогресс может быть полностью ограничен из-за обилия данных после обучения.
6. Все это сходится к тому, что рассматривать все области передовых исследований:
агенты, мультимодальность, многоязычие, экспертная цепочка мыслей, рабочие процессы предприятия и т.д.
Все это зависит от данных, которых сегодня просто не существует, и нам нужны средства производства.
7. Данные ИИ — ОЧЕНЬ сложная проблема, и простого пути ее решения нет.
Чисто синтетические данные не являются спасением: синтетические данные не могут раздвинуть границы моделей за пределы текущих возможностей. Это инструмент, а не панацея.
Это сложная проблема симбиоза #ИИ и человека-эксперта.
8. Нужны кардинальные изменения. Каждый крупный прорыв в области #искусственногоинтеллекта за последние 20 лет был обусловлен улучшением качества и увеличением объема данных, начиная с оригинальной глубокой нейронной сети #AlexNet на #ImageNet.
Законы масштабирования ясно показывают, куда мы движемся: нам нужно больше данных.
1. Представленный Gemini 1.5 Flash стал 🚀 Google. Небольшая модель с 1МБ контекста и производительностью Flash просто невероятна.
А у OpenAI теперь лучшая большая модель с GPT-4o, а у Google — лучшая маленькая модель с Gemini 1.5 Flash.
Гонка продолжается.
2. Несмотря на это, уровень конвергенции впечатляет — сходство между GPT4o и Astra(Google), Veo(Google) и Sora(OpenAI) и тд.
Похоже, что Google и OpenAI следуют одинаковым техническим траекториям.
Для отрасли лучше дивергенция, чем конвергенция. Увы.
3. Огромные успехи в оценке GPT-4o, которые ошеломляют, по-видимому, почти полностью обусловлены отличными ПОСТ-ТРЕНИРОВКАМИ.
Сравнение GPT-4 при запуске с GPT - 4o, которые работают круглосуточно, показывает силу отличного пост-тренинга с отличными данными.
4. По факту большинство различий между топовыми моделями сегодня (#Claude3, #Llama3, #GPT-4o, #Gemini1.5), похоже, полностью обусловлены пост-обучением, а не предварительным обучением.
Это может быть из-за проблем с цепочкой поставок на этапе предварительного обучения — подготовка вычислительных ресурсов + нехватка данных.
5. Тем не менее, это указывает на то, чего нам, возможно, следует ожидать и в отношении будущего развития:
Дальнейшее развитие постобучения, которое требует большого количества пограничных данных.
Дальнейший прогресс может быть полностью ограничен из-за обилия данных после обучения.
6. Все это сходится к тому, что рассматривать все области передовых исследований:
агенты, мультимодальность, многоязычие, экспертная цепочка мыслей, рабочие процессы предприятия и т.д.
Все это зависит от данных, которых сегодня просто не существует, и нам нужны средства производства.
7. Данные ИИ — ОЧЕНЬ сложная проблема, и простого пути ее решения нет.
Чисто синтетические данные не являются спасением: синтетические данные не могут раздвинуть границы моделей за пределы текущих возможностей. Это инструмент, а не панацея.
Это сложная проблема симбиоза #ИИ и человека-эксперта.
8. Нужны кардинальные изменения. Каждый крупный прорыв в области #искусственногоинтеллекта за последние 20 лет был обусловлен улучшением качества и увеличением объема данных, начиная с оригинальной глубокой нейронной сети #AlexNet на #ImageNet.
Законы масштабирования ясно показывают, куда мы движемся: нам нужно больше данных.
Google DeepMind
Gemini 2.0 Flash Experimental
Gemini 2.0 Flash Experimental is our workhorse model with low latency and enhanced performance, built to power agentic experiences.