🤖 Google DeepMind учит роботов предсказывать будущее с помощью уже существующей видеомодели Veo

😚Команда Gemini Robotics представила проект, который меняет подход к обучению роботов. Они использовали Veo (свою генеративную видеомодель, аналог Sora) как «симулятор мира».

😶‍🌫️В чем суть?
😚😚Обычно роботов обучают в реальном мире (долго, дорого) или в 3D-симуляторах (сложно программировать физику). Google предложил третий путь: General World Models.

😶‍🌫️Как это работает:
1️⃣ Робот анализирует сцену.
2️⃣ Модели подают команды (например, "возьми кубик").
3️⃣ Veo генерирует видео, предсказывая, как изменится реальность после этого действия.

😶‍🌫️Зачем это нужно?
😚 Nominal Evaluation: Проверка навыков без участия реального железа.
😚 Смена декораций: Можно попросить нейросеть: «Представь, что стол красный» или «Добавь на фон игрушку». Робот учится не теряться в новых условиях.
😚 Тесты безопасности: Можно симулировать опасные ситуации (рука человека в рабочей зоне), не рискуя ничьими пальцами.

😗😙: Это шаг к тому, чтобы роботы обучались в "world model", прежде чем выйти в реальный мир.

И конечно риски и слабые стороны такого подхода:
🥵Галлюцинации физики: Твердые объекты могут внезапно расплавиться, изменить форму или телепортироваться.
🥵Неконсистентность моделей: Если рука робота надолго закрывает предмет, он исчезнет, когда рука уберется.
🥵Неточность контроля действий: Робот на сгенерированном видео иногда игнорирует команды (например, продолжает двигаться, хотя должен был остановиться).
🥵Размытие (Blur): Мелкие детали иногда «плывут», из-за чего алгоритмам робота сложно захватить объект.

Многие из этих вещей так же тормозят использование моделей в видео продакшене

🥲☺️😊
https://veo-robotics.github.io/
https://labs.google/flow/about

KLING o1 добавили в MAGO

😚😶‍🌫️теперь можно покадрово разбирать свое видео и применять стилизированные кадры не уходя из приложения!
😚😶‍🌫️с учетом, что прям внутри MAGO можно делать удобный img2img, стилизация сцен становится удобнее
😚😶‍🌫️и конечно же UI, который намного привычнее для тех кто использует CG и VFX эффекты постоянно


Попробовать можно тут: https://app.mago.studio/

🎁 40% скидки на кредиты:
по прому: KLING40

Накидайте любых реакций, как подарочек мне на новый год, хах

Документальный фильм «The Thinking Game»

Это детальная фиксация научного процесса в Google DeepMind, демонстрирующая путь от теоретических концепций к созданию систем уровня схожего с AGI (общего искусственного интеллекта).

😶‍🌫️☺️ Ниже приведены 10 аргументов, почему данная картина представляет ценность для всех, кто погружен в сферу AI:

Междисциплинарный бэкграунд Демиса Хассабиса. Биография CEO DeepMind объединяет шахматы, геймдев и нейробиологию. Это подтверждает тезис о том, что для создания искусственного разума необходимо глубокое понимание принципов работы разума биологического.

Видеоигры как полигон для обучения. Лента технически грамотно обосновывает использование сред Atari и StarCraft II. Они служат идеальными симуляциями для безопасного тестирования алгоритмов перед их внедрением в реальный мир.

Значение AlphaGo. Эпизод с матчем против Ли Седоля и знаменитым «Ходом 37» наглядно демонстрирует появление у машины подобия интуиции и способности к нестандартным стратегическим решениям.

Фундаментальная наука против «быстрых результатов». Фильм противопоставляет академический подход DeepMind культуре стартапов Кремниевой долины. Здесь приоритет отдается долгосрочным исследованиям, а не немедленному релизу продуктов.

Решение проблемы фолдинга белков. История создания AlphaFold показывает практическую мощь нейросетей. Алгоритм решил задачу, над которой биологи бились 50 лет, что открывает новые горизонты в медицине и фармацевтике.

Наглядность обучения с подкреплением (RL). Зрителю демонстрируется процесс обучения агентов «с нуля» методом проб и ошибок, что является лучшей визуализацией принципов работы Reinforcement Learning.

Психология научных открытий. Картина не скрывает человеческий фактор, показывая моменты тупика и разочарований исследователей. Это напоминает о том, что за сложными алгоритмами стоит упорный труд людей.

Вопросы безопасности и этики. Проводятся прямые параллели с «Проектом Манхэттен» и Робертом Оппенгеймером. Хассабис акцентирует внимание на экзистенциальных рисках создания сверхразума и ответственности разработчиков.

Внутренняя архитектура DeepMind. Фильм предоставляет редкий доступ к внутренней кухне лаборатории, демонстрируя методы мозговых штурмов и специфику управления командой гениев.

Осознание исторического контекста. После просмотра формируется четкое понимание: мы являемся свидетелями технологического сдвига, сопоставимого по масштабу с промышленной революцией или открытием электричества.

Поглядеть можно тут.