Как сгенерировать миллиард демо-примеров для обучения роботов?

Проект Dex1B показывает, как это сделать просто — с помощью симуляции и генеративных моделей!

📌 Цель проекта: создать масштабный датасет для двух задач:
● Grasping — захват объектов 🖐️
● Articulation — манипуляции с подвижными частями робота

Как это работает:

1. Создание Seed-датасета
Сначала используется оптимизационный алгоритм, чтобы вручную (или полуавтоматически) собрать небольшой, но точный набор демонстраций — так называемый *Seed Dataset*.

2. Обучение генеративной модели
На основе Seed-датасета обучается DexSimple— простая C-VAE модель (Conditional Variational Autoencoder). Она умеет порождать новые сцены, основываясь на контексте: тип объекта, поза руки, желаемое взаимодействие.

3. Масштабирование до 1 миллиарда
С помощью DexSimple создаются миллиарды новых демонстраций. При генерации учитывается разнообразие поз и объектов: используется преднамеренное «смешение» данных, чтобы не переобучаться на узком распределении.

4. Симуляция и проверка
Все демонстрации валидируются в физическом симуляторе ManiSkill/SAPIEN. Только успешные взаимодействия остаются в финальном наборе.

✔️ Что внутри:

- Grasping-сцены (1 млн штук): построены на базе ассетов из Objaverse
- Articulation-сцены: используют объекты из PartNet-Mobility — богатая коллекция с подвижными частями (двери, ящики, рычаги и т.п.)
- Каждая сцена содержит: 3D-модель объекта, позу руки, физику взаимодействия и результат

Почему это важно:

- Ручной сбор миллиардов примеров невозможен — здесь это решается генеративным путём
- Dex1B создаёт разнообразные и физически валидные примеры
- Это открывает путь к масштабному обучению роботов с использованием имитационного обучения


🟡 Сайт проекта: https://jianglongye.com/dex1b)
🟡Статья : https://jianglongye.com/dex1b/static/dex1b.pdf

@ai_machinelearning_big_data

#ai #robots #ml

🔥 Unitree A2 Stellar Hunter!

Новый четырёхногий робот весом всего 37 кг

🚀 Запас хода без нагрузки — 20 км

Работа стал: Легче, Прочнее, Быстрее.

Разработан специально для промышленных задач, где важны автономность, манёвренность и надёжность.

Инженерная мощь нового поколения — в компактном корпусе.

@ai_machinelearning_big_data


#ai #robots #Unitree

🎯 🔁 Ещё один любопытный спортивный робот — на этот раз от UC Berkeley.

Инженеры показали гуманоида, играющего в настольный теннис и способного отбить 106 ударов подряд.

Работает полностью автономно, без телоуправления.

- Планировщик прогнозирует траекторию мяча и выбирает точку, время и скорость удара.
- Контроллер на основе RL превращает план в согласованные движения рук и ног, удерживая баланс при замахе.
- Обучение основано на видео с реальных матчей, поэтому удары выглядят естественно, а не «роботизировано».
- Контур управления работает быстрее секунды, что позволяет вести долгие розыгрыши без сбоев.

@ai_machinelearning_big_data


#Berkeley #robots

🦾 Google DeepMind показала, как роботы учатся работать вместе с помощью обучения с подкреплением.

Учёные из UCL, Google DeepMind и Intrinsic представили новый AI-алгоритм RoboBallet — систему, которая позволяет нескольким роботизированным манипуляторам работать синхронно и без столкновений в сложной производственной среде,.

🔹 В эксперименте участвовали 8 роботов, каждый из которых мог выполнять 40 разных задач в одном общем пространстве.
🔹 Роботы могли брать любую задачу в любом порядке — система сама решала, кому что поручить и как построить безопасные траектории.
🔹 Алгоритм обучался в симуляции, а затем сразу работал в новых условиях без дообучения (*zero-shot*).

Пока решение работает только для задач перемещения (reaching), без учёта порядка выполнения или разных типов роботов.

Однако архитектура гибкая — в будущем возможно добавление сложных задач, зависимостей и разнообразных роботов.

Один алгоритм смог координировать целую команду, делая роботов гибкими и слаженными даже там, где они раньше не работали.

🟢 Подробнее: https://www.science.org/doi/10.1126/scirobotics.ads1204

@ai_machinelearning_big_data

#google #robots #ai #rl