Anthropic представил обновленного ИИ-агента на базе модели Claude 3.5 Sonnet

Система достигла результата в 49% на сложном бенчмарке SWE-bench Verified, превзойдя предыдущий рекорд в 45%. Но что особенно интересно – это не просто тест модели, а оценка целой системы искусственного интеллекта.

"Агент" в контексте ИИ – это нечто большее, чем просто языковая модель. Это комплексная система, состоящая из двух ключевых компонентов:
- Сама модель ИИ (в данном случае Claude 3.5 Sonnet)
- Программная обвязка, которая позволяет модели взаимодействовать с окружением.

Представьте это как разницу между мозгом (модель) и всем телом с органами чувств и способностью действовать (агент). Именно такой подход позволяет ИИ не просто генерировать текст, а реально решать практические задачи.

Как устроен агент Claude?

Команда Anthropic дала агенту два основных "органа чувств и действия":

1. Bash Tool – это своего рода "руки" агента, позволяющие ему выполнять команды в системе
2. Edit Tool – "глаза и пальцы" агента для работы с кодом: просмотр и редактирование файлов.

Обновленный агент на базе Claude 3.5 Sonnet демонстрирует ряд уникальных способностей:

- Самостоятельное планирование действий
- Способность к самокоррекции
- Умение находить альтернативные решения при неудачах
- Возможность длительной работы над задачей с сохранением контекста
- Адаптация стратегии на основе результатов предыдущих действий

Несмотря на впечатляющие результаты, остаются определенные сложности:

1. Ресурсоемкость – некоторые задачи требуют сотен итераций взаимодействия между компонентами агента

2. Технические сложности – проблемы с настройкой окружения могут влиять на работу всей системы

3. Ограничения восприятия – текущая реализация агента не может работать с визуальными файлами, несмотря на такие способности базовой модели

4. "Слепое" тестирование– агент не видит тесты, на которых проверяется решение

Anthropic уже анонсировала новую версию бенчмарка, фокусирующуюся на мультимодальных задачах. Это указывает на следующий этап эволюции ИИ-агентов – расширение их способностей восприятия и взаимодействия с различными типами данных.

Уже сейчас очевидно, что будущее ИИ за комплексными агентными системами, а не отдельными моделями.

❗️Билл Гейтс задаёт тон главной теме: в чем конкурентоспособность человека в эпоху ИИ?

Гейтс говорит, что ИИ станет настолько хорош в решении проблем и создании интересных занятий для людей, что нам понадобится новая религия или философия, чтобы оставаться на связи друг с другом.

⚡️Экс-сотрудники Google создали первый "GPT для роботов" - теперь они могут понимать человеческие команды и ловко выполнять бытовые задачи.

Экс-сотрудники Google, создавшие компанию Physical Intelligence (π.com!) сделали большой прорыв в области робототехники и ИИ - модель π0 (пи-ноль).

Несмотря на впечатляющие достижения ИИ в таких областях как игра в шахматы или генерация изображений, роботы до сих пор значительно уступают людям в выполнении простых физических задач:
- Сложно научить робота складывать одежду или убирать со стола - это требует решения сложнейших инженерных задач
- Современные роботы узкоспециализированы и могут выполнять только заранее запрограммированные повторяющиеся действия

Что такое π0?
- Это универсальная базовая модель для роботов
- Может управлять различными типами роботов
- Понимает текстовые инструкции
- Работает с изображениями, текстом и физическими действиями
- Обучена на разнообразном наборе данных от 8 различных роботов

Ключевые возможности:
- Модель использует предварительное обучение на основе интернет-данных (как языковые модели)
- Имеет новую архитектуру, позволяющую выдавать команды управления с частотой до 50 раз в секунду
- Может быть дообучена для специализированных задач
- Наследует семантическое понимание из предварительного обучения на интернет-данных

Модель успешно справляется со сложными задачами:
- Складывание белья (включая извлечение из сушилки и аккуратное складывание в стопку)
- Уборка со стола (сортировка посуды и мусора)
- Сборка картонных коробок
- Может адаптироваться к неожиданным ситуациям и вмешательству человека

- Превосходит другие модели (OpenVLA и Octo) в тестовых заданиях;
- Показывает в 2 раза лучшие результаты по сравнению с уменьшенной версией модели
- Может выполнять более сложные многоэтапные задачи, в то время как предыдущие модели ограничивались простыми одноэтапными действиями

Это только первый шаг к созданию по-настоящему универсальных роботов.

Эта работа важна тем, что может привести к появлению роботов, которые смогут выполнять разнообразные задачи в реальном мире, просто получая инструкции на естественном языке, подобно тому, как сейчас работают языковые модели.

Борьба за ИИ-поиск в разгаре: OpenAI запустили веб-поиск в ChatGPT. Конкуренция с Perplexity растет.

Разбираем, что это значит для рынка.

OpenAI вчера, на Halloween, объявила о полномасштабном запуске веб-поиска в ChatGPT. Доступно пока только для Plus и Team пользователей.

Теперь ChatGPT можно использовать похожим образом, как и Perplexity - для поиска информации, проверки источников и создания отчетов на основе найденных данных. Пока неясно, насколько это создаст конкуренцию Google Search, но это сильный удар по Perplexity, так как теперь похожий функционал доступен на гораздо более популятной платформе.

Вот, что из себя представляет новый поиск:
• Интегрирован в ChatGPT поиск по актуальным данным
• у OpenAI есть партнерства с ведущими СМИ мира (AP, Reuters, FT и др.)
• Автоматическое определение необходимости поиска
• Сохранение контекста беседы при поиске
• Визуально обогащенные ответы для погоды, спорта, акций

Ключевые преимущества:
1. Огромная существующая база пользователей ChatGPT
2. Мощная языковая модель GPT-4 в основе
3. Интеграция с экосистемой OpenAI
4. Прямые партнерства с издателями
5. Возможность верификации источников

Что есть у конкурентов?

Perplexity AI:
+ Первопроходец в AI-поиске
+ Специализированный фокус
+ Более структурированные ответы
- Меньшая пользовательская база
- Ограниченные ресурсы

Google:
+ Огромная поисковая база
+ Развитая инфраструктура
+ Доверие пользователей
- Медленное внедрение AI
- Консервативный подход

Bing + ChatGPT:
+ Интеграция с Microsoft
+ Ранний выход на рынок
- Ограниченное проникновение
- Менее популярный, чем Google

Что это значит для рынка:

1. Краткосрочно:
• Передел рынка ИИ-поиска
• Давление на специализированные сервисы
• Ускорение внедрения ИИ у конкурентов

2. Долгосрочно:
• Изменение привычек поиска информации
• Новый стандарт поисковых интерфейсов
• Рост значимости прямых партнерств с издателями

Перспективы OpenAI:
• Интеграция с Advanced Voice и Canvas
• Расширение возможностей для шоппинга и путешествий
• Углубление исследовательских возможностей
• Развитие специализированных вертикалей

Все это в очередной раз нам показывает инновационный цикл развития: сначала небольшие стартапы проверяют и подтверждают потребность рынка в определенных функциях, а затем крупные компании с большими языковыми моделями входят на этот рынок и захватывают значительную долю пользователей.

⚡️ Anthropic готовится к появлению сознательного ИИ и наняла 1-го сотрудника, который будет заниматься правами ИИ

Лидеры ИИ начинают задумываться о том, могут ли ИИ-системы в будущем стать чем-то большим, чем просто инструментами, то есть обрести некую форму сознания или способность испытывать что-то похожее на эмоции или страдания.

Кайл Фиш присоединился к команде Anthropic и будет исследовать вопросы "благополучия моделей" и то, как компании должны подходить к этой теме.

Его работа включает изучение сложных философских и технических вопросов:

1. Какие способности нужны системе, чтобы она заслуживала морального отношения
2. Как распознать такие способности в ИИ
3. Какие практические шаги могут предпринять компании для защиты интересов AI-систем

Недавно был опубликован важный отчет, в котором утверждается, что существует "реальная возможность" того, что в ближайшем будущем некоторые ИИ-системы могут стать сознательными или обладать устойчивой агентностью.

Google DeepMind тоже ищут исследователя для работы над вопросами машинного сознания, также OpenAI участвуют в исследованиях по этой теме.

Nebius Аркадия Воложа открыла свой ЦОД для ИИ в США

До этого компания открыла GPU кластер в Париже, а также у нее есть цоды в других городах Европы.

❗️Опубликована дорожная карта по интеграции ИИ-агентов в научные исследования

Исследователи опубликовали в Cell концепцию ИИ-ученых - систем ИИ, которые могут помогать в биомедицинских исследованиях.

Суть концепции:

Предлагается создание систем ИИ, которые могут скептически мыслить и рассуждать. Эти системы должны не заменять людей-исследователей, а усиливать их возможности. Они сочетают человеческую креативность с возможностями ИИ анализировать большие наборы данных.

Представлены уровни автономности ИИ-агентов (от простого к сложному):

❗️Уровень 0: Нет ИИ-агентов, только инструменты ML
❗️Уровень 1: ИИ как ассистент
❗️Уровень 2: ИИ как соавтор
❗️Уровень 3: ИИ как ученый

Потенциальные области применения:

1. Виртуальное моделирование клеток
2. Программируемый контроль фенотипов
3. Разработка клеточных схем
4. Создание новых терапевтических подходов.

⚡️Команда Цукерберга создала с ИИ карту эмбрионального развития. От первой клетки до целого организма

Команда ученых из Chan Zuckerberg Biohub в Сан-Франциско создали революционный научный проект Zebrahub - новый цифровой атлас, который отслеживает развитие эмбрионов рыбки данио с беспрецедентной детализацией.

Zebrahub будет служить основой для будущих исследований развития организмов, включая человека, так как у этой рыбки данио 70% генов похожи с человеческими.

Специально для проекта была разработана программа Ultrack, которая использует ИИ для:
- Автоматического распознавания клеточных ядер.
- Отслеживания их движения в трехмерном пространстве.
- Анализа перемещений клеток во времени.

Zebrahub - это инструмент, который позволяет:

1. Наблюдать, как из одной клетки формируется целый организм.
2. Отслеживать, как клетки перемещаются и "принимают решения" о том, какую роль они будут играть в организме.
3. Видеть, какие гены активируются или деактивируются в процессе развития.

Эта информация является ключевой для понимания:

1. как возникают заболевания?
2. как можно использовать механизмы развития для регенерации?

Проект разрабатывался 5 лет и потребовал сотрудничества специалистов из разных областей: биологии, инженерии, оптики, физики и науки о данных.

Это значительный шаг вперед в понимании того, как формируются живые организмы.

Ранее, эта же организация создала виртуальную клетку человека.

NotebookLM от Google - это новый CRM

Смотрите, у вас скопилось на протяжении многих лет тысячи имейлов с информацией о сделках, встречах, решениях и тд. И всё это — полностью в неструктурированном виде.

Раньше было два пути:

1. Убивать время на ручное заполнение CRM (как делают все)
2. Оставить всё в почте и смириться.

Но появился третий путь — NotebookLM.

Что можно сделать с ним, спросите вы.

1. Выгружайте весь архив писем
2. Загрузите его в NotebookLM, система всё сама поймёт и сделает.

Теперь вместо:
- Заполнения сотни полей
- Категоризации каждого контакта
- Ручной актуализации данных

Мы просто общаемся с системой на человеческом языке. Хотите узнать историю взаимодействия с компанией за 5 лет? Или найти все встречи с конкретным человеком? Просто спросите ИИ.

Ключевой момент - мы переходим от "люди обслуживают машины" к "машины понимают людей".
Это не просто удобнее. Это сдвиг парадигмы.

Будущее за естественным общением с ИИ.

P.S. Особенно забавно, что раньше для такой обработки данных нужно было писать сложные скрипты. Сейчас даже это делает ИИ.

Итоги уходящей недели в России и мире, что имеет значение

Текст недели: основатель Y Combinator о том, что ближайшие 20 лет писать смогут единицы. Думать – тоже.

1. Российская компания Neiry впервые покажет крыс с нейрочипами 5 ноября.

2. Выходцы из Google Brain оцифровали запах.

3. Китай может создать AGI на 6-12 месяцев раньше США. Каким образом, читайте тут.

4. В 2030г. Минпромторг хочет начать разработку ПО для проектирования процессоров 16 нм, которая еще не освоена в РФ.

5. Билл Гейтс задаёт тон главной теме: в чем конкурентоспособность человека в эпоху ИИ? 

6. Экс-сотрудники Google создали первый "GPT для роботов".

7. Ключевые инсайты со OpenAI DevDay в Лондоне и Q&A с Сэмом Альтманом.

8. Свежий отчет BCG о том, где искать ценность в ИИ.

9. Минцифры РФ планирует создать собственное Linux-сообщество из-за отстранения российских разработчиков от мирового IT-сообщества.

10. Создана 1-ая базовая ИИ-модель человеческого познания.

11. Прогноз McKinsey по 18 перспективным рынкам будущего до 2040 года. 

12. BCG: к 2030г. объем токенизированных фондов достигнет $600 млрд.

13. GitHub добавил поддержку  Gemini, Claude и o1 в Copilot.

14. OpenAI создает свой чип с Broadcom, который будет производиться на TSMC.

15. Baidu представила ТОП-10 инноваций 2024 года.

16. NVIDIA разработала нейронную сеть для управления телом робота.

17. Anthropic представил обновленного ИИ-агента на базе модели Claude 3.5 Sonnet.

18. Борьба за ИИ-поиск в разгаре: OpenAI запустили веб-поиск в ChatGPT. Конкуренция с Perplexity растет. 

19. Опубликована дорожная карта по интеграции ИИ-агентов в научные исследования.

20. Anthropic готовится к появлению сознательного ИИ и наняла 1-го сотрудника, который будет заниматься правами ИИ.

21. Команда Цукерберга создала с ИИ карту эмбрионального развития. От первой клетки до целого организма.

22. Как взломать робота, управляемого LLM.

23. Насколько эффективно сотрудничество человека и ИИ? Ответ здесь.

24. Цукерберг создает свой поисковик.

❗️OASIS - 1-я в мире игра, где ИИ создаёт миры по нажатию клавиш

Представьте, каждое ваше движение, каждый прыжок и каждый удар по блоку заставляют ИИ мгновенно генерировать новую часть мира. Именно это реализовала команда Etched в своём проекте OASIS.

За 3 дня и 7 часов с момента запуска количество уникальных пользователей превысило 1 млн. Сообщают авторы проекта.

Технические особенности:

Oasis работает на специальном ИИ-чипе под названием Sohu, который включает:

1. DiT backbone (архитектура нейронной сети)

2. ViT автоэнкодер
Возможность обработки 4K видео

3. Поддержку моделей с более чем 100 млрд. параметров

Игра была обучена на открытых данных:

- Датасет VPT
- Minecraft датасет от OpenAI (под лицензией MIT).

xAI Маска объявил, что с сегодняшнего дня на основе их базовых моделей Grok можно создавать приложения

До конца 2024 года идет публичное бета-тестирование.

Каждый пользователь получает $25 бесплатных кредитов ежемесячно.

Те, кто уже купил предоплаченные кредиты, получат эквивалентную сумму бесплатных кредитов ежемесячно до конца года

API совместим с OpenAI и Anthropic для упрощения миграции.

Ну, что, робототехника от ex-Google рвёт всех. Джефф Безос, Thrive Capital и Lux Capital вложили $400 млн в Physical Intelligence, разрабатывающий программное обеспечение для роботов

О продукте (GPT для роботов) этого стартапа мы писали на прошлой неделе тут.
А старте стартапа писали здесь.

Их новая модель Vision-Language-Action Flow устраняет разрыв между предварительным обучением в масштабе Интернета и ловкостью робота.

10 лет назад некоторые думали, что для автоматизации, например, прачечной нужно создать новую инфраструктуру, но, похоже, роботы будут настолько хороши, что смогут использовать инфраструктуру, разработанную для людей.

Бюро 1440 Алексея Шелобкова занялось электроракетными двигателями для космоса

Компания объявила о сотрудничестве с передовой инженерной школой Бауманки по разработке комплексной образовательной программы для студентов «Проектирование электроракетных двигателей».

ЭРД (электроракетные двигатели) - это не двигатели для ракет-носителей, а для спутников.

Общая стоимость создания российского Starlink: ₽445 млрд.

Собственные инвестиции компании: ₽329,06 млрд

Минцифры РФ направит: ₽116 млрд, из которых:
• 78,5 млрд руб. — на запуски и выведение спутников
• 37,5 млрд руб. — льготные кредиты на создание спутников

Почему важна программа с Бауманкой?

- Электроракетные двигатели — критически важная технология для управления спутниками

- Для будущей группировки из 292 спутников (такие планы у компании по запуску к 2027 году) потребуются передовые решения и кадры.

Исходя из этого, мы точно понимаем, что у компании планы по собственной разработке спутников. И видимо, они будут использовать существующие ракеты-носители для запуска (от Роскосмоса).

А есть ли в планах у Бюро 1440 создание своих ракет?

На мировом рынке появляются регулируемые DeFi, а общая стоимость средств превышает $100 млрд

Об этом говорится в отчете "DeFi's Next Frontier".

Доля DEX в общем TVL(сумма криптоактивов, которые пользователи разместили в DeFi-протоколах) снизилась с пикового значения 28% ($75 млрд) в 2020-2022 годах.

Крупнейший провайдер ликвидного стейкинга Lido контролирует около 60% рынка LST. Фонд Blackrock's BUIDL за менее чем год привлек более $500 млн

Основные тренды:

1. Рост институционального участия:

- Появление регулируемых DeFi-продуктов для институциональных инвесторов

- Интеграция традиционных финансовых активов (RWA) в DeFi

- Развитие гибридных финансовых моделей

- Развитие yield AMM протоколов

- Внедрение ИИ для оптимизации торговых стратегий

- Использование zero-knowledge proofs для обеспечения приватности

- Развитие кросс-чейн инфраструктуры

2. Новые финансовые продукты:

- Токенизация реальных активов

- Фракционализация интеллектуальной собственности

- Развитие протоколов кредитования на основе on-chain данных

- Торговое и дебиторское финансирование

Ожидается:

- дальнейшая интеграция TradFi и DeFi через гибридные модели.

- Увеличение роли ИИ в управлении протоколами

- Расширение использования real-world активов в DeFi.

❗️ Открытые модели ИИ отстают от закрытых ~ на 5-22 месяца по производительности - исследование Epoch AI.

В среднем разрыв составляет около 1 года. Meta* со своими открытыми моделями Llama сокращает этот разрыв.

Что значит "открытая" ИИ-модель?

Открытые ИИ-модели - те, чьи веса можно скачать.

Закрытые модели доступны только через API или вообще не выпущены.

Существуют разные степени открытости (различные лицензии и ограничения).

Тенденции:

- С 2019 по 2023 год большинство заметных моделей ИИ были открытыми.

- Наблюдается рост "промежуточных" моделей (с ограниченным доступом).

- Крупные компании по-разному подходят к открытости (например, OpenAI стала более закрытой).

Будущие перспективы:

1. Meta* планирует выпустить Llama 4, которая может сократить разрыв с закрытыми моделями.

2. Экономическая целесообразность открытых моделей остается под вопросом.

3. Открытые модели могут отстать еще больше, если затраты на обучение продолжат расти.

Значение для индустрии:

❗️Годовая задержка дает время для оценки возможностей ИИ перед широким распространением.

❗️Открытые модели способствуют инновациям и исследованиям безопасности ИИ.
Но они также могут сделать потенциально опасные возможности ИИ более доступными.

Влияние на регулирование:

1. Задержка в один год - это короткий период для законодательного процесса.

2. Необходима проактивная оценка возможностей ИИ.

3. Сложнее регулировать открытые модели, так как они могут модифицироваться без надзора.

*Запрещенная в РФ организация.

$100млн! Крупнейшая сделка по внедрению ИИ в телекоме: T-Mobile заплатит OpenAI в течение 3 лет

OpenAI займется разработкой нового чат-бота для обслуживания клиентов телеком-оператора, который будет сосредоточен на запоминании данных, специфичных для клиентов, и использовании генеративного ИИ для ответа на большую часть их вопросов без участия человека.

T-Mobile заявили, что планируют выпустить инструмент в следующем году.

Сделка станет одной из крупных, которые OpenAI заключила с корпоративным клиентом на данный момент.

ИИ делает большие шаги в 3D-индустрии: Meshcapade запустили инструмент преобразования текста в 3D, который позволяет настраивать формы персонажей и анимировать их с помощью простых текстовых подсказок.

1. Text-to-3D Movement — система преобразования текста в трехмерное движение. Теперь достаточно описать желаемое движение текстом, и ИИ сделает всю тяжелую работу за вас.

2. Motion Blending — умное смешивание движений.
Работа как с видео-референсами, так и с текстовыми описаниями.

Кому это пригодится:

1. Разработчикам игр

2. 3D-аниматорам

3. Создателям виртуальных персонажей

4. VFX-художникам

5. Начинающим специалистам в сфере 3D