Есть такой опенсурс проект под названием Cua Driver, это Computer Use, который может работать в фоне.

Так еще не рискуя за свой рабочий пк.

Обычно все Computer Use просто делают скрин экрана и отдают его в LLM.

Но у Cua работает по-другому, он возвращает вместе с картинкой еще и дерево доступности элементов приложения.

То есть агенту не нужно считать примерные координаты, он сразу понимает где расположена нужная кнопка.

Есть два режима:
1/ Управление реальными окнами на текущем рабочем столе
2/ То же самое управление только в отдельной изолированной среде

У него есть CLI и MCP, можно использовать вместе с Claude Code, Codex и любыми другими агентами.

Поддерживает macOS, Windows и недавно появился Linux.

Чтобы установить скормите своему агенту этот промт:

1. Прочитай документацию по ссылке ниже и установи cua-driver на мой компьютер.
2. После установки запусти его.
3. Настрой для Codex MCP и skill для cua-driver.
4. Открой калькулятор Windows для теста, посчитай 123*456=? и скажи мне результат.
https://cua.ai/docs/cua-driver/guide/getting-started/introduction

Я еще писал что в Windows версии Codex есть проблема, что Computer Use не может работать в фоне, Cua исправит, так что смело отправляйте своего агента взаимодействовать с UI.

GitHub

@tips_ai #tools

Нашел еще одну интересную статью: парень 2 дня собирал трафик ChatGPT, чтобы понять как на самом деле выбираются источники для цитирования

Через DevTools браузера он смотрел события сети и искал в JSON скрытые поля, которые не видны в обычном ответе.

Так он нашел result_source, который содержит в себе метки про источники:
1/ serp — обычная поисковая выдача из поиска
2/ labrador — крупные источники с лицензией по типу Wikipedia, Reuters и тд.
3/ bright и oxylabs — сторонние скрейперы веба

Таким образом он собрал и изучил около 1240 записей и несколько десятков поисковых запросов используя всего один Pro аккаунт.

Механизм выбора источников у ChatGPT примерно такой:

1/ Сначала ChatGPT решает нужно ли вообще идти в веб
2/ Если да, то дальше он разбивает запрос юзера на несколько мелких проверок (найти цену сервиса, найти список функций, проверить репутацию и тп.)

Вот дальше очень важна читаемость страницы: если цена лежит в обычном HTML, то модель возьмет её с официального сайта и процитирует именно его.

(Обычно просто ищет символы вроде $ и €)

Но если цена появляется только после JavaScript или спрятана в картинке, то модель её не увидит и пойдет искать на Reddit, обзорах или вообще у конкурентов.

Тут есть важный момент: источник, цитата и упоминание — это разные вещи.

- Страница может быть загружена моделью, но не процитирована
- Может быть процитирована, но бренд не будет упомянут
- А может быть упомянут бренд, но источник для утверждения будет чужой

ChatGPT может загрузить Reddit, YouTube и ваш сайт, но процитировать только то что лучше подкрепляет ответ.

В таких случаях Reddit обычно выигрывает, потому что там много текстового смысла.

Если хотите это повторить, откройте DevTools в браузере и вставьте туда этот скрипт:

const t = (await (await fetch('/api/auth/session')).json()).accessToken;
const c = await (await fetch('/backend-api/conversation/' + location.pathname.split('/c/')[1], {headers: {Authorization: 'Bearer ' + t}})).json();
const rows = [];
JSON.stringify(c, (k, v) => {
if (v && v.result_source) {
const d = (v.attribution || v.url || '?').toString();
rows.push({source: d.replace('https://', '').replace('www.', '').split('/')[0], pipeline: v.result_source});
}
return v;
});
console.table(rows);

Он вытащит из текущего диалога список источников и покажет откуда они пришли: serp, labrador и тд.

Если подшаманить над скриптом можно вытаскивать еще и поисковые запросы, цитаты и логику выбора источников.

@tips_ai #news

Anthropic выпустили Sonnet 5

Она будет по умолчанию для бесплатных и Pro тарифах за $20.

Но интересно то, что вместе с моделью выкатили Claude Science, как Cowork, но для учёных.

Внутри 60+ научных баз (геномика, протеомика, химинформатика и тд) и отдельный агент-ревьюер, который проверяет цитаты и расчёты.

Анализирует литературу, гоняет вычисления и собирает фигуры с манускриптами.

Каждый результат воспроизводим: к нему прикладывается код и среда, в которой он получен. Так же тяжёлые вычисления гоняются на твоей же инфраструктуре, так что данные никуда не утекают.

Доступно в бете на macOS и Linux для Pro и Max. (винды нету)

Блог / Скачать Claude Science

@tips_ai #news

Когда изучаете что-то с ИИ или делаете ресерч, то дефолтный вертикальный чат не самый удобный вариант для этого (как минимум для меня)

Есть вот такой опенсорсный холст с MCP для работы с Claude Code, Codex и тд.

То есть агент запускает локально интерфейс с канвас, где весь диалог в виде дерева, а ответы это ветки в которые можно углубляться

Это удобно, когда:

- Выделяешь фрагмент текста, задаешь вопрос, то создается новая ветка
- Каждую такую ветку можно развернуть в полноценный режим чтения
- Весь прогресс хранится локально в JSON

Вся цепочка диалога перед глазами, и можно организовывать её как угодно

Вызовы идут через MCP, агент пишет у себя в терминале а ответ выводит в интерфейс

Работает везде: Windows, macOS, Linux

Установить себе: Сайт | GitHub

@tips_ai #tools