Как нормально тестировать AI-агента, если правильный ответ ещё ничего не доказывает

У обычного чат-бота можно проверить финальный ответ. С агентами этого уже мало: модель может выдать вполне убедительный текст, но перед этим выбрать не тот skill, вызвать неправильный tool, потерять контекст на втором сообщении или выполнить только половину задачи.

Ed Crewe описал, как они строили eval-фреймворк для агентного чат-бота вокруг Postgres AI Hybrid Manager.

Начали с простого routing eval: для каждого запроса проверяется, выбрал ли агент нужный skill или tool. Это быстро, детерминированно и удобно гонять в CI.

Следующий слой- Task Completion Rate. Здесь уже оценивается сам результат: выполнил ли агент задачу, использовал ли нужные данные, предложил ли адекватный следующий шаг. Для таких проверок используется LLM-as-a-judge и заранее заданная rubric.

Но и этого оказалось мало. Реальные задачи часто состоят из нескольких сообщений, поэтому тестировать приходится уже целые диалоги с сохранением conversation state и отдельными проверками каждого шага.

Финальный уровень — trajectory testing: смотреть не только на ответ, а на весь путь агента к нему: маршрутизацию, выбор skills, tool calls, промежуточные действия, состояние диалога и итоговый результат.

Получается уже почти классическое E2E-тестирование, только объект проверки здесь не HTTP-запрос или UI, а поведение AI-агента целиком.

В основе автор использует deepeval, поверх которого добавлены YAML goldens, CI, плагины, multi-turn evals и телеметрия через Langfuse.

https://edcrewe.blogspot.com/2026/08/from-routing-checks-to-trajectory.html

25 августа встречаемся на Agentic Coding Meetup в Сбер.Среде и в онлайне⚡️

AI-агенты уже умеют писать код. Но самое интересное начинается дальше — когда вместе с инструментами меняются роли инженеров, команды и сам процесс разработки.

🔥 Поговорим о том, как agentic coding выглядит на практике: новые инженерные роли и модели команд, SDD и трансформация процессов, coding-агенты и инструменты, подходы к постановке задач и управлению контекстом, а также опыт внедрения AI в разработку больших технологических компаний.

⏳ Начало в 17:00, встреча очных гостей — в 16:00.

Количество очных мест ограничено — успейте зарегистрироваться!

Для тех, кто работает с ACP-агентами из терминала, появился простой REPL

acp-repl запускает любой stdio-сервер с поддержкой Agent Client Protocol и позволяет общаться с агентом прямо из терминала: отправлять промпты, создавать сессии, переключать модель и режим, обрабатывать permission-запросы и смотреть debug-логи.

Работает не с одним конкретным агентом. В README есть примеры для OpenCode, Codex, Claude Code и Pi, плюс можно подключить любой другой ACP-совместимый executable.

Удобная штука для быстрой проверки агента до того, как встраивать его в свой runtime или приложение. Можно сравнить поведение разных моделей и режимов, проверить permissions или просто понять, нормально ли стартует конкретный ACP-провайдер.

Запуск через npm:

npm install -g @normahq/acp-repl@latest

acp-repl -- opencode acp

Репозиторий:
https://github.com/normahq/acp-repl

Python Game Server: простой сервер для пошаговых мультиплеерных игр

python-game-server — лёгкий open source-фреймворк на Python для создания пошаговых мультиплеерных игр.

Он даёт готовую серверную основу, чтобы не писать с нуля комнаты, игровые сессии и сетевое взаимодействие.

Из коробки есть:

— единый API для разных игр
— несколько параллельных игровых сессий
— подключение к конкретной комнате
— автоматический вход в ближайшую свободную сессию
— возможность относительно легко добавлять новые игры

Проект рассчитан в первую очередь на настольные, карточные и другие turn-based игры. Для написания клиентов и новых игровых механик, по словам автора, достаточно базового знания Python.

В репозитории уже больше 600 коммитов, отдельно лежат клиентская и серверная части.

GitHub: https://github.com/feberts/python-game-server

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://xn--r1a.website/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_1001_notes
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://xn--r1a.website/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://xn--r1a.website/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://xn--r1a.website/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://xn--r1a.website/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://xn--r1a.website/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

Лицо C++-разработчика, когда он написал 6000 строк кода, чтобы обогнать твои 4 строки на Python на 0,000438 секунды.

10 открытых GitHub-репозиториев для изучения Python

1. 30 Days of Python - курс от основ до более продвинутых тем за 30 дней.
https://github.com/Asabeneh/30-Days-Of-Python

2. Learn Python - компактный учебник с примерами: типы, функции, ООП, декораторы, генераторы и многое другое.
https://github.com/trekhleb/learn-python

3. The Algorithms — Python - сотни алгоритмов и структур данных с реализациями на Python.
https://github.com/TheAlgorithms/Python

4. Python Mini Projects — много небольших проектов, на которых удобно набивать руку.
https://github.com/Python-World/python-mini-projects

5. Interactive Coding Challenges - задачи по алгоритмам, структурам данных и программированию с решениями.
https://github.com/donnemartin/interactive-coding-challenges

6. Python Patterns - паттерны проектирования и идиоматичный Python на реальных примерах.
https://github.com/faif/python-patterns

7. Learn Python 3 - хороший набор примеров и упражнений от базового синтаксиса до продвинутых возможностей языка.
https://github.com/jerry-git/learn-python3

8. Real Python Materials - исходники и примеры к большому количеству обучающих материалов Real Python.
https://github.com/realpython/materials

9. 100+ Python Challenging Programming Exercises - большая коллекция задач с постепенным ростом сложности.
https://github.com/zhiwehu/Python-programming-exercises

10. Awesome Python - огромный каталог библиотек, фреймворков и инструментов Python. Полезен, когда базу уже прошёл и хочется понять экосистему.
https://github.com/vinta/awesome-python

Если идти по порядку, я бы начал с 30 Days of Python → Learn Python → Mini Projects → The Algorithms → Python Patterns. Так получится путь от синтаксиса до алгоритмов и нормального продакшен-кода.

Python, который мы заслужили!