Все утро играл в миниапп который сделал Леха, пилим лидерборд и выкатываем в маркетплейс?

А как вы боритесь за продуктивность?

Circuit Tracing от Anthropic: как мы в R&D by red_mad_robot решили заглянуть внутрь LLM при использовании в RAG-пайплайнах

Ищем галлюцинации под микроскопом!

29 мая Anthropic выложили в open-source свои инструменты Circuit Tracing методологию механической интерпретируемости, которую мы в R&D подразделении red_mad_robot первыми применили для решения практической задачи детекции галлюцинаций в RAG-системах!

В начале 2025 года, когда я возглавил новое R&D направление, я поставил амбициозную задачу: не просто оценивать качество ответов LLM "снаружи", а заглянуть внутрь процесса генерации и понять, откуда берутся галлюцинации.

Почему именно RAG-пайплайны и Circuit Tracing?

Проблема была очевидна: RAG-системы часто смешивают информацию из контекста с "внутренними знаниями" модели, создавая правдоподобные, но неточные ответы
Существующие методы детекции работают post-factum, а нам нужно было понять механизм принятия решений в реальном времени

Circuit Tracing от Anthropic давал именно это возможность построить атрибуционные графы и проследить, как токены входного контекста влияют на финальный ответ модели

Конкретные результаты нашего исследования

85% точность детекции галлюцинаций вот что мы получили на тестовом датасете с нашей реализацией на базе Qwen2.5-7B.

Как отмечает наш исследователь Ирина Кошкина:
"Основная идея — измерение доли влияния от токенов входа, соответствующих контексту, среди всего влияния от всех активных токенов."

Наша метрика Groundedness включает:
- Контекстную долю влияния (Gctx)
- Replacement Score — качество признаков vs ошибок
- Completeness Score — полнота объяснения через атрибуционный граф

Технические вызовы и решения

Cross-Layer Transcoders (CLT) стали ключевым компонентом системы
Вместо анализа отдельных слоев мы научились отслеживать влияние признаков между несколькими архитектурными уровнями трансформера

Основные проблемы, которые пришлось решать:
1. Вычислительная сложность процедура анализа на порядки медленнее генерации
2. Зависимость от качества обученного транскодера
3. Токен-уровневое сопоставление, приводящее к ложным срабатываниям

Но результат того стоил мы получили рабочий инструмент для анализа внутренних процессов модели во время генерации ответов в RAG-системах


Отдельное спасибо отделу маркетинга red_mad_robot за подготовку детальной статьи оформления и валидации на Хабре

Отдельное спасибо Саше (@dealerAI) за экспертную валидацию нашей гипотезы на старте проекта

Когда предлагаешь исследовать "атрибуционные графы для детекции галлюцинаций в RAG", поддержка опытных друзей по цеху критически важна для получения ресурсов и мотивации команды

Полный технический разбор с кодом, формулами и результатами экспериментов доступен в нашей статье на Хабре закидываем в закладки и ставим +

Про AI-комьюнити: где ваш код, "эксперты"?

О наболевшем!)

Что мы реально выпустили за полгода

Без Артема ничего бы не получилось https://xn--r1a.website/virrius_tech ты крут!

SGR Deep Research 494 звезд и 87 форков, MIT лицензия

WhisperX с фронтендом 16,437 строк кода, 30 звезд и 8 форков

speechcoreai.com

Продуктовое решение на базе прототипа 800 пользователей сделали 12к транскрибов бесплатно

SearXNG Tavily Adapter бесплатная замена Tavily, 90 звезд и 10 форков

RAG-бот 2к человек задали вопросы, 8к ответов выдано

Итого: ~614, 105форков, 800 активных пользователей, 12к транскрибов, 2к пользователей бота это я еще не беру 2-3 бота в которых я перестал считать метрики изредка слежу

Что бесит лично меня?

Выпускаю SGR
Диванный критик такой:"Манипуляция результатами" "XML методика лучше"

Публикую Circuit Tracing "Думал об этом год назад" "Хайпитесь на Anthropic"

Выпускаем WhisperX фронтенд "Тривиально" "За вечер сделаю"

Факты жестче слов: 87 форков SGR, 85% accuracy у Circuit Tracing (первые в мире!), 800 человек реально пользуются транскрибатором каждый

Мир аббревиатур vs реальный код

Хейтеры оперируют: RAG LLM SGR MCP CoT RLHF, SHMEX
"Я знаю все аббревиатуры значит я эксперт"

Делают презентации со схемами, скрины из IDE с блюром, ведут в личку за платной консультацией
Говорят: "Anthropic туфта OpenAI туфта всё туфта"

Результат: 0⭐️ на GitHub, 0 строк кода, 0 реальных пользователей

Те кто реально пушат vs те кто критикует

Честно говоря, заметил и такой паттерн все хейтеры которые реально что-то делают, пришли и начали пилить SGR вместе с нами!

А те кто сидит в закрытых тусовках (ой их забанили везде) переходят на личности, копипастят ответы из LLM, не могут спорить по существу

У них нет кода есть только апостол в виде LLM с которым они советуются =)

Выбор который делаю каждый раз я

Вариант А: Потратить 2-3 часа на споры в комментах, пойти на поводу, отвечать, думать, крутить результат ноль потраченные нервы

Вариант Б: Те же 2-3 часа потратить на код получить +1⭐️ и +10 пользователей

Всегда выбираю Б

Я лично все больше чувствую что хейт реален борьба с json стетхами реальна
Но код реальнее всего!

Он реальнее любой простыни в корнетах или поста хейта

Вот зачем я занимаюсь open-source!

Мой критерий простой
Цитаты великих из двора

Говорить легко делать сложно

Для тех кто делает и получает хейт и это тоже показатель

Пушите код спите больше

Ваши результаты говорят громче любого хейта

Репо живут здесь:
https://github.com/vamplabAI/sgr-deep-research
https://github.com/vakovalskii/whisperx-fronted-docker-compose
https://github.com/vakovalskii/searxng-docker-tavily-adapter

Продукты работают:
https://speechcoreai.com/ (800 пользователей 12к транскрибов)
@neuraldeepbot (2к пользователей 8к ответов)

Вы на какой стороне вы где коммит звезды пользователи 👍 или из тех кто "я бы лучше" но не сделал?

Объявляю сбор интересный проектов под этим постом ваших, личных GitHub проектов

Обсудим
Изучим
Дадим советов

Соберем подборку выпущу пост!

После освоения AI-инструментов

Послушал лекцию Александра Крайнова (директор по развитию ИИ в «Яндексе») для студентов Иннополиса — зацепила простая мысль: выбор конкретной LLM уходит в прошлое. Как когда-то мы перестали переживать, каким компилятором собирать код, так и здесь — решать будет сервис.

В нашем business-аккаунте Cursor режим Auto уже стал дефолтом. Команда почти не переключается на конкретные модели — ручной выбор остаётся у энтузиастов (см. скрин).

И это не случайность. OpenAI все понимает и то же движется в эту сторону: летом компания уже пробовала с релизом GPT-5 «спрятать» ручной выбор и оставить автоподбор. Комьюнити отстояло переключатель — но, уверен, это временно.

Что меняется на практике? Смещается точка ответственности. Важно уметь чётко описать задачу (промпт), дать релевантный контекст и проверить качество ответа. Экспертиза — в дизайне запроса и оценке результата, а не в переборе моделей. Похоже, индустрия в целом идёт к меньшему ручному выбору — курс на «задача → результат» без микроменеджмента моделей.

Материалы по теме:
Пост-GPT. Что глобально ждёт индустрию после бума генеративных ИИ — лекция Александра Крайнова

Как я использовал SGR, не подозревая об этом, и почему советую вам

Сколько бы ты ни работал в какой-либо сфере, уследить за всем просто нереально. В AI буквально каждый день появляются новые инструменты и методы работы с моделями, в частности с LLM. И иногда так бывает, что ты самостоятельно приходишь к чему-то, гордишься этим, а оказывается - про это уже написаны статьи. Так случилось и со мной.

Поле применения LLM довольно широкое, но одной из самых частых задач я бы назвал ускорение производства текстового результата: от оптимизации продуктового ресерча с анализом рыночных и пользовательских данных до частичной автоматизации с помощью AI-ассистентов.

Глобально у нас есть несколько стратегий достижения результата:
- можно просто задать задачу LLM, применяя базовый промптинг или продвинутые техники типа CoT;
- можно использовать RAG, чтобы доставать релевантный контекст из базы знаний;
- можно вдохнуть в LLM агентское поведение, добавив инструменты, и аппрувить промежуточные результаты.

У всех этих методов есть серьезные недостатки. Простой промптинг часто порождает нерепродуцируемость и разброс результатов. RAG и тулы могут упустить важные детали, значимые именно для вашей задачи, потому что модель не всегда полностью понимает, что важно именно вам как специалисту.

Снижение температуры модели помогает, но не решает проблему полностью. Работая с комплексными задачами, когда нужно поэтапно извлечь данные, структурировать и принять решения в рамках одного диалога, я нашёл метод, который позволяет “придушить” модель и получать более релевантный, контролируемый результат.

Как это сделать?
Метод прост - в системных промптах я включаю не только описание задачи, но и детальное описание процесса и критериев результата. Потом даю LLM не просто произвольный текст, а чётко типизированный шаблон вывода, например, в формате JSON Schema, где указываю строгое поле для каждого шага.

Далее этот структурированный вывод я использую как вход в следующий шаг в цепочке. То есть вместо свободного CoT я задаю схему рассуждений - последовательность этапов, типы и формат данных, которые модель должна сгенерировать на каждом этапе. Эта схема заставляет модель придерживаться логики и правил, помогает избежать ошибок и галлюцинаций.

То есть мы получаем метод, в котором вся логика вывода, переходы и схемы валидации жёстко заданы с помощью схем данных. Всё, что вам нужно - это спроектировать качественные схемы и описать логику шагов. Тогда финальные документы и результаты практически не требуют правок.

Это называется SRG
Так я радовался своему “открытию”, пока у Валеры в канале @neuraldeep не наткнулся на аббривеатуру SGR, которая обещала все то же самое 😄 Оказалось, что Schema-Guided Reasoning изобрели еще до меня 😁 Более того, про него еще статейки написали и есть куча холивара на тему того, тру это или не тру 😄 У метода есть сторонники и критики, но на мой взгляд, если нужна предсказуемость, воспроизводимость и контроль над качеством вывода LLM, это лучший подход.

Плюс SGR играет хорошо с RAG и агентскими инструментами: схема помогает управлять, когда и какой контекст доставать, как валидировать промежуточные шаги и принимать решения о следующем действии. Это снижает пропуск важного контекста и улучшает общую надежность.

Если вам надо системно и стабильно получать результат от LLM, рекомендую обратить внимание на SGR. Это не просто продвинутый промптинг - это работа с моделью на уровне структурированных данных и схем рассуждений, что кардинально повышает качество и удобство работы.

RAG, ты в ответе за то что знаешь?

В начале этого года мы с вами собирали naive RAG на стриме
Accuracy был 45-70%, галлюцинации на 30%, все радовались

Но честно? Это не работало в production пришлось изобретать DCD и кучу обвязки сверху что бы заставить работать хоть что-то на 7b модельках

Графы, онтологии, фреймворки перепробовал всё
15 лет данных компании, 3 топика (HR/IT/Sales),
и ни одно решение не взлетело как надо

С начала лета я погрузился в агентную движуху по уши
И кажется, я знаю как сделать по-другому

Но проверить хочу вместе с вами

Structured Output (SO) — это не хайп, это must-have
Без него LLM генерит кашу вместо структуры

vLLM/Sglang + локальные модели пока чуть ли не единственный
контролировать costs и latency в контуре

Прозрачность > черные ящики
Граф и workflow лучше чем "магия фреймворков"

Small Model Language могут дать +20-30%
там где я вообще не ожидал (реально!)

GraphRAG и онтологии красиво звучат
но на практике больше боли чем пользы

Готовые фреймворки (LangChain и тд)
я слишком ленивый что бы проходит EVE c 0

Знакомо?

У вас свалка данных за 10-15 лет
Закрытый контур нельзя в облако
Пробовали GraphRAG/онтологии не взлетело
Даже LLM разметка + векторная БД не спасла

И каждый раз слышите про:
- Галлюцинации LLM
- Космическую стоимость железа
- "Ну попробуйте еще один фреймворк"

Я считаю что после выхода некоторых моделей этим летом теперь есть решение!
Возьмем банальные три топика HR/IT Support/Sales
Возьмем абстрактную задачу создать базу знаний "УмнуюСАгентамиИLLM" что бы в целом можно было
искать в глубину и быстро отвечать на чаво

У меня назревает ответ, но четкого плана пока нет

По этому я решил это осенью провести новый стрим (zoom) аж на 2 часа,
где мы с вами онлайн создадим план, и проверим мою гипотезу

Друзья, мы вместе будем изобретать схему разметки
У меня есть несколько идей, но хочу услышать ваши!

Порисуем в MIRO (возможно потратим все 2 часа на проектирование)
Развернем sgr deep research агента на одной 4090(48GB)
Прикрутим ему FTS tool поиска по конфлюенс и еще пару секретных тулов
Напишем генератор задач для него на базе 32b модели
Попробуем с помощью него собрать ядро знаний по этим топикам
Далее это ядро по хитрому положим в векторную и реляционную базу

После создадим golden датасет и сделаем naive rag(что бы прям быстро отвечал) и оценку на базе llm as judge чуть большей моделькой но так же в контуре

Все это сделаем на небольшом датасете дабы проверить концепцию

Хочешь участвовать?

Заполни форму после пришлю:
Ссылку на стрим за день до эфира
Доступ к MIRO доске для мозгоштурма
Материалы для подготовки (опционально)

Мест ограничено планирую воркшоп до 30 человек
для продуктивного обсуждения

Середина ноября, вечер среды/четверга

P.S. Если не попадешь на live запись будет,
но без возможности влиять на решения в реальном времени 😉

AIDev конференция: 1000 человек уже зарегистрировались, и вот почему вам тоже стоит

Помните исследование METR, где заявили что Cursor снижает продуктивность разработчиков?

Нюанс простой за инструмент посадили людей, которые открыли его впервые!

Как дать синьору Excel первый раз в жизни и ждать продуктивности 😅


Мои друзья по AI-цеху организовали онлайн-конференцию про настоящий AI Coding, и цифры говорят сами за себя:

- Почти 1000 зарегистрированных (шутка ли!)
- 6 часов контента от практиков
- 14 октября, 14:00 МСК
- Без воды и буллшита только реальный опыт

О чем расскажут?

Программа покрывает весь спектр от новичков до продвинутых:

✅ Правильный старт с AI-инструментами
✅ Архитектура в вайбкодинге
✅ Выбор MCP без хайпа
✅ Работа с контекстом для больших проектов
✅ Feedback loop с AI-агентом
✅ ShotgunPro и другие инструменты

Кто спикеры?

Техлиды, CTO, AI heads и авторы собственных AI-инструментов те, кто пишут production-код каждый день

Почему стоит прийти?

Даже если вы уже кодите с AI — узнаете минимум 2-3 новых подхода, которые сэкономят часы работы.

Если только начинаете получите системный фундамент вместо хаотичных экспериментов

Честно, когда 1000 человек регистрируются за неделю до старта это показатель что тема реально горит! 🔥

Регистрация здесь

Пересылайте друзьям и знакомым, кому зайдет. 14 октября увидимся! 🚀