🔥 Image Understanding (box_2d) в Gemini - недооцененная суперсила для OCR и не только

Короче, как я перепробовал почти все и пришел к простому. Недавно работал над задачей: нужно было извлекать данные из документов (инвойсы, ID карты, чеки), причем не просто текст вытащить, а конкретные поля и обязательно показать пользователю откуда именно взяли каждое поле. То есть полноценный grounded extraction с визуальной верификацией.

Перепробовал кучу всего, включая OCR-движки и YOLO модели - все не то: или работает с узким набором доков, или вытаскивает все подряд, или надо дообучать.

И тут я вспомнил про фичу Gemini, которую использовал в других кейсах - Image Understanding с 2D Bounding Boxes. Удивился насколько это работает лучше всех предыдущих решений. Быстрее, точнее и вполне недорого (особенно с Flash).

Смотрите, большинство vision-моделей могут описать что на картинке. GPT, Claude, другие vision модели - все они видят текст, объекты и понимают контекст. Но Gemini делает больше: он может показать где именно на изображении находится то, что он видит. С точностью до пикселя.

В промпте надо упомянуть необходимость извлечения box_2d контуров и получаете не просто текст, а JSON с координатами каждого поля:

{
  "box_2d": [245, 156, 289, 487],
  "label": "DOCUMENT_NUMBER",
  "value": "AB123456"
}

Координаты нормализованы от 0 до 1000, формат [ymin, xmin, ymax, xmax]. Дальше простая геометрия - и ты можешь наложить эти боксы на оригинал. Получается интерактивная подсветка: навел на поле в списке - подсветилось на изображении. Смотрите на видео демку из моего проекта.

Зачем это нужно: операторы могут проверять правильность извлечения прямо на документе, RAG-пайплайны хранят координаты для точных ссылок на источник, QA сразу видит где модель ошиблась, клиенты получают прозрачность - что извлекли и откуда.
Этот пост, кстати, хорошое дополнение к моему обзору LangExtract.

Технические нюансы
- Важно просить Gemini выдать именно box_2d (она натренирована таким образом): "The box_2d should be [ymin, xmin, ymax, xmax] normalized to 0-1000"
- Structured Outputs + JSON schema с box_2d отлично сочетаются и гарантируют валидный формат
- Flash/Flash Lite модели чаще всего достаточно (всего $0.10/$0.40 за миллион токенов), Pro для сложных отчетов
- Выключайте thinking для spatial задач (thinking_budget=0)
- Ресайзите до 640px по большей стороне (часто - лучший вариант, но зависит от кейса)
- Gemini 2.5+ поддерживает Segmentation Masks - то есть выдает также base64 png с точной формой объекта, полезно для computer vision задач и conversational segmentation типа "подсвети строки где сумма больше $1000"

Use cases за пределами документов: UI/UX тестирование и визуальные регрессии, e-commerce (детекция продуктов, ценников, инвентаря), quality control (дефекты, лейблы, компоненты), робототехника (навигация, захват объектов, инспекция).

Если вы делаете что-то с обработкой документов или изображений где важна локализация - попробуйте Gemini Image Understanding. Это недооцененная фича которая может сэкономить месяцы разработки и деньги на инфраструктуру.

🔥➕🔁

Карта рынка GenAI в России: что происходит.

Ребята из red_mad_robot выпустили отчёт про состояние российского рынка генеративного ИИ. Получилось что-то вроде карты, которая объясняет, как устроена AI-экосистема страны: от железа и моделей до корпоративных внедрений и рынка труда.

Пролистал, местами есть интересное 👇

1. Сегмент B2B AI взлетает — особенно там, где много рутины
Уже 70% компаний применяют GenAI.
Что внедряют быстрее всего:
• клиентская поддержка (чат-боты, ассистенты)
• корпоративные базы знаний
• HR-процессы
• генерация контента и маркетинг
Бизнес ищет быстрый возврат инвестиций, поэтому приоритет — автоматизация массовых операций.

2. Серьезный кадровый дефицит
По оценке Сбера: дефицит AI-специалистов ≈ 10 000 человек.
Количество вакансий «с AI» у hh.ru превысило 4,2 тыс., и это только верхушка.
Отсюда два вывода:
• Консалтинг и внедрение будут расти.
• Корпорации начинают строить свои R&D и Labs.

3. Рынок движется к «взрывному росту»
Ключевые факторы:
• локализация и суверенные стеки
• санкции -> окно возможностей для внутренних решений
• рост кластеров вокруг Сбера, Яндекса, Т-Банка
• быстрые внедрения в промышленности, ритейле, банках

4. Появляется новый тип сотрудника — «AI-работник»
Интересная мысль: рынок B2B SaaS пересекается с рынком интеллектуального труда.
На границе рождается новая роль — AI-сотрудник.
Он не заменяет людей полностью — но закрывает 30–60% задач там, где раньше не хватало рук.

5. Что это значит для разных сегментов
Корпорации
• строят свои R&D
• кастомизируют модели
• усиливают консалтинг и интеграцию
• конкурируют за таланты

Малый и средний бизнес
• получает доступ к инструментам уровня корпораций
• может автоматизировать маркетинг, продажи, поддержку
• не тратит миллионы на разработку — покупает готовые решения со встроенным AI

Самозанятые
• AI позволяет масштабироваться в одиночку
• порог входа на многие рынки резко падает

Итого, по состоянию на конец 2025 года можно зафиксировать: рынок ещё сырой, местами хаотичный — но именно поэтому он сейчас такой интересный.

Google сварил RAG'у

Корпорация бобра запустила новый сервис — File Search Tool в составе Gemini API. Такой вот рывок в рынок RAG-решений: компания фактически упаковала весь стек: от загрузки файлов и чанкинга до эмбеддингов и подстановки контекста в единый управляемый сервис. Теперь «пройтись по документам» можно без собственной инфраструктуры, без векторных баз и без ручной сборки пайплайна.

Такой шаг автоматически бьёт по десяткам стартапов, которые строили бизнес на том, чтобы предоставлять готовые RAG-платформы или продавать инструменты для интеграции поиска по документам в корпоративные процессы. Google закрывает большую часть этого «конструктора» одним продуктом, оставляя разработчикам только логику приложения и интерфейс. При этом поддерживается много форматов, есть примеры и документация, а значит даже «промПт-инженегры» справятся.

Но есть и ложка дёгтя: хранение файлов и обработка через LLM доступны только в облаке Google, локального или on-premise варианта пока не существует. Это усиливает зависимость от экосистемы Google, но не меняет факта — File Search Tool делает классический RAG менее «ремеслом» и больше Plug&Play, что и создаёт давление на рынок тех, кто пытался монетизировать эту сложность.

@anti_agi