🔥 Image Understanding (box_2d) в Gemini - недооцененная суперсила для OCR и не только

Короче, как я перепробовал почти все и пришел к простому. Недавно работал над задачей: нужно было извлекать данные из документов (инвойсы, ID карты, чеки), причем не просто текст вытащить, а конкретные поля и обязательно показать пользователю откуда именно взяли каждое поле. То есть полноценный grounded extraction с визуальной верификацией.

Перепробовал кучу всего, включая OCR-движки и YOLO модели - все не то: или работает с узким набором доков, или вытаскивает все подряд, или надо дообучать.

И тут я вспомнил про фичу Gemini, которую использовал в других кейсах - Image Understanding с 2D Bounding Boxes. Удивился насколько это работает лучше всех предыдущих решений. Быстрее, точнее и вполне недорого (особенно с Flash).

Смотрите, большинство vision-моделей могут описать что на картинке. GPT, Claude, другие vision модели - все они видят текст, объекты и понимают контекст. Но Gemini делает больше: он может показать где именно на изображении находится то, что он видит. С точностью до пикселя.

В промпте надо упомянуть необходимость извлечения box_2d контуров и получаете не просто текст, а JSON с координатами каждого поля:

{
  "box_2d": [245, 156, 289, 487],
  "label": "DOCUMENT_NUMBER",
  "value": "AB123456"
}

Координаты нормализованы от 0 до 1000, формат [ymin, xmin, ymax, xmax]. Дальше простая геометрия - и ты можешь наложить эти боксы на оригинал. Получается интерактивная подсветка: навел на поле в списке - подсветилось на изображении. Смотрите на видео демку из моего проекта.

Зачем это нужно: операторы могут проверять правильность извлечения прямо на документе, RAG-пайплайны хранят координаты для точных ссылок на источник, QA сразу видит где модель ошиблась, клиенты получают прозрачность - что извлекли и откуда.
Этот пост, кстати, хорошое дополнение к моему обзору LangExtract.

Технические нюансы
- Важно просить Gemini выдать именно box_2d (она натренирована таким образом): "The box_2d should be [ymin, xmin, ymax, xmax] normalized to 0-1000"
- Structured Outputs + JSON schema с box_2d отлично сочетаются и гарантируют валидный формат
- Flash/Flash Lite модели чаще всего достаточно (всего $0.10/$0.40 за миллион токенов), Pro для сложных отчетов
- Выключайте thinking для spatial задач (thinking_budget=0)
- Ресайзите до 640px по большей стороне (часто - лучший вариант, но зависит от кейса)
- Gemini 2.5+ поддерживает Segmentation Masks - то есть выдает также base64 png с точной формой объекта, полезно для computer vision задач и conversational segmentation типа "подсвети строки где сумма больше $1000"

Use cases за пределами документов: UI/UX тестирование и визуальные регрессии, e-commerce (детекция продуктов, ценников, инвентаря), quality control (дефекты, лейблы, компоненты), робототехника (навигация, захват объектов, инспекция).

Если вы делаете что-то с обработкой документов или изображений где важна локализация - попробуйте Gemini Image Understanding. Это недооцененная фича которая может сэкономить месяцы разработки и деньги на инфраструктуру.

🔥➕🔁

Карта рынка GenAI в России: что происходит.

Ребята из red_mad_robot выпустили отчёт про состояние российского рынка генеративного ИИ. Получилось что-то вроде карты, которая объясняет, как устроена AI-экосистема страны: от железа и моделей до корпоративных внедрений и рынка труда.

Пролистал, местами есть интересное 👇

1. Сегмент B2B AI взлетает — особенно там, где много рутины
Уже 70% компаний применяют GenAI.
Что внедряют быстрее всего:
• клиентская поддержка (чат-боты, ассистенты)
• корпоративные базы знаний
• HR-процессы
• генерация контента и маркетинг
Бизнес ищет быстрый возврат инвестиций, поэтому приоритет — автоматизация массовых операций.

2. Серьезный кадровый дефицит
По оценке Сбера: дефицит AI-специалистов ≈ 10 000 человек.
Количество вакансий «с AI» у hh.ru превысило 4,2 тыс., и это только верхушка.
Отсюда два вывода:
• Консалтинг и внедрение будут расти.
• Корпорации начинают строить свои R&D и Labs.

3. Рынок движется к «взрывному росту»
Ключевые факторы:
• локализация и суверенные стеки
• санкции -> окно возможностей для внутренних решений
• рост кластеров вокруг Сбера, Яндекса, Т-Банка
• быстрые внедрения в промышленности, ритейле, банках

4. Появляется новый тип сотрудника — «AI-работник»
Интересная мысль: рынок B2B SaaS пересекается с рынком интеллектуального труда.
На границе рождается новая роль — AI-сотрудник.
Он не заменяет людей полностью — но закрывает 30–60% задач там, где раньше не хватало рук.

5. Что это значит для разных сегментов
Корпорации
• строят свои R&D
• кастомизируют модели
• усиливают консалтинг и интеграцию
• конкурируют за таланты

Малый и средний бизнес
• получает доступ к инструментам уровня корпораций
• может автоматизировать маркетинг, продажи, поддержку
• не тратит миллионы на разработку — покупает готовые решения со встроенным AI

Самозанятые
• AI позволяет масштабироваться в одиночку
• порог входа на многие рынки резко падает

Итого, по состоянию на конец 2025 года можно зафиксировать: рынок ещё сырой, местами хаотичный — но именно поэтому он сейчас такой интересный.

Google сварил RAG'у

Корпорация бобра запустила новый сервис — File Search Tool в составе Gemini API. Такой вот рывок в рынок RAG-решений: компания фактически упаковала весь стек: от загрузки файлов и чанкинга до эмбеддингов и подстановки контекста в единый управляемый сервис. Теперь «пройтись по документам» можно без собственной инфраструктуры, без векторных баз и без ручной сборки пайплайна.

Такой шаг автоматически бьёт по десяткам стартапов, которые строили бизнес на том, чтобы предоставлять готовые RAG-платформы или продавать инструменты для интеграции поиска по документам в корпоративные процессы. Google закрывает большую часть этого «конструктора» одним продуктом, оставляя разработчикам только логику приложения и интерфейс. При этом поддерживается много форматов, есть примеры и документация, а значит даже «промПт-инженегры» справятся.

Но есть и ложка дёгтя: хранение файлов и обработка через LLM доступны только в облаке Google, локального или on-premise варианта пока не существует. Это усиливает зависимость от экосистемы Google, но не меняет факта — File Search Tool делает классический RAG менее «ремеслом» и больше Plug&Play, что и создаёт давление на рынок тех, кто пытался монетизировать эту сложность.

@anti_agi

Блистательные коллеги выступают в секции по ИИ в сделках M&A!❤️

#MA_Форум25

Исследование вымышленных правовых систем с помощью RAG

В науке права есть тема, которую непонятно куда отнести: это вымышленные правовые системы. То есть правовые системы, основанные на лоре несуществующих миров. Сюда относится как теоретико-правовые исследования аниме, так и, условно, работы на тему "Репрезентация американской правовой системы в сериале "Форс-мажоры". В принципе, квалификация фантазийных правоотношений — из той же серии («на каком режиме сидел Сириус в Азкабане»).

Это интересная тема не только для курсовых работ, но и для серьезных исследований. Наверное, читатели вспомнят легендарную статью "Первоначальное деликтное притязание граждан Эсгарота в лице капитана лучников Барда к Торину Оукеншильду: квалификация и оценка обоснованности в свете гражданских законов и обычаев свободных народов Средиземья". То есть тема, буквально — вправе ли были жители разрушенного Эсгарота потребовать часть сокровищ у гномов, захвативших Одинокую гору.

Эта статья на полном серьезе была выпущена в сборнике, посвященном внедоговорным обязательствам, в 2015 году. Малое число цитирований не должно вводить вас в заблуждение: она очень популярна, буквально все мои знакомые читали эту работу. В свое время это было самое интересное, что можно найти в "Консультанте" :) Кстати, статья вышла под псевдонимом и автор до сих пор публично себя не раскрыл.

Так вот. В нашем "Нейроюристе" есть продвинутая RAG-система (как NotebookLM). Пользователь может загрузить до 1000 документов и задавать вопросы по ним. Я думаю, это прекрасная возможность для исследования вымышленных правовых систем. Для примера я загрузил маленький датасет с правовыми документами вселенной "Гарри Поттера" (полтора десятка НПА, несколько меморандумов и протокол дисциплинарного слушания по делу ГП). Система довольно бодро решает кейсы по ним. Как думаете, какую вымышленную вселенную стоит еще попробовать? (в ней должен быть достаточно разработанный правовой компонент).

Полагаю, можно также использовать инструмент для исторических правовых реконструкций. Например, загрузить Дигесты и порешать задачки по римскому праву. Есть у кого-то Дигесты в текстовом формате под рукой?

Интересная статья от Forbes про применение искусственного интеллекта в инвестициях.

И, честно говоря, она снова поднимает мой скепсис насчёт полноценного использования ИИ в этой сфере.

Что в статье заявляется?

1️⃣ Персонализированные предложения инвесторам.

ИИ умеет находить корреляции в поведении клиентов, анализировать массивы данных и предлагать персональные инвестиционные решения. Фактически — это продолжение развития машинного обучения и прогнозных моделей. Там больше высшей математики, чем реального «искусственного интеллекта».

Важно понимать: такие технологии давно работают, например, в кредитном скоринге — и да, их можно адаптировать под инвестиционные рекомендации.

2️⃣ Работа с пользователями — голосом и текстом.

Здесь тоже без «прорывов». Голосовые и текстовые интерфейсы развиваются больше десяти лет.

ИИ сегодня разговаривает с нами нормально — но это, по сути, улучшенные коммуникационные технологии, а не новый этап в индустрии.

3️⃣ И самая спорная часть — аналитика.

В статье говорится, что ИИ может заменить аналитиков.
Мы в Malina Ventures протестировали большинство популярных моделей — от Perplexity до платных версий ChatGPT — и результат однозначный: полностью заменить работу аналитика ИИ пока не способен.

Почему?

• страдает фактология: ИИ пропускает данные или выдаёт неточности;
• глубина исследований ниже — мы вручную находили больше конкретики;
• выводы часто требуют интерпретации и опыта, а здесь ИИ «плавает»;
• остаётся проблема галлюцинаций.

В итоге каждое исследование приходится перепроверять и дополнять, а значит — использовать ИИ как основной инструмент в аналитике нельзя. Он помогает в отдельных задачах, но не закрывает весь цикл.

Что действительно понравилось?

ИИ периодически формулирует нестандартные вопросы и сценарии, которые заставляют шире взглянуть на проект.
Вот здесь — да — он работает как хороший дополнительный инструмент, который даёт новый угол зрения.

Вывод.

ИИ уже давно полезен в рутинной аналитике, коммуникациях и в работе с массивами данных, но до замены инвестаналитиков ему далеко. Скорее, это сильный вспомогательный механизм в руках опытной команды, чем самостоятельный игрок.