22 января Apple TV обещают нам экранизацию Нейроманта по Уильяму нашему Гибсону.

ВЫБОР LLM ДЛЯ ОСИНТ
#процессы

Выбор LLM для разведки - это всегда компромисс между точностью фактов, возможностью обрабатывать большие объёмы разнородных данных и доступными вычислительными ресурсами. Ниже я постарался собрать и поверхностно обозреть конкретные модели, которые прошли проверку на на тех задачах, которые я давал моделям в конкретных кейсах (когда было время на перепроверку) - от извлечения сущностей из утёкших баз до анализа видео с камер наблюдения. Безусловно, эта статья будет максимально субъективной и основываться только на личных впечатлениях, и если у вас есть свой опыт - с удовольствием обсудил бы это в комментариях.

От каких критериев мы будем отталкиваться в выборе:
🔻 Контекстное окно - не менее 32 000 токенов; для работы с много килобайтными логами или досье желательно 128 000.
🔻 Мультимодальность - нужна, если в материалах есть изображения, скриншоты, записи разговоров или видео.
🔻 Точность структурирования - способность выдавать строгий JSON или таблицы без лишних слов, критично для автоматизации.
🔻 Уровень галлюцинаций - в разведке неприемлемо, когда модель додумывает факты. Проверялось на контрольных выборках с ручной разметкой.
🔻 Железо - работа без интернета, на локальном сервере или ноутбуке аналитика.

📑 Начнем нашу подборку с универсальных и тяжелых моделей для глубокого анализа текста. Ибо, когда нужно просеять гигабайты переписки, извлечь все упоминания имён, телефонов, криптокошельков и представить результат в структурированном виде и логическими выводами, нет альтернативы моделям уровня 70 миллиардов параметров. И две из них выделяются на фоне остальных.

💻 Llama 3.1 70B Instruct  (128К контекст, только текст).
На корпусе из 10 000 строк слитого чата модель извлекла 99% телефонных номеров и 97% уникальных имён, не сгенерировав ни одного несуществующего контакта. Встроенный function calling позволяет сразу передавать результаты в системы учета инцидентов. Минус — слабая поддержка языков, кроме английского. Для русского, арабского или китайского приходится настраивать постобработку. Работает быстро на двух RTX 3090/4090 в режиме квантования Q4_K_M (48 ГБ VRAM), либо на Mac Studio M2 Ultra со 192 ГБ объединённой памяти. 

💻 Qwen2.5 72B Instruct (128К контекст, только текст).
Если материалы содержат несколько языков одновременно, эта модель показывает лучшие результаты. На смешанных русско-украинско-английских досье точность извлечения фактов составила 96%, а галлюцинации — около 2%. Генерирует чистый JSON без обрамляющих фраз, что упрощает интеграцию с парсерами. Требует столько же памяти, что и Llama 3.1

🖼 Но в реальной работе мы же редко ограничиваемся только текстом. Скриншоты переписок, фото местности, кадры с камер - всё это требует нативного понимания визуальной информации.

💻 Llama 3.2 11B Vision Instruct (128К контекст, изображения).
Оптимальный баланс между качеством и требованиями к железу. На тестовой выборке скриншотов из мессенджеров правильно распознала 94% адресов, номеров карт и паролей. Работает на видеокартах уровня RTX 3060 с 8-12 ГБ VRAM (квант Q4_K_M). Основной недостаток - не умеет обрабатывать звук и видео, но для статичных изображений я бы назвал это одним из основных инструментов. 

💻 Qwen2-VL 7B Instruct  (128К контекст, изображения и видео до 20 минут).
Незаменима при анализе записей с камер наблюдения. Модель отслеживает временную динамику: фиксирует ключевые кадры, описывает последовательность событий, распознаёт номера машин и лица. В тесте на 10-минутном ролике митинга извлекла все лозунги с точностью 95%. Требует RTX 3060 12 ГБ. Из ограничений - на длинных роликах может пропускать мелкие детали. 

💻 MiniCPM-V 2.6 (8B)  (64К контекст, изображения и видео).
Когда задачи скромнее — например, нужно быстро рассортировать сотни фотографий по наличию определённых объектов или документов. Работает даже на 8 ГБ VRAM, при этом корректно вырезает таблицы и области с текстом. Глубокие логические выводы от неё ожидать не стоит, но для полевой сортировки улик - идеально. 

🎙 Продолжим анализом аудиоматериалов. Прямой обработки звука внутри LLM пока нет, но есть связка, которая может решить эту задачу.

💻 Whisper large-v3 
Не совсем языковая модель в привычном смысле, а система распознавания речи. На чистых записях даёт менее 5% ошибок по словам для русского языка. Транскрипция затем подаётся в текстовую LLM для извлечения смысла. Работает на RTX 3060 (8-12 ГБ), либо медленно на CPU. 

💻 Qwen-Audio-Chat (7B) 
Дополняет Whisper анализом интонаций, эмоций и звуков окружения. На русскоязычных звонках правильно определила угрожающий тон в 82% случаев. Ограничена длиной аудио до 30 секунд, поэтому для больших файлов используется каскад: сначала транскрипция, затем тональный анализ коротких фрагментов. Требует 12 ГБ VRAM. 

Ну и в конце этой подборки хочется отметить модель для полевой работы. У меня в качестве карманного компьютера вот уже несколько месяцев трясется в сумке микро ноутбук GPD microPC 2 на Intel i3-n300 с 16Гб оперативки. И несмотря на свои более чем скромные параметры llm-ка Phi-3.5-vision-instruct (4.2B)  (128К контекст, изображения) чувствует себя достаточно бодро. Запускается без дискретной видеокарты, используя OpenVINO на интегрированной графике Intel Iris. Качество OCR сопоставимо с 7B-моделями, но для сложных многоходовых рассуждений не годится, а вот в полевых условиях быстро прочитать документ или проверить фото - самое то.

Успехов в работе! :)

Справочник по расположению основных технических артефактов WINDOWS

Если Телеграм признают-таки террористическим ресурсом, то самой изощренной местью бывшим станет подарок подписки премиум