IntelMQ: Платформа для автоматизации сбора и обработки данных об угрозах

IntelMQ — это решение для команд IT-безопасности (CERT, CSIRT, SOC), предназначенное для автоматизации сбора и обработки потоков данных о безопасности (фидов угроз) с использованием системы очередей сообщений. Его основная цель — предоставить аналитикам простой способ сбора и обработки информации об угрозах, что значительно улучшает процессы реагирования на инциденты.

IntelMQ часто используется для:
- Автоматизированной обработки инцидентов
- Получения ситуационной осведомленности (Situational Awareness)
- Автоматической отправки уведомлений
- Сбора данных для других инструментов

⬇️Установка

pipx install intelmq

Теперь необходимо выполнить начальную настройку базы данных и создать структуру для работы IntelMQ.
1️⃣Инициализация базы данных (IntelMQ использует PostgreSQL для хранения конфигураций, очередей и, опционально, событий)

intelmq_psql_initdb

Эта команда создаст необходимые таблицы и роли в PostgreSQL.

2️⃣Настройка окружения

intelmqsetup

Эта команда создаст необходимые директории и файлы конфигурации, обычно в /etc/intelmq/ и /opt/intelmq/.

После установки вам становятся доступны ключевые команды.
▶️intelmqctl - главный инструмент для управления IntelMQ. С его помощью вы запускаете, останавливаете и перезапускаете ботов, проверяете их статус и управляете очередями.

#статус всех ботов
intelmqctl status
    
#запуск конкретного бота
intelmqctl start intelmq.bots.collectors.shadowserver.collector_reports_api
    
#остановить всех ботов
intelmqctl stop
    
#перезапустить всех ботов
intelmqctl restart

▶️intelmqdump - инструмент для работы с «дампами» (сообщениями, которые не удалось обработать и которые были помещены в карантин. Это ключевой элемент надежности IntelMQ, предотвращающий потерю данных)

#просмотреть все файлы дампов
intelmqdump list
   
#обработать конкретный дамп (например, для очереди my-queue)
intelmqdump /opt/intelmq/var/log/my-queue.dump

Функционал IntelMQ реализован через боты трех основных типов:
🔔Коллекторы (Collectors) - отвечают за получение данных из внешних источников
▶️intelmq.bots.collectors.http.collector_http (скачивает фиды по HTTP/HTTPS)
▶️intelmq.bots.collectors.mail.collector_mail_attach (получает данные из вложений электронной почты)
▶️intelmq.bots.collectors.shadowserver.collector_reports_api (собирает отчеты от Shadowserver Foundation)

🔔Парсеры (Parsers) - преобразуют сырые данные, полученные коллекторами, в унифицированный формат IntelMQ (словарь данных, соответствующий Harmonization)
▶️intelmq.bots.parsers.shadowserver.parser (парсит отчеты Shadowserver)
▶️intelmq.bots.parsers.json.parser (парсит данные в формате JSON)
▶️intelmq.bots.parsers.csv.parser (парсит данные в формате CSV)

🔔Эксперты (Experts) - обогащают, нормализуют, фильтруют или изменяют данные
▶️intelmq.bots.experts.asn_lookup.expert (добавляет информацию об автономной системе (ASN) для IP-адреса)
▶️intelmq.bots.experts.maxmind_geoip_expert (добавляет геолокационные данные по IP)
▶️intelmq.bots.experts.taxonomy.expert (классифицирует событие в соответствии с таксономией eCSIRT.net)

Рабочий процесс называется pipeline и описывается в конфигурационных файлах. Простейший pipeline может выглядеть так:
▶️intelmq.bots.collectors.http.collector_http загружает список подозрительных IP-адресов с публичного источника
▶️intelmq.bots.parsers.csv.parser преобразует этот список в стандартные события IntelMQ
▶️intelmq.bots.experts.asn_lookup.expert для каждого IP-адреса определяет номер AS
▶️Output (например, бот вывода в файл или базу данных) сохраняет обогащенные данные

Конфигурация такого pipeline задается в файлах /etc/intelmq/pipeline.conf и /etc/intelmq/runtime.conf, где для каждой очереди (например, shadowserver-queue) прописывается цепочка ботов.

#IntelMQ #CTI #CERT #CSIRT #SOC #tool #pentest

🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером