В прошлом году во время инцидента я отлаживал ошибку платежа, используя все стандартные инструменты. Grafana показывала скачки загрузки CPU. CloudWatch отображал логи, разбросанные по трем сервисам. Jaeger показал 50 похожих трейсов. Спустя двадцать минут я все еще не мог ответить на основной вопрос: «Какая из трассировок соответствует фактическому запросу, вызвавшему ошибку?» Оповещение сообщало о сбое платежей. В логах были ошибки. Трейсы существовали. Но ничто не связывало их. В итоге я искал идентификаторы запросов в разных группах логов, пока не нашел виновника.

Проблема заключалась не в инструментах или данных. И того, и другого у нас было предостаточно. Проблема была в корреляции, или, вернее, в её полном отсутствии.

OpenTelemetry Collector включает в себя широкий спектр процессоров для решения распространенных задач. Вы можете использовать процессор атрибутов для обработки пар ключ-значение, процессор ресурсов для изменения метаданных на уровне ресурсов, а также ряд других для фильтрации, пакетной обработки или маршрутизации телеметрии.

Вам может потребоваться реструктурировать тело лога, вычислить новый атрибут на основе двух существующих полей, преобразовать тип метрики или перенести атрибут уровня записи на уровень ресурса. В этот момент специализированных обработчиков становится недостаточно, и вам требуется что-то более специфическое.

Когда мы только приступали к задаче, первой мыслью, конечно, был Zabbix, как и у половины планеты. Но у нас никто не горел желанием поднимать еще одну систему, раскатывать агенты, подбирать шаблоны и разбираться с нюансами. Времени, как обычно, не завезли. А вот Grafana у нас уже была, поэтому я подумал — а что, если просто использовать то, что уже есть? Так я и наткнулся на связку «node_exporter → Prometheus → Grafana».

Логи — это записи о том, как работает любая система: будь то сайт, мобильное приложение или микросервис. Логирование происходит автоматически, информация сохраняется в файлах или специальных сервисах. Пользователь этих записей не видит, но для тестировщика логи особенно важны — ведь по ним можно определить, что происходило в системе при сбое, даже если на фронтенде отображается только общее сообщение об ошибке.

Iceberg становится де-факто отраслевым стандартом при построении lakehouse в России. Для сравнения, на последней конференции smart-data, Iceberg по частоте упоминания уступает только Spark. Это значит, что уверенное владение механикой работы Iceberg становится обязательным навыком для инженеров данных и платформенных команд.