file.d - невероятно быстрый инструмент, альтернатива filebeat, fluentd и vector для сбора логов и построения конвейеров данных: событий чтения, обработки и вывода. Изначально разработан для чтения из файлов, но также поддерживает множество плагинов ввода/действия/вывода.

Возможности:
- быстро: более чем в 10 раз быстрее по сравнению с аналогичными инструментами
- предсказуемость: используется пул, поэтому потребление памяти ограничено.
- надежность: данные не теряются благодаря механизму фиксации
- контейнер / облако / нативный Kubernetes
- просто настраивается с помощью YAML
- совместимость с Prometheus: преобразуйте ваши события в метрики на любом этапе конвейера
- удобство использования в хранилище: храните конфиденциальную информацию и получайте ее для любого параметра конвейера
- тщательно протестировано и используется в производстве для сбора журналов из кластера Kubernetes с общим количеством ядер ЦП более 3000.

Список поддерживаемых плагинов для ввода, преобразования и вывода - смотрите в репозитории.

https://github.com/ozontech/file.d

Поделился: Александр - @khodzh97

Опубликовано в @gitgate

#moni #logs #clickhouse #elasticsearch #gelf #kafka #loki #postgres #s3 #splunk #filebeat #fluentd #vector