explore-logs -позволяет просматривать журналы Loki без запросов или без необходимости написания сложных запросов.

Откройте для себя или сузьте область поиска, используя объем и текстовые шаблоны. Находите связанные журналы и анализируйте закономерности - и все это с помощью всего лишь нескольких щелчков мыши. Знание LogQL не требуется.

С помощью explore-logs вы можете:

- легко находить журналы и тома журналов для всех ваших сервисов.
- легко фильтровать журналы служб на основе их томов, меток, полей или шаблонов.
- автоматически выбирать лучшую визуализацию для данных журнала на основе их характеристик без какой-либо ручной настройки.

https://github.com/grafana/explore-logs

опубликованов @gitgate

#moni #loki #grafana #logs

Explore Logs - предлагает возможность просмотра журналов Loki без запросов без необходимости написания сложных запросов.

Откройте для себя или сузьте область поиска, используя объем и текстовые шаблоны. Находите связанные журналы и анализируйте закономерности - и все это с помощью всего лишь нескольких щелчков мыши. LogQL не требуется.

С помощью журналов изучения вы можете:
- легко находите журналы и тома журналов для всех ваших сервисов.
- легко фильтруйте журналы служб на основе их томов, меток, полей или шаблонов.
- автоматически выбирайте лучшую визуализацию для данных журнала на основе их характеристик без какой-либо ручной настройки.

... и все это без создания единого запроса!

https://github.com/grafana/explore-logs

опубликовано в @gitgate

#moni #logs #grafana #loki

Lokxy - мощный агрегатор журналов для Loki, разработанный для сбора и объединения потоков журналов из нескольких источников в единую, запрашиваемую конечную точку. Он упрощает управление журналами и улучшает видимость в распределенных средах, обеспечивая бесшовную интеграцию с вашей существующей инфраструктурой Loki.

Lokxy решает проблему растущей сложности рабочих процессов наблюдения, особенно в крупномасштабных распределенных средах, где управление журналами в нескольких экземплярах становится проблемой. Вдохновленный философией дизайна Promxy, Lokxy предоставляет похожее решение на основе прокси, но сфокусированное на агрегации журналов для Loki.

Поскольку Loki является мощным инструментом агрегации журналов, Lokxy использует его в качестве бэкэнда, чтобы пользователи могли легко агрегировать и запрашивать журналы из нескольких экземпляров Loki. Этот подход разработан для упрощения запросов, улучшения наблюдаемости и улучшения масштабируемости в средах, где управление журналами в нескольких бэкэндах может стать неэффективным.

Мы черпаем особое вдохновение из Promxy для Prometheus, который объединяет несколько бэкэндов в единый интерфейс для запросов. Lokxy воспроизводит эту мощную концепцию для журналов, гарантируя пользователям единый интерфейс для запросов без необходимости прямого взаимодействия с каждым отдельным экземпляром Loki.

https://github.com/paulojmdias/lokxy

Подсказал: Max Zotov - @sf1nk5

Про Promxy рассказывал чуть раньше: https://xn--r1a.website/gitgate/801

опубликовано в @gitgate

#moni #logs #loki #proxy #grafana

file.d - невероятно быстрый инструмент, альтернатива filebeat, fluentd и vector для сбора логов и построения конвейеров данных: событий чтения, обработки и вывода. Изначально разработан для чтения из файлов, но также поддерживает множество плагинов ввода/действия/вывода.

Возможности:
- быстро: более чем в 10 раз быстрее по сравнению с аналогичными инструментами
- предсказуемость: используется пул, поэтому потребление памяти ограничено.
- надежность: данные не теряются благодаря механизму фиксации
- контейнер / облако / нативный Kubernetes
- просто настраивается с помощью YAML
- совместимость с Prometheus: преобразуйте ваши события в метрики на любом этапе конвейера
- удобство использования в хранилище: храните конфиденциальную информацию и получайте ее для любого параметра конвейера
- тщательно протестировано и используется в производстве для сбора журналов из кластера Kubernetes с общим количеством ядер ЦП более 3000.

Список поддерживаемых плагинов для ввода, преобразования и вывода - смотрите в репозитории.

https://github.com/ozontech/file.d

Поделился: Александр - @khodzh97

Опубликовано в @gitgate

#moni #logs #clickhouse #elasticsearch #gelf #kafka #loki #postgres #s3 #splunk #filebeat #fluentd #vector

Valerter - получает логи из VictoriaLogs в режиме реального времени и отправляет уведомления, содержащие фактическую строку лога, а также извлеченный контекст (хост, сайт, служба, порт, пользователь и т. д.). Цель состоит в том, чтобы поместить ключевой контекст отладки в само оповещение (полная строка лога + поля), чтобы вы могли сразу же начать расследование.

Возможности:
- многоканальные уведомления: веб-перехватчики (PagerDuty, Slack, Discord), электронная почта SMTP, Mattermost
- полный контекст журнала: оповещения включают фактическую строку журнала и извлеченные поля.
- интеллектуальное регулирование: избегайте спама с оповещениями благодаря ограничению скорости запросов для каждого события.
- оповещения в режиме реального времени: менее 5 секунд от момента регистрации события до получения уведомления.
- декларативные правила: конфигурация YAML с использованием регулярных выражений/анализа JSON.
- многофайловая конфигурация: Разделение правил/шаблонов/уведомлений по папкам rules.d/, templates.d/ и notifiers.d/
- метрики Prometheus: Встроенные метрики для мониторинга

https://github.com/fxthiry/valerter

Опубликовано в @gitgate

#moni #logs #alerts #victorialogs #json

pSyslog - клиент.сервер Syslog и ретранслятор UDP на основе класса System.Net.Sockets из .NET Framework для работы в фоновом режиме.

https://github.com/Lifailon/pSyslog

Опубликовано в @gitgate

#moni #logs #syslog

LynxDB - schema-on-read база данных и аналитическая система для анализа логов.

Позволяет выполнять гибкий анализ без предварительного парсинга и жесткой схемы структура извлекается во время чтения

Lynx Flow язык запросов LynxDB,
По сути, это упрощённый и более интуитивный слой (синтаксический сахар) над Splunk SPL2, ориентированный на удобную работу с логами.

Возможности:
- режим конвейера - чтение из стандартного ввода или файлов, работает как grep. Нет сервера, нет конфигурации.
- Lynx Flow - group, let, parse, order by, join, CTE, доменные синтаксисы и многое другое. Частичная совместимость с SPL2.
- полнотекстовый поиск - инвертированный индекс FST + roaring bitmaps, фильтры Блума для пропуска сегментов.
- столбцовое хранение - пользовательский формат .lsg, временные метки с дельта-вариантами, кодирование по словарю, Gorilla XOR, LZ4
- материализованные представления - предварительно вычисленные агрегации с автоматической переадресацией запросов, ускорение до ~400 раз.
- кластерный режим - добавьте --cluster.seeds для распределенной работы; общее хранилище на основе S3.
- загрузка данных без предварительной обработки - Elasticsearch_bulk, OpenTelemetry OTLP, Splunk HEC

https://github.com/lynxbase/lynxdb

Поделился автор - @ourlove_e (просьба поддержать звездой в репку ! )


Опубликовано в @gitgate

#moni #logs #splunk

SEE (Service Event Extraction) - программа для просмотра журналов служб Linux (аналог journalctl) с графическим интерфейсом пользователя (TUI) и VI Motions, позволяющая открывать несколько экземпляров журналов служб (аналогично буферам nvim) с настраиваемой фильтрацией.

https://github.com/nustyfrozen/see

Опубликовано в @gitgate

#moni #logs #journalctl