Gonzo - TUI на базе Go для анализа журналов.

Мощный терминал для анализа журналов в реальном времени, вдохновлённый k9s. Анализируйте потоки журналов с помощью красивых диаграмм, аналитики на основе ИИ и расширенной фильтрации — всё прямо в терминале.

Анализ в реальном времени
- прямая трансляция —-обработка журналов по мере их поступления из stdin, файлов или сети.
- собственная поддержка OTLP - первоклассная поддержка формата журнала OpenTelemetry
- приемник OTLP - встроенный сервер gRPC для получения журналов по протоколу OpenTelemetry
- определение формата - автоматически определяет JSON, logfmt и простой текст.
- пользовательские форматы - определите собственные форматы журналов с помощью конфигурации YAML.
- отслеживание серьезности - цветные уровни серьезности с диаграммами распределения

Интерактивная панель управления
- Макет в стиле k9s - привычный интерфейс сетки 2x2
- Диаграммы в реальном времени - частота слов, атрибуты, распределение серьезности и временные ряды
- Навигация с помощью клавиатуры и мыши - сочетания клавиш в стиле Vim, а также поддержка щелчков для навигации и колеса прокрутки
- Умный просмотрщик журналов - автоматическая прокрутка с интеллектуальной функцией паузы/возобновления
- Полноэкранный просмотрщик журналов. - Глобальное управление паузой - пробел приостанавливает работу всей панели управления во время буферизации журналов.
- Модальные сведения - детальный анализ отдельных записей журнала с возможностью расширения представления
- Анализ количества журналов - подробный модальный с визуализацией тепловой карты, анализом шаблонов по серьезности и распределением услуг
- Анализ ИИ - получайте ценную информацию о закономерностях и аномалиях журналов с помощью настраиваемых моделей.

https://github.com/control-theory/gonzo

Подсказал: Eliot Spencer - @tehn0mad

Опубликовано в @gitgate

#moni #log #tui #OpenTelemetry

Sloggo - лёгкий инструмент для сбора и анализа журналов. Он принимает журналы по протоколам TCP и UDP, используя протокол Syslog RFC 5424, сохраняет их в DuckDB и отображает в удобном, современном веб-интерфейсе.

Разработано для небольших и средних по размеру установок, где вам нужны журналы в реальном времени без разворачивания JVM или полного кластера Kubernetes для обработки 10 строк журналов в день.

Он работает в одном процессе с минимальным потреблением ресурсов, быстро настраивается с помощью переменных среды и имеет размер менее 10 МБ в сжатом виде.

https://github.com/phare/sloggo/

Опубликовано в @gitgate

#moni #log

file.d - невероятно быстрый инструмент, альтернатива filebeat, fluentd и vector для сбора логов и построения конвейеров данных: событий чтения, обработки и вывода. Изначально разработан для чтения из файлов, но также поддерживает множество плагинов ввода/действия/вывода.

Возможности:
- быстро: более чем в 10 раз быстрее по сравнению с аналогичными инструментами
- предсказуемость: используется пул, поэтому потребление памяти ограничено.
- надежность: данные не теряются благодаря механизму фиксации
- контейнер / облако / нативный Kubernetes
- просто настраивается с помощью YAML
- совместимость с Prometheus: преобразуйте ваши события в метрики на любом этапе конвейера
- удобство использования в хранилище: храните конфиденциальную информацию и получайте ее для любого параметра конвейера
- тщательно протестировано и используется в производстве для сбора журналов из кластера Kubernetes с общим количеством ядер ЦП более 3000.

Список поддерживаемых плагинов для ввода, преобразования и вывода - смотрите в репозитории.

https://github.com/ozontech/file.d

Поделился: Александр - @khodzh97

Опубликовано в @gitgate

#moni #logs #clickhouse #elasticsearch #gelf #kafka #loki #postgres #s3 #splunk #filebeat #fluentd #vector

THE-Process-Manager - TUI приложение на основе Rust, которое отслеживает и отображает подробные метрики процессов. Этот инструмент собирает данные об использовании процессора и памяти для процессов, запущенных в системе.

Возможности:
- извлечение и отображение данных процесса
- расчет использования ЦП и памяти в процентах от общего объема доступных ресурсов.
- сортировка процессов
- подробная информация о процессе на основе PID.

https://github.com/moh-a-abde/THE-Process-Manager

Опубликовано в @gitgate

#moni #procfs #tui #top

Prometheus GitHub Exporter - предоставляет базовые метрики для ваших репозиториев из API GitHub в конечную точку, совместимую с Prometheus.

https://github.com/githubexporter/github-exporter

Описание отдаваемых метрик: https://github.com/githubexporter/github-exporter/blob/master/METRICS.md

Подсказал: Сергей - @snubats

Опубликовано в @gitgate

#moni #exporter #prometheus #github

Glaber - система мониторинга, форк Zabbix оптимизированный по скорости и нагрузке.

Основная задача и цель Glaber - сделать так, чтобы пользователь (оператор) имел максимально быстро и оперативно понимание о состоянии домена мониторинга.

Оперативность и полнота понимания обеспечиваются двумя основными механизмами: - высокопроизводительные поллеры, способные собирать данные больших инфраструктур - создания в пользовательском интерфейсе графиков и визуальных представлений для быстрого понимания оператором точки отказа или проблемных зон, таких как динамические карты, графики, представление мониторинга в структурном виде

Оптимизация Glaber для высокой производительности обеспечила низкую ресурсоемкость.

Поддерживаемые протоколы съема данных

Поддерживается около двух десятков стандартных протоколов:
- SNMP, версии 1,2,3 в том числе с шифрованием, а также трапы
- агенты
- ODBC
- IPMI
- JMX
- HTTP
- TELNET
- SSH
- Кастомные скрипты
- веб-сценарии
- вычисляемые метрики
- SYSLOG

https://gitlab.com/mikler/glaber

Web: https://glaber.io
Doc: https://docs.glaber.io/ru/general/
Telegram: https://xn--r1a.website/glaber_group

Подсказал: Андрей - @egoza73

Опубликовано в @gitgate

#moni #zabix #fork

Nerdlog - быстрый, ориентированный на удаленное взаимодействие, многохостовый TUI-просмотрщик логов с временной гистограммой и без центрального сервера. Он создан по мотивам Graylog/Kibana, но без лишних функций. Практически не требует настройки.

Он ориентирован на высокую эффективность при одновременном запросе журналов с нескольких удаленных машин, фильтрации их по временному диапазону и шаблонам, а также построении интерактивной временной гистограммы для быстрого визуального анализа.

Основной сценарий использования: чтение системных журналов (из файлов /var/log/messages или /var/log/syslog, или непосредственно из journalctl) с одного или нескольких удаленных хостов. Очень эффективно даже при работе с большими файлами журналов (например, 1 ГБ и более).

Он поддерживает некоторые другие форматы логов и может использовать любые файлы логов, но именно это и стало основной причиной внедрения: наш бэкэнд веб-сервиса работал как службы systemd на множестве экземпляров Linux, выводя большое количество логов, и мы хотели иметь возможность эффективно читать эти логи и получать гистограмму временной шкалы, как это делают такие инструменты, как Graylog.

https://github.com/dimonomid/nerdlog

Подсказал: Eliot Spencer - @tehn0mad

Опубликовано в @gitgate

#moni #log #tui

PatchMon - обеспечивает централизованное управление обновлениями в различных серверных средах. Агенты обмениваются данными с сервером PatchMon только по исходящим каналам, исключая входящие порты на контролируемых хостах, обеспечивая при этом всестороннюю видимость и безопасную автоматизацию.

Возможности:
- настраиваемая панель управления с возможностью создания и упорядочивания карточек для каждого пользователя.
- многопользовательские учетные записи (администратор и обычные пользователи)
- роли, разрешения и RBAC
- список хостов/групп с ключевыми атрибутами и сведениями об операционной системе.
- группировка хостов (создание и управление группами хостов)
- инвентаризация пакетов на всех хостах
- обзор и количество устаревших пакетов.
- отслеживание количества репозиториев на хост
- управление версиями агента и хранение содержимого скриптов в базе данных.
- URL/протокол/хост/порт сервера
- переключатель регистрации и выбор роли пользователя по умолчанию
- REST API по адресу /api/v1 с аутентификацией JWT.
- автоматическая регистрация контейнеров LXC в Proxmox
- ограничение скорости запросов для общих, авторизационных и агентских конечных точек.
- модель агента, работающего только с исходящими трафиками, уменьшает поверхность атаки.
- установка Docker и однострочный установщик для самостоятельного размещения (Ubuntu/Debian)
- служба systemd для управления жизненным циклом бэкэнда
- виртуальный хост nginx для фронтенда + API-proxy; опциональная интеграция с Let's Encrypt.

https://github.com/PatchMon/PatchMon

Web: https://patchmon.net/

Опубликовано в @gitgate

#apt #update #packages #security #moni

btrfs_exporter - экспорт полезных счетчиков файловой системы btrfs в Prometheus. Запускается как systemd unit

https://github.com/cooperlees/btrfs_exporter

Опубликоввано в @gitgate

#moni #btrfs

picosnitch - мониторинг сетевого трафика по каждому исполняемому файлу, с прекрасной визуализацией.

Возможности:
- уведомления о подключении новых программ к сети или об их изменении.
- отслеживает вашу пропускную способность, анализируя трафик по исполняемым файлам, хешу, родительским файлам, доменам, портам или пользователям с течением времени.
- веб-интерфейс и интерфейс терминала с геолокацией по IP-адресу для каждого соединения (геолокация по IP-адресу с помощью DB-IP)
- можно проверить хеши или исполняемые файлы с помощью VirusTotal.
- хэши исполняемых файлов кэшируются на основе устройства и inode для повышения производительности.
- обнаруживает приложения, работающие внутри контейнеров; различаются несколько версий одного и того же приложения на основе их хеша.
- использует BPF для точного мониторинга полосы пропускания с низкими накладными расходами и fanotify для отслеживания изменений исполняемых файлов.
- для каждого соединения регистрируется родительский исполняемый файл и его хеш.
- минималистичный дизайн, ориентированный на точное обнаружение с четким и надежным сообщением об ошибках, когда это невозможно.

https://github.com/elesiuta/picosnitch

Подсказал: Elliot Spencer - @tehn0mad

Опубликоввано в @gitgate

#moni #ebpf #network #geoip #docker

Valerter - получает логи из VictoriaLogs в режиме реального времени и отправляет уведомления, содержащие фактическую строку лога, а также извлеченный контекст (хост, сайт, служба, порт, пользователь и т. д.). Цель состоит в том, чтобы поместить ключевой контекст отладки в само оповещение (полная строка лога + поля), чтобы вы могли сразу же начать расследование.

Возможности:
- многоканальные уведомления: веб-перехватчики (PagerDuty, Slack, Discord), электронная почта SMTP, Mattermost
- полный контекст журнала: оповещения включают фактическую строку журнала и извлеченные поля.
- интеллектуальное регулирование: избегайте спама с оповещениями благодаря ограничению скорости запросов для каждого события.
- оповещения в режиме реального времени: менее 5 секунд от момента регистрации события до получения уведомления.
- декларативные правила: конфигурация YAML с использованием регулярных выражений/анализа JSON.
- многофайловая конфигурация: Разделение правил/шаблонов/уведомлений по папкам rules.d/, templates.d/ и notifiers.d/
- метрики Prometheus: Встроенные метрики для мониторинга

https://github.com/fxthiry/valerter

Опубликовано в @gitgate

#moni #logs #alerts #victorialogs #json

Healthchecks - служба мониторинга заданий cron. Она отслеживает HTTP-запросы и электронные письма («ping») от ваших заданий cron и запланированных задач («checks»). Если ping не приходит вовремя, Healthchecks отправляет оповещения.

Healthchecks включает в себя веб-панель управления, API, более 25 интеграций для отправки уведомлений, ежемесячные отчеты по электронной почте, поддержку двухфакторной аутентификации WebAuthn, функции управления командой: проекты, участники команды, доступ только для чтения.

Healthchecks распространяется под лицензией BSD 3-clause.

https://github.com/healthchecks/healthchecks

Web: https://healthchecks.io/.

Опубликовано в @gitgate

#moni #cron #webui

pSyslog - клиент.сервер Syslog и ретранслятор UDP на основе класса System.Net.Sockets из .NET Framework для работы в фоновом режиме.

https://github.com/Lifailon/pSyslog

Опубликовано в @gitgate

#moni #logs #syslog

Netronome - комплексное решение для мониторинга производительности сети, которое помогает вам понимать и отслеживать состояние вашей сети. Независимо от того, отслеживаете ли вы домашнее интернет-соединение, управляете многосайтовой инфраструктурой или контролируете производительность серверов, Netronome предоставляет необходимую информацию через интуитивно понятный веб-интерфейс.

Созданный на Go и разработанный для простоты использования, Netronome объединяет фронтенд и бэкенд в один исполняемый файл для лёгкого развертывания. Благодаря минимальному объёму используемой оперативной памяти (всего около 35 МБ), он идеально подходит для сред с ограниченными ресурсами. Никаких сложных настроек — просто скачайте, настройте и запустите.

Основные возможности: тестирование скорости у разных провайдеров, непрерывный мониторинг потери пакетов, распределенный мониторинг серверов с помощью легковесных агентов и автоматическое оповещение — все это с красивой визуализацией и отслеживанием истории.

https://github.com/autobrr/netronome

Подсказал: Alex Kup - @Lifailon

Опубликовано в @gitgate

#moni #net #webui