Redpanda - полностью совместимая с Apache Kafka платформа для потоковых данных, разработанная с нуля, чтобы быть легче, быстрее и проще в эксплуатации.

Свободная от ZooKeeper™ и JVM, она отдает приоритет сквозному опыту разработчика с огромной экосистемой коннекторов, настраиваемым многоуровневым хранилищем и многим другим.

По заявлению разработчиков в 10 раз быстрее Kafka.

https://github.com/redpanda-data/redpanda

опубликовано в @gitgate

#redpanda #kafka #alternative

ktea - терминальный клиент, предназначенный для упрощения и ускорения взаимодействия с кластерами Kafka.

Возможности:
- поддержка нескольких кластеров: легко подключайтесь к нескольким кластерам Kafka и переключайтесь между ними.
- управление темами: список, создание, удаление и изменение тем, включая сведения о разделах и смещениях.
- использование записей: использование записей в текстовых форматах, JSON и Avro с мощными возможностями поиска.
- аналитика групп потребителей: мониторинг групп потребителей, просмотр их участников и отслеживание смещений.
- интеграция с реестром схем: простой поиск, просмотр и регистрация схем.

https://github.com/jonas-grgt/ktea

опубликовано в @gitgate

#kafka #gui #json

Kafbat UI - простой инструмент kafka, который делает потоки данных более заметными, помогает быстрее находить и устранять неполадки, обеспечивая оптимальную производительность. Его лёгкая панель управления позволяет легко отслеживать ключевые показатели кластеров Kafka: брокеров, топики, разделы, производство и потребление. Логическое продолжение и наследник проекта UI Apache Kafka.

Возможности:
- управление несколькими кластерами: мониторинг и управление всеми кластерами в одном месте
- мониторинг производительности с помощью панели показателей: отслеживайте ключевые показатели Kafka с помощью простой панели.
- просмотр брокеров Kafka: просмотр назначений тем и разделов, статуса контроллера
- просмотр тем Kafka: просмотр количества разделов, состояния репликации и пользовательских настроек.
- просмотр групп потребителей: просмотр припаркованных смещений по разделам, комбинированных и по разделам задержек
- просмотр сообщений: просмотр сообщений с кодировкой JSON, обычного текста и Avro.
- динамическая конфигурация тем: создание и настройка новых тем с помощью динамической конфигурации
- настраиваемая аутентификация: защитите свою установку с помощью опционального Github/Gitlab/Google OAuth 2.0
- пользовательские плагины сериализации/десериализации: используйте готовые плагины для своих данных, такие как AWS Glue или Smile, или создайте свой собственный!
- управление доступом на основе ролей: управление разрешениями на доступ к пользовательскому интерфейсу с высокой точностью.
- маскировка данных: сокрытие конфиденциальных данных в сообщениях тем

https://github.com/kafbat/kafka-ui

подсказал: Иван Онушкин - @ivanon

опубликовано в @gitgate

#kafka #webui #json

file.d - невероятно быстрый инструмент, альтернатива filebeat, fluentd и vector для сбора логов и построения конвейеров данных: событий чтения, обработки и вывода. Изначально разработан для чтения из файлов, но также поддерживает множество плагинов ввода/действия/вывода.

Возможности:
- быстро: более чем в 10 раз быстрее по сравнению с аналогичными инструментами
- предсказуемость: используется пул, поэтому потребление памяти ограничено.
- надежность: данные не теряются благодаря механизму фиксации
- контейнер / облако / нативный Kubernetes
- просто настраивается с помощью YAML
- совместимость с Prometheus: преобразуйте ваши события в метрики на любом этапе конвейера
- удобство использования в хранилище: храните конфиденциальную информацию и получайте ее для любого параметра конвейера
- тщательно протестировано и используется в производстве для сбора журналов из кластера Kubernetes с общим количеством ядер ЦП более 3000.

Список поддерживаемых плагинов для ввода, преобразования и вывода - смотрите в репозитории.

https://github.com/ozontech/file.d

Поделился: Александр - @khodzh97

Опубликовано в @gitgate

#moni #logs #clickhouse #elasticsearch #gelf #kafka #loki #postgres #s3 #splunk #filebeat #fluentd #vector