Forwarded from CatOps
"Проснувшись однажды утром после беспокойного сна, Грегор Замза обнаружил, что он у себя в постели превратился в страшное насекомое".
Предлагаю вам хорошую обзорную статью по Кафке (Apache, а не Францу):
https://hackernoon.com/thorough-introduction-to-apache-kafka-6fbf2989bbc1
#kafka
Предлагаю вам хорошую обзорную статью по Кафке (Apache, а не Францу):
https://hackernoon.com/thorough-introduction-to-apache-kafka-6fbf2989bbc1
#kafka
Hackernoon
Thorough Introduction to Apache Kafka™
Kafka is a word that gets heard a lot nowadays… A lot of leading digital companies seem to use it as well. But what is it actually?
Forwarded from DevOps Deflope News
Весьма полезная статья от Johann Gyger про использование Kafka в Kubernetes (особенно если вы тоже планируете подобное 😄)
http://amp.gs/UCgo
#kafka #kubernetes
http://amp.gs/UCgo
#kafka #kubernetes
Noteworthy - The Journal Blog
Kafka on Kubernetes — a good fit?
This blog post is going to point out how Kafka and Kubernetes might complement each other and what pitfalls you might encounter.
Forwarded from CatOps
Большая стать от DataDog об уроках использования Kafka
В статье описывают:
- пути безболезненного изменения максимального размера сообщения
- unclean leader election: плюсы, минусы, подводные камни
- конфигурацию retention period для топиков с низкой частотой записи и на что стоит обращать внимание + настройку retention для такого типа топиков
Кроме того, DataDog заопернсорсили свой Kafka-kit - набор утилит понятно для чего. Ну и статейка про эти утилиты
#kafka
В статье описывают:
- пути безболезненного изменения максимального размера сообщения
- unclean leader election: плюсы, минусы, подводные камни
- конфигурацию retention period для топиков с низкой частотой записи и на что стоит обращать внимание + настройку retention для такого типа топиков
Кроме того, DataDog заопернсорсили свой Kafka-kit - набор утилит понятно для чего. Ну и статейка про эти утилиты
#kafka
Datadog
Lessons learned from running Kafka at Datadog | Datadog
Learn about several configuration-related issues we encountered while running 40+ Kafka and ZooKeeper clusters.
Forwarded from Пятничный деплой
А вот кому Kafka на golang? https://github.com/travisjeffery/jocko #kafka
GitHub
GitHub - travisjeffery/jocko: Kafka implemented in Golang with built-in coordination (No ZK dep, single binary install, Cloud Native)
Kafka implemented in Golang with built-in coordination (No ZK dep, single binary install, Cloud Native) - travisjeffery/jocko
Forwarded from I hate overtime
#eda #kafka
Ну раз уж, видимо, неделя кафки, то вот история в двух частях(раз и два) про IQ Streams, или как запускать стейтфул вычисления на стримах. Если не интересно про стейтфул, то там еще вполне годное введение в streams и сравнение с prod\cons api
Ну раз уж, видимо, неделя кафки, то вот история в двух частях(раз и два) про IQ Streams, или как запускать стейтфул вычисления на стримах. Если не интересно про стейтфул, то там еще вполне годное введение в streams и сравнение с prod\cons api
YouTube
Виктор Гамов, Confluent - Kafka Streams IQ: «Зачем нам база данных?» - jug.msk.ru - 08/05/2019 - ч.1
Запись встречи jug.msk.ru 8 мая 2019 с Виктором Гамовым, Confluent - Kafka Streams IQ - часть 1
Kafka Streams IQ: «Зачем нам база данных? Нам база не нужна!»
Рост популярности Apache Kafka, как потоковой платформы, потребовал пересмотра традиционного подхода…
Kafka Streams IQ: «Зачем нам база данных? Нам база не нужна!»
Рост популярности Apache Kafka, как потоковой платформы, потребовал пересмотра традиционного подхода…
Forwarded from I hate overtime
#kafka #devops
Очень полезная статья от BanzaiCloud про причины создания своего Kafka Operator'а. Там можно найти сравнение наиболее популярных операторов, почитать про их недостатки, а так же почитать про консерны Bonzai'я к Кафке
Очень полезная статья от BanzaiCloud про причины создания своего Kafka Operator'а. Там можно найти сравнение наиболее популярных операторов, почитать про их недостатки, а так же почитать про консерны Bonzai'я к Кафке
Banzaicloud
Oh no! Yet another Kafka operator for Kubernetes
Yes, we opensourced yet another Kubernetes operator for Apache Kafka. This might seem bizarre, considering the alternatives that are already available (they exist but there are not too many), so you may be wondering, ‘Why?’ Well, keep reading and we’ll tell…
Forwarded from CatOps
8 вещей, о которых нужно подумать, прежде чем тащить Apache Kafka в продакшн.
1. Key all the messages!
2. Ensure all producers are using the same partitioned
3. Topic versioning
4. Treat ZooKeeper like royalty
5. Unclean elections and minimum ISRs
6. Memory Maps
7. File descriptors
8. Log Compaction
#kafka
1. Key all the messages!
2. Ensure all producers are using the same partitioned
3. Topic versioning
4. Treat ZooKeeper like royalty
5. Unclean elections and minimum ISRs
6. Memory Maps
7. File descriptors
8. Log Compaction
#kafka
Ariskk
Apache Kafka: 8 things to check before going live
Apache Kafka is a beautiful system. It scales well, it is stable and it provides phenomenal system architecture flexibility.
After 5 years…
After 5 years…
Forwarded from Sysadmin Tools 🇺🇦
Building Self-driving Kafka clusters using open source components
https://slack.engineering/building-self-driving-kafka-clusters-using-open-source-components/
#kafka #chef #terraform
https://slack.engineering/building-self-driving-kafka-clusters-using-open-source-components/
#kafka #chef #terraform
Forwarded from Sysadmin Tools 🇺🇦
Akvorado:
flow
https://github.com/vincentbernat/akvorado
#snmp #ipfx #network #tool #clickhouse #kafka
flow
collector, hydrater and visualizer.https://github.com/vincentbernat/akvorado
#snmp #ipfx #network #tool #clickhouse #kafka