Wow! Гайд наглядно объясняющий что такое распределённые системы, какие проблемы бывают, а главное, ВНИМАНИЕ, как достичь консенсуса в распределённых системах (paxos, raft): must read

Про HA в Kubernetes - самая подробная и обстоятельная статья на данный момент https://medium.com/@dominik.tornow/kubernetes-high-availability-d2c9cbbdd864 #k8s #ha

Тут мне написали что есть перевод https://habr.com/company/flant/blog/427283/

Вкратце: beats не нужны. Всё умеет искаропки rsyslog (https://www.rsyslog.com/), почти все надписи на картинке клибкабельны (блин, я только сегодня это обнаружил O_o)

Привет. У нас релиз
https://github.com/hastic/hastic-server/releases/tag/0.2.5-alpha
https://github.com/hastic/hastic-grafana-graph-panel/releases/tag/0.2.5

Из интересного:
- Поддержка PostgreSQL / TimescaleDB
- Параллельный запуск "обучения"

Дмитрий Столяров из «Флант» в докладе «Базы данных и Kubernetes» поделился опытом и примерами баз данных в Kubernetes, а Nick Volynkin разобрал информацию на атомы и собрал все в конспект.
https://github.com/NickVolynkin/highload-2018/blob/master/1.4-bd-k8s.md?fbclid=IwAR2Hf36mEHcBrZnQxpz1yabW7Cm2wvM-cNAgtIyhoGyKJSt6Nn6ZS_4nWvQ

👨🏻‍💻 Attacking Kubernetes.

Про этот ваш kubernetes и его секурити...

https://www.youtube.com/watch?v=yl3la4zHou4

Ну и в принципе на плейлист Hacktivity2018 посмотрите, может быть что-то ещё заинтересует:

https://www.youtube.com/playlist?list=PLbrZ_OVEaffK2bi8mmSHAFiZ3YXUSktSO

#видео #security #kubernetes

Что мы знаем о микросервисах? А что знает о микросервисах Авито? Какие «тайные знания» скрывают? Вадим Мадисон сорвал «покровы» и рассказал на HighLoad++ всё про микросервисы от сборки до продакшнена, про метрики и перебалансировку, а Ник Волынкин всё внимательно послушал и собрал в конспект.
https://github.com/NickVolynkin/highload-2018/blob/master/1.1-microservices.md

В 1818 году немецкий профессор и барон Карл фон Дрез запатентовал первый велосипед. Apache Kafka написали в LinkedIn, открыв исходный код в 2011.
Восьмого ноября 2018 года Николай Сивко провел доклад «Apache Kafka как основа для велосипедостроения» на конференции HighLoad++, а несколько минут спустя Ник Волынкин опубликовал конспект этого выступления. Даже если бы Кафка был жив, то не смог бы записать конспект этого отличного доклада лучше.
https://github.com/NickVolynkin/highload-2018/blob/master/1.5-kafka-bicycle.md

Зачем в Badoo собирают статистику? Как её доставляют и обрабатывают? И о чем Александр Крашенинников из Badoo сказал: «Инструмент классный, документация ваще огонь, я сам туда писал» в конспекте от Ника Волынкина.
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md

Нашел на LinkedIn крутой пост про построение своего Data Warehouse на основе Open Source Software: Druid, Airflow и Superset BI: http://bit.ly/2EaCETX

За последние 2,5 года Booking.com прошел через 3 поколения приватных облаков. Первое было построено на Mesos и Marathon. В активной фазе оно просуществовало около полугода. Решили отказаться. Второе - на OpenShift. Отказались через год. Сейчас Booking работает на чистом Kubernetes.
Иван Круглов в докладе на HighLoad++ рассказал про внедрение и проблемы всех трех платформ, про почти полную замену инфраструктуры и внедрение контейнеризованных приложений. Основные мысли и ключевые моменты в конспект доклада от Ника Волынкина. https://github.com/NickVolynkin/highload-2018/blob/master/1.2-per-aspera-ad-paas.md

Продолжаем рубрику от подписчиков:

@vxxtl про трейсинг – что такое трейсинг, кому полезен, зачем нам в секурити софте трейсинг, какой инструмент выбрали, как внедрили, с чем сложности, в чем польза.

Что мы знаем о микросервисах? А что знает о микросервисах Авито? Какие «тайные знания» скрывают? Вадим Мадисон сорвал «покровы» и рассказал на HighLoad++ всё про микросервисы от сборки до продакшнена, про метрики и перебалансировку, а Ник Волынкин всё внимательно послушал и собрал в конспект.
https://github.com/NickVolynkin/highload-2018/blob/master/1.1-microservices.md

Краткое описание как работает RabbitMQ и его ключевые метрики, которые стоит замониторить.

Part 1: Key metrics for RabbitMQ monitoring
https://www.datadoghq.com/blog/rabbitmq-monitoring

Part 2: Collecting metrics with RabbitMQ monitoring tools
https://www.datadoghq.com/blog/rabbitmq-monitoring-tools

Part 3: Monitoring RabbitMQ performance with Datadog
https://www.datadoghq.com/blog/monitoring-rabbitmq-performance-with-datadog

Нативный Docker Compose on Kubernetes

Как-то пролетела новость, и никто не заметил. Раньше делали как: генерили кубер манифесты из компоуз файлов, с помощью, например, Kompose.

Наконец Docker расчехлились, и уже практически официально этим решением депрекейтнули Docker Swarm. Они напилили нативный контроллер, который позволяет применять compose манифесты в кубер.

Вот, смотрите:
https://blog.docker.com/2018/12/simplifying-kubernetes-with-docker-compose-and-friends/

Репа на гитхабе:
https://github.com/docker/compose-on-kubernetes

В общем, у кого compose (омг) или Swarm в проде - можно безболезненно пересесть в k8s как первый шаг в процессе миграции.

Это будет очень полезно ребятам, у которых мало инженерных ресурсов, но есть огромное желание в k8s.

Как новость?)

Не устаю повторять - не бойтесь писать сами экспортеры для Prometeus! Это просто!
Вот еще две статьи, которые вам в этом помогут https://rsmitty.github.io/Prometheus-Exporters-Revamp/
https://rsmitty.github.io/Prometheus-Exporters/ #prometheus #exporter

Три года назад на Highload++ Александр Крашенинников рассказывал как в Badoo построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, выросли объёмы и решены задачи масштабирования и отказоустойчивости. В определённый момент в Badoo достигли точки, когда потребовались радикальные меры — смена технологического стека на связку Spark + Hadoop на ClickHouse, что в три раза сэкономило железо и увеличило нагрузку с 300 000 событий в секунду до 1 600 000 в пике. В ноябре на Highload++ Александр рассказал о этом в своем докладе, а Ник Волынкин описал кратко в своем конспекте.
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md