Продолжаем рубрику от подписчиков:

@vxxtl про трейсинг – что такое трейсинг, кому полезен, зачем нам в секурити софте трейсинг, какой инструмент выбрали, как внедрили, с чем сложности, в чем польза.

Что мы знаем о микросервисах? А что знает о микросервисах Авито? Какие «тайные знания» скрывают? Вадим Мадисон сорвал «покровы» и рассказал на HighLoad++ всё про микросервисы от сборки до продакшнена, про метрики и перебалансировку, а Ник Волынкин всё внимательно послушал и собрал в конспект.
https://github.com/NickVolynkin/highload-2018/blob/master/1.1-microservices.md

Краткое описание как работает RabbitMQ и его ключевые метрики, которые стоит замониторить.

Part 1: Key metrics for RabbitMQ monitoring
https://www.datadoghq.com/blog/rabbitmq-monitoring

Part 2: Collecting metrics with RabbitMQ monitoring tools
https://www.datadoghq.com/blog/rabbitmq-monitoring-tools

Part 3: Monitoring RabbitMQ performance with Datadog
https://www.datadoghq.com/blog/monitoring-rabbitmq-performance-with-datadog

Нативный Docker Compose on Kubernetes

Как-то пролетела новость, и никто не заметил. Раньше делали как: генерили кубер манифесты из компоуз файлов, с помощью, например, Kompose.

Наконец Docker расчехлились, и уже практически официально этим решением депрекейтнули Docker Swarm. Они напилили нативный контроллер, который позволяет применять compose манифесты в кубер.

Вот, смотрите:
https://blog.docker.com/2018/12/simplifying-kubernetes-with-docker-compose-and-friends/

Репа на гитхабе:
https://github.com/docker/compose-on-kubernetes

В общем, у кого compose (омг) или Swarm в проде - можно безболезненно пересесть в k8s как первый шаг в процессе миграции.

Это будет очень полезно ребятам, у которых мало инженерных ресурсов, но есть огромное желание в k8s.

Как новость?)

Не устаю повторять - не бойтесь писать сами экспортеры для Prometeus! Это просто!
Вот еще две статьи, которые вам в этом помогут https://rsmitty.github.io/Prometheus-Exporters-Revamp/
https://rsmitty.github.io/Prometheus-Exporters/ #prometheus #exporter

Три года назад на Highload++ Александр Крашенинников рассказывал как в Badoo построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, выросли объёмы и решены задачи масштабирования и отказоустойчивости. В определённый момент в Badoo достигли точки, когда потребовались радикальные меры — смена технологического стека на связку Spark + Hadoop на ClickHouse, что в три раза сэкономило железо и увеличило нагрузку с 300 000 событий в секунду до 1 600 000 в пике. В ноябре на Highload++ Александр рассказал о этом в своем докладе, а Ник Волынкин описал кратко в своем конспекте.
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md

Форкнул и реанимировал одну клевую репу с кодом, который ходит в куб и проверяет поды на соотвествие праавилам, которые удобно пишутся в ямлях, если кто-то потыкает - я буду благодарен
https://github.com/count0ru/kube-lint

Годный твиттер тред про проблемы в распределенных систем: https://twitter.com/janl/status/1072442448893358081?s=20

Крутая ссылка от одного из читателей ;) https://sysadmincasts.com/ Много классных скринкастов и статей #screencast

Ещё один интересный репозиторий от ms - оператор, который позволяет писать policy для деплойментов и запрещать их запуск при несоответствии https://github.com/Azure/kubernetes-policy-controller/blob/master/README.md #policy #k8s

Вот сайт, там чуть вниз мотнешь рассказано как в 3 шага (2 из которых скачать и разъархивировать) поднять тестовый кластер all-in-one
https://www.okd.io/

https://github.com/vmware/kube-fluentd-operator
гениальное, правда немного недоделанное изобретение

Презентация от Julia Evans High Reliability Infrastructure Migrations и видео её выступления с Kubecon’18 в Сиэтле.

Бонусом: плейлист докладов c того же Kubecon

#slides #kubernetes

Как-то тихо прошли релиз и, собственно, интеграция в массы второй версии протокола Git https://opensource.googleblog.com/2018/05/introducing-git-protocol-version-2.html Если что, он уже доступен в Github, Gitlab и, скорее всего, других мейнстримовых git-хостилках. Для его использования нужно иметь поддержку его стороне как сервера, так и клиента (достаточно иметь свежую версию git и добавить в конфиг protocol.version 2). Как показали тесты, репочки реально клонятся быстрее

Теория шардирования⁠
🗂 Хранение данных, Высокая производительность, Анализ и проектирование систем, Блог компании Конференции Олега Бунина (Онтико)

Кажется, мы так глубоко погрузились в дебри highload-разработки, что просто не задумываемся о базовых проблемах. Взять, например, шардирование. Чего в нем разбираться, если в настройках базы данных можно написать условно shards = n, и все сделается само. Так-то, он так, но если, вернее когда, что-то пойдет не так, ресурсов начнет по-настоящему не хватать, хотелось бы понимать, в чем причина и как все починить.

Короче, если вы контрибьютили свою альтернативную реализацию хэширования в Cassandra, то вряд ли тут для вас найдутся откровения. Но если нагрузка на ваши сервисы уже прибывает, а системные знания за ней не поспевают, то милости просим. Великий и ...

Читать далее ➡ https://shbr.xyz/hh433370

Вот тут статья про то что nginx ingress имеет тоже свои подводные камни (а кто сомневался?) https://habr.com/company/southbridge/blog/340238/ #nginx #ingress

В блоге Lyft появилась статья о том как компания использует Apache Airflow в своей работе: https://eng.lyft.com/running-apache-airflow-at-lyft-6e53bb8fccff

KubiScan — недавно опубликованная утилита по анализу RBAC в Kubernetes http://amp.gs/EEWk Учитывая возраст репозитоия функционал пока-что ограничен, но идейно полезен для развития инструментов вэтом направлении.

В блоге компании-владельца уталиты, ееег автор также описал типовые проблемы и практики безопасной работы с RBAC http://amp.gs/EEWg