Кто такой SRE-инженер? Что за страшные аббревиатуры SLA, SLI и SLO?
Про это замечательно написали ребят из slurm в форме рассказа.
Рекомендую к прочтению тем кто ещё не разобрался, что это за зверь Site Reability Engineer

#longread #sre #slo #sla #sli

https://slurm.io/tpost/5sihp22ru1-kak-lyoha-stal-inzhenerom-po-sre-viduman

Из предыдущего поста вы узнали, что такое SLO (если ещё не знали).

Это была подводка к этому посту, а именно попытке стандартизировать требования проектом OpenSLO. Который в свою очередь совместим с нотацией kubernetes и может быть зарегистрирован как CRD.

#slo #sla #k8s #kubernetes

https://github.com/OpenSLO/OpenSLO

Sloth - генератор SLO для Prometheus.
Поддерживает OpenSLO, и генерирует дашборды для Grafana, имеет и расширяется SLI плагинами, есть CLI.

Выглядит очень годно, буду тестить.

#prometheus #slo #sli

https://github.com/slok/sloth

Еще одна интересная вещь на тему #SLO. Стандартизация, это наше всё.

Slo-exporter - это модульный инструмент для потокового вычисления стандартизированных показателей SLI и SLO на основе событий, поступающих из различных источников данных.
Внутренние события фильтруются и нормализуются, классифицируются по доменам и классам SLO, оцениваются как успешные или неудачные, наконец, экспортируются для дополнительных оценки SLO.
Следует принципам из Рабочей тетради SRE.

Модулей на данный момент не так много, можем из коробки взаимодействовать с Envoy, Kafka и разумеется Prometheus. Для всего остального у вас есть tailer для работы с логами, или прочие prometeus exporter, метрики с которых уже можно переварить здесь.

Собственно список имеющихся модулей

Для больших подробностей, смотрите на готовые примеры, там уже и дашборды для графаны даже есть.

Вот еще любопытная обзорная статья про slo-exporter

#SLO #SLA #SRE #prometeus

https://github.com/seznam/slo-exporter

SLO exporter - это не просто экспортер Service Level Objectives, а скорее нормализатор и класификатор для метрик. Некая мидлварь, которая поможет сначала обработать весь ваш объем метрик Prometheus и уже передать в него самую мякотку.

Как это работает:
Каждое полученное событие имеет метаданные, которые используются для его классификации по определенному домену и классу SLO, как описано в главе рабочей книги SRE «Оповещения об SLO». Кроме того, имя приложения, в котором произошло событие, и идентификатор события также добавляются для облегчения отладки возможного нарушения SLO. Наконец, вы решаете на основе метаданных, было ли событие успешным или неудачным. Затем SLO-exporter предоставляет метрику Prometheus slo_domain_slo_class:slo_events_total{slo_domain="...", slo_class="...", result="..."}. Это дает вам количество успешных или неудачных событий, и это все, что вам нужно для расчета бюджета ошибок (error budget), скорости сгорания (burn rate) и т.п.

Также у ребят есть две занимательные статьи на эту тему:
▫️Implementing SRE workbook alerting with Prometheus only
▫️Advanced SLO infrastructure based on slo-exporter

Сам еще не пробовал, но выглядит интересно, думаю как нибудь взять в работу да познакомиться с этим поближе.

#SLO #SLI #prometheus

https://github.com/seznam/slo-exporter