Envoy proxy: отличная тема, даже без кубера 🔥

Envoy - это L4/L7 proxy, раньше был в Lyft, а теперь - CNCF.
https://github.com/envoyproxy/envoy

Он позволяет легко и быстро построить service-to-service, front proxy или double proxy (или даже все в месте). Вот, например, так:
https://www.envoyproxy.io/docs/envoy/latest/intro/deployment_types/double_proxy

Конфигурация кажется немного запутанной, но через пару часов все ясно и понятно - намного проще и быстрее чем HAproxy/nginx, etc.

Пример double proxy конфигурации:
https://github.com/envoyproxy/envoy/blob/master/configs/envoy_double_proxy_v2.template.yaml

Он очень классно интегрируется с Consul (в том числе как communication bus для Consul Connect), и может динамически слушать порты, строить роуты, делать всякую магию, которую в случае с HAproxy/nginx нужно было решать всякими ужасными темплейтами и генерацией конфигурации.

Все вы знаете реализацию Envoy внутри Istio, но кто хочет попроще или не в k8s - можно брать просто Envoy.

Из сомнительных моментов могу упомянуть:
▶️ Если хотите запустить несколько Envoy контейнеров на одной ноде, нужно передавать дополнительный параметр - иначе не будет работать:
https://www.envoyproxy.io/docs/envoy/latest/operations/cli#cmdoption-base-id
▶️ Prometheus exporter встроен прямо в Envoy, но с оговорками. Путь - /stats/prometheus (what?, почему не /metrics, или почему даже редиректа нету?), и второй момент - метрики отдаются через админский интерфейс, а он не защищен. Вот issue:
https://github.com/envoyproxy/envoy/issues/2763 - должны сделать.

Мы сейчас как раз в процессе внедрения, пока что впечатления крайне положительные, могу рекомендовать 🙂

И еще расшарю для вас gist с relabel_configs для prometheus, который берет таргеты из Consul:
https://gist.github.com/Mykolaichenko/9ab505876237999466a6e3b506ef598a

Top 7 Ansible articles from 2018

1. How to use Ansible to patch systems and install applications
Learn how to save time doing updates with the #Ansible IT automation engine.

2. A sysadmin's guide to Ansible: How to simplify tasks
There are many ways to automate common sysadmin tasks with Ansible. Here are several of them.

3. How to manage your workstation configuration with Ansible
Learn how to automate your workstation setup via Ansible, which will allow you to easily restore...

4. How to use Ansible to set up system monitoring with Prometheus
In the third part of this Ansible how-to series, learn how to automate system monitoring.

5. An introduction to Ansible Operators in Kubernetes
The new Operator SDK makes it easy to create a Kubernetes controller to deploy and manage a service or application in a cluster.

6. 4 Ansible playbooks you should try
Streamline and tighten automation processes in complex IT environments with these Ansible playbooks.

7. Manage your workstation with Ansible: Automating

VPN не нужен (в некоторых частых случаях). Написал об этом небольшую статью. https://dvps.blog/p/93ec1ff3-b02b-439e-8336-77fc89dd5d7c/

Why SRE Documents Matter

Отличная статья про документы, которые необходимы для работы SRE команды.

https://cacm.acm.org/magazines/2018/12/232897-why-sre-documents-matter/fulltext

Неплохая коллекция постмортемов

https://github.com/danluu/post-mortems

Тулза — открытие дня (вчерашнего)

truffleHog — инструмент для поиска секретов в git репозитории.

Поиск осуществляется по истории. При чём по-умолчанию тулза ориентируется по энтропии строк (так что в вывод будут залетать всякие package-lock.json). Однако, можно включить поиск на основании регулярных выражений для уменьшения числа ложных срабатываний (есть готовые, плюс можно скармливать свои).

Поскольку поиск происходит по истории (можно задавать глубину), находятся в том числе те ключи, которые были “закоммичены, но оперативно потёрты”

Пока из минусов увидел только два:
- нельзя эксклудить файлы (соответствующий пул реквест висит)
- нельзя отключить подсветку вывода (потом не так удобно парсить вывод дальше)

#toolz #security

22 SSH examples, practical tips and tunnels.

#tutorial #coding #ssh
@thedevs

https://kutt.it/Xw7141

Какие метрики и как стоит замониторить в Nginx.

How to monitor NGINX:
https://www.datadoghq.com/blog/how-to-monitor-nginx

How to collect NGINX metrics:
https://www.datadoghq.com/blog/how-to-collect-nginx-metrics

How to monitor NGINX with Datadog:
https://www.datadoghq.com/blog/how-to-monitor-nginx-with-datadog

Очень интересный доклад от Gregory Stark на PGCONF EU 2018 про построение мониторинга PostgreSQL с помощью Prometheus и Grafana. С реальными примерами, графиками и теорией про USE, RED.
P.S. Видео к сожалению пока не нашлось ¯\_(ツ)_/¯

Блог: http://amp.gs/VpF6
Конференция: http://amp.gs/VpXj
Слайды: http://amp.gs/VpXI
#monitoring #prometheus #postgresql

Отличный постмортем от Dan Woods из Target про то, как одно небольшое изменение может ОЧЕНЬ многое каскадно сломать в сложной распределенной инфраструктуре)

http://amp.gs/Vpq2

NGINX Cookbook
Advanced Recipes for High
Performance Load Balancing

Derek DeJonghe

2019

Automating Datacenter Operations at Dropbox

Отличный пост в техническом блоге Dropbox про то, как они делают провижен свичей и серверов в своих ДЦ.

https://blogs.dropbox.com/tech/2019/01/automating-datacenter-operations-at-dropbox

Какие метрики и как стоит замониторить в Nginx.

How to monitor NGINX:
https://www.datadoghq.com/blog/how-to-monitor-nginx

How to collect NGINX metrics:
https://www.datadoghq.com/blog/how-to-collect-nginx-metrics

How to monitor NGINX with Datadog:
https://www.datadoghq.com/blog/how-to-monitor-nginx-with-datadog

Какие метрики и как стоит замониторить в Redis.

How to monitor Redis performance metrics:
https://www.datadoghq.com/blog/how-to-monitor-redis-performance-metrics

How to collect Redis metrics:
https://www.datadoghq.com/blog/how-to-collect-redis-metrics

Monitor Redis using Datadog:
https://www.datadoghq.com/blog/monitor-redis-using-datadog

Designing resilient systems: Circuit Breakers or Retries?

Серия из 2х постов про важные концепции для построения распределенных отказоустойчивых систем - circuit breakers и retries.

https://engineering.grab.com/designing-resilient-systems-part-1
https://engineering.grab.com/designing-resilient-systems-part-2

Гайдлайн для понимания насколько вы production-ready от JBD — инженера в Google.

Бонусом AWS production-readiness чеклист от Gruntworks (уже было на канале)
- Сам чеклист

Очередная хорошая статья о том как работает Istio под капотом
https://medium.com/namely-labs/a-crash-course-for-running-istio-1c6125930715

Отличный репозиторий на гитхабе с кучей ссылок на различные курсы и обучающие материалы.
http://amp.gs/Vvoc

P.S. Спасибо за ссылку, Миша =^._.^= ∫
#github #courses

​​Статья о том, как в Dropbox автоматизируют конфигурацию своих датацентров

Так как Dropbox одни из первых (по крайней мере первые из громких) переехали из публичного облака на своё железо, там вам никакого Terraform’а — всё по хардкору с валидацией свичей, стресс-тестами и бенчмарками.