Уже постил видео доклада коллеги с конференции DevOpsConf 2019 «Логи не нужны?», а теперь и текст подъехал.

Если у вас на ровном месте петабайты логов, условный эластик вам не рад и вы ему тоже, то вам стоит задуматься:
- что из этого всего вам действительно нужно
- что превратить в метрики и использовать как метрику (e.g. Prometheus)
- возможно отделить критические ошибки и положить в специализированное место (e.g. Sentry)
- такая же история с бизнес метриками

Статья: http://bit.ly/2ocTcVU
Видео: http://bit.ly/2ocTNqC

🧪 Методы "отравления" кеша CDN, которые могут привести к частичной, либо полной недоступности ресурса для остальных посетителей: https://cpdos.org

#security #линк #фидбечат

По поводу поста https://xn--r1a.website/chiki_briki_it/132 от подписчика пришло вот такое мнение:

Привет. Суть make для разного рода проектов в том, что он позволяет скрыть разного рода команды и хранить их унифицированно. Посмотрим на примере. У меня есть несколько заказчиков, я для них написал небольшой набор плейбуков и ролей на ансибле. У этих плейбуков единый костяк, но они чуть отличаются per кастомер. Соответственно, я при ручных деплоях запускаю что-то типа

ansible-playbook -i inventory/customer.hosts -K --ask-vault-pass run-minimal.yml

. Таких плейбуков типа run-minimal.yml набралось уже около 30. Спустя какое-то время возникают следующие проблемы:

1. Очень надоедает писать всю эту простыню руками. Поиск по C-r не спасает, потому что плейбуков 30 * N кастомеров, запускается оно часто. Решение приходит постепенно. Сначала мы делаем

alias apl=ansible-playbook

, потом мы засовываем аргументы в shebang (а чо, так можно было? - постоянно спрашивают меня коллеги).

2. Эту хню надо запускать не только руками, но часто на проде, где надо автоматически вводить become password и vault password. Для vault в ансибле есть удобное решение. Для become нет ничего, кроме того чтобы запрашивать из extra vars. Ты к аргументам добавляешь конструкцию вида

-e @extra/vars.yml

, в которой тащишь env var, которую пробрасываешь в become. Все это снова приезжает в shebang каждого плейбука.

3. Тут внезапно оказывается, что ты в CI хочешь делать так, как есть, а на локальной машине хочешь использовать mitogen еще. И у тебя ansible.cfg в репе. И ты не хочешь вписывать mitogen_linear в него, потому что на CI нет митогена и все развалится. И ты снова придумываешь с env vars, но теперь их надо экспортить перед тем, как ты запускаешь плейбуки локально и про это надо не забывать.

4. И тут ансибл обновляется и говорит "чувак, теперь вместо sudo_user" можно использовать только "become_user" и ты идешь и все шебанги во всех плейбуках для всех кастомеров переписываешь. Ну чо, sed позапускал, все норм вроде.

Так вот. Вместо этого всего ты делаешь make и кладешь его в оригинальную репу. И в этот make вписываешь все, что тебе нужно. И когда придет время менять синтаксис, он поменяется в одном makefile, а не в 150 плейбуках. Когда надо будет что-то добавить, оно снова поменяется в 1 makefile. А еще можно выкинуть

alias apl=ansible-playbook

. А еще можно переменные окружения настраивать автоматически перед вызовом деплоя. Ну и митоген можно локально настраивать тут же, а на CI не делать этого.

И таких примеров, на самом деле, не слишком уж много и я вообще прекрасно жил без make лет примерно 15. А потом внезапно понял, что на моем объеме автоматизации он решает кучу задач и вообще очень норм. (c)


От себя добавлю - Makefile и правда бывает удобен, для того чтобы забутстрапить сборку, например. Сам использовал Makefile в прошлом году, для запуска плейбуков ansible + генерации vars для них и мне даже понравилось, но ощущения были странные.

6 практических историй из наших SRE-будней
https://habr.com/ru/post/471892/
Tags: Блог компании Флант, Системное администрирование, Серверное администрирование, SRE, troubleshooting
Author pashcovich on #habrahabr

​Бесплатный онлайн практикум DevOps by REBRAIN: Helm-Ansible
Для системных администраторов / Инженеров / Программистов

Регистрация - https://clck.ru/JG8wW
Количество мест строго ограничено!

Практикум по освоению DevOps

Время проведения:
29 Октября (Вторник) в 19:00 по МСК

Что будет на практикуме?

🔹Почему Helm? Зачем Ansible?
🔹Обзор шаблонов роли и плейбука
🔹Создание роли и плейбука для своего собственного деплоймента приложения

Кто ведет?

Лиза Постарнак - Senior DevOps engineer AirPush. Senior DevOps engineer Arvato Financial Services. Creator REBRAIN. Estonia, Tallinn

Открытые еженедельные DevOps практикумы - https://bit.ly/2CGmm3C
Присоединяйтесь!

📚 Автор сделал свою книгу бесплатной на некоторое время. Тем, кто хочет потренироваться в использовании sed'а, стоит обратить на неё внимание.

#книга #sed

Саша Клиппер так и не решился сдать контору, поэтому за всех будет отдуваться его коллега Василий Пантюхин, архитектор Amazon Web Services.

https://habr.com/ru/company/oleg-bunin/blog/471688/

Persistent Disks and Replication

Пост в блоге Google Cloud про то, как работают Persistent Disks.

https://medium.com/google-cloud/persistent-disks-and-replication-9b9412fd9565

Ещё одна статья про concurrency в golang, на этот раз с разбором конкретных примитивов https://medium.com/@abhishek1987/using-synchronization-primitives-in-go-mutex-waitgroup-once-2e50359cb0a7 #golang #concurrency

То, чего точно не хватало для Постгреса:

A flamegraph generator for Postgres EXPLAIN ANALYZE output.

https://github.com/mgartner/pg_flame

И снова про пятничный деплой https://hackernoon.com/deploy-on-fridays-or-dont-qg2y32jk

​​HTTP-Prompt

HTTP Prompt - Интерактивный консольный HTTP клиент.

Из того что мне понравилось:
- Response Cookies автоматически сохраняются для следующих запросов
- Автокомплит по встроенным командам
- Интеграция с httpie
Обязательно советую попробовать, если Вам приходится часто работать с curl или Httpie.

Grafana делятся своими предположениями о будущем observability

1. Больший акцент на корреляциях между метриками, логами и трейсами
2. Использование новых сигналов для анализа (как, например, профайлеры)
3. Аггрегация логов без индексов

#observability

Тут напомнили еще о двух вещах для профайлинга Постгреса:

https://explain.depesz.com

http://tatiyants.com/pev/#/plans

(2я вдохновленая 1й, но опенсурс https://github.com/AlexTatiyants/pev)

The Post-Incident Review

Сборник интересных постмортемов от компании Incident Labs.

Завтра с 10 утра можно будет смотреть.

DevOops 2019 Piter. День 1. Прямая трансляция первого зала.
https://www.youtube.com/watch?v=t-rjwlsa3nk

Программа тут
https://devoops.ru/schedule/

yaml to terraform tf converter

сегодня открыл для себя прикольный репос, в котором автор написал конвертер для yaml-ресурсов куба в те же самые ресурсы, но для терраформа. Оказалось очень полезной штукой.

З.Ы. с CRD оно работать не умеет к сожалению

https://github.com/sl1pm4t/k2tf

#terraform #kubernetes

​​HUG Kyiv #8: Adding new resources to a Terraform Provider

What:
So you're using Terraform and your cloud of choice just announced a shiny new feature - but it’s not supported in Terraform yet! In this live-coding session Tom will demonstrate how you can add a new Resource to a Terraform Provider, starting from scratch, testing it works and through to sending a pull request.

Who:
Tom Harvey an Engineer at HashiCorp working on the Azure support within Terraform. When he's not coding, Tom's been known to travel the world.

When: 20th November, 19:00
Where: Kyiv, Gulliver, Grammarly
Language: English

Please, register here

#event

Вдогонку:
Трансляцию конференции DevOps Days Ghent можно смотреть тут: https://m.youtube.com/channel/UCXvUfWqUKc8mjG7P40XnaPA