Крутой доклад от не менее крутого Maxime Beauchemin (автор Airflow и Superset) про продвинутое использование Apache Airflow в Data Infrastructure Engineering.

Видео https://www.youtube.com/watch?v=23_1WlxGGM4

Доклад https://prezi.com/p/adxlaplcwzho/advanced-data-engineering-patterns-with-apache-airflow/

Пост подгорания😭Если у вас Kubernetes и особенно если он у вас на AWS, то у вас с вероятностью 99% есть критическая бага с периодическими долгими резолвами DNS, описанная здесь: https://github.com/kubernetes/kubernetes/issues/56903. Там же есть и воркераунды, которые работают "не у всех и не всегда". Самый надежный фикс - поставить на каждой ноде dnsmasq (можно и DaemonSet).
Матчасть об этой проблеме для любопытных: https://www.weave.works/blog/racy-conntrack-and-dns-lookup-timeouts

Импорт/экспорт Grafana dashboards

Пришла мне таска - взять все существующие дашборды для графаны, немного их подкрутить, и пушнуть туда же как новые. Темплейтинг заюзать нельзя - оно там все супер-динамическое с завязкой на свой датасорс для каждого конкретного хоста. Короче - гемор.

И этих дашбордов более нескольких десятков.

Сразу дока, API - и погнали. Есть на импорт/экспорт, а значит кто-то уже писал автоматизацию.

Полез я в интернет, и сразу наткнулся на github gists, где разные ребята в коментах писали свои версии скриптов. Но вроде же дожно быть что-то более продакшн реди? И да, есть либа:
💥 https://github.com/hagen1778/grafana-import-export

Она заэкспортила дашборды, и пришла очередь фиксить json.

Для этого есть тулза jq, не самая удобная, но работает. Пример, где в slug меняется поле:
jq '(.meta.slug |= "aws-" + .)' $filename - на поиск синтаксиса ушло 2 чашки чая 🙁

Датасорсы в графиках лучше менять с помощью sed:
sed 's/"datasource": "influxdb"/"datasource": "new-datasource"/g' - через jq тяжело обойти все вложенные ключи, и не сломать лишнего

Обязательно нужно поменять title - иначе ничего работать не будет (упадет с ошибкой):
jq '(.dashboard.title |= "AWS | " + .)' $filename - тут добавляется 'AWS | ' и существующее имя дашборда

Это все очевидные вещи, но в конце ждал сюрприз. Ошибка The dashboard has been changed by someone else. Хм, что же это значит? Сразу мысль подсказала посмотреть на ключи version и id. Ключа с версией небыло, а вот id был. Где-то на гитхабе советовали засетить его как null, или вообще удалить. Ну я и удалил:
jq 'del(.dashboard.id)' $filename

После этого дашборды заэкспортились и все взлетело.

Надеюсь, сохранил вам несколько часов гугления и набивания шишек 😄

⚡️ Привет чат!

Я тут сменил работку , записали подкаст, сняли видос про это дело и даже поговорили про важный вопрос «Что дороже upconvert or downconver сообщений, когда используются разные версии клиентов и брокера?»

📺 https://www.youtube.com/watch?v=tPPgKLQc55A
🎧 https://www.buzzsprout.com/186154/796702-ask-confluent-kafka-ksql-and-viktor-gamov
🔗 (там много уже годноты про KSQL и все такое) https://feeds.buzzsprout.com/186154.rss

protip: если твитить с тэгом #askconfluent на Ваш вопрос могут ответить в одном из следующих выпусков!

А вот и видео с прошлого митапа про безопасность завезли: https://www.youtube.com/playlist?list=PLUpE7k7er9GVAGzjZUKeIDjdJROdbtUtu
Слайды под каждым видео по ссылке.

Слайды "IaC: давайте жить дружно": https://speakerdeck.com/devopsmoscow/iac-davaitie-zhit-druzhno

Слайды "Ansible — это вам не bash!" :https://speakerdeck.com/devopsmoscow/ansible-eto-vam-nie-bash

Вот я вчера писал про оператор для Kubernetes от AWS, который при помощи CloudFormation разворачивает ресурсы в AWS.

Когда я его нашел, меня заинтересовало: “блин, а было бы прикольно, если б такое же существовало с Terraform!”

И оно таки существует!

Правда, там документации на полтора предложения и последний коммит 5 месяцев назад.

Пробовать такое мне стрёмно, так что пост больше “for your information”. Однако, если у меня в подписчиках есть отчаяные люди, которые попробуют это применить — пожалуйста, напишите потом, как оно!

#kubernetes #terraform

CloudPosse has recently released Terraform modules for provisioning an EKS cluster on AWS:
https://github.com/cloudposse/terraform-aws-eks-cluster

Хорошая статья о том как airbnb менеджер секреты в AWS https://medium.com/airbnb-engineering/production-secret-management-at-airbnb-ad230e1bc0f6

bpftrace для Linux стал публичным.

А вот, Brendan Gregg написал об этом блогпост с примерами использования, отличиями от DTrace и историей разработки.

В статье есть готовые однострочники под различные нужды и ссылки на туториалы

#toolz

DevOps инженер
goods - новый маркетплейс М.Видео, лидера среди розничных сетей по продаже электроники и бытовой техники в России.
Москва.
Описание вакансии http://amp.gs/hAak
#admin #devops #вакансия #москва

Отличный пост о истории high availability, самые популярные способы достижения и зачем это вообще надо. https://www.cockroachlabs.com/blog/brief-history-high-availability/

Пост-открытка всем евангелистам Кафки (including me!)
Сколько раз вы показывали демо, используя нелепые данные типа test1, test2 и тому подобное?
Робина (он Developer Advocate у нас в Confluent в Европе) это тоже подзадолбало и он написал пост, как с помощью Mockaroo и kafkacat можно заливать очень похожите на реальные данные в Кафку.
Читаем пост, ставим kafkacat и пишем комментарии в чате!

https://rmoff.net/2018/05/10/quick-n-easy-population-of-realistic-test-data-into-kafka-with-mockaroo-and-kafkacat/

Интересно как работают колоночные базы данных? Тогда непременно стоит прочитать отличный paper и summary по нему: http://bit.ly/2xOyCwA

​​Free ebook about Managing Kubernetes by Brendan Burns and Craig Tracey.

Can be download here

#book #kubernetes

Dmytro Pashchenko скинул ссылку на прикольную визуализацию TLS подключения с описанием. Дрожите, стандартные вопросы на собеседованиях, теперь все будут отвечать и про TLS 🙂 https://tls.ulfheim.net/