Кстати, коллеги, интересно ваше мнение, полезный материал или баянисто уже? https://medium.com/avitotech/kubernetes-issues-and-solutions-2baffe25f40b

​​Я недавно уже скидывал статью о деплое Consul и Vault в Kubernetes (t.me/catops/754)

А вот подъехали и официальные интеграции:
HashiCorp анонсировали движение в сторону всяческих интеграций с Kubrnetes
Начали с Consul. Уже есть:
- официальный Helm chart
- авто-джойн
- Service Catalog Sync (в обе стороны)
- Consul Connect в k8s
- поддержка Envoy

Такие дела

#hashicorp #kubernetes

Spotify открыли код своего инструмента для управления кластерами Apache Cassandra: cstar позволяет выполнять задачи по конфигурации кластера с учётом топологии и состояния узлов кластера, чего они не смогли добиться от Ansible и Puppet: http://amp.gs/y9cM

Julia Evans рассказывает, как менеджить кастомные хедеры с помощью Cloudflare workers (это такие как AWS Lambda, только от Cloudflare)

P.S. Как менеджить кастомные хедеры с AWS Lambda@Edge и CloudFront я уже писал

#cloudflare

​​Pro tip: setup integration for your monitoring and deploying systems. It's get visualization of "what release break all" and simplify debug.

Requirements: Grafana 4.6+

For example, you have ~Zabbix~ Prometheus (monitoring), Teamcity (deploy), Grafana and some App.

1. Prometheus get some metrics from app and store to DB. We can visualize it in Grafana.
2. Teamcity successfully build and deploy new version of App.

NOW add new step after deploy which create Grafana Annotation about deploy to Prometheus.
It's add red line on your graphics so you can see which build fully of love.

P.S. On picture how can it look like.

#monitoring

Уууух как круто прошла конфа! 😎

Мне понравилось, что ребята из fwdays очень классно проработали все моменты: после обеда были лайтовые доклады на общие темы, а хардкор примерно в 12 (когда все уже проснулись, но еще не устали). Очень порадовали сами доклады и треки - сложно было выбрать что и куда идти, хотелось быть везде и одновременно))

Отдельно могу отметить юмор Александра Соловьева из "магазина одежды", топ-хедлайнера конференции, он очень позитивно завершил этот продуктивный день. 👆

В целом впечатления крайне положительные, не считая непонятного мне конфьюза с Svitla systems, однозначно пойду в 2019.

Для тех кто не попал, или был на OSDN есть записи докладов по трекам:
🔥main stage: https://www.youtube.com/watch?v=MbZgXZBxgV8
🔥track a: https://www.youtube.com/watch?v=sVhsY-kYi0Y
🔥track b: https://www.youtube.com/watch?v=i5-sFUqVhrs
🔥track c: https://www.youtube.com/watch?v=Lxop86CIfg0

Расписание докладов (для навигации) есть на сайте:
▶️ https://fwdays.com/en/event/highload-fwdays-2018#program-event

А я пошел внедрять на практике этих всех сферический коней в вакууме 🙈

Крутой доклад от не менее крутого Maxime Beauchemin (автор Airflow и Superset) про продвинутое использование Apache Airflow в Data Infrastructure Engineering.

Видео https://www.youtube.com/watch?v=23_1WlxGGM4

Доклад https://prezi.com/p/adxlaplcwzho/advanced-data-engineering-patterns-with-apache-airflow/

Пост подгорания😭Если у вас Kubernetes и особенно если он у вас на AWS, то у вас с вероятностью 99% есть критическая бага с периодическими долгими резолвами DNS, описанная здесь: https://github.com/kubernetes/kubernetes/issues/56903. Там же есть и воркераунды, которые работают "не у всех и не всегда". Самый надежный фикс - поставить на каждой ноде dnsmasq (можно и DaemonSet).
Матчасть об этой проблеме для любопытных: https://www.weave.works/blog/racy-conntrack-and-dns-lookup-timeouts

Импорт/экспорт Grafana dashboards

Пришла мне таска - взять все существующие дашборды для графаны, немного их подкрутить, и пушнуть туда же как новые. Темплейтинг заюзать нельзя - оно там все супер-динамическое с завязкой на свой датасорс для каждого конкретного хоста. Короче - гемор.

И этих дашбордов более нескольких десятков.

Сразу дока, API - и погнали. Есть на импорт/экспорт, а значит кто-то уже писал автоматизацию.

Полез я в интернет, и сразу наткнулся на github gists, где разные ребята в коментах писали свои версии скриптов. Но вроде же дожно быть что-то более продакшн реди? И да, есть либа:
💥 https://github.com/hagen1778/grafana-import-export

Она заэкспортила дашборды, и пришла очередь фиксить json.

Для этого есть тулза jq, не самая удобная, но работает. Пример, где в slug меняется поле:
jq '(.meta.slug |= "aws-" + .)' $filename - на поиск синтаксиса ушло 2 чашки чая 🙁

Датасорсы в графиках лучше менять с помощью sed:
sed 's/"datasource": "influxdb"/"datasource": "new-datasource"/g' - через jq тяжело обойти все вложенные ключи, и не сломать лишнего

Обязательно нужно поменять title - иначе ничего работать не будет (упадет с ошибкой):
jq '(.dashboard.title |= "AWS | " + .)' $filename - тут добавляется 'AWS | ' и существующее имя дашборда

Это все очевидные вещи, но в конце ждал сюрприз. Ошибка The dashboard has been changed by someone else. Хм, что же это значит? Сразу мысль подсказала посмотреть на ключи version и id. Ключа с версией небыло, а вот id был. Где-то на гитхабе советовали засетить его как null, или вообще удалить. Ну я и удалил:
jq 'del(.dashboard.id)' $filename

После этого дашборды заэкспортились и все взлетело.

Надеюсь, сохранил вам несколько часов гугления и набивания шишек 😄

⚡️ Привет чат!

Я тут сменил работку , записали подкаст, сняли видос про это дело и даже поговорили про важный вопрос «Что дороже upconvert or downconver сообщений, когда используются разные версии клиентов и брокера?»

📺 https://www.youtube.com/watch?v=tPPgKLQc55A
🎧 https://www.buzzsprout.com/186154/796702-ask-confluent-kafka-ksql-and-viktor-gamov
🔗 (там много уже годноты про KSQL и все такое) https://feeds.buzzsprout.com/186154.rss

protip: если твитить с тэгом #askconfluent на Ваш вопрос могут ответить в одном из следующих выпусков!

А вот и видео с прошлого митапа про безопасность завезли: https://www.youtube.com/playlist?list=PLUpE7k7er9GVAGzjZUKeIDjdJROdbtUtu
Слайды под каждым видео по ссылке.

Слайды "IaC: давайте жить дружно": https://speakerdeck.com/devopsmoscow/iac-davaitie-zhit-druzhno

Слайды "Ansible — это вам не bash!" :https://speakerdeck.com/devopsmoscow/ansible-eto-vam-nie-bash

Вот я вчера писал про оператор для Kubernetes от AWS, который при помощи CloudFormation разворачивает ресурсы в AWS.

Когда я его нашел, меня заинтересовало: “блин, а было бы прикольно, если б такое же существовало с Terraform!”

И оно таки существует!

Правда, там документации на полтора предложения и последний коммит 5 месяцев назад.

Пробовать такое мне стрёмно, так что пост больше “for your information”. Однако, если у меня в подписчиках есть отчаяные люди, которые попробуют это применить — пожалуйста, напишите потом, как оно!

#kubernetes #terraform