▶️▶️▶️ ДевОпс Инсайт: #devops_engineer_insights

Как легче всего зайти в Kubernetes?

На реальном опыте отвечает Сергей Михно (в жизни Серенький, в телеграме @Serhii_Mikhno). Уникально и только для подписчиков канала ДевОпс Инженер.

Путь ознакомления k8s зависит от задач, которые перед Вами стоят.
Тут есть два варианта - или для галочки у себя в резюме, или когда нужно поднять существующую инфраструктуру в кубере (как было у меня).

В обоих случаях лучше начинать с тестового проекта в GKE: https://cloud.google.com/kubernetes-engine/.
Например, поднять там какой-то сервис, который Вы уже умеете готовить. Далее можно добавить HA, настроив нужное колличество реплик и добавив healthchecks, а так же заекспоузить сервисы через ingress.

Все основные примитивы и концепции Kubernetes легче и быстрее всего освоить тут: http://kubernetesbyexample.com/ (обязательно добавить в закладочки). 💡

При решении этого задания, в любом случае нужно будет опираться на документацию, и очень желательно опираться на api reference k8s: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.10/

Подобный подход даст не только знания сущностей и абстракций, а так же даст понимание того, какие приложения и как ложатся в концепцию кубера.

Пару слов насчет Helm. Эта штука полезная и стоит уметь ею пользоваться, но далеко не во всех случаях. Потому что это дополнительный уровень абстракции над уже существующей моделью сущностей. Это облегчает управление и группировку громоздких сервисов, но затрудняет понимание того, какие реальные манифесты уходят в исполняемую среду.
По этому плагин helm template обязателен к установке, и важно понимать реализацию go template: (https://golang.org/pkg/text/template/), он очень похож на jinja2 (как в Ansible), так что с этим проблем не будет.

Теперь по поводу CI\CD. Написано уже очень много о том, как правильно готовить процессы с кубером. Мне лично помог блог компании Флант на Хабре: https://habr.com/company/flant/ , у них есть пару хороших видосов, которые проясняют lifecycle в кубере.

Далее, когда приложение уже запущено и работает, освоены основные концепции и примитивы - можно приступать к разворачиванию всяких штук вроде istio, подкручиванию network policy, RBAC, эксперименты с разными ingress controller и тестированию оверлейных сетей.

Простой пример - мы с тремя коллегами перевезли весь прод (с большим кол-вом сервисов и зависимостей в кубер) менее чем за месяц, при этом знания о Kubernetes были на уровне - "слышал, но не трогал".

Главное помнить, что кубер, это всего лишь платформа (фреймворк) со своими требованиями, и если им следовать и знать некоторое кол-во деталей - можно внедрять крутые штуки, полезные бизнесу, хоть каждый день.

Желаю удачи в изучении Kubernetes! 💪💪💪

Классная обзорная статья форматов сериализациия данных для обмена между системами (Avro, MessagePack, Protobuf и т.д.) — http://vasters.com/blog/data-encodings-and-layout/

Как вкатиться в одну из самых сложных тем Computer Science, а именно Distributed Systems? Нашел на просторах сети гайд от 2015 года от одного из девелоперов RabbitMQ, must read

https://goo.gl/VougZ8

unsee — дашборд для Prometheus Alertmanager от Cloudflare.
Умеет показывать, фильтровать, агрегировать и дедуплицировать алерты с разных инстансов Alertmanager.

http://amp.gs/kVFm

Отличная статья про разделение кода, структуру каталогов и хранение стейта для Terraform.

http://amp.gs/kVMd

Segment рассказывают про своё изобретение -- Centrifuge

Тулзу для доставки сообщений на 3rd party APIs, часть из которых может быть недоступна, выдавать большой latency или ограничивать колличество запросов.

Проблема и её решение достаточно кастомные для их случая, но почитать интересно

​​За ночь как-то много новостей нападало, так что давайте по порядку.

Во-первых, поздровляю вас с началом GDPR!

Во-вторых, в Kubernetes завезли интеграцию с Containerd во всеобщей доступности

Stay tuned!

#kubernetes

И начать пятницу хотелось бы с DevOps Security чеклиста от компании Sqreen.
Он представляет собой список лучших практик в области безопасности для имплементации DevSecOps.
Каждый пункт по клику раскрывается в описание и ссылки по теме.

http://amp.gs/kO3k

Инженеры Yelp ещё в 2016 году начали писать цикл статей о том как у них выглядит Data Pipeline. Интересно то, что все инструменты лежат в открытом доступе (и большинство на Python). Первая статья из цикла — https://goo.gl/9WbSVr. Инструменты смотреть здесь https://yelp.github.io/

Продолжаем разгребать навалившееся:

В блоге Docker Inc появилась статья о Kubernetes Playground -- Play with Kubernetes. Это такая же песочница, как Play with Docker, только про Kubernetes
* логотип Docker Swarm и грустный трамбон *

Кроме этого есть ещё одна классная песочница для изучения Кубера -- Katacoda

Ну и куча других мест для изучения, типа Kubernetes By Example, Kubernetes the Hard Way (и его вариации под другие платформы)

Enjoy!

#kubernetes

Вчера слушал интересную лекцию от Yara Paoli -- VP of Growth @ Skyscanner

Вы, возможно, подумаете, при чём тут вообще DevOps? Однако если в этой презентации сделать 's/marketing/development/g' получится типичная презентация о культуре DevOps: здесь и про кросс-функциональные команды, про spotify-культуру, про разрушение барьеров (siloes), T-shaped people, и много других знакомых вам вещей.

Так что можно смело заявить, что:
а) культура DevOps вполне себе вышла за пределы engineeringб просто мы это как-то провтыкали 🙂
b) это работает
с) MarkGrow? GrowMark? ProdMark? whatever...

Слайды презентации:
https://www.slideshare.net/growthhackers/moving-from-a-traditional-to-a-growth-oriented-organization-ghconf18

Статья-пояснение на Medium:
https://blog.growthhackers.com/from-32-to-1-000-employees-my-growth-journey-with-skyscanner-part-1-bb0af7be2225

#slides

Даже как-то не удобно получилось. Пообещал и не сделал. В прочем, ничего нового © Ладно, поглядел пока половину видосов. Вот мои Топ 5 на текущий момент. Досмотрю, выложу еще пятерку

Kafka as A Service от Apple https://www.confluent.io/kafka-summit-london18/kafka-as-a-service-a-tale-of-security-and-multi-tenancy
Отличный отрезвляющий доклад про метрики от Тодда Палино https://www.confluent.io/kafka-summit-london18/urp-excuse-you-the-three-metrics-you-have-to-know
Немного внутренестей KSQL от создателя KSQL https://www.confluent.io/kafka-summit-london18/ksql-201-a-deep-dive-into-query-processing
Мало приличных докладов Kafka Connect. А вот этот хороший https://www.confluent.io/kafka-summit-london18/make-your-connections-count-a-journey-building-kafka-connectors
и замыкающий нашу пятерку докладов, и снова про метрики, от Гвен и Ксавье https://www.confluent.io/kafka-summit-london18/monitor-kafka-like-a-pro
Оставайтесь с нами. Буду исправлять регулярность

Я саммит продолбал и поэтмоу ничего не видел. Планирую поглядеть в самолете.
Кстати, проголосуйте тут, если хотите чтобы я сделал подборку моих Top-5 докладов 👇👇👇

Кстати, про видосы.
В Москве пару недель назад прошел Moscow Kafka Meetup.
И спасибо организаторам, что сняли видео https://www.youtube.com/watch?v=gCtzHAhsJbw&feature=youtu.be

Минутка самопиара (о конференциях и докладах) 😇

Примерно полгода назад я закомитился выступить на нескольких конференциях (больших и не очень), это был крутой и интересный опыт. 😎

Основной акцент я делал на простоте. Чтобы люди не смотрели на сложные вещи с мыслью что "ого, мне такое не нужно/такое работать у меня не будет/это очень сложно", а наоборот. 💡

Чтобы слушатели возвращались в свои команды и внедряли полезные инженерные практики 💪💪💪

У меня было 3 доклада, и даже есть 2 видео.

Первый с highload days в Киеве - я рассказывал про Hashicorp Vault (а корректировал доклад Сева Поляков). В докладе есть разбор решений для менеджмента секретов, и пошаговая инструкция как его добавить в Вашу инфраструктуру.

▶️ https://www.youtube.com/watch?v=U255rz9Q2v8

Второй доклад я делал с Димой Лавриненко на DevOps Meetup, который организовывал SS. И потом еще ездил в Provectus в Одессу в этим же докладом. Там было о миграции мелких проектов в Kubernetes (в первой итерации в GKE) и даже ссылка на репозиторий, в котором описан IaC + кубер манифесты, сразу с helm. Эту заготовку мы делали с ребятами из MacPaw - напилили PoC и расшарили для Вас ❤️☺️

▶️ https://www.youtube.com/watch?v=vaKP4-tw_Bs

Еще можете проследить качественный рост самого выступления (не технической части, а именно выступления). Это благодаря курсу публичных выступлений, который я имел честь пройти в MacPaw.

Понажмакивайте плиз огонь, если хотите чтобы я подготовил еще докладов, или кактусы - если не хотите 😃

Всем продуктивного дня!

Сегодня немного о Лямбдах:

1) Подборка статей о Serverless & AWS Lambda

2)Бенчмарк рантаймов AWS Lambda

3) История человека, который год прожил с полностью serverless продакшеном

#serverless

В продолжение:

- Человек влез в самые кишки лямбд и рассказал, что там находится

- О повторном использовании соединений с БД в AWS Lambda

- О чем переживать при переходе к Serverless

- Воркшоп про то, как построить Serverless Data Processing App

#serverless

Стали доступны видео с конференции Monitorama PDX 2018.

Программа: http://amp.gs/e7Zy
Видео: http://amp.gs/e7Zv

И саммари по конференции от Dawn Parzych
http://amp.gs/e7Zh

В этом году выходят две книги, посвященные мониторингу с помощью Prometheus.

Первая из них от James Turnbull, автора книги «The Art of Monitoring» под названием «Monitoring with Prometheus» доступна уже сейчас.
http://amp.gs/e7YU

А вторая — «Prometheus: Up & Running» от Brian Brazil, одного из авторов Prometheus, будет доступна в июле.
http://amp.gs/e7Yr