И начать пятницу хотелось бы с DevOps Security чеклиста от компании Sqreen.
Он представляет собой список лучших практик в области безопасности для имплементации DevSecOps.
Каждый пункт по клику раскрывается в описание и ссылки по теме.

http://amp.gs/kO3k

Инженеры Yelp ещё в 2016 году начали писать цикл статей о том как у них выглядит Data Pipeline. Интересно то, что все инструменты лежат в открытом доступе (и большинство на Python). Первая статья из цикла — https://goo.gl/9WbSVr. Инструменты смотреть здесь https://yelp.github.io/

Продолжаем разгребать навалившееся:

В блоге Docker Inc появилась статья о Kubernetes Playground -- Play with Kubernetes. Это такая же песочница, как Play with Docker, только про Kubernetes
* логотип Docker Swarm и грустный трамбон *

Кроме этого есть ещё одна классная песочница для изучения Кубера -- Katacoda

Ну и куча других мест для изучения, типа Kubernetes By Example, Kubernetes the Hard Way (и его вариации под другие платформы)

Enjoy!

#kubernetes

Вчера слушал интересную лекцию от Yara Paoli -- VP of Growth @ Skyscanner

Вы, возможно, подумаете, при чём тут вообще DevOps? Однако если в этой презентации сделать 's/marketing/development/g' получится типичная презентация о культуре DevOps: здесь и про кросс-функциональные команды, про spotify-культуру, про разрушение барьеров (siloes), T-shaped people, и много других знакомых вам вещей.

Так что можно смело заявить, что:
а) культура DevOps вполне себе вышла за пределы engineeringб просто мы это как-то провтыкали 🙂
b) это работает
с) MarkGrow? GrowMark? ProdMark? whatever...

Слайды презентации:
https://www.slideshare.net/growthhackers/moving-from-a-traditional-to-a-growth-oriented-organization-ghconf18

Статья-пояснение на Medium:
https://blog.growthhackers.com/from-32-to-1-000-employees-my-growth-journey-with-skyscanner-part-1-bb0af7be2225

#slides

Даже как-то не удобно получилось. Пообещал и не сделал. В прочем, ничего нового © Ладно, поглядел пока половину видосов. Вот мои Топ 5 на текущий момент. Досмотрю, выложу еще пятерку

Kafka as A Service от Apple https://www.confluent.io/kafka-summit-london18/kafka-as-a-service-a-tale-of-security-and-multi-tenancy
Отличный отрезвляющий доклад про метрики от Тодда Палино https://www.confluent.io/kafka-summit-london18/urp-excuse-you-the-three-metrics-you-have-to-know
Немного внутренестей KSQL от создателя KSQL https://www.confluent.io/kafka-summit-london18/ksql-201-a-deep-dive-into-query-processing
Мало приличных докладов Kafka Connect. А вот этот хороший https://www.confluent.io/kafka-summit-london18/make-your-connections-count-a-journey-building-kafka-connectors
и замыкающий нашу пятерку докладов, и снова про метрики, от Гвен и Ксавье https://www.confluent.io/kafka-summit-london18/monitor-kafka-like-a-pro
Оставайтесь с нами. Буду исправлять регулярность

Я саммит продолбал и поэтмоу ничего не видел. Планирую поглядеть в самолете.
Кстати, проголосуйте тут, если хотите чтобы я сделал подборку моих Top-5 докладов 👇👇👇

Кстати, про видосы.
В Москве пару недель назад прошел Moscow Kafka Meetup.
И спасибо организаторам, что сняли видео https://www.youtube.com/watch?v=gCtzHAhsJbw&feature=youtu.be

Минутка самопиара (о конференциях и докладах) 😇

Примерно полгода назад я закомитился выступить на нескольких конференциях (больших и не очень), это был крутой и интересный опыт. 😎

Основной акцент я делал на простоте. Чтобы люди не смотрели на сложные вещи с мыслью что "ого, мне такое не нужно/такое работать у меня не будет/это очень сложно", а наоборот. 💡

Чтобы слушатели возвращались в свои команды и внедряли полезные инженерные практики 💪💪💪

У меня было 3 доклада, и даже есть 2 видео.

Первый с highload days в Киеве - я рассказывал про Hashicorp Vault (а корректировал доклад Сева Поляков). В докладе есть разбор решений для менеджмента секретов, и пошаговая инструкция как его добавить в Вашу инфраструктуру.

▶️ https://www.youtube.com/watch?v=U255rz9Q2v8

Второй доклад я делал с Димой Лавриненко на DevOps Meetup, который организовывал SS. И потом еще ездил в Provectus в Одессу в этим же докладом. Там было о миграции мелких проектов в Kubernetes (в первой итерации в GKE) и даже ссылка на репозиторий, в котором описан IaC + кубер манифесты, сразу с helm. Эту заготовку мы делали с ребятами из MacPaw - напилили PoC и расшарили для Вас ❤️☺️

▶️ https://www.youtube.com/watch?v=vaKP4-tw_Bs

Еще можете проследить качественный рост самого выступления (не технической части, а именно выступления). Это благодаря курсу публичных выступлений, который я имел честь пройти в MacPaw.

Понажмакивайте плиз огонь, если хотите чтобы я подготовил еще докладов, или кактусы - если не хотите 😃

Всем продуктивного дня!

Сегодня немного о Лямбдах:

1) Подборка статей о Serverless & AWS Lambda

2)Бенчмарк рантаймов AWS Lambda

3) История человека, который год прожил с полностью serverless продакшеном

#serverless

В продолжение:

- Человек влез в самые кишки лямбд и рассказал, что там находится

- О повторном использовании соединений с БД в AWS Lambda

- О чем переживать при переходе к Serverless

- Воркшоп про то, как построить Serverless Data Processing App

#serverless

Стали доступны видео с конференции Monitorama PDX 2018.

Программа: http://amp.gs/e7Zy
Видео: http://amp.gs/e7Zv

И саммари по конференции от Dawn Parzych
http://amp.gs/e7Zh

В этом году выходят две книги, посвященные мониторингу с помощью Prometheus.

Первая из них от James Turnbull, автора книги «The Art of Monitoring» под названием «Monitoring with Prometheus» доступна уже сейчас.
http://amp.gs/e7YU

А вторая — «Prometheus: Up & Running» от Brian Brazil, одного из авторов Prometheus, будет доступна в июле.
http://amp.gs/e7Yr

kubeformation — интересный проект, который помогает генерировать файл с параметрами Kubernetes кластера для его создания в Google Cloud или Azure.

http://amp.gs/e7GO
GitHub: http://amp.gs/e7GA

Интересная статья от Tõnis Tiigi про сложные паттерны использования multi-stage билдов в докере.

http://amp.gs/evVs

Интересная статья о CNI и о том, как выбрать сетку для Вашего кубера. Рассматриваются 7 самых популярных реализаций, есть сравнительная табличка с фичами 🏆

В целом ничего супер нового и прорывного, но вполне себе интересно и полезно. 🙏

📌 https://chrislovecnm.com/kubernetes/cni/choosing-a-cni-provider/

Управление знаниями: диагностика багов

Есть методология диагностики багов, которая повышает интеллектуальный уровень разработчиков, помогает со "сложными" багами и делает ваши волосы мягкими и шелковистыми.
Очень здорово, если ваши ключевые алгоритмы (они же - ключевые действия пользователей) будут описаны в виде sequence диаграм (https://cdn-images-1.medium.com/max/1820/1*vnSPuXKP9w7He0CBkLtaKA.png например). Колонки - это компоненты проекта. В парадигме микросервисной архитектуры это могут быть микросервисы, в парадигме монолита - например, модули.
Смысл заключается в том, чтобы научить инженеров представлять себе картинку процесса целиком и уметь его держать в голове. Потому что смысл любой диагностики сводится к половинному поиску по этой схеме: берём наиболее интересную точку, проверяем в ней состояние и делаем выводы, где проблема - выше или ниже.

Управление знаниями: диагностика багов, часть 2

Вторая фишка диагностики кажется дорогой и вызывает много сопротивления у инженеров, но есть немало ситуаций, когда она полезна.
Инженер, который ведёт диагностику должен писать логи своих рассуждений, буквально что-то вида:

Тикет: не загружаются файлы
Зашёл в Sentry - вижу ошибку, что кончилось место
Зашёл на srv1
Набрал команду df, места на /dev/sda1 1 мегабайт

Формат логгирования может быть произвольным (оптимизируйте так, чтобы это было комфортно), но суть в том, чтобы
- видеть, какие контрольные точки смотрит инженер
- какие выводы он делает из того, что видит
- сделать диагностику отчуждаемой (отладку сложного бага по этой методике можно перекинуть на другого человека без лишнего геморроя!)
- убедиться, видят ли инженеры "всю картину" ключевого алгоритма, не занимаются ли они тыканием "там, где светло", а не там, где искать нужно.

В любом случае, это хороший способ обучать людей.

Опять я что-то на пару дней пропал, но давайте поговорим о базах данных

A one size fits all database doesn't fit anyone — заметка Werner Vogels, СТО Amazon, о типах БД и вообще всяких вводных штуках, которые надо учитывать при выборе БД. Ну и, конечно же, с описание того, что всё это можно получить managed в AWS

MySQL High Availability at GitHub раасказ о том, как в GitHub делают HA MySQL. Вы эту статью, скорее всего, уже читали, но пусть тоже тут будет

Цикл статей о PostgreSQL в Kubernetes (не поднимайте БД в контейнерах говорили они…)
Часть 1
Часть 2

Stay tuned!

#databases