Аутентификация в AWS Console через GSuite (ex-Google Apps) с SAML. Не знаю, стояла ли перед вами такая задача и встанет ли когда-либо, но знайте: официальная документация, что в AWS, что в Google устарела 🙁

В доках Google вообще ссылка на какой-то левый блогпост, который тоже не релевантен.

Вот статья на Medium, которая описывает рабочий процесс (spoiler: магия в том, что ARN ролей в GSuite надо прописывать отдельно каждому юзеру, а не группе)

https://medium.com/proud2becloud/single-sign-on-with-g-suite-on-the-amazon-web-services-console-d506fda88c90

#aws #gsuite #security

PagerDuty заопенсорсили свой внутренний тренинг по безопасности для инженеров!

В дисклеймере они пишут, что это не полная версия тренинга, потому что настоящий содержит конфиденциальные данные, но открытая версия должно покрывать бОльшую часть самых частых вопросов. Я пока не успел дочитать

#security

Оказалось, есть люди, которые не шарят mysql датасорс в графане, и я решил с Вами тоже поделиться. 😎🤓🤗

http://docs.grafana.org/features/datasources/mysql/

Раньше, когда его небыло, и мы с ребятами делали мониторинг продуктовых метрик (а продакшн базка - мускуль), приходилось:
- писать кастомные чеки в системах мониторинга 🤢
- шедулить какие-то скрипты 🤢
- придумывать воркеров 🤢
- педалить сомнительные архитектурные решения 😂 (очень люблю эту фразу)

И все это для того, чтобы продуктовые метрики можно было вытащить из базейки, и положить куда-то в influx/graphite/whisper/elasticsearch.

После того, как появилась поддержка mysql датасорса, это все можно мутить прямо из коробки!

Еще раз опишу юз кейс: натравить на продакшн слейва, и рисовать красивые бизнес-метрики.

Например:
- сколько юзеров зарегалось за последний час 👍
- сколько онлайн пользователей 👍
- сколько денег заработали за последний час 👍
- самый большой чардж 👍
- сколько важных задач мы обработали 👍
- в общем, все что интересно бизнесу в конкретный момент времени 🤑🤑

Ребят, агонь?

Небольшая полезняшка для тех, кто хочет написать свой коннектор для Kafka Connect.
У Jeremy Custenborder из Confluent есть хобби - писать коннекторы в самолетах.
Когда он летит с митинга или на митинг он пишет коннекторы. У него в github можно найти много разных поделок.
А еще, если вы давно хотели написать свой коннектор, но не знали с чего начать, он сделали Maven archetype, в котором содержится необходимый минимум кода и скриптов, в том числе и для отладки коннекторов!

https://github.com/jcustenborder/kafka-connect-archtype

Michael Noll (PM Kafka Streams) написал отличную статью (первую из серии) про Streams и Tables в Kafka Streams. Очень наглядно, с картинками и анимацией.
Очень рекомендую почитать начинающим в Kafka Streams

http://www.michael-noll.com/blog/2018/04/05/of-stream-and-tables-in-kafka-and-stream-processing-part1/

A Taxonomy of Tech Debt | Riot Games Engineering
https://engineering.riotgames.com/news/taxonomy-tech-debt

Troubleshooting and profiling microservices // Speaker Deck
https://speakerdeck.com/mhausenblas/troubleshooting-and-profiling-microservices

OpenTracing: Zipkin as Distributed Tracer [Free eBook]
https://sematext.com/blog/opentracing-zipkin-as-distributed-tracer/

Include os @ flossuk 2018
https://www.slideshare.net/perbu/include-os-flossuk-2018

How to Manage Multiple System Configurations Using Docker Compose | Inside PSPDFKit
https://pspdfkit.com/blog/2018/how-to-manage-multiple-system-configurations-using-docker-compose/

Я начинаю потихоньку разгребать свой загашник сохраненных статей. И сегодня будет парочку от Netflix.

Во-первых, Netflix FlameScope -- логическое дополнение FlameGraphs. FlameScope позволяет строить хитмап ивентов, где по оси X время в секундах, по оси Y -- фракции секунды (я не уверен, что я правильно перевел это), а "температура" показывает колличество ивентов, которые пришлись на это время.

Выбрав определенный сегмент хитмапа, можно сразу же перейти к флеймграфу того, что происходило в данный момент. Более доступно это показано на видео:

https://www.youtube.com/watch?time_continue=82&v=cFuI8SAAvJg

#performance

Я начинаю потихоньку разгребать свой загашник сохраненных статей. И сегодня будет парочку от Netflix.

Во-первых, Netflix FlameScope -- логическое дополнение FlameGraphs. FlameScope позволяет строить хитмап ивентов, где по оси X время в секундах, по оси Y -- фракции секунды (я не уверен, что я правильно перевел это), а "температура" показывает колличество ивентов, которые пришлись на это время.

Выбрав определенный сегмент хитмапа, можно сразу же перейти к флеймграфу того, что происходило в данный момент. Более доступно это показано на видео:

https://www.youtube.com/watch?time_continue=82&v=cFuI8SAAvJg

#performance

Netflix выпустили в opensource Kayenta, утилиту для автоматического анализа базовых метрик при канареечном релизе. Kayenta тесно интегрируется со Spinnaker и помогает Netflix получать максимально точную и быструю обратную связь по своим выкаткам.

https://goo.gl/f9BDzB

Стали доступны видео с SREcon18 Americas.

Ссылка на плейлист: https://www.youtube.com/watch?v=3U57ZPbl6bQ&list=PLbRoZ5Rrl5lcszsvhnb4P9Ds4pSmVtkfp

​​Если вы пропустили онлайн трансляцию пленарных докладов с Kafka Summit London 2018, выкладываю, чтобы на выходных было что посмотреть

Вот и подоспели все видосы с Kafka Summit London 2018

Шпаргалка по high availability от Netflix

Вкратце:
- Деплойте по регионам, а не везде сразу
- Blue/green (red/black) деплои
- Временные окна для деплоев (чтобы в пиковую нагрузку не попасть)
- Автоматизированные деплои хорошо, но убедитесь, что они не происходят во время, когда никого нет в офисе/у компа, чтобы подхватить прод, если что-то пойдёт не по плану
- Хаос инжиниринг (ну Нетфликс же)
- Прогоняйте все тесты, которые у вас есть перед выкаткой на прод (ваш Кэп)
- Трезво оценивайте баланс между автоматизацией и ручными действиями. Есть вещи, которые не стыдно потыкать ручками
- Регулярно ревьювьте настройки алертов/пейджинга
- Убедитесь, что можете в roll back
- Останавливайте деплой, если хосты не поднимаются
- При автоматическом деплое отправляйте сообщения ответственным командам
- Автоматизируйте не только сценарии, в которых всё хорошо, но и сценарии, когда что-то идёт не по плану
- Собирайте информацию о зависимостях перед деплоем, а не угадывайте состояние related сервисов

На неделе стали доступны доклады с конференций Devoxx, InfoQ, PyCon Canada:

— Devoxx 2018 Bucharest
— PyCon Canada 2017
— InfoQ, тут понравился доклад The Anatomy of a Distributed System

Есть пробелы в SQL? Ничего страшного. Их можно заполнить с помощью вот этого крутого туториала от Mode Analytics — https://community.modeanalytics.com/sql/