Тулза, которая позволяет построить сетевой граф AWS региона

#toolz

Всем доброго дня!

Сегодняшний пост посвящаю распределённым системам. Сейчас эта тема как никогда актуальна, учитывая сложность современных приложений.

Итак, на моём горизонте появились 2 новые книги, одна из которых по праву может считаться христоматийной в своей области - Distributed Systems (уже 3-е по счёту издание) от Maarten van Steen и Andrew Tanenbaum. Для тех, кто в танке, Эндрю Таненбаум был научным руководителем у Werner Vogels, который сейчас занимает должность технического директора в Amazon и чьё детище мы знаем как Amazon Web Services. Эту книгу можно абсолютно бесплатно скачать на сайте автора, оставив заявку. Я пошел дальше и заказал бумажную копию на Amazon, обязательно после прочтения напишу рецензию. Книга объемная и легко может претендовать на справочник.

Вторая называется Designing Distributed Systems, автор один из главных архитекторов и разработчиков Microsoft Azure - Brendan Burns. Книга получилась небольшой (160+ страниц) и скорее является best practices по построению распределённых систем, описывая лучшие паттерны проектирования. Электронную версию можно скачать бесплатно на сайте Microsoft или заказать на Амазоне бумажную версию.

Обе книги достойны внимания и могу дать серьёзный толчок в продвижении в теме распределённых систем.

Желаю вам приятного чтения и отличных выходных!

Запускайте браузерные тесты в AWS Lambda!

Тулза Chromeless|https://github.com/graphcool/chromeless позволяет запускать в лямбде Chrome в headless-режиме и гонять там тесты. API похоже на подобное в PhantomJS, NightmareJS и Selenium.

Кроме лямбды, можно и локально запуситить.

С виду очень интересный конкурент SaaS решениям вроде BrowserStack

#aws #qa

​​So Cloud, much serverless. How about return to ground and talk about testing your Ansible playbooks? (Of cource, if you use Ansible :)

For example, Molecule is designed to aid in the development and testing of Ansible roles. It has an extensive set of unit and functional tests and the same time Molecule uses Ansible playbooks to exercise the role and its associated tests. So you can test Ansible using Ansible! For me, looks great.

#ansible #testing

И продолжая тему Kubernetes — METALLB, load-balancer для bare metal Kubernetes кластеров. Использует BGP для балансировки.
Пока что alpha).

https://goo.gl/84zhy5
GitHub https://goo.gl/HY6MJ3

В Github аккаунте Кеннета Рейтcа, широко известного в Python мире благодаря его крутым проектам с открытым исходным кодом (в числе которых библиотека requests для осуществления HTTP запросов, проект httpbin для отладки HTTP запросов/ответов и многие другие) появилась новая библиотека, призванная привнести в Python-разработку очень простой и удобный парсинг HTML-страниц. В качестве особенности, отличающей её от легиона существующих библиотек схожего назначения, тут взаимодействие реализовано схоже с таковым из другой библиотеки Рейтса - requests. А из полезных редких свойств - возможность взаимодействия с запрошенной страницей после того как был выполнен JavaScript.
http://html.python-requests.org

И продолжая тему Kubernetes — METALLB, load-balancer для bare metal Kubernetes кластеров. Использует BGP для балансировки.
Пока что alpha).

https://goo.gl/84zhy5
GitHub https://goo.gl/HY6MJ3

Красивый сайт с различными паттернами использования контейнеров.

https://goo.gl/vyX41a

Вчера вышел релиз Grafana 5.0.
Значительно улучшен интерфейс, разделение прав пользователей, и провижининг датасорсов и дашбордов из кода.

Список новинок https://goo.gl/W5msCP

А сегодня идет GrafanaCon EU 2018
Доступна онлайн трансляция https://youtu.be/kHx8no2q3-Y
Программа конференции https://goo.gl/VQJWbE
И заметки с докладов от Владимира Смирнова https://goo.gl/Gfy3Dz

Нашёл топовый гайд по AWS. Наша команда сейчас активно переносит всю инфраструктуру в облако, и приходится в режиме нон-стоп разбираться что да как. Одним словом - AWS это отдельная вселенная. Также планирую написать небольшой пост в блоге про работу с данными в Amazon Redshift. Вот материал для тех у кого нет времени читать доки.

Когда-то в нашем чате был разговор про микросервисы на Кафке.
А я тут как раз для одного клиента материальчик подбирал.
Тогда поделюсь с Вами тут.

- Вводный пост по теме переосмысления работы с данными и проектирования сервисов https://www.confluent.io/blog/data-dichotomy-rethinking-the-way-we-treat-data-and-services/ от Ben Stopford.
(in talk form here: https://www.youtube.com/watch?v=6lONG_F76To)
- О деталях имплементации: https://www.confluent.io/blog/building-a-microservices-ecosystem-with-kafka-streams-and-ksql/
- пример из предыдущего поста на github https://github.com/confluentinc/kafka-streams-examples/tree/4.0.0-post/src/main/java/io/confluent/examples/streams/microservices
Наиболее полный доклад по этой темы от того же, Ben Stopford https://www.youtube.com/watch?v=p9wcx3aTjuo

Тут некий инженер из Google по имени Ахмет недавно написал в своем личном блоге о том, че делать в Kubernetes с контейнерами без shell'a - https://ahmet.im/blog/debugging-scratch И я вот вспомнил, что около года назад познавал мудрость Linux namespaces на практике с похожим кейсом чисто в Docker и мне сильно помогла другая статейка. Вот, держите - https://medium.com/@rothgar/how-to-debug-a-running-docker-container-from-a-separate-container-983f11740dc6

Для тех, кто вдруг слышал как я рассказываю про Kubernetes + Dex для аутентификации и авторизации в кластер (https://docs.google.com/presentation/d/1rgpM8_vwff3kwELQuwlebJpsEF07inmWJ3h9oOPHJCE/edit?usp=sharing) и помнит, что там было геморно сетапать Oauth2 клиент как прослойку между юзером и Dex. Тут внезапно запилили няшную замену этой приблуде - https://github.com/mintel/dex-k8s-authenticator. Умеет без лишней тягомотины из коробки доставать token и refresh token и автоматически генерить копи-пастабельные kubectl команды для того, чтобы засетапать себе нужный контекст. Так же для ленивых 🐨 в том репозитории лежат абсолютно рабочие Helm чарты для деплоя Dex и самого dex-k8s-authenticator. Я потестил недолго и вроде юзабельно и стабильно работает.

В одном из своих постов я упоминал классную серию статей про устройство файловой системы https://xn--r1a.website/devbrain/145, а вчера стали доступны лекции с Devoxx, где автор этих статей выступил с полезным докладом "What Every Programmer has to know about Database Storage", смотрим — https://youtu.be/e1wbQPbFZdk

Netflix рассказывают, как они сделали систему кросс-регионального файловера.

Ну в смысле файловер у них уже был, просто они сократили время с 60 минут до 10 (ну так пишут)

Спойлер: заранее приготовленные AMI, которые ждут своего часа.