My Notes about a Production-grade Ruby on Rails Deployment on Google Cloud Kubernetes Engine | AkitaOnRails.com
http://www.akitaonrails.com/2018/01/09/my-notes-about-a-production-grade-ruby-on-rails-deployment-on-google-cloud-kubernetes-engine

Supercronic — cron от Aptible, предназначенный для использования в контейнерах

https://goo.gl/ZkV6qi

GitHub: https://goo.gl/ANN1ta

Реализация канбан доски на баше для работы в терминале))

https://goo.gl/RVRmbL

kubeval — удобная утилита для верификации Kubernetes YAML или JSON конфигурационных файлов.
Может встраиваться как библиотека в другие программы.

https://goo.gl/mPjmjL

Нашел в сети шедевральный awesome-список — awesome-scalability. Кладезь для тех, кто хочет погрузиться в тему масштабирования приложений и data engineering. Советую добавить к себе в watch-лист на гитхабе и поставить звезду, чтобы следить за обновлениями.

А ещё, Brandon Rhodes у себя в твиттере объявил о том, что каждую неделю он будет писать на сайте http://python-patterns.guide/ про новый дизайн-паттерн на Python. Уже есть 1 пост про Decorator Pattern.

Также в сети стали доступны доклады с прошедшего митапа San Francisco Python. Из всех стоит отметить основательную презентацию новой фичи в предстоящем релизе Python 3.7 — Data Classes от Raymond Hettinger. Смотрим.

Идея! Давайте тегировать error rate еще и build number'ом

Всем привет.
Рубрика «По Вашим письмам»

Столкнулся с жутким бадхертом от подхода работы с кафкой в котором используют лишь одну очередь для хранения всех сущностей!
До этого столкновения не небольшом проекте использовалась кафка для хранения в отношении "очередь-сущность" - концептуального отличия от типичного SQL подхода(типичного ибо Event Driven только врываеться в широкие массы насколько я могу судить по своему кругу общения) только в том что данные в памяти всегда, в виде последние версии обьектов. будто очередь это таблица.

Но тут появился этот концепт одной очереди с аргументом - гарантировать порядок прихода сообщений(так как тз подразумевало достаточно сильную разбросанность по миру конечной системы). И я понимаю что теоретически и технически это возможно(в конце концов есть конечное время прохождения сигнала даже на физическом уровне, и в масштабах планеты это может сказаться). Но вот кейсы когда конечный пользователь будет создавать сущности в неверном порядке мне не совсем приходят на ум.

или такое

«А какие есть best practices на тему хранения сообщений разного типа в одном Kafka топике?
Например, чтобы все сообщения класть в одно место, а уже Consumer сам разберется.
Или наоборот, деть fine-grained топики - под определенный тип сообщения.

И как вы понимаете, ответ на этот вопрос - it depends (duh).
Давайте подумаем, от чего это может depends:

- Если порядок сообщений важен, сообщения должный попадать в один топик.
Важно помнить - Kafka гарантирует порядок только на уровне partition.
Для этого необходимо указывать правильный ключ (например, если важен порядок банковских транзакций ID аккаунта может использоваться в качестве ключа). Или иметь топик с 1 partition.
- Сообщения разного типа, но связанные бизнес-логикой (как в предыдущем примере, сообщения могут быть разного типа - CreditEvent, DebitEvent, etc)
- Еще такой момент - не надо бояться использовать Kafka для хранения RAW сообщений - порезать, отфильтровать и разделить их можно всегда, а объединять может оказаться не всегда просто / нужно.
Вычитывание сообщений достаточно «легкая» операция, но тут надо иметь меру - не имеет смысла сидеть и слушать сообщения, 90% из которых придется выбросить.
- еще интересный момент с Kafka Streams. API заточен на семантику «один топик - один тип сообщений, что может затруднить использование этого фреймворка в ситуации, когда в топике присутствуют сообщения разного типа.

Кстати, этим вопросом так же озадачился Мартин Клеппманн и накатал добрую портянку текста.
Полную версию (eng) можно прочитать тут
https://www.confluent.io/blog/put-several-event-types-kafka-topic/

Там, кстати, так же затрагивается вопрос «A как же быть со схемами?»
Он даже запилил PR https://github.com/confluentinc/schema-registry/pull/680 для Confluent Schema Registry, который, если вы используете Avro Serializer позволяет работать с разными типа сообщений более проще.

на самом деле, я бы посоветовал в первую очередь посмотреть это https://www.youtube.com/watch?v=-lsJyni7EQA например

Oracle Fn

Соонователь Iron.io, ныне директор по направлению serverless в Oracle, Чед Аримура рассказал подробнее о serverless/FaaS платформе Fn, применяемой для создания инфраструктуры микро и наносервисов, на базе Docker, Kubernetes и написанных на различных языках программирования.

https://youtu.be/YgNrGT8pzYw

#serverless
#FaaS
#Go
#Golang

Ссылки по теме:
https://xn--r1a.website/technologique/1177
https://xn--r1a.website/technologique/608

Думаю, почти всех хоть раз в жизни на собеседовании спрашивали, как работает HTTPS.
И вы такие: ну там TLS Handshake, туда-сюда...

Предлагаю вам статью, в которой HTTPS объясняют на примере почтовых голубей. Если вы в курсе про HTTPS, ничего нового вы там не узнаете. Просто я люблю такие статьи, где что-то объясняют максимально просто.

В догонку моя любимая аналогия load average и автомобильной дороги

#explainMeLikeImFive

Кстати, у rancher есть свой удобный инсталлятор kubernetes: https://github.com/rancher/rke

https://github.com/kinvolk/kubernetes-the-hard-way-vagrant — вот тут еще можно посмотреть как на вагранте hard way (на случай, если нет возможности с gce связываться)

^ this, потом через https://kubernetes.io/docs/concepts/containers/container-lifecycle-hooks/#container-hooks в PostStart хуке запускать второй контейнер

Наконец-то классный десктоп-клиент для баз данных. Нативный, Mac & Win, поддерживает кучу СУБД, классный редактор SQL и умная подсветка изменений.

Платная версия стоит 50$ в год, бесплатная ограничена двумя табами.

Хороший лендинг, все функции показаны https://tableplus.io

Статья Lyft
https://eng.lyft.com/application-security-in-a-devops-environment-53092f8a6048

Книга "Securing DevOps"
https://www.manning.com/books/securing-devops

OWASP Top 10
https://www.owasp.org/index.php/Category:OWASP_Top_Ten_Project

WAF https://en.wikipedia.org/wiki/Web_application_firewall

John Willis
https://github.com/botchagalupe/my-presentations
You Build It, You Secure It
https://www.slideshare.net/botchagalupe/you-build-it-cyber-chicago-keynote/

Тулза, которая позволяет построить сетевой граф AWS региона

#toolz

Всем доброго дня!

Сегодняшний пост посвящаю распределённым системам. Сейчас эта тема как никогда актуальна, учитывая сложность современных приложений.

Итак, на моём горизонте появились 2 новые книги, одна из которых по праву может считаться христоматийной в своей области - Distributed Systems (уже 3-е по счёту издание) от Maarten van Steen и Andrew Tanenbaum. Для тех, кто в танке, Эндрю Таненбаум был научным руководителем у Werner Vogels, который сейчас занимает должность технического директора в Amazon и чьё детище мы знаем как Amazon Web Services. Эту книгу можно абсолютно бесплатно скачать на сайте автора, оставив заявку. Я пошел дальше и заказал бумажную копию на Amazon, обязательно после прочтения напишу рецензию. Книга объемная и легко может претендовать на справочник.

Вторая называется Designing Distributed Systems, автор один из главных архитекторов и разработчиков Microsoft Azure - Brendan Burns. Книга получилась небольшой (160+ страниц) и скорее является best practices по построению распределённых систем, описывая лучшие паттерны проектирования. Электронную версию можно скачать бесплатно на сайте Microsoft или заказать на Амазоне бумажную версию.

Обе книги достойны внимания и могу дать серьёзный толчок в продвижении в теме распределённых систем.

Желаю вам приятного чтения и отличных выходных!

Запускайте браузерные тесты в AWS Lambda!

Тулза Chromeless|https://github.com/graphcool/chromeless позволяет запускать в лямбде Chrome в headless-режиме и гонять там тесты. API похоже на подобное в PhantomJS, NightmareJS и Selenium.

Кроме лямбды, можно и локально запуситить.

С виду очень интересный конкурент SaaS решениям вроде BrowserStack

#aws #qa