Cindy Sridharan на этой неделе опубликовала свою выборку лучших докладов в 2017 году.
В списке 19 отличных докладов на темы Monitoring, Observability, Go, Python.

https://goo.gl/jMquik

Обновился гайд по использованию Windows контейнеров в Kubernetes до актуальной версии 1.9.

https://goo.gl/9Q6hNv

Sonobuoy — диагностическая утилита от Heptio для проверки состояния Kubernetes кластера.

https://goo.gl/eNr8Rn

Why my Java application is OOMKilled · Banzai Cloud
https://banzaicloud.com/blog/java-resource-limits/

Reusable CloudFront configuration with Terraform – buildo blog
https://blog.buildo.io/reusable-cloudfront-configuration-with-terraform-4c1de144c735

Data Science in Production: Packaging, Versioning and Continuous Integration - Florian Wilhelm
http://www.florianwilhelm.info/2018/01/ds_in_prod_packaging_ci/

My Notes about a Production-grade Ruby on Rails Deployment on Google Cloud Kubernetes Engine | AkitaOnRails.com
http://www.akitaonrails.com/2018/01/09/my-notes-about-a-production-grade-ruby-on-rails-deployment-on-google-cloud-kubernetes-engine

Supercronic — cron от Aptible, предназначенный для использования в контейнерах

https://goo.gl/ZkV6qi

GitHub: https://goo.gl/ANN1ta

Реализация канбан доски на баше для работы в терминале))

https://goo.gl/RVRmbL

kubeval — удобная утилита для верификации Kubernetes YAML или JSON конфигурационных файлов.
Может встраиваться как библиотека в другие программы.

https://goo.gl/mPjmjL

Нашел в сети шедевральный awesome-список — awesome-scalability. Кладезь для тех, кто хочет погрузиться в тему масштабирования приложений и data engineering. Советую добавить к себе в watch-лист на гитхабе и поставить звезду, чтобы следить за обновлениями.

А ещё, Brandon Rhodes у себя в твиттере объявил о том, что каждую неделю он будет писать на сайте http://python-patterns.guide/ про новый дизайн-паттерн на Python. Уже есть 1 пост про Decorator Pattern.

Также в сети стали доступны доклады с прошедшего митапа San Francisco Python. Из всех стоит отметить основательную презентацию новой фичи в предстоящем релизе Python 3.7 — Data Classes от Raymond Hettinger. Смотрим.

Идея! Давайте тегировать error rate еще и build number'ом

Всем привет.
Рубрика «По Вашим письмам»

Столкнулся с жутким бадхертом от подхода работы с кафкой в котором используют лишь одну очередь для хранения всех сущностей!
До этого столкновения не небольшом проекте использовалась кафка для хранения в отношении "очередь-сущность" - концептуального отличия от типичного SQL подхода(типичного ибо Event Driven только врываеться в широкие массы насколько я могу судить по своему кругу общения) только в том что данные в памяти всегда, в виде последние версии обьектов. будто очередь это таблица.

Но тут появился этот концепт одной очереди с аргументом - гарантировать порядок прихода сообщений(так как тз подразумевало достаточно сильную разбросанность по миру конечной системы). И я понимаю что теоретически и технически это возможно(в конце концов есть конечное время прохождения сигнала даже на физическом уровне, и в масштабах планеты это может сказаться). Но вот кейсы когда конечный пользователь будет создавать сущности в неверном порядке мне не совсем приходят на ум.

или такое

«А какие есть best practices на тему хранения сообщений разного типа в одном Kafka топике?
Например, чтобы все сообщения класть в одно место, а уже Consumer сам разберется.
Или наоборот, деть fine-grained топики - под определенный тип сообщения.

И как вы понимаете, ответ на этот вопрос - it depends (duh).
Давайте подумаем, от чего это может depends:

- Если порядок сообщений важен, сообщения должный попадать в один топик.
Важно помнить - Kafka гарантирует порядок только на уровне partition.
Для этого необходимо указывать правильный ключ (например, если важен порядок банковских транзакций ID аккаунта может использоваться в качестве ключа). Или иметь топик с 1 partition.
- Сообщения разного типа, но связанные бизнес-логикой (как в предыдущем примере, сообщения могут быть разного типа - CreditEvent, DebitEvent, etc)
- Еще такой момент - не надо бояться использовать Kafka для хранения RAW сообщений - порезать, отфильтровать и разделить их можно всегда, а объединять может оказаться не всегда просто / нужно.
Вычитывание сообщений достаточно «легкая» операция, но тут надо иметь меру - не имеет смысла сидеть и слушать сообщения, 90% из которых придется выбросить.
- еще интересный момент с Kafka Streams. API заточен на семантику «один топик - один тип сообщений, что может затруднить использование этого фреймворка в ситуации, когда в топике присутствуют сообщения разного типа.

Кстати, этим вопросом так же озадачился Мартин Клеппманн и накатал добрую портянку текста.
Полную версию (eng) можно прочитать тут
https://www.confluent.io/blog/put-several-event-types-kafka-topic/

Там, кстати, так же затрагивается вопрос «A как же быть со схемами?»
Он даже запилил PR https://github.com/confluentinc/schema-registry/pull/680 для Confluent Schema Registry, который, если вы используете Avro Serializer позволяет работать с разными типа сообщений более проще.

на самом деле, я бы посоветовал в первую очередь посмотреть это https://www.youtube.com/watch?v=-lsJyni7EQA например

Oracle Fn

Соонователь Iron.io, ныне директор по направлению serverless в Oracle, Чед Аримура рассказал подробнее о serverless/FaaS платформе Fn, применяемой для создания инфраструктуры микро и наносервисов, на базе Docker, Kubernetes и написанных на различных языках программирования.

https://youtu.be/YgNrGT8pzYw

#serverless
#FaaS
#Go
#Golang

Ссылки по теме:
https://xn--r1a.website/technologique/1177
https://xn--r1a.website/technologique/608

Думаю, почти всех хоть раз в жизни на собеседовании спрашивали, как работает HTTPS.
И вы такие: ну там TLS Handshake, туда-сюда...

Предлагаю вам статью, в которой HTTPS объясняют на примере почтовых голубей. Если вы в курсе про HTTPS, ничего нового вы там не узнаете. Просто я люблю такие статьи, где что-то объясняют максимально просто.

В догонку моя любимая аналогия load average и автомобильной дороги

#explainMeLikeImFive

Кстати, у rancher есть свой удобный инсталлятор kubernetes: https://github.com/rancher/rke