Опубликованы видеозаписи докладов с LISA17, проходившей в конце октября в Сан Франциско.

Конференция посвящена масштабированию и эксплуатации распределенных систем и является одно из старейших в своем роде.

Playlist на youtube: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lfzbd-NnFFBOwZs2He4PBH7
Сайт конференции (с abstract докладов): https://www.usenix.org/conference/lisa17/conference-program

#videos #conferece #video #youtube #lisa17 #lisa #scaling #usenix

И аналогично про SRECon17 Europe.

Конференция посвящена SRE и DevOps практикам, архитектуре систем и всему с этим связанному.

Playlist: https://www.youtube.com/playlist?list=PLbRoZ5Rrl5lcIFf9w5z2s4csaS_nIs3_Z

#videos #conferece #video #youtube #srecon17eu #srecon17 #srecon #usenix

А тут ещё подъехали свежие анонсы от Microsoft:

- В статусе Preview запустался Azure DevOps Projects
- В Visual Studio (и, вроде, Visual Studio Code) хотят добавить Connected environment for AKS. AKS — это, напомню, менеджед-Кубернетис сервис от Microsoft. Чтобы вот сразу разрабатывать cloud-native приложения и смотреть, что будет не отходя от IDE
- В CI/CD pipeline от M$ добавили macOS, как целевую ОС, что хорошо

Я отобрал только пару анонсов, больше можно глянуть тут: https://habrahabr.ru/company/microsoft/blog/342516/

Вообще, у меня тут мало новостей по Azure, потому что сам с ним не работаю, так что за обновлениями особо не слежу. Если вам конкретно он интренес, можно подписаться на devdigest // azure там исключительно по этому продукту всё

Кстати, согласно исследованию долей рынка технологических гигантов США, у Microsoft самый диверсифицированный бизнес; а это значит, что если всё вдруг пойдёт по тому самому месту, у них больше шансов остаться на плаву.
Такие дела, коты

#azure #microsoft

Я вам сегодня принёс презентацию Carlos Sanchez c Jokerconf об использовании Kubernetes в CI/CD

Скачать можно тут: https://pages.cloudbees.com/l/272242/2017-11-01/5xzmz

Я же в догонку прикреплю сам PDF

#slides #kubernetes

OpenEBS - контейнеризированное блочное хранилище на Go для облачных или других окружений с per container (per pod) QoS SLAs с множеством плюшек https://github.com/openebs/openebs

А почитайте про Canopy систему от Facebook для сквозного (end-to-end) анализа производительности

Это как раз и есть то, что назвали бы модным словом "observability", но в статье его ни разу не встречается (хаха!) и, честно говоря, от самого слова уже начинает дёргаться глазик

#monitoring #observability

Joe Beda объясняет, какие процессы происходят в брюхе у Kubernetes:

https://www.cncf.io/blog/2017/11/07/joe-beda-explains-inner-workings-kubernetes/

Статья расчитана на людей, которые только начали знакомитьс со зверем по имени Кубер, но всё равно интересная (потому что схемы!)

#kubernetes

Сравнение SSH и OpenVPN для туннелирования. Хотя сравнивать эти два решения не совсем корректно, туннели действительно можно строить обеими вариантами. Хотя, если вам необходим туннель лишь на один порт, выгода SSH очевидна. Кроме того, можно исползовать Sshuttle — как написал сам разработчик — VPN для бедных

И бонусом: tinyFecVPN — VPN решение для тех у кого бедное соединение (к сожалению, игра слов очевидна только в английском). tinyFecVPN исользует кодирование Рида-Соломона для исправления ошибок в сетях с потерями за счёт пропускной способности. Аж реально захотелось потестировать это чудо где-нибудь на даче с еле живым 3G интернетом через антенну из кофейной банки

#vpn #tunneling

Ещё один туториал по Python

Говорят, хороший. По крайней мере был в трендах Hackernews

#python #education

Вышла в свет интересная утилита для управления овнершипом инстансов и IAM политиками в AWS даже если у вас несколько аккаунтов: https://github.com/RiotGames/cloud-inquisitor

Кроме этого тула умеет присасываться к логам и даже какие-то простенькие чеки.

Занятная статья от Aerospike про тюнинг сети для Amazon EC2 инстансов (а XDR у Aerospike трафика гоняет дай боже!)

https://www.aerospike.com/blog/boosting-amazon-ec2-network-for-high-throughput/

Они пришли, во-первых, к тому, что запускать Aerospike лучше всего на r3 типе инстансов.

Во-вторых, на производительность сети на инстансах до 4xlarge тюнтнг с помощью Receive Packet Steering (RPS) даёт приблизительно такой же прирост производительности, как подключение нескольких Elastic Network Interfaces. А вот на более "толстых" инстансах несколько ENI уже куда эффективней RPS

#aerospike #networking #database #aws

ух. морда для прома https://github.com/line/promgen

Аудиодоклад (подкаст?) про мониторинг и кэширование в Twitter от Yao Yue:

https://www.infoq.com/podcasts/yao-yue-twitter-cache#.WcFKf0WTZUU.twitter

Если вам интересны какие-то конкретные вопросы, там указаны тезисы и временная метка на которой их проговаривают. Удобно, если нет желания слушать все полчаса

#monitoring

интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

​​Окей, вы настроили мониторинг. У вас есть куча метрик, которые даже собраны в красивые дашборды

Куда смотреть? Надо ли будить половину команды, если вырос cpu_wio на 7% бэкэндов? А на 20%? Или мы просто будем сомтреть на valid_response_p95_rate и алерить по данной метрике?

Конечно, это всё очень индивидуально, и у разных людей разные мнения по поводу "золотых сигналов". Т.е индикаторов, что у нас сейчас всё overall good или overall bad. Почитать о разных мнениях можно тут:

https://medium.com/devopslinks/how-to-monitor-the-sre-golden-signals-1391cadc7524

В кратце о методах:

Google: Latency, Traffic, Errors, and Saturation
Brendan Gregg: Utilization, Saturation, and Errors
Tom Wilkie: Rate, Errors, and Duration

Ну а дальше уже в статье всё разжёвано детальней

#monitoring #observability