Еще раз про SLO
#sre #slo
https://medium.com/@jerub/service-level-objectives-in-practice-ed1200502d5

🎉 Друзья, новогодние праздники промчались на одном дыхании! В Москве пришли морозы и мы бы совсем замёрзли, если бы не горячий интерес к Kubernetes со стороны русскоговорящего сообщества. 🙂 Прошло уже шесть месяцев с момента предыдущего митапа, наш Telegram-чат-канал русскоговорящего сообщества Kubernetes ( @kubernetes_ru ) уже вырос почти до 2500 человек, а вместе с ним продолжают расширяться и области применения Kubernetes, как и масштаб проблем, которые успешно решаются с его помощью. Облака спускаются на землю 6 февраля, ведь мы снова встречаемся и на этот раз мы будем делать это вместе с Яндекс!

ПРОГРАММА
19:00 - 19:20 Socializing, встречаемся, общаемся
19:20 - 19:35 Welcome & digest (Денис Измайлов, Axept)
19:35 - 20:10 Операторы в Kubernetes (Артём Андреенко, Chief Infrastructure Officer at Prisma.AI)

На примере Prisma.AI, Артём расскажет поделится опытом разработки операторов в Kubernetes. Операторы как инструмент запуска, поддержания работы и масштабирования сложных приложений.

Артём руководит бэкендом и инфраструктурой в Prisma, приложении, которое скачали около 150 миллионов раз, также является соведущим подкаста GolangShow и активно продвигает русскоязычное сообщество Go.

20:10 - 20:55 CaaS в Яндекс.Облаке: обо всех аспектах во всех деталях (Данила Дюгуров, руководитель Developer Platform в Яндекс.Облако)

CaaS в Яндекс.Облаке. Данила расскажет в целом про стратегию развития контейнерных сервисов в Яндекс.Облаке. Мы также поговорим про ближайшие тактические планы Яндекс.Облако – что и когда ждать. И на десерт раскроет детали внутреннего устройства сервиса managed-k8s.

Данила руководит Developer Platform в Яндекс.Облако. Работает в Яндексе с 2007 года. Окончил факультет Прикладной математики и процессов управления СПбГУ.

20:55 - 21:20 Кофе-брейк и живое общение
21:20 - 22:00 “Кормчий” в мире бизнеса: причины хайпа и успеха (Александр Поломодов, руководитель разработки в привлечении Tinkoff.ru)

За 4 года пребывание в “открытом плавании” Kubernetes прошел невероятной большой путь как с технической точки зрения, так и с точки зрения adoption. Вокруг этой технологии Linux Foundation и Google создали целый фонд CNCF, который отвечает за развитие как Kubernetes, так и других проектов, посвященных Cloud Native технологиям. В этом докладе будут рассмотрены причины такого поразительного успеха, а также варианты сертификации по Kubernetes (CKA, CKAD, KCSP) и в чем их суть.

Александр больше 13 лет опыта работы в IT на позициях разработчика, аналитика, тимлида, руководителя проектов, руководителя разработки. CKA (Certified Kubernetes Administrator).


УСЛОВИЯ УЧАСТИЯ:

1. Мероприятие бесплатное.
2. Регистрация обязательна по ссылке: https://events.yandex.ru/events/yagosti/06-feb-2019/
3. ОБЯЗАТЕЛЬНО возьмите с собой паспорт, права или иной документ, удостоверяющий личность.
4. Вступайте в нашу группу на Meetup.com, чтобы быть первыми, кто узнает о следующих событиях: https://www.meetup.com/Moscow-Kubernetes-Meetup/


ПОЯВИЛИСЬ ВОПРОСЫ?

1. Все вопросы и пожелания можете написать в Telegram или на e-mail.
2. Готовы выступить с докладом на следующем митапе? Срочно пишите в Telegram: @DenisIzmaylov или на email: events@axept.co

Многие знают про readiness/liveness probes в Kubernetes, но часто не понимают что именно в них должно быть. Статья которая раскрывает тему healthcheck достаточно глубоко - https://medium.com/@copyconstruct/health-checks-in-distributed-systems-aa8a0e8c1672 Настоятельно советую посмотреть еще ссылки в конце - там тоже много вкусного.
#sre #healtcheck

Все. Не могу больше. За последние три дня я получил 5 вопросов о том что такое percentile (он же персентиль или процентиль). А я всего-лишь имел неосторожность указать в ТЗ на разработку системы аналитики для нашего курса, что помимо среднего времени прохождения задания нам еще нужны персентили. Это же персентиль, Карл! Они же практически везде в IT вылезают.

Ну да ладно. Внесу свою лепту в улучшение жизни на земле и в двух словах расскажу про персентили. Надеюсь это кому-нибудь да пригодится.

Вместо предисловия рекомендую купить и прочитать отличную книгу про статистику: https://www.mann-ivanov-ferber.ru/books/golaya-statistika/. Книга написана простым языком и повествует о том как вообще смотреть на всякие статистические показатели.

Возвращаемся к персентилям. Давайте представим себе ситуацию, что на нашем небольшом, обитаемом острове живет 10 человек. И у первого зарплата 10 тысяч, у второго 11 тысяч, у третьего 12 и так далее. У последнего 19 тысяч.

Средняя зарплата 14 500 рублей (не верьте на слово - проверьте!). А теперь давайте одному аборигену зарплату поднимем до 300 тысяч. Среднее тут же возрастает до целых 42600. Но блин, ведь у большинства зарплата в несколько раз меньше среднего! Вот тут на сцену и выходят персентили - они позволяют легко и непринужденно отсекать различные пики и всплески.

50-ый персентиль (он же медиана) в нашей гипотетической ситуации до повышения зарплаты будет так же равен 14500. Он показывает, что 50% людей получают 14500 или меньше, а другие 50% - 14500 или больше. Если взять 70-ый персентиль, то он уже будет равен 16300, что означает что 70% людей получают 16300 или меньше. А остальные 30% 16300 или больше.

Все просто? Круто! Теперь давайте повысим зарплату нашему поселенцу до 300к. Как мы помним среднее у нас поднялось до 42600. А вот 50-ый и 70-ый персентили не изменились - потому что у нас 70% как получали 16300 так и получают. Изменения коснулись только оставшихся 30%.

Где это применяется? Да везде. Когда вам говорят среднее значение зарплаты и не говорят медианы - вас набманывают. Точнее говорят приятную часть и опускают ту, которую вам лучше не знать. Но без медианы абсолютно непонятно как получилось среднее - может 100 человек получают 100 рублей, а один известный нефтяной управленец миллиард, вот вам и нормальная средняя зарплата.

Если возвращаться к IT, то самое частое применение - это полоса трафика к вашим серверам. Очень часто счет вам выставляют на основании 95-ого персентиля по используемой полосе. Что следует читать как: 95% времени вы использовали 3 mbit/s (или сколько там у вас). А остальное время может и были какие-то пики, но мы их не учитываем.

Или еще хороший пример - время ответа веб сервера. Если 99-ый персентиль равен 200ms - это означает, что 99 процентов ваших клиентов получают ответ от сервера за 200 ms или быстрее. И если вдруг какой-то тип по 2G будет получать ответ в течении 10 минут - ваша статистика не сильно испортится и вам не придется гадать почему вдруг среднее время ответа выросло до 300 ms.

Ну и в заключение, чтобы закрепить прочитанное, предлагаю посмотреть на график времени ответа. На нем очень хорошо видно, как соотносится среднее, медиана и прочие персентили с реальными данными.

удобная консольная тулза для просмотра логов http://lnav.org/
#logs

Привет, коллеги. Вы первыми сейчас узнаете, что 14 февраля мы делаем special edition нашего @ Kubernetes Meetup #2 – ♥ Kubernetes – и уже есть ссылка на регистрацию: https://corp.mail.ru/ru/press/events/550/

В этот раз мы собираемся пораньше, кроме классных докладов, будет панельная дискуссия: «Ванильный Kubernetes или дистрибутив вендора?» – и самое главное, в честь праздника мы приготовили для гостей несколько особых сюрпризов.

Регистрируйтесь по ссылке: на празднике Kubernetes 14 февраля мы ждем больше гостей, чем обычно на митапе, но места разлетаются, как всегда, быстро. Все заявки просмотрим и вышлем подтверждения в течение нескольких дней.

Немножко утилит про сети.

* ksniff — kubectl плагин, который использует tcpdump и Wireshark для снятия трафика в любом поде в кластере Kubernetes.
http://amp.gs/VWbN
P.S. Напоминаю, что плагины kubectl теперь можно удобно ставить с помощью krew
http://amp.gs/VWbJ

* kubefwd — решение для форвардинга портов из Kubernetes на локальное окружение.
http://amp.gs/VWbL

* sshuttle — простая штука для создания подобия VPN через ssh соединение без админских прав.
http://amp.gs/VWb3
И kuttle — обертка для sshuttle для kubectl для пробрасывания сети из Kubernetes на локалхост.
http://amp.gs/VWb2

#tools #network

База данных для риалтайм аналитики от Uber. Работает на GPU

https://eng.uber.com/aresdb/

Только я позавидова Питеру что у них есть свой SRE митап, как узнал что Яндекс тоже время не теряет
https://events.yandex.ru/events/meetings/14-february-2019/

google анонсировал сегодня NoSQL document решение у себя в облаке, встречаем - https://techcrunch.com/2019/01/31/googles-cloud-firestore-nosql-database-hits-general-availability

Очень крутой доклад от моего коллеги по API - много «базовых» вещей - что такое REST, CRUD и тд #api #rest #crud

REST API.

Вчера вышла статья про то, как проектировать и документировать REST API, при этом не изобретая велосипеды. Автор рассказывает про типичные ошибки проектирования, про стандарты с лучшими практиками и про инструменты, которые реализуют эти стандарты. Остаётся взять и сделать себе хороший API.

https://habr.com/ru/company/oleg-bunin/blog/433322/

Dropbox опубликовал доклад о том, как они меряли пропускную способность Кафки. В статье описывается подход к автоматическому тестированию, к построению модели эксперимента и т.п.

https://blogs.dropbox.com/tech/2019/01/finding-kafkas-throughput-limit-in-dropbox-infrastructure/

#Dropbox #kafka #performance

Serverless на bash https://medium.com/@thomas.shaw78/bash-functions-as-a-service-b4033bc1ee97 #serverless #bash #openfaas

Why are we getting Streams in Redis?

Пост про основы работы pub/sub и streams в Redis.

https://blog.logrocket.com/why-are-we-getting-streams-in-redis-8c36498aaac5

What Does a Site Reliability Engineer Do?

Краткий пост про то, что же на самом деле всетаки делают SRE.

https://blog.scalyr.com/2019/01/site-reliability-engineer

Backblaze Hard Drive Stats for 2018

Статистика по надежности HDD

https://www.backblaze.com/blog/hard-drive-stats-for-2018

Что-то сегодня канал @devopslibrary богат на контент )