интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

​​Окей, вы настроили мониторинг. У вас есть куча метрик, которые даже собраны в красивые дашборды

Куда смотреть? Надо ли будить половину команды, если вырос cpu_wio на 7% бэкэндов? А на 20%? Или мы просто будем сомтреть на valid_response_p95_rate и алерить по данной метрике?

Конечно, это всё очень индивидуально, и у разных людей разные мнения по поводу "золотых сигналов". Т.е индикаторов, что у нас сейчас всё overall good или overall bad. Почитать о разных мнениях можно тут:

https://medium.com/devopslinks/how-to-monitor-the-sre-golden-signals-1391cadc7524

В кратце о методах:

Google: Latency, Traffic, Errors, and Saturation
Brendan Gregg: Utilization, Saturation, and Errors
Tom Wilkie: Rate, Errors, and Duration

Ну а дальше уже в статье всё разжёвано детальней

#monitoring #observability

Да, я тоже погуглил, нашёл крутую надпись на странице про баги разных jvm у lucene https://wiki.apache.org/lucene-java/JavaBugs

Do not, under any circumstances, run Lucene with the G1 garbage collector. Lucene's test suite fails with the G1 garbage collector on a regular basis, including bugs that cause index corruption. There is no person on this planet that seems to understand such bugs (see https://bugs.openjdk.java.net/browse/JDK-8038348, open for over a year), so don't count on the situation changing soon. This information is not out of date, and don't think that the next oracle java release will fix the situation

В данном случае "мы" - это релиз-команда Kubernetes https://github.com/kubernetes/features/blob/master/release-1.9/release_team.md

Хорошая серия уроков на русском с картинками по Elasticsearch на codezen.ru

https://goo.gl/KNsT1z

Google выпустила нативный балансер для кубернетис: https://github.com/google/metallb

Из минусов что для использования вам в вашей сети будут нужны роутеры, которые поддерживают BGP.

интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

очень понравился fluentbit ( http://fluentbit.io/documentation/current/kubernetes/ ), интеграция с k8s замечательная, умеет даже аннотации вытаскивать и логировать. Как по мне то лучше чем filebeat.

соотвественно в еластик все ложиться структурированно. Ну и логстеш можно выкинуть в пользу fluentd.

redash/metabase

Design Principles
https://principles.design/

socket.io?

очень рекомендую https://www.youtube.com/watch?v=vTgQLzeBfRU

"Проснувшись однажды утром после беспокойного сна, Грегор Замза обнаружил, что он у себя в постели превратился в страшное насекомое".

Предлагаю вам хорошую обзорную статью по Кафке (Apache, а не Францу):

https://hackernoon.com/thorough-introduction-to-apache-kafka-6fbf2989bbc1

#kafka

Ну а вернувшись к нашей тематике.

Сегодня очень уютное утро и очень не хочется разгребать какие-то глобальные вопросы. Так что ловите заметку-туториал о том, как построить Jenkins pipeline, который будет собирать и пушить Docker-имейдж по коммиту

https://liatrio.com/building-docker-jenkins-pipelines/

#jenkins #cicd

Design Principles
https://principles.design/

Thinking about hardware support · Cloud Atomic Laboratory
https://www.cloudatomiclab.com/hardware/