Занятная статья от Aerospike про тюнинг сети для Amazon EC2 инстансов (а XDR у Aerospike трафика гоняет дай боже!)

https://www.aerospike.com/blog/boosting-amazon-ec2-network-for-high-throughput/

Они пришли, во-первых, к тому, что запускать Aerospike лучше всего на r3 типе инстансов.

Во-вторых, на производительность сети на инстансах до 4xlarge тюнтнг с помощью Receive Packet Steering (RPS) даёт приблизительно такой же прирост производительности, как подключение нескольких Elastic Network Interfaces. А вот на более "толстых" инстансах несколько ENI уже куда эффективней RPS

#aerospike #networking #database #aws

ух. морда для прома https://github.com/line/promgen

Аудиодоклад (подкаст?) про мониторинг и кэширование в Twitter от Yao Yue:

https://www.infoq.com/podcasts/yao-yue-twitter-cache#.WcFKf0WTZUU.twitter

Если вам интересны какие-то конкретные вопросы, там указаны тезисы и временная метка на которой их проговаривают. Удобно, если нет желания слушать все полчаса

#monitoring

интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

​​Окей, вы настроили мониторинг. У вас есть куча метрик, которые даже собраны в красивые дашборды

Куда смотреть? Надо ли будить половину команды, если вырос cpu_wio на 7% бэкэндов? А на 20%? Или мы просто будем сомтреть на valid_response_p95_rate и алерить по данной метрике?

Конечно, это всё очень индивидуально, и у разных людей разные мнения по поводу "золотых сигналов". Т.е индикаторов, что у нас сейчас всё overall good или overall bad. Почитать о разных мнениях можно тут:

https://medium.com/devopslinks/how-to-monitor-the-sre-golden-signals-1391cadc7524

В кратце о методах:

Google: Latency, Traffic, Errors, and Saturation
Brendan Gregg: Utilization, Saturation, and Errors
Tom Wilkie: Rate, Errors, and Duration

Ну а дальше уже в статье всё разжёвано детальней

#monitoring #observability

Да, я тоже погуглил, нашёл крутую надпись на странице про баги разных jvm у lucene https://wiki.apache.org/lucene-java/JavaBugs

Do not, under any circumstances, run Lucene with the G1 garbage collector. Lucene's test suite fails with the G1 garbage collector on a regular basis, including bugs that cause index corruption. There is no person on this planet that seems to understand such bugs (see https://bugs.openjdk.java.net/browse/JDK-8038348, open for over a year), so don't count on the situation changing soon. This information is not out of date, and don't think that the next oracle java release will fix the situation

В данном случае "мы" - это релиз-команда Kubernetes https://github.com/kubernetes/features/blob/master/release-1.9/release_team.md

Хорошая серия уроков на русском с картинками по Elasticsearch на codezen.ru

https://goo.gl/KNsT1z

Google выпустила нативный балансер для кубернетис: https://github.com/google/metallb

Из минусов что для использования вам в вашей сети будут нужны роутеры, которые поддерживают BGP.

интересная статья о том как работают с кешами в Etsy. https://codeascraft.com/2017/11/30/how-etsy-caches/


Если коротко, то ребята используют Ketama в качестве реализации consisten hashing. Это библиотека на C или Java с обвязками для разных популярных языков программирования, которая делает hash ring (вот неплохая статья о hash ring), которую, впрочем, критикуют за то что при добавлении новой ноды требуется заново вычислять все кольцо, а значения не перераспределюятся равномерно, так что лучше использовать какой-то md5 в качестве хеш функции и большее количество бакетов.

Вторая часть статьи о так называемом “cache smearing” - технике когда к самым популярным ключам добавляют немного случайных данных, чтобы положить их сразу в несколько бакетов и читать не с одной ноды, а с нескольких. Сам механизм вычисления какой ключ популярный и как именно они добавляют случайные значения не опубликован.

очень понравился fluentbit ( http://fluentbit.io/documentation/current/kubernetes/ ), интеграция с k8s замечательная, умеет даже аннотации вытаскивать и логировать. Как по мне то лучше чем filebeat.

соотвественно в еластик все ложиться структурированно. Ну и логстеш можно выкинуть в пользу fluentd.

redash/metabase

Design Principles
https://principles.design/

socket.io?

очень рекомендую https://www.youtube.com/watch?v=vTgQLzeBfRU