В прошлый четверг я очень долго объясняла пользователю, почему его дашборд будет готовиться 3 месяца, хотя прототип мы сделали меньше, чем за неделю. Для этого пришлось погрузить его в архитектурное решение нашего BI, основанное на использовании хранилища данных.
Линк на статью с описанием типичного многослойного решения:
https://www.datapine.com/blog/data-warehousing-and-business-intelligence-architecture/

Когда всё пошло по Кафке

Полезный доклад, в котором не только рассказываются грабли в эксплуатации Apache Kafka, но и объяснены трейд-оффы и архитектурные особенности, которые к этим граблям приводят. Если у вас есть Кафка, то доклад стоит послушать.

Погрузимся в архитектуру компонентов Кафки. Вместе пройдёмся по граблям, которые заботливо собраны в одну презентацию. Постараемся понять, откуда в Кафке взялись различные ограничения. Всё по-честному, никакого маркетинга.

Выбранные для доклада грабли помогут ответить на следующие вопросы:

▪️ Что не так с настройками (по умолчанию)?
▪️ К каким неожиданностям должны быть готовы клиенты?
▪️ Зачем Кафке девопс?
▪️ Много настроек — это хорошо или плохо?
▪️ О чём забыли написать в документации?

Смотреть

@itlecture

​Весточка для линукс-администраторов. Но и безопасников тоже заинтересует. Ещё один подход к сбору системных логов с линукс-серверов — rsyslog + logstash + elasticsearch + kibana. Некто Антуан Солничкин просто и пошагово пишет какие команды и зачем выполнять, чтобы конструкция взлетела. Мануал подойдёт, если нужно быстро запустить мониторинг.

P.S. Посмотрите другие статьи этого автора на Медиуме, пишет он преимущественно про мониторинг причём разными средствами и подробно.

Объяснение RAFT на пальцах с красивыми диаграммками. Можете даже показать свой маме!

И вдогонку две старые статьи с DOU о консенсус-протоколах:
- раз
- два

"Secure DevOps Appsec Cheat Sheet" SANS AppSec

#tools #checklist

Billy: how VictoriaMetrics deals with more than 500 billion rows

https://medium.com/@valyala/billy-how-victoriametrics-deals-with-more-than-500-billion-rows-e82ff8f725da

AWS: IAM AssumeRole – описание, примеры

AssumeRole – механизм аутентификации в AWS IAM, позволяющий получить временные данные доступа для выполнения запросов к ресурсам, к которым у вас нет доступа. Эти временные данные доступа состоят из привычных ACCESS и SECRET ключей, плюс security token. Одним из примеров AssumeRole может быть Jenkins в EC2, джобы которого могут выполнять операции в AWS-аккаунте, используя EC2…

https://rtfm.co.ua/aws-iam-assumerole-opisanie-primery/

Пора обновить log4j и очень прикольный сервис для анализа дампов
https://xn--r1a.website/iv?url=https://medium.com/@RamLakshmanan/log4j-bug-slow-down-your-application-988aa9c492c2?source=rss------java-5&rhash=f5b2f9872995e4

Много видео с AWS re:Invent
https://aws.amazon.com/blogs/architecture/binge-watch-live-videos-from-aws-reinvent-2019/

🐧 Чтиво про трейсинг, ftrace и утилиты для работы с ним - trace-cmd и KernelShark. https://embeddedbits.org/tracing-the-linux-kernel-with-ftrace/

#kernel #ftrace #напочитать

21 и 22 января прошла конференция DeliveryConf, посвященная Continuous Integration (CI) и Continuous Delivery (CD). И уже стали появляться видеозаписи докладов.

Программа: http://amp.gs/u1ns
Плейлист: http://amp.gs/u1nD
#deliveryconf #videos

Подборка лучших Tech Talks 2019 года от Cindy Sridharan 🔥

http://amp.gs/u1fn
#article #techtalks

Gunnar Morling 🌍 on Twitter
https://twitter.com/gunnarmorling/status/1221543403126697984

Кароче, если на твоём рабочем месте/столе нет умных книжек про DevOps, SRE и как перезапускать джаву по кд, – теперь их можно просто распечатать на казеном принтере и не отказывать себе в латте:

https://landing.google.com/sre/books/

Мы вам новый джава-дайджест подвезли!

https://habr.com/ru/company/jugru/blog/485954/

Отличный сборник из 88 Ops Lessons We All Learn The Hard Way 😅😂

http://amp.gs/ut24
И Twitter тред http://amp.gs/ut2d
#article #thread

Banzai Cloud рассказали как они используют Thanos для мониторинга большого количества кластеров Kubernetes.

http://amp.gs/uljS
#thanos #monitoring #kubernetes

AWS собрали в одном месте документацию по теме Security для различных сервисов.

http://amp.gs/ul8d
#security #aws

Новый курс на Coursera от Google про автоматизацию различных операций с помощью Python.

http://amp.gs/ulnc
#coursera #automation #python

Интересные Cloud-Native Predictions для 2020 года в блоге Giant Swarm

http://amp.gs/um1p
#predictions #article #kubernetes