HighLoad++
Linux уверенно завоёвывает позиции основной ОС для баз данных. Это понятно, так как open source баз данных всё больше. Но есть одна проблема — производительность IO. Хорошо, что в Linux последние годы идет капитальный ремонт IO-стека и есть надежда на просветление.…
#devops #database
С IO действительно очень много проблем и очень сложно продраться через огромную кучу абстракций. Очень радует, что сейчас начали что-то делать с IO-стеком и есть подвижки. На счет баз, из моего(скудного) опыта, хочется посоветывать выбрать нормальную FS(ваш кэп). Лишние журналы, люто жрущие диск, не очень помогают базенке.
С IO действительно очень много проблем и очень сложно продраться через огромную кучу абстракций. Очень радует, что сейчас начали что-то делать с IO-стеком и есть подвижки. На счет баз, из моего(скудного) опыта, хочется посоветывать выбрать нормальную FS(ваш кэп). Лишние журналы, люто жрущие диск, не очень помогают базенке.
#devops
Тут парни из Авито на днях рассказывали про Live Site Review. Пошел погуглить про сабж, чет ничего особенно не нагуглилось, но нашел видосик как LSR делает Микрософт. Круто, интересно, хоть и щедро приправлено рекламой TFS
P.S. осторожно, шотландский английский))
Тут парни из Авито на днях рассказывали про Live Site Review. Пошел погуглить про сабж, чет ничего особенно не нагуглилось, но нашел видосик как LSR делает Микрософт. Круто, интересно, хоть и щедро приправлено рекламой TFS
P.S. осторожно, шотландский английский))
YouTube
Live Site Culture & Site Reliability at Azure DevOps - Martin Hinshelwood
With the shift-left movement pushing more responsibility to the engineering teams what practices will help them cope with running a production site. These ar...
#devops #video
Тут подоспели видосы с DevOps Unicorn. Там много прикольных докладов, но мне больше всего понравились вот эти:
1. Советы как готовить AKS(Azure Kubernetes Servises). Для тех, кто тоже мучается с Ажуром, очень рекомендую
2. Tips&trics про контейнеры, компоуз, хельм и операторы от Эластика. Достаточно иронично, что эластик рассказывает про операторы, хотя их собственный работает с горем пополам, но, тем не менее, есть годные инсайты. Например, вы знали, что если запустить эластик под рутом, то он завершит процесс?
3. Набор советов по Ансиблу. Тоже весьма годненько, хоть и с рекламой Tower'a
Тут подоспели видосы с DevOps Unicorn. Там много прикольных докладов, но мне больше всего понравились вот эти:
1. Советы как готовить AKS(Azure Kubernetes Servises). Для тех, кто тоже мучается с Ажуром, очень рекомендую
2. Tips&trics про контейнеры, компоуз, хельм и операторы от Эластика. Достаточно иронично, что эластик рассказывает про операторы, хотя их собственный работает с горем пополам, но, тем не менее, есть годные инсайты. Например, вы знали, что если запустить эластик под рутом, то он завершит процесс?
3. Набор советов по Ансиблу. Тоже весьма годненько, хоть и с рекламой Tower'a
#devops #sre
Оказывается Facebook очень серьезно подходит к Root Cause Analisys и даже написали научный труд по майнингу этих самых root cause на больших данных.
Сразу скажу, что я не особо в теме data mining и cra в частности, но сразу бросается в глаза, что логи у них очень хорошо размечены(те самые features в статье), так что если хотите у себя тоже что-то подобное, то придется потрудиться и начать логировать более-менее структурировано
Оказывается Facebook очень серьезно подходит к Root Cause Analisys и даже написали научный труд по майнингу этих самых root cause на больших данных.
Сразу скажу, что я не особо в теме data mining и cra в частности, но сразу бросается в глаза, что логи у них очень хорошо размечены(те самые features в статье), так что если хотите у себя тоже что-то подобное, то придется потрудиться и начать логировать более-менее структурировано
Facebook Engineering
Fast dimensional analysis for root cause analysis at scale
A new framework for fast dimensional analysis automates root cause analysis to help engineers investigate issues and quickly find solutions.
#kafka #devops
Очень полезная статья от BanzaiCloud про причины создания своего Kafka Operator'а. Там можно найти сравнение наиболее популярных операторов, почитать про их недостатки, а так же почитать про консерны Bonzai'я к Кафке
Очень полезная статья от BanzaiCloud про причины создания своего Kafka Operator'а. Там можно найти сравнение наиболее популярных операторов, почитать про их недостатки, а так же почитать про консерны Bonzai'я к Кафке
Banzaicloud
Oh no! Yet another Kafka operator for Kubernetes
Yes, we opensourced yet another Kubernetes operator for Apache Kafka. This might seem bizarre, considering the alternatives that are already available (they exist but there are not too many), so you may be wondering, ‘Why?’ Well, keep reading and we’ll tell…
#devops #k8s
Микрософт сделал очень интересный проект Это скейлер для куба, но не обычный, а базирующийся на сатурации вашего datasource. К примеру, если сатурация вашего брокера начинает расти, то вам нужно подключить еще консьюмеров(спасибо, Эрланг), вот тут-то KEDA и придет вам на помощь!
P.S. тут еще Shopify вроде как свой автоскейлер анонсировал, но пока только на словах Лев Толстой)
Микрософт сделал очень интересный проект Это скейлер для куба, но не обычный, а базирующийся на сатурации вашего datasource. К примеру, если сатурация вашего брокера начинает расти, то вам нужно подключить еще консьюмеров(спасибо, Эрланг), вот тут-то KEDA и придет вам на помощь!
P.S. тут еще Shopify вроде как свой автоскейлер анонсировал, но пока только на словах Лев Толстой)
KEDA
Application autoscaling made simple
#devops
Еще один кэп-пост. Вчера внезапно выяснил, что Nginx Ingress не умеет в "Name based virtual hosting" режим.
Приходится создавать несколько ингресов как вот тут(
Если я не прав и кто-то знает как забороть -- пишите в комментах
Еще один кэп-пост. Вчера внезапно выяснил, что Nginx Ingress не умеет в "Name based virtual hosting" режим.
Приходится создавать несколько ингресов как вот тут(
Если я не прав и кто-то знает как забороть -- пишите в комментах
Kubernetes
Ingress
Make your HTTP (or HTTPS) network service available using a protocol-aware configuration mechanism, that understands web concepts like URIs, hostnames, paths, and more. The Ingress concept lets you map traffic to different backends based on rules you define…
#devops
Не так давно(https://xn--r1a.website/overtimehate/401 ) постил тред про матчасть контейнеров, а тут вот и инфографика подъехала!
Не так давно(https://xn--r1a.website/overtimehate/401 ) постил тред про матчасть контейнеров, а тут вот и инфографика подъехала!
Optimizing_Your_Apache_Kafka_Deployment_White_Paper.pdf
1.4 MB
#ansible #devops
Сто раз уже было во всех каналах, но я чет все время теряю, поэтому еще раз вспоминаем, помним, любим расшифровку доклада Ansible-лорда Сергея Печенко(@pro_ansible) "Ansible это вам не bash"
Сто раз уже было во всех каналах, но я чет все время теряю, поэтому еще раз вспоминаем, помним, любим расшифровку доклада Ansible-лорда Сергея Печенко(@pro_ansible) "Ansible это вам не bash"
Хабр
Ansible это вам не bash. Сергей Печенко
Предлагаю ознакомиться с расшифровкой доклада 2019 года Сергея Печенко "Ansible — это вам не bash!" Пара слов обо мне. Инженер. Кое-что знаю о IT и готов этими знаниями делиться....
I hate overtime
Кстати, котаны, сорян что последнее время не особо регулярно веду канал. Объяснюсь мемом
#devops
Вы даже не представляете, как же я за$бался заталкивать эту шляпу в vagrant. И вот, казалось бы, можно уже и сдаться и пойти в облака взять на погонять готовое, но тут Ростелеком постит вот это. Похоже что
1. не у меня одного бомбит
2. придется делать еще один подход к снаряду 🙈
Вы даже не представляете, как же я за$бался заталкивать эту шляпу в vagrant. И вот, казалось бы, можно уже и сдаться и пойти в облака взять на погонять готовое, но тут Ростелеком постит вот это. Похоже что
1. не у меня одного бомбит
2. придется делать еще один подход к снаряду 🙈
Хабр
Apache Bigtop и выбор Hadoop-дистрибутива сегодня
Наверное, ни для кого не секрет, что прошлый год для Apache Hadoop стал годом больших перемен. В прошлом году произошло слияние Cloudera и Hortonworks (по сути, поглощение второго), а Mapr, в...
DevOps Deflope News
Anton Babenko запустил анонимный, секьюрный и бесплатный сервис для оценивания затрат на инфраструктуру в AWS на базе Terraform стейта или плана 😎 Анонс: https://www.antonbabenko.com/terraform-cost-estimation/ GitHub: https://github.com/antonbabenko/terraform…
#book #devops
Оказывается у автора есть бомбическая книжка про тераформ в открытом доступе: https://www.terraform-best-practices.com/
Оказывается у автора есть бомбическая книжка про тераформ в открытом доступе: https://www.terraform-best-practices.com/
Terraform-Best-Practices
Welcome | Terraform Best Practices
This document is an attempt to systematically describe best practices using Terraform and provide recommendations for the most frequent problems Terraform users experience.
#devops
Тут вот крутой тул ддя рисования диаграмм на python. Это как микс PlantUML и Visio. Сейчас можно рисовать инфраструктуру популярных cloud провайдеров, k8s и много разных on-premise штуковин(все популярные базы, CI, сетевые решния и пр.)
Не знаю как вы, а я очень рад. Теперь можно не страдать с Draw.io и Visio
Тут вот крутой тул ддя рисования диаграмм на python. Это как микс PlantUML и Visio. Сейчас можно рисовать инфраструктуру популярных cloud провайдеров, k8s и много разных on-premise штуковин(все популярные базы, CI, сетевые решния и пр.)
Не знаю как вы, а я очень рад. Теперь можно не страдать с Draw.io и Visio
Mingrammer
Diagrams · Diagrams
`Diagram` is a primary object representing a diagram.
3387514.3405885.pdf
1.3 MB
#devOps
Пейпер про то как Фейсбук деплоит без даунтайма.
Рассмотрены 3 подхода с сравнительным анализом
Пейпер про то как Фейсбук деплоит без даунтайма.
Рассмотрены 3 подхода с сравнительным анализом
#devops #monitoring
Чувак заморочился и написал простенький anomaly detection на sql. Будет интересно почитать в образовательных целях, если не очень в ладах даже с школьной статистикой. На проде, я все-таки советую логи и телеметрию в скуль не писать))
Чувак заморочился и написал простенький anomaly detection на sql. Будет интересно почитать в образовательных целях, если не очень в ладах даже с школьной статистикой. На проде, я все-таки советую логи и телеметрию в скуль не писать))
Hakibenita
Simple Anomaly Detection Using Plain SQL
Identify Problems Before They Become Disasters
#devops #swarm
Для тех кто, как и я, все еще нежной любовью любит Docker Swarm обнаружил шикарный сайтец с набором гайдов по сворму. Тут желающие найдут инструкции как
- поднять ингрес на traefic без палок шишек и ручного vrrp
- настроить прометеус с нодэкспортерами (а с оверлейной сетью сворма это то еще испытание)
- кучу других вкусностей и полезностей
Для тех кто, как и я, все еще нежной любовью любит Docker Swarm обнаружил шикарный сайтец с набором гайдов по сворму. Тут желающие найдут инструкции как
- поднять ингрес на traefic без палок шишек и ручного vrrp
- настроить прометеус с нодэкспортерами (а с оверлейной сетью сворма это то еще испытание)
- кучу других вкусностей и полезностей
dockerswarm.rocks
Docker Swarm Rocks
Docker Swarm mode ideas and tools
#devops
Котаны-кубернетесоводы, а кто как секреты шифрует в 2025? Нашел SOPS, но может есть что-то интереснее?
Отдельное спасибо скажу, если расскажите про скрепное хранилище ключей шифрования. Кажется, что сейчас это отдельная проблема с учетом выхода Vault и куцего функционала (да и конского ценника) КриптоПРО HSM
Котаны-кубернетесоводы, а кто как секреты шифрует в 2025? Нашел SOPS, но может есть что-то интереснее?
Отдельное спасибо скажу, если расскажите про скрепное хранилище ключей шифрования. Кажется, что сейчас это отдельная проблема с учетом выхода Vault и куцего функционала (да и конского ценника) КриптоПРО HSM
Goldydocs
SOPS: Secrets OPerationS
A Docsy example site