Изначально ситуация выглядела как классическая проблема с памятью:
1. Растет нагрузка на сервис (новые прожорливые поды)
2. Приложения начинают потреблять больше памяти
3. Происходят OOM киллд шторм, сжирается вся память нод.
4. Ноды падают в not ready, сервис деградирует
Первый этап решения был очевидным - настроить kubelet так, чтобы защитить ноды от падения(выше пример).
Внес изменения, и теперь:
1. Растет нагрузка
2. Приложения едят память
3. Происходят OOM шторм
4. Ноды теперь живы, поды умирают по оомкиллед не убивая ноду - поды убивает кублет.
Вроде бы лучше, но проблемы с сервисом все равно есть.
Включил расширенное логирование, собрал данные за несколько дней и обнаружил реальную причину:
1. Растет нагрузка
2. Приложения едят память
3. OOM киллы убивают поды, ноды живы.
4. Автоскейлер поднимает новые ноды (около 15 секунд)
5. НО! Новые ноды не могут сразу принять поды, потому что сетевой драйвер (CNI) еще инициализируется
"
NetworkPluginNotReady message:Network plugin returns error: cni plugin not initializedИ вот эта временная яма между "старые поды умерли от ООМкиллд шторма" и "новые ноды еще не готовы из-за долгой инициализации сетевого драйвера" создает провал в работе сервиса. Сраные 11 секунд.
Сейчас исследую два направления решения:
1. Ускорение инициализации сетевого драйвера на новых нодах
2. Упреждающее масштабирование - чтобы новые ноды поднимались заранее, до достижения критической нагрузки
Забавно, как иногда решение одной проблемы просто показывает следующую, более глубокую.
И насколько важно копать глубже очевидных симптомов.
Ниже можно найти окончание истории, проблема была не в этом
🤔2
Позволю себе репостнуть самому себе свой же ответ. Лень перепечатать, да хотя бы пусть даже и без мата.
Ну уж простите, такой я импульсивный человек, мат у меня не табуирован в момент эмоций.
Сегодня с утра сделал тесты после той простыни - всё подтвердилось.
TLDR:
- дело было не в CNI/cluster autoscaler/OOM, да в общем-то и не напрямую в кубернетес
- дело было в кретинизме лайвнес пробы, которая смотрела на базу подключаясь, забивая коннекты при большой нагрузке(количестве подов) и левых ограничениях на базе в 1400 лимит коннешнов.
4000 лимит пока решил проблему, но теперь есть и алёрт и пояснение за всё это, в будущем 100% не повторится.
Очередной раз убеждаюсь в том, что иногда, при подходе в траблшутинге, полезно абстрагироваться от старых данных и начинать с нуля, не взяв предыдущие расчёты в новую гипотезу. Вот и тут, копал пару дней не туда, а оказалось совсем в другом дело.
Проблема повторена трижды, исправлена и закрыта.
* На картинке это я со своими первыми гипотезами и странными мыслями
Ну уж простите, такой я импульсивный человек, мат у меня не табуирован в момент эмоций.
Сегодня с утра сделал тесты после той простыни - всё подтвердилось.
TLDR:
- дело было не в CNI/cluster autoscaler/OOM, да в общем-то и не напрямую в кубернетес
- дело было в кретинизме лайвнес пробы, которая смотрела на базу подключаясь, забивая коннекты при большой нагрузке(количестве подов) и левых ограничениях на базе в 1400 лимит коннешнов.
4000 лимит пока решил проблему, но теперь есть и алёрт и пояснение за всё это, в будущем 100% не повторится.
Очередной раз убеждаюсь в том, что иногда, при подходе в траблшутинге, полезно абстрагироваться от старых данных и начинать с нуля, не взяв предыдущие расчёты в новую гипотезу. Вот и тут, копал пару дней не туда, а оказалось совсем в другом дело.
Проблема повторена трижды, исправлена и закрыта.
* На картинке это я со своими первыми гипотезами и странными мыслями
😁2
Forwarded from Alexandr Kruchkov
Ну вот гипотеза номер v4 (а первые две я опущу, там вообще не туда копал вообще. настолько не туда, что всратых историй не будет).
Третья гипотеза тут. Ссылка для тех, кто пропустил начало треда.
Первая мысль была "а и правда, в хули у нас пробы одним из первых валятся" после наводки от @identw
Нырнул глубже, традиционно обнулив все предыдущие факты и наблюдения, чтобы быть беспристрастным.
Ну поехали с нуля. База так база.
- оказалось, что у проблемных подов health-check стоит, в том числе, и на базу (Aurora MySQL). Доступность БД, сука. Прям в код аппликейшн пришлось посмотреть. Девелоперы не признавались.
- ок, лезем в графану, метрики то у нас все есть. Идём в историю ласт аутейдж.Ого, есть зацепка.
- в момент проблемы все коннекшны до базы достигают максимального значения в 1400 (почему 1400 никто не знает, хотя по дефолту должно быть 3000-4000, сорс https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Managing.Performance.html).
А чо там с подключением? А подключение идёт через rds proxy. Смотрим на proxy и звенит рында как на корабле "та-да!", всё верно, лимит стоит в 100%, вместо рекомендуемого 90. Пофиг на 90, ползём дальше, пока в дурку не загребли.
- ладно. ну и чего нам это даёт?
И вот зарождается гипотеза номер 4.
А что, если проблема не в скейлинге, не в CNI (который просто случайно в логе вывалился, а я как рак сельский дурачок вцепился клешнями), не в ООМ, не в кублете, а в другом? Да вообще, сука не напрямую в кубере.
Маняфантазёр с влажными идеями вошёл в чат
Не может ли быть такой ситуации?:
- работает допустим 4 ноды, 50+ подов, всё ок.
- город просыпается, нагрузка возрастает, клиенты начинают усиленно клацать в UI имитируя работу
- KEDA скейлит поды, количество коннекшнов до базы упирается в 1400 и это 100% (а потому что через прокси ограничений нет). Даже от себя к базе не подключится, нет гэпа ля мейнтенанса.
- бизнес поды начинают лихорадочно кудахтать и liveness пробы отвечают, что вошли не в ту дверь.
- кублет видит, что часть подов подыхают, KEDA/kubelet (я тут тупой и не знаю кто быстрее тут) поднимают новые реплики взамен умирающих лебедей.
- на старых нодах видим троттлинг, ну а хули, они единственные кто пока ещё может с базой работать
- ресурсов на нодах не хватает, автоскейлер в панике скейлит новые ноды в нескольких пулах(а это и не важно)
- ну ок, ну поднялись новые ноды и новые поды - коннекшнов то блять нет всё равно, у них тоже лайвнес пробы на базу стоят
- ну класс, у нас теперь целое стадо умирающих лебедей на новых нодах, на старых нодах с не срабатывающими лайвнес пробами
- вся реальная нагрузка бизнеса ложится на хрупкие плечи тех подов, кто остался на старых нодах, имеют коннекшны и они начинают дико яростно жрать все ресурсы, уходят в лимит и дико троттлят.
- кублету надоедает этот блядский цирк с бородатыми женщинами, конями и тупорылым стеком, он включает шизу и по хардэвикшну киляет все старые поды с троттлингом со старых нод.
- конекшны освобождаются, на новых нодах новые поды начинают работать, берут на себя часть нагрузки, сервис стартует
- глупый SRE инженер два дня копает не туда, зачем то залезая в кишочки API и кублета, пытаясь понять что там было за 10-20 секунд околодаунтайма, приплетая сюда ещё и CNI,который смотрит на него с недоумением совы, к которой ночью без спроса лезут в гнездо
Тот гэп, между этапом "вся нагрузка лежит только на старых подах, с троттлингом по CPU и, иногда, с нагрузкой по памяти, упирающаяся в ООМ, у которых ещё есть коннекшны к базе" и "кублет кильнул старые поды по OOM, новые поды в новых нодах получили свободу и коннекшны и подключились к базе, балансир после прохождения проб переключил на них трафик, взяли бизнес нагрузку" и есть мой ёбанный аутейдж. Сраные секунды аутейджа.
Третья гипотеза тут. Ссылка для тех, кто пропустил начало треда.
Первая мысль была "а и правда, в хули у нас пробы одним из первых валятся" после наводки от @identw
Нырнул глубже, традиционно обнулив все предыдущие факты и наблюдения, чтобы быть беспристрастным.
Ну поехали с нуля. База так база.
- оказалось, что у проблемных подов health-check стоит, в том числе, и на базу (Aurora MySQL). Доступность БД, сука. Прям в код аппликейшн пришлось посмотреть. Девелоперы не признавались.
- ок, лезем в графану, метрики то у нас все есть. Идём в историю ласт аутейдж.Ого, есть зацепка.
- в момент проблемы все коннекшны до базы достигают максимального значения в 1400 (почему 1400 никто не знает, хотя по дефолту должно быть 3000-4000, сорс https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Managing.Performance.html).
А чо там с подключением? А подключение идёт через rds proxy. Смотрим на proxy и звенит рында как на корабле "та-да!", всё верно, лимит стоит в 100%, вместо рекомендуемого 90. Пофиг на 90, ползём дальше, пока в дурку не загребли.
- ладно. ну и чего нам это даёт?
И вот зарождается гипотеза номер 4.
А что, если проблема не в скейлинге, не в CNI (который просто случайно в логе вывалился, а я как рак сельский дурачок вцепился клешнями), не в ООМ, не в кублете, а в другом? Да вообще, сука не напрямую в кубере.
Не может ли быть такой ситуации?:
- работает допустим 4 ноды, 50+ подов, всё ок.
- город просыпается, нагрузка возрастает, клиенты начинают усиленно клацать в UI имитируя работу
- KEDA скейлит поды, количество коннекшнов до базы упирается в 1400 и это 100% (а потому что через прокси ограничений нет). Даже от себя к базе не подключится, нет гэпа ля мейнтенанса.
- бизнес поды начинают лихорадочно кудахтать и liveness пробы отвечают, что вошли не в ту дверь.
- кублет видит, что часть подов подыхают, KEDA/kubelet (я тут тупой и не знаю кто быстрее тут) поднимают новые реплики взамен умирающих лебедей.
- на старых нодах видим троттлинг, ну а хули, они единственные кто пока ещё может с базой работать
- ресурсов на нодах не хватает, автоскейлер в панике скейлит новые ноды в нескольких пулах(а это и не важно)
- ну ок, ну поднялись новые ноды и новые поды - коннекшнов то блять нет всё равно, у них тоже лайвнес пробы на базу стоят
- ну класс, у нас теперь целое стадо умирающих лебедей на новых нодах, на старых нодах с не срабатывающими лайвнес пробами
- вся реальная нагрузка бизнеса ложится на хрупкие плечи тех подов, кто остался на старых нодах, имеют коннекшны и они начинают дико яростно жрать все ресурсы, уходят в лимит и дико троттлят.
- кублету надоедает этот блядский цирк с бородатыми женщинами, конями и тупорылым стеком, он включает шизу и по хардэвикшну киляет все старые поды с троттлингом со старых нод.
- конекшны освобождаются, на новых нодах новые поды начинают работать, берут на себя часть нагрузки, сервис стартует
- глупый SRE инженер два дня копает не туда, зачем то залезая в кишочки API и кублета, пытаясь понять что там было за 10-20 секунд околодаунтайма, приплетая сюда ещё и CNI,который смотрит на него с недоумением совы, к которой ночью без спроса лезут в гнездо
Тот гэп, между этапом "вся нагрузка лежит только на старых подах, с троттлингом по CPU и, иногда, с нагрузкой по памяти, упирающаяся в ООМ, у которых ещё есть коннекшны к базе" и "кублет кильнул старые поды по OOM, новые поды в новых нодах получили свободу и коннекшны и подключились к базе, балансир после прохождения проб переключил на них трафик, взяли бизнес нагрузку" и есть мой ёбанный аутейдж. Сраные секунды аутейджа.
👍2🥰2
Мой старый отзыв на PMM + Kubernetes.
Продублирую тут для истории.
https://docs.percona.com/percona-monitoring-and-management/2/index.html
Всё же опишу наши боли про pmm и k8s.
Хоть и не пятница, но настрочу, настало время всратых стори.
Представьте себе такую ситуацию: у вас десяток кластеров Kubernetes, а в моем случае их ещё больше. В каждом из них несколько баз данных, которые разворачиваются с помощью оператора. У каждой базы данных есть свой FQDN, доступный только в приватной сети. Креденшалы хранятся в секретах, как всегда. Пока всё хорошо, как и у всех.
Теперь, мы хотим всё это мониторить и находим супер продукт - Percona PMM.
Потыкали мышкой, и кажется, что это то, что надо. Ну наконец-то, идеальное решение!
Далее, ставим PMM сервер в кластер, используя чарт, Terraform, Helm или Argo - выбирайте по вкусуговна.
Затем нужно зарегистрировать базы данных через PMM клиент на PMM сервере. И тут перед нами два "великолепных" варианта:
- натыркать всё мышкой в UI.🤡
- поднять деплоймент для каждого агента через GitOps или другой любимый инструмент.
Оба варианта, конечно, идеально подходят для динамически меняющихся баз данных в кубере.
Думаем: «Ну ок, наверняка ребята из Перконы сделали автодискавери». И тут сюрприз!
Автодискавери и авторегистрации нет - ни по лейблу, ни по какому-либо другому признаку.
Решаем поднять сайдкар (через оператора), который будет регистрировать базу каждый раз, когда она добавляется, и при этом работает для существующих баз данных. Кажется, отличная идея. Создаём сайдкар, который говорит PMM серверу подключаться к БД через FQDN.
В итоге видим в админке PMM сервера попытку регистрации, но вместо FQDN клиент видит внутренний IP адрес в Kubernetes. 🤡
И регистрация не проходит.
Оказывается, проблема в gRPC и ингрессе(на двух контроллерах).
Какая-то бага, что в чарте, что без него (issue не открывали, лень, признаю, не прав).
Стоит заменить внешний адрес на адрес service - проблема с регистрацией уходит. То есть рега в кубере работает только с k8s service.
Это не очень удобно, так как визуально название в UI сервера будет некрасивым и многие девелоперы, кто подключатся к pmm не сразу матчат свою бд с не очень семантическим названием сервиса.
Это не самая большая проблема, можно закрыть глаза.
Если у вас нетворк полиси, запрещающий обращение к сервисами в других неймспейсах, то у вас новые проблемы(БД то в разных ns).
Стоит ли говорить про удобство, когда вы хотите один PMM сервер на сразу несколько кластеров из БД в разных неймспейсах, а не pmm на каждый из кластеров и решение через регистрацию по имени сервиса это не очень ок.
Так же остаётся проблема с самим IP. Адрес может поменяться быстрее, чем @gecube триггерится на сообщения в чате с кодом без бектиков.
И мониторинг накрывается женским половым органом, бежишь как сельский дурачок вручную делаешь перерегистрацию.
И ещё 2-3 бага в подарок нашли, но, справедливости ради. это не связано напрямую с кубером.
workaround solution - либо пилить своего оператора, который будет следить за svc и по лейблам добавлять авто регистрацию, авто обновление по IP и авто удаление БД, либо пока не переходить на PMM мониторинг в кластерах Kubernetes, либо, как мы, спиздить борды у PMM и перетащить их в свою графану, немного допилив и адаптировав. Так же надо научить сервис скрейпер/прометеус забирать метрики не только постгри, но ещё и патрони(в случае с постгрей). С кластерами mysql там вообщепизда весело.
Вывод: хочешь мониторить базы данных в Kubernetes с помощью Percona PMM? - готовьтесь к захватывающим приключениям и тратой времени по трекеру на таски с этим.
Или просто подождите, пока ребята из Перконы наконец-то добавят нужный функционал для вообще самой концепции "много бд, всё в кубере, много кластеров, хотим один пмм сервер".
Хочу отметить, что сам пмм мне нравится, он хорошо подходит для статик бд, например в ажуре или амазоне, но для БД с операторами в кубах - никак пока что.
#pmm #kubernetes
Продублирую тут для истории.
https://docs.percona.com/percona-monitoring-and-management/2/index.html
Всё же опишу наши боли про pmm и k8s.
Хоть и не пятница, но настрочу, настало время всратых стори.
Представьте себе такую ситуацию: у вас десяток кластеров Kubernetes, а в моем случае их ещё больше. В каждом из них несколько баз данных, которые разворачиваются с помощью оператора. У каждой базы данных есть свой FQDN, доступный только в приватной сети. Креденшалы хранятся в секретах, как всегда. Пока всё хорошо, как и у всех.
Теперь, мы хотим всё это мониторить и находим супер продукт - Percona PMM.
Потыкали мышкой, и кажется, что это то, что надо. Ну наконец-то, идеальное решение!
Далее, ставим PMM сервер в кластер, используя чарт, Terraform, Helm или Argo - выбирайте по вкусу
Затем нужно зарегистрировать базы данных через PMM клиент на PMM сервере. И тут перед нами два "великолепных" варианта:
- натыркать всё мышкой в UI.🤡
- поднять деплоймент для каждого агента через GitOps или другой любимый инструмент.
Оба варианта, конечно, идеально подходят для динамически меняющихся баз данных в кубере.
Думаем: «Ну ок, наверняка ребята из Перконы сделали автодискавери». И тут сюрприз!
Автодискавери и авторегистрации нет - ни по лейблу, ни по какому-либо другому признаку.
Решаем поднять сайдкар (через оператора), который будет регистрировать базу каждый раз, когда она добавляется, и при этом работает для существующих баз данных. Кажется, отличная идея. Создаём сайдкар, который говорит PMM серверу подключаться к БД через FQDN.
В итоге видим в админке PMM сервера попытку регистрации, но вместо FQDN клиент видит внутренний IP адрес в Kubernetes. 🤡
И регистрация не проходит.
Оказывается, проблема в gRPC и ингрессе(на двух контроллерах).
Какая-то бага, что в чарте, что без него (issue не открывали, лень, признаю, не прав).
Стоит заменить внешний адрес на адрес service - проблема с регистрацией уходит. То есть рега в кубере работает только с k8s service.
Это не очень удобно, так как визуально название в UI сервера будет некрасивым и многие девелоперы, кто подключатся к pmm не сразу матчат свою бд с не очень семантическим названием сервиса.
Это не самая большая проблема, можно закрыть глаза.
Если у вас нетворк полиси, запрещающий обращение к сервисами в других неймспейсах, то у вас новые проблемы(БД то в разных ns).
Стоит ли говорить про удобство, когда вы хотите один PMM сервер на сразу несколько кластеров из БД в разных неймспейсах, а не pmm на каждый из кластеров и решение через регистрацию по имени сервиса это не очень ок.
Так же остаётся проблема с самим IP. Адрес может поменяться быстрее, чем @gecube триггерится на сообщения в чате с кодом без бектиков.
И мониторинг накрывается женским половым органом, бежишь как сельский дурачок вручную делаешь перерегистрацию.
И ещё 2-3 бага в подарок нашли, но, справедливости ради. это не связано напрямую с кубером.
workaround solution - либо пилить своего оператора, который будет следить за svc и по лейблам добавлять авто регистрацию, авто обновление по IP и авто удаление БД, либо пока не переходить на PMM мониторинг в кластерах Kubernetes, либо, как мы, спиздить борды у PMM и перетащить их в свою графану, немного допилив и адаптировав. Так же надо научить сервис скрейпер/прометеус забирать метрики не только постгри, но ещё и патрони(в случае с постгрей). С кластерами mysql там вообще
Вывод: хочешь мониторить базы данных в Kubernetes с помощью Percona PMM? - готовьтесь к захватывающим приключениям и тратой времени по трекеру на таски с этим.
Или просто подождите, пока ребята из Перконы наконец-то добавят нужный функционал для вообще самой концепции "много бд, всё в кубере, много кластеров, хотим один пмм сервер".
Хочу отметить, что сам пмм мне нравится, он хорошо подходит для статик бд, например в ажуре или амазоне, но для БД с операторами в кубах - никак пока что.
#pmm #kubernetes
Percona
Percona Monitoring and Management
This is the documentation for the latest PMM 2 release. For details, see the PMM 2.44.1 release notes.
👍2😁1
Пятничные микро истории.
В далёком 2022 году, на пике волны импортозамещения, я хотел с ноги ворваться в российский финтех со своими решениями.
Было три основных направления и я сделал 3 MVP по каждому из них. Ходил тихо по кулуарам, писал письма, пилил демо.
Конечно же всё было зря, просто так зайти в кормушку нельзя, никого не интересовали реальные решения для инженеров, всем были более интересны откаты, схематозики да переклейка логотипов известных продуктов.
Мне быстро дали понять, что меня тут не ждут, всё полянки поделили до меня.
Один из MVP проектов, а точнее мелкую его часть, я выставлял публично для тест попытки внедрения в один банк.
Ну вообще это удобно или нет. Ок или не ок.
Декрипт/енкрипт values файлов для helm.
https://github.com/kruchkov-alexandr/yaml-encrypter-decrypter
Можете особо не заходить по ссылке, он заброшен давно и надолго в связи с потерей моего интереса.
Сейчас этот проект взял под своё крыло совсем другой инженер, по нашей договорённости он его форкнул и начал развивать.
Надеюсь у него получится сделать из него что-то приличное, вполне возможно будет не форк, а полностью самостоятельное не заброшенное решение.
https://github.com/atlet99/yaml-encrypter-decrypter
Можете заходить, если вдруг интересует тема енкрипшн/декрипшна.
Если не интересует, то просто скипните пост.😅
В далёком 2022 году, на пике волны импортозамещения, я хотел с ноги ворваться в российский финтех со своими решениями.
Было три основных направления и я сделал 3 MVP по каждому из них. Ходил тихо по кулуарам, писал письма, пилил демо.
Конечно же всё было зря, просто так зайти в кормушку нельзя, никого не интересовали реальные решения для инженеров, всем были более интересны откаты, схематозики да переклейка логотипов известных продуктов.
Мне быстро дали понять, что меня тут не ждут, всё полянки поделили до меня.
Один из MVP проектов, а точнее мелкую его часть, я выставлял публично для тест попытки внедрения в один банк.
Ну вообще это удобно или нет. Ок или не ок.
Декрипт/енкрипт values файлов для helm.
https://github.com/kruchkov-alexandr/yaml-encrypter-decrypter
Можете особо не заходить по ссылке, он заброшен давно и надолго в связи с потерей моего интереса.
Сейчас этот проект взял под своё крыло совсем другой инженер, по нашей договорённости он его форкнул и начал развивать.
Надеюсь у него получится сделать из него что-то приличное, вполне возможно будет не форк, а полностью самостоятельное не заброшенное решение.
https://github.com/atlet99/yaml-encrypter-decrypter
Можете заходить, если вдруг интересует тема енкрипшн/декрипшна.
Если не интересует, то просто скипните пост.😅
🔥2
🎄
В сербском языке есть достаточно популярная в разговорной речи фраза
Чаще всего в практике используется для обозначения потерянных/растерянных/несчастных/неуверенных людей.
Так же используется для подавленно выглядящих людей или мающихся по комнате.
Знаю, что очередной прошедший 2024 год был как всегда тяжелым для всех, так что
🎄
Простите, моя фантазия с поздравлениями в этом году весьма ограничена😅
В сербском языке есть достаточно популярная в разговорной речи фраза
Као усран голубЧаще всего в практике используется для обозначения потерянных/растерянных/несчастных/неуверенных людей.
Так же используется для подавленно выглядящих людей или мающихся по комнате.
Шта ти је, што седиш ту као усран голуб?Знаю, что очередной прошедший 2024 год был как всегда тяжелым для всех, так что
Желим ти да у новој години не будеш као усран голуб!🎄
👍2😁2🎉2
Утро второго января начинается под хруст уже слегка несвежих салатов и бутербродов девопса с икрой и красной рыбой с просеко на завтрак.
Затем, под легкий и приятный хмель, приходит мысль "а чойта мы давно код не писали" и желанием написать свой велосипед.
❕Я в курсе про экспортёры и в частности https://github.com/webdevops/helm-charts
Задача: мониторить протухшесть аппрегистрейшн в ажуре.
Сложности: тенантов десятки и в каждом из них десятки/сотни сабскрипшнов.
Идея:
- сделать единый мультитенанси аппрегистрейшн
- напилить скриптом по нужным нам тенантам(а вот так ещё усложним, что нужно часть, а не все) сервиспринципл
- раскинуть всем сервиспринципал права на сбор метрик по протухшести кердов и не более
- напилить приложение, которое при помощи кредов подключается ко всем тенантам и их сабскрипшнам
- приложение умеет отдавать стандартные метрики прометеус и отдавать на http эндпойнт
Реализация:
- первичная инициация AR + SP + Permissions (я не стал писать код автоматизации, достаточно скрипта в ридми, это же один раз)
https://gist.github.com/kruchkov-alexandr/bd0bd7289d984751f3a92e7f4981c286
- Dockerfile с массивным azure cli и реквайрментс для питона
https://gist.github.com/kruchkov-alexandr/25817a9d2ed0c5daa713cedb1e3da0a1
- сам питон скрипт
https://gist.github.com/kruchkov-alexandr/8c41c33aff606463a17315447e62c25f
- можем смело отслеживать алёрты типа
Дальше пихаем его куда угодно, хоть на виртуальную машину, хоть в кубернетисы и забираем метрики на 8000 порту.
Раз в 30 минут по циклу опрашивает срок жизни всех токенов всех сабскрипшнов и тенантов, куда есть доступ.
Затем этим метрики забирает виктория метрикс.
Практической ценности этот код не имеет, лишь тренировка "давно мы ничего не писали и, судя по коду, лучше и не надо".
Затем, под легкий и приятный хмель, приходит мысль "а чойта мы давно код не писали" и желанием написать свой велосипед.
❕Я в курсе про экспортёры и в частности https://github.com/webdevops/helm-charts
Задача: мониторить протухшесть аппрегистрейшн в ажуре.
Сложности: тенантов десятки и в каждом из них десятки/сотни сабскрипшнов.
Идея:
- сделать единый мультитенанси аппрегистрейшн
- напилить скриптом по нужным нам тенантам(а вот так ещё усложним, что нужно часть, а не все) сервиспринципл
- раскинуть всем сервиспринципал права на сбор метрик по протухшести кердов и не более
- напилить приложение, которое при помощи кредов подключается ко всем тенантам и их сабскрипшнам
- приложение умеет отдавать стандартные метрики прометеус и отдавать на http эндпойнт
Реализация:
- первичная инициация AR + SP + Permissions (я не стал писать код автоматизации, достаточно скрипта в ридми, это же один раз)
https://gist.github.com/kruchkov-alexandr/bd0bd7289d984751f3a92e7f4981c286
- Dockerfile с массивным azure cli и реквайрментс для питона
https://gist.github.com/kruchkov-alexandr/25817a9d2ed0c5daa713cedb1e3da0a1
- сам питон скрипт
https://gist.github.com/kruchkov-alexandr/8c41c33aff606463a17315447e62c25f
- можем смело отслеживать алёрты типа
app_credential_expiry_days < 15
Дальше пихаем его куда угодно, хоть на виртуальную машину, хоть в кубернетисы и забираем метрики на 8000 порту.
Раз в 30 минут по циклу опрашивает срок жизни всех токенов всех сабскрипшнов и тенантов, куда есть доступ.
Затем этим метрики забирает виктория метрикс.
Практической ценности этот код не имеет, лишь тренировка "давно мы ничего не писали и, судя по коду, лучше и не надо".
👏1
#пятница
#всратость
Если бы не помощь местного жителя в Сербии, то у меня была бы ещё одна гениальная всратая история.
Решили вы заменить российские права в другой стране.
У меня, например, сейчас Сербия. И тут начинается самое интересное.
Допустим, у вас в России есть права с категорией А, которая вроде как включает в себя А, АМ, А1.
Но! ПЕРЕД медосмотром (именно до врачей, а не во время!!!!) надо обязательно попросить добавить категории АМ и А2.
В чём подвох? В Сербии это подкатегории А, но в российских правах их отдельно не пишут.
И без их явного указания местные права вам на эти категории не переоформят.
Самый весёлый нюанс - российской категории М здесь соответствует сербская АМ.
Без ее указания вам оформят сербскую категорию М - это
На фото был бы я, если бы меня вовремя не одёрнули в момент медосмотра.
#всратость
Если бы не помощь местного жителя в Сербии, то у меня была бы ещё одна гениальная всратая история.
Решили вы заменить российские права в другой стране.
У меня, например, сейчас Сербия. И тут начинается самое интересное.
Допустим, у вас в России есть права с категорией А, которая вроде как включает в себя А, АМ, А1.
Но! ПЕРЕД медосмотром (именно до врачей, а не во время!!!!) надо обязательно попросить добавить категории АМ и А2.
В чём подвох? В Сербии это подкатегории А, но в российских правах их отдельно не пишут.
И без их явного указания местные права вам на эти категории не переоформят.
Самый весёлый нюанс - российской категории М здесь соответствует сербская АМ.
Без ее указания вам оформят сербскую категорию М - это
мотоблок.😁2🤷♂1
#бытовое
Очень спасибо, что я параноик, очень жаль, что сейчас зима.
Чтобы просверлить дырки для держателя всякого, надо убедиться, что под плиткой нет ни электричества(спасибо тестер), ни горячей воды(спасибо тепловизор, на фото), ни холодной воды.
С первыми двумя пунктами справился, третий пункт сейчас стоппер. Зима, стены в уборной все холодные и холодную воду не увидеть просто. Точнее никак.
Решение:
- отметить сейчас карандашом, где подходит горячая вода
- дождаться весны или лета
- отметить карандашом холодную воду(стена уже не будет насквозь замёрзшей).
- просверлить, где нет труб
Самый долгий муж на час с "давайте уже после праздников" ©
Очень спасибо, что я параноик, очень жаль, что сейчас зима.
Чтобы просверлить дырки для держателя всякого, надо убедиться, что под плиткой нет ни электричества(спасибо тестер), ни горячей воды(спасибо тепловизор, на фото), ни холодной воды.
С первыми двумя пунктами справился, третий пункт сейчас стоппер. Зима, стены в уборной все холодные и холодную воду не увидеть просто. Точнее никак.
Решение:
- отметить сейчас карандашом, где подходит горячая вода
- дождаться весны или лета
- отметить карандашом холодную воду(стена уже не будет насквозь замёрзшей).
- просверлить, где нет труб
Самый долгий муж на час с "давайте уже после праздников" ©
❤2🔥1
Поздравляю сам себя с моим 6-и летним опытом в IT в роли инженера.
DevOps практики, инфраструктура, программирование, немного архитектуры, менторство(совсем чуть-чуть) и очень-очень много SRE скрасило мои последние 6 лет интересными задачками и добавило радости моей супруге количеством денег.
По этому поводу куплю себе стейк рибай, бутылку Brunello di Montalcino и зависну на новом курсе.
DevOps практики, инфраструктура, программирование, немного архитектуры, менторство(совсем чуть-чуть) и очень-очень много SRE скрасило мои последние 6 лет интересными задачками и добавило радости моей супруге количеством денег.
По этому поводу куплю себе стейк рибай, бутылку Brunello di Montalcino и зависну на новом курсе.
🔥10❤2
На всём времени моего опыта и пути для меня самым сложным оказалось работать с несколькими вещам, один из них это
Пока знания не обесценились, накидал простенькую статью на медиуме.
Вдруг кто тоже страдает этими болями.
https://medium.com/@kruchkov.alexandr/a-deep-dive-into-aws-api-gateway-velocity-mapping-templates-9a6c9f4ed742
#AWS #CostOptimization #SQS #Velocity
AWS Velocity mapping template.Пока знания не обесценились, накидал простенькую статью на медиуме.
Вдруг кто тоже страдает этими болями.
https://medium.com/@kruchkov.alexandr/a-deep-dive-into-aws-api-gateway-velocity-mapping-templates-9a6c9f4ed742
#AWS #CostOptimization #SQS #Velocity
Medium
A Deep Dive into AWS API Gateway Velocity Mapping Templates
Working with AWS services can be challenging, but in my years of experience, few things have been as perplexing as AWS Velocity mapping…
👏2
#всратость
В далекие-далёкие годы, когда я только начал путешествовать, билеты были относительно недорогими и визы давали не глядя на цвет паспорта, однажды мы решили сгонять в Благословенные Богами Европы.
На тот момент у нас было не так много опыта путешествий, знаний иностранных языков и удобных путеводителей/чатов телеграм/AI и множество приложений для облечения жизни, как это, к счастью, есть сейчас.
В общем решили мы испробовать сервис заморский, на тот момент не очень нам известный(а я вообще всегда был деревня) с названием Airbnb.
Связались, забронировали, арендовали, оплатили, приехали, заселились, ничего тут нет сложного с гугл словарем.
Всё клоунское веселье началось с утра, когда нам надо было выкинуть мусор.
Такого обилия мусорных контейнеров, помоек, ящиков, урн, как это есть во многих городах России, в частности в Москве, там не было. Мы прошли квартал, ещё один, но мусорки нет нигде.
С мыслью "ну ща пройдём, ну точно помойка будет, выкину я свой ссаный прозрачный пакет с мусором и пустыми бутылками из под алкашки" мы двинулись дальше.
Прошёл примерно час, а я, словно выпускник клоунярного ПТУ, всё ещё гулял по улицам города с прозрачным пакетом с мусором. Мы даже дошли до самого центра, но жена меня уговорила чуть ли не со слезами на глазах от стыда и от смеха не ходить дальше.
Нам было стыдно спрашивать у местных а где тут можно пакет выкинуть, связи у меня тогда не было, как и роуминга, я был нищ.
В общем суммарно я ходил больше 3 часов по городу, в поисках любого места, где я могу выкинуть мусор и ничего не находил.
Тогда я ещё не знал, что урны прячут во дворах, а на улицах практически ничего нет, чтобы не тратить деньги на уборку ещё и этого. А быть может и из-за запаха.
Что же меня спасло? Конечно же
Мекка, а иногда даже оазис, для странствующих ссыкунов и чудаков с мусорными пакетами.
Слово ниндзя я сумел выкинуть свой пакетик в их ящички и пойти дальше.
С тех пор я первым делом у владельцев жилья спрашиваю где и как я смогу выкинуть мусор.
Что для одних естественно, то для других не очень очевидно.
Передаю привет Милану в Италии😅
В далекие-далёкие годы, когда я только начал путешествовать, билеты были относительно недорогими и визы давали не глядя на цвет паспорта, однажды мы решили сгонять в Благословенные Богами Европы.
На тот момент у нас было не так много опыта путешествий, знаний иностранных языков и удобных путеводителей/чатов телеграм/AI и множество приложений для облечения жизни, как это, к счастью, есть сейчас.
В общем решили мы испробовать сервис заморский, на тот момент не очень нам известный(а я вообще всегда был деревня) с названием Airbnb.
Связались, забронировали, арендовали, оплатили, приехали, заселились, ничего тут нет сложного с гугл словарем.
Всё клоунское веселье началось с утра, когда нам надо было выкинуть мусор.
Такого обилия мусорных контейнеров, помоек, ящиков, урн, как это есть во многих городах России, в частности в Москве, там не было. Мы прошли квартал, ещё один, но мусорки нет нигде.
С мыслью "ну ща пройдём, ну точно помойка будет, выкину я свой ссаный прозрачный пакет с мусором и пустыми бутылками из под алкашки" мы двинулись дальше.
Прошёл примерно час, а я, словно выпускник клоунярного ПТУ, всё ещё гулял по улицам города с прозрачным пакетом с мусором. Мы даже дошли до самого центра, но жена меня уговорила чуть ли не со слезами на глазах от стыда и от смеха не ходить дальше.
Нам было стыдно спрашивать у местных а где тут можно пакет выкинуть, связи у меня тогда не было, как и роуминга, я был нищ.
В общем суммарно я ходил больше 3 часов по городу, в поисках любого места, где я могу выкинуть мусор и ничего не находил.
Тогда я ещё не знал, что урны прячут во дворах, а на улицах практически ничего нет, чтобы не тратить деньги на уборку ещё и этого. А быть может и из-за запаха.
Что же меня спасло? Конечно же
Макдональдс.Мекка, а иногда даже оазис, для странствующих ссыкунов и чудаков с мусорными пакетами.
Слово ниндзя я сумел выкинуть свой пакетик в их ящички и пойти дальше.
С тех пор я первым делом у владельцев жилья спрашиваю где и как я смогу выкинуть мусор.
Что для одних естественно, то для других не очень очевидно.
Передаю привет Милану в Италии😅
❤2😁1
Обожаю новые фичи, в частности от яндекс браузера онлайн перевод на русский язык.
Однако есть проект, который может делать тоже самое, но в браузерах сафари/кром.
Сам проект с очень хорошим ридми
https://github.com/ilyhalight/voice-over-translation?tab=readme-ov-file
Если в двух словах
- установить Tampermonkey
- включить режим девелопера расширениях(опционально, я не включал, оно само)
- установить скрипт (я его установил вообще по кнопке в браузере при установке тамперманки)
Теперь есть кнопка перевода видео с ютуба на русский/казахский.
Прям слушаю видео на других языках в онлайн переведённые на русский.
Фантастика как удобно.❤️
Однако есть проект, который может делать тоже самое, но в браузерах сафари/кром.
Сам проект с очень хорошим ридми
https://github.com/ilyhalight/voice-over-translation?tab=readme-ov-file
Если в двух словах
- установить Tampermonkey
- включить режим девелопера расширениях(опционально, я не включал, оно само)
- установить скрипт (я его установил вообще по кнопке в браузере при установке тамперманки)
Теперь есть кнопка перевода видео с ютуба на русский/казахский.
Прям слушаю видео на других языках в онлайн переведённые на русский.
Фантастика как удобно.❤️
👍2❤1
#всратость
Неконтролируемая ярость, бессмысленный гнев, поиск виноватого и традиционная невнимательность.
Да, именно с этого я начал свою пятницу.
Сел за рабочее место, включил комп, винда предложила сделать апдейт.
Хорошо, пока пью кофе пусть сделает апдейт.
Всё завершилось, авторизация и сразу ступор.
"какого рожна ты не переключаешь раскладку привычным shift+command(alt), тварь?!"
Попсиховал про сраный микрософт, вспомнил про второй тип раскладки, неудобный для моих гномьих пальцев - option(win)+whitespace. Работает.
Злость начинает закипать достаточно быстро.
Лезу в настройки языков, клавиатуры, раскладки - ничего вроде не поменялось, однако привычная позиция не работает.
Псих, рестарт, псих, ничего не помогает. Ресет клавиатуры и пресетов. Заново подключение.
Быстрый поиск по интернетам и реддиту "какого хера негодяи Майкрософт снова что-то поломали раскладку" ни к чему не привёл.
Ярость, средневековая ярость заполняет мои легкие.
А потом приходит осознание, что я словно та мелкая потешная собачка чихуахуа с оскалом, ищущий во всех и вся проблемы, но не только от себя и лающая на всех как ебанашка.
Короче повернул на бок клавиатуру и увидел, что переключатель установлен в режиме macos, а не для windows.
Клавиатура не причём, операционная система и обновления ни причём. Сам как клоун случайно переключил режим.
Неконтролируемая ярость, бессмысленный гнев, поиск виноватого и традиционная невнимательность.
Да, именно с этого я начал свою пятницу.
Сел за рабочее место, включил комп, винда предложила сделать апдейт.
Хорошо, пока пью кофе пусть сделает апдейт.
Всё завершилось, авторизация и сразу ступор.
"какого рожна ты не переключаешь раскладку привычным shift+command(alt), тварь?!"
Попсиховал про сраный микрософт, вспомнил про второй тип раскладки, неудобный для моих гномьих пальцев - option(win)+whitespace. Работает.
Злость начинает закипать достаточно быстро.
Лезу в настройки языков, клавиатуры, раскладки - ничего вроде не поменялось, однако привычная позиция не работает.
Псих, рестарт, псих, ничего не помогает. Ресет клавиатуры и пресетов. Заново подключение.
Быстрый поиск по интернетам и реддиту "какого хера негодяи Майкрософт снова что-то поломали раскладку" ни к чему не привёл.
Ярость, средневековая ярость заполняет мои легкие.
А потом приходит осознание, что я словно та мелкая потешная собачка чихуахуа с оскалом, ищущий во всех и вся проблемы, но не только от себя и лающая на всех как ебанашка.
Короче повернул на бок клавиатуру и увидел, что переключатель установлен в режиме macos, а не для windows.
Клавиатура не причём, операционная система и обновления ни причём. Сам как клоун случайно переключил режим.
😁6
#пятница
Мне кажется работа с Dron CI в 2025 это как покупка китайского телефона в 2018 году.
Вместо "здорово, дешево, свиблово и всего за семь тыщ" и работы из коробки, ты превращаешься в модератора топика на 4pda по темам прошивки, кастомизации и ремонту кирпичей.
Мне кажется работа с Dron CI в 2025 это как покупка китайского телефона в 2018 году.
Вместо "здорово, дешево, свиблово и всего за семь тыщ" и работы из коробки, ты превращаешься в модератора топика на 4pda по темам прошивки, кастомизации и ремонту кирпичей.
😁3
Мой первый день в мой первый 41 год.
- доброе утро, солнышко!
- доброе утро, Сашенька, желаю тебе отличной погоды и хорошего настроения!
- доброе утро, госуслуги!
- доброе утро, Сашенька, желаю тебе отличных свершений и хорошей недели!
- доброе утро мэрия Москвы!
- доброе утро, Александр, желаем тебе лучшего и вот твой купон на квартиру в Москве и новый Айпад
- доброе утро, мой негосударствнный пенсионный фонд, на который я потратил 21 год своей жизни и все пенсионные накопления!
- доброе утро, дурачок, добро пожаловать во взрослую жизнь и весь наш фонд сегодня подал на банкротство и угадай, что с твоими деньгами и пенсией
- доброе утро, солнышко!
- доброе утро, Сашенька, желаю тебе отличной погоды и хорошего настроения!
- доброе утро, госуслуги!
- доброе утро, Сашенька, желаю тебе отличных свершений и хорошей недели!
- доброе утро мэрия Москвы!
- доброе утро, Александр, желаем тебе лучшего и вот твой купон на квартиру в Москве и новый Айпад
- доброе утро, мой негосударствнный пенсионный фонд, на который я потратил 21 год своей жизни и все пенсионные накопления!
- доброе утро, дурачок, добро пожаловать во взрослую жизнь и весь наш фонд сегодня подал на банкротство и угадай, что с твоими деньгами и пенсией
❤3
- "а можете ли вы, мои новые интерны, вводить эти команды? всё ли хорошо тут? ответьте, пожалуйста, на вопрос"
- "да вроде хорошо. мы часть команд не знаем, но вроде всё как обычно, гит адд, гит коммит и гит пуш. а может и нельзя, мы не знаем часть команд, мы обычно кнопку в vscode жмём"
#git
git add .
git commit -m "fix" --no-verify
git push origin main --force
git tag -f prod
git push --force origin prod
git clean -fdx
git reset --hard HEAD~5
git push --force-with-lease
git reflog expire --expire=now --all
git gc --aggressive --prune=now
- "да вроде хорошо. мы часть команд не знаем, но вроде всё как обычно, гит адд, гит коммит и гит пуш. а может и нельзя, мы не знаем часть команд, мы обычно кнопку в vscode жмём"
#git
😁6👍1
- "А расскажите, пожалуйста, что не так или так в этом докерфайле. Что выглядит нормально, что смущает, что кажется вы сделали бы иначе? Что может быть вы переделали. На что и почему. Или вообще тут всё идеально и трогать ничего не надо. Поделитесь мыслями. можете пользоваться любой документацией, любой информацией в интернете, кроме AI. Особого лимита времени тут нет, просто говорите всё, что вы об этом думаете, это главное. Правильного/правильных ответов тут нет, интересно всё то, что вы об этом всём думаете."
Давным-давно я проводил интервью и спрашивал кандидатов обо всяком.
В один момент времени я начал использовать этот замечательный докерфайл.
Лично мне он помогал определить сильные и слабые стороны кандидата(да, надо было много работать с кубером и докер имаджами на этой вакансии). На базе него я иногда задавал дополнительные наводящие вопросы: про readOnlyRootFilesystem/allowPrivilegeEscalation/capabilities, про опыт с бекендом, опыт с фронтом, про контекст и так далее. Не для доёба, нет, кому оно нужно.
Просто понять насколько глубоко в бездну нырял кандидат со своим опытом и сможет ли не перейти на темную сторону упоротых девелоперов, пройдя этапы собеседования.
Конечно же я знаю множество инженеров, кто найдёт миллионов доводов, что собеседование неправильное, не верное, вопросы говно, файл тупорылый, такое не надо спрашивать и многое другое.
Да всё возможно.
Однако тут нанимал я, а не кто-то другой, так что козырь самодура🤡 интервьюера был у меня в руках.
Сейчас подобные наработки я использую, чтобы гонять своих интернов на логику и получения опыта без хлебания половника подливы говна из клоунско-птушных легаси проектов с монорепой монолитом.
#собеседование #интервью #всратость #docker
FROM ubuntu:latest
COPY ./ /app
WORKDIR /app
RUN apt-get update
RUN apt-get install -y cowsay
RUN apt-get upgrade
RUN apt-get -y install libpq-dev imagemagick gsfonts ruby-full ssh supervisor
RUN gem install bundler
RUN echo "vm.swappiness=10" >> /etc/sysctl.conf && chmod -R 777 /tmp
RUN curl -sL https://deb.nodesource.com/setup_9.x | sudo bash -
RUN apt-get install -y nodejs
RUN bundle install --without development test --path vendor/bundle
RUN rm -rf /usr/local/bundle/cache/*.gem
RUN apt-get clean
RUN rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*
CMD [“/app/init.sh”]
Давным-давно я проводил интервью и спрашивал кандидатов обо всяком.
В один момент времени я начал использовать этот замечательный докерфайл.
Лично мне он помогал определить сильные и слабые стороны кандидата(да, надо было много работать с кубером и докер имаджами на этой вакансии). На базе него я иногда задавал дополнительные наводящие вопросы: про readOnlyRootFilesystem/allowPrivilegeEscalation/capabilities, про опыт с бекендом, опыт с фронтом, про контекст и так далее. Не для доёба, нет, кому оно нужно.
Просто понять насколько глубоко в бездну нырял кандидат со своим опытом и сможет ли не перейти на темную сторону упоротых девелоперов, пройдя этапы собеседования.
Конечно же я знаю множество инженеров, кто найдёт миллионов доводов, что собеседование неправильное, не верное, вопросы говно, файл тупорылый, такое не надо спрашивать и многое другое.
Да всё возможно.
Однако тут нанимал я, а не кто-то другой, так что козырь самодура🤡 интервьюера был у меня в руках.
Сейчас подобные наработки я использую, чтобы гонять своих интернов на логику и получения опыта без хлебания половника подливы говна из клоунско-птушных легаси проектов с монорепой монолитом.
#собеседование #интервью #всратость #docker
👍9👌1