DOU

Пам’ятаю ще ті часи, коли в розділі “Зарплати” та “Робота” не було окремо DevOps, і доводилось орієнтуватись на SysAdmin. Але навіть це вже було досить потужно. Далі з’явився чудовий Djinni, де можна було тестувати потенційну стелю компенсацій, і знаходити найсмачніші вакансії нехитрими методами 🙂

На сьогодні DOU проводить величезні збори, донатить самостійно грандіозні суми, випускає статті про IT спеціалістів, які зі зброєю в руках захищають Україну.

Також DOU робить акцент на створенні спільнот і розвитку спеціальностей (технічні стріми, статті, дайджести - один з стрімів ми проводили разом на початку 2021 року), досить давно працює окремий розділ для QA, і тиждень назад зробили окремий розділ для DevOps спеціалістів:

@devops_dou 🎯

1) Підпишіться на @devops_dou - тому що це справжні друзі нашого ІТ, десь як Джонсонюк, може навіть і більше

2) Зверніть увагу, 8 лютого Uklon проводить онлайн-мітап (Istio, ArgoCD, SLO) - реєструйтесь, підтримаємо перший івент:
https://dou.ua/calendar/45982/

Також, якщо у вас є бажання допомогти в розвитку DevOps розділу на DOU - напишіть @dzzzvinka

Тихого і продуктивного робочого тижня всім нам 🤝

Whole Yandex Git repository leaked

Прикол, в яндексі досить потужно лікнув сорс код - 44.7 GB з купою репозиторіїв.

Комент секопсів цієї чудо-компанії:

… служба безопасности обнаружила в открытом доступе фрагменты кода из внутреннего репозитория. Но их содержимое отличается от текущей версии репозитория в сервисах «Яндекса». 🤡

… Репозитории нужны для работы с кодом и не предназначены для хранения персональных данных пользователей._ 🤡


Такий булшіт, ніби ніхто не знає, як працює git, і версія сорс коду після останнього коміту буде відрізнятись.

Відкрите питання - судячи з вектору шарених даних і їх вигляду, це скоріше за все, злив зсередини. Далі - більше, реверсінжинірінгом займатись набагато простіше, коли ти бачиш, як сервіс працює з середини 🙂

Для нас - декілька ауткамів:
1) Приберіть всі секрети з репо, якщо ще не зробили цього (Vault, AWS Secret Manager, etc)
2) Приберіть всі ідентифікатори баз, стореджів, ендпоінти кластерів, і доступ з паблік інтернету до них
3) Зробіть алерт на трафік git стореджу, щоб ви могли помітити, коли хтось робить git clone 44 gb з self-hosted Gitlab лол 🙂

https://news.ycombinator.com/item?id=34525936

Мітапи будуть!

Декілька новин перед вихідними:

1️⃣ Зверніть увагу на стрім мітапу:

https://www.youtube.com/live/bd7ofOND6ZQ?feature=share&t=680

Отримав такий фідбек про мітап On-air with Uklon: DevOps Edition: рекомендую глянути, непоганий практичний приклад як використовувати Istio для failure retry/recovery та як його використовувати для canary деплой в Argo, в тому числі з автоматичним роллбеком в разі погіршення метрик

Дякуємо Костянтину Томаху, Глібу Смолякову, та Олександру Чумаку. Не забуваємо про VP of Engineering, який так недавно з'явився в цій компанії 🙂

Окремо підкреслюю потужну, цікаву технічну складову, та українську мову 🇺🇦

2️⃣ Також чекаємо 15 лютого о 18:00 (дуже скоро) AWS re:Invent re:Cap з такою аджендою:
🔸 овервʼю найголовнішого з AWS re:Invent від Ігоря Іванюка, Sr. Solutions Architect в AWS;
🔸 панельна дискусія з AWS та N-iX:

Реєстрація на AWS re:Invent re:Cap за посиланням:
http://bit.ly/3X0nNQK

AWS re:Invent re:Cap буде збирати в БФ “Клуб Добродіїв”, для 2000 дітей на прифронтових територіях.

3️⃣ Наступного тижня буде DevOps дайджест на DOU (fingers crossed), опублікуємо на @devops_dou

DevOps Days Kyiv 2023: підкиньте ідей і спікерів

Всім вітання, пройшла перша сесія грумінгу майбутньої конференції, і виникло питання - кого реально було б цікаво послухати зараз? 

Декілька ідей: 
- Юра Рочняк згадав про інтерв'ю на DOU з досвідом екстреної міграції інфри ПриватБанку в клауд
- Була ідея знайти когось, хто допомагав (Microsoft?) захищатись від рашан-пенетрейшн і DDOS 
- Локальні бізнеси і їх проблеми у зв’язку з війною (Нова Пошта, АТБ, Uklon)

Дайте пліз зворотний зв'язок, кого, на вашу думку, було б цікаво послухати й нашим інженерам, і інженерам з UK/US (вони ж теж будуть донатити). 

Коротше, накидайте пліз ідей, кого б ви хотіли бачити, або десь бачили вже щось цікаве, наш унікальний досвід, який можна було б розшарити worldwide і нормально залучити зовнішньої фінансової допомоги. Цікавий досвід - більше донатів від міжнародного комьюніті. 

Все буде Україна!

До вашої уваги — те, заради чого ми всі тут зібралися! (жартуємо, або ні 😅)

Оновлений DevOps-дайджест повертається!

Над матеріалами працювала крута команда: Олексій Асютін, Влад Волошин, Олег Миколайченко, Дмитро Горбунов, Андрій Білоус. Хлопці відібрали найцікавіші матеріали, на які варто звернути увагу, тож гайда читати!

Terraform vs AWS CDK

Поки в нас летять кинджали і крилаті ракети разом з шахідами, ми продовжуємо працювати і знайшли прикольну штуку.

Зацініть, наскільки вона прикольна (опера в 3 діях):
1️⃣ Amazon просуває свій сервіс для роботи з git репозиторіями - AWS CodeCommit
2️⃣ Amazon просуває свій тулсет для IaC (AWS CDK —> CloudFormation)
3️⃣ AWS CDK не підтримує необхідних ресурсів для конфігурації AWS CodeCommit

А що ж Terraform? Підтримує.

Тобто, Amazon в своїй екосистемі не підтримує сумісність, а third-party (для них так виглядає Terraform) - підтримує.

Чи є у вас ще питання доцільності використання AWS CDK? 😂

Пруфи:
🔸Фіча AWS CodeCommit: https://docs.aws.amazon.com/codecommit/latest/userguide/approval-rule-templates.html (Approval Rule Templates - кому ж треба ці CODEOWNERS, фігня якась)
🔸Ресурс в Terraform: https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/codecommit_approval_rule_template
🔸Відкритий фіче-ріквест в AWS CDK: https://github.com/aws/aws-cdk/issues/18254

Це ще одне додаткове підтвердження, чому Terraform - стандарт ринку, Gitlab - стандарт ринку, і вам не треба змінювати ці рішення, щоб не наступати на неочевидні проблеми.

Якщо ви знаєте ще такі приклади, накиньте пліз в коментах (або зворотні приклади).

Працюємо далі!

4 ударні багаторазові FPV дрони з тепловізором

Шановне DevOps панство, прохання сьогодні підтримати підрозділ пілотів 45-го ОСБ з такими характеристиками:

- дальність 8км
- 3кг корисного навантаження
- низький шум
- Dual-HD + тепловізійний приціл

Приклади роботи (відео, фото) в пості:
https://xn--r1a.website/full_of_hatred/797

Збором займається Вова Рожков та Віталій Ратушний (інженери давно в темі, займаються цим серйозно) - модифікують дрони з ринку, підвищуючи їх ефективність і характеристики. Дрони повертаються на базу, тож реюзабельність присутня 🙂

Задумка в чому: всі чекають контрнаступ, тож давайте допоможемо, і підвищимо шанси на успіх 🇺🇦

Банка:
https://send.monobank.ua/jar/2FVDAiJvat

Снепшот поточного стану:
Accumulated - 76 553.91, Goal - 242 800

Приклад як завжди в коментах. Всім тихого робочого дня!

OpenCost — open source cost monitoring

Власне, OpenCost - це тула, яка допомагає отримати ще більшу візібіліті по витратам всередині вашого Kubernetes кластеру.

Чудово вирішує нескінчені ріквести «А скільки це коштує?» або «Порахуйте мені вартість цього сервісу за 2022 рік». Достатньо дати кастомеру, PM, або іншому клієнту цей інтерфейс - і вже буде приблизне бачення, про які суми йдеться.

Корисно буде не всім, принаймні у нашому кейсі - доволі неточні підрахунки (в нас є і знижки, і апфронт пейменти, яких не відображає Billing API), тож ця штука теж не може видати ідеальний результат, який можна було б одразу ріпортити.

Так чи так, комусь підійде, хтось трохи підрихтує сетап, і якусь частину задач до команди вийде мінімізувати.

Встановлюється через helm, інтегрується з Prometheus, рахує по неймспейсам/деплойментам/подам через апішку клауд провайдерів.

З коробки підтримує основні клауди + кастом on-prem:
- AWS/EKS
- Azure/AKS
- GCP/GKE
- On-prem clusters via custom pricing sheets

https://www.opencost.io/

Потрібен голос спільноти!

Щойно пройшов регулярний сінк по DevOps Days, і ми бачимо, що на жаль, на ринку хайрінг фріз, компанії заморожують бюджети на інтеграції з конференціями, і жмуть донати.

В той же самий час, з організаційної сторони лайнапи готові, спікери готові, всі готові. Тобто, виглядає так, що ми потенційно зможемо провести конференцію, але без великої і потужної котлети грошей від спонсорів (які далі прямують у гуманітарні фонди).

Або ми можемо перенести конференцію на осінь цього року, і методично говорити з великими компаніями, щоб вони розпакували свою донатилку. Тоді це могло б бути більш ефективно. Нагадаю, що минулого року вдалось залучити €100 000 від спонсорів.

Linux Foundation Training 40% знижка

Вітання! Віталій Віннічук поділився промо знижкою з KubeCon, яку нарив десь у Твітері. Подейкують, вона мала б бути унікальна і персоналізована для учасників конференції, але виглядає як розшарена для всіх.

Заекспайриться через 4 дні: 23:59 Pacific on Monday, 24 April 2023. Пруфи в коментах!

KCEU23

https://training.linuxfoundation.org/full-catalog/

containerd + fluentbit != json logs?

Шановне DevOps панство, звертаюсь не з вирішенням, а саме з проблемою. Підкажіть пліз, хто стикався з такою штукою, і чи вдалось пофіксити або знайти воркераунд?

У нас після апгрейду на AWS EKS 1.25 з containerd CRI відпав валідний анмаршал json. Тобто після фіксів логи збираються, все ок, приходять в OpenSearch але не парсяться в окремі філди, зручні для фільтерінгу.

Більш детально поведінка описана тут (в нас абсолютно ідентичний кейс):
https://github.com/fluent/fluent-bit/issues/7218

Як пофіксили?

Накидайте швидко пліз 24 698

Доброго дня, точковий і швидкий мікро-збір для НГУ, 7 окремий стрілецький батальйон, 23-тя бригада, військовий лікар самостійно долучився до лав сил оборони, необхідний ноутбук для роботи в полях.

Збір під контрнаступ! Тому треба швидко.

Відповідальність особисто на мені, передаю з рук в руки, звіт в канал.

Необхідно на сьогодні, прохання підключитись, важливо.
Банка за посиланням, картка в першому коменті!

https://send.monobank.ua/jar/9iWEDkeepe

39 хвилин! Зібрали

DevOps Інженери - найнадійніший економічний тил 🔥

Займаюсь організацією.

Далі технічні пости.

Тисну руку кожному! Переможемо 🇺🇦

DevOps Podcast #0

Спеціально переглянув, перед тим як постити, щоб все було ок (хоча це ж DOU, тому мало б бути точно ок, але все ж).

Мої враження:
- Індусам випуск би не сподобався, бо ведучі запропонували зробити каунтер для жартів про індусів
- Це другий прецедент ДевОпс підкасту на нашому ринку (перший - Неправильний ДевОпс), вітаємо команду 👍
- Ведучі - приємні люди, підкаст комфортно слухати, працювати під нього, в тачці думаю теж (але швидкість х1.5)
- Топіки, я так розумію, з коментів, і їх нормально навалило на ще один, і навіть ще пару епізодів - то ж, чекаємо
- В обговореннях не помітив зашкварів, якоїсь лютої дичини, або відверто тригерних моментів - вважаю, що пройшло на досить непоганому рівні

Серед цікавого для себе виніс курс на Coursera - Learning How to Learn, якось за часу та натхнення зверну увагу на цей курс, і сподіваюсь він буде в скарбничці штук, які можна рекомендувати ньюкамерам.

З коментів ютубу, в коментатора трохи підгоріло, а ми можемо зробити висновок - що ведучі говорять з нами мовою ДевОпсів лол 🙂:
На Амазоні дуже багато всього ЧАРДЖИТЬСЯ за просто те, шо це МЕНЕДЖ

З важливого, варто зазначити що ми бачили 4 спікери, але для того щоб це їхало - існує велика команда DOU, яка невпинно формує українське ІТ. І це чудово. Там є свої зірочки. Вони великі молодці.

https://www.youtube.com/watch?v=pocI7wSNFVI

How We Gained Observability Into Our CI/CD Pipeline

Випадково наткнувся на досить непогану динамічну доповідь про observability в CI/CD від компанії Logz.io

Logz - це та компанія, яка давала офер з двозначного числа ще до війни (зараз - не знаю), і на співбесідах уже було настільки напряжно, що не так і хотілось той офер. На співбесідах менеджери насідали так потужно, що мені здавалось що я вже вписався в двіжуху Puppet/Chef/Salt на дедіках, хоч це був якийсь там початковий етап циклу співбесід. Купа кластерів, деплойментів, різних шматків, просто хардкор.

Остання співбесіда була 15 хв, де якийсь тіп повідомив, що якщо вже вдалось дійти до цього етапу, то все підходить, і запитав тільки чи готовий я махати величезною сталевою лопатою. Тобто там реально інженери вписуються і деліверять.

Щодо доповіді (ключові поінти):
🔸 Надсилаємо логи білдів в Logging Platform, де аналізуємо (скільки джоб, які помилки, тривалість етапів, etc) і робимо візуалізації + можемо і нотифікації <— тут є широке поле для експериментів
🔸 CI/CD тулу напаковуємо експортерами, колекторами метрик, всім чим можна - і теж повторюємо трюк з візуалізаціями (автор пропонує Telegraf + Jenkins Input Plugin)

У нас немає таких штук (є базові, якими ніхто не користується) - в доповіді були приклади, як зробити це адекватним і юзабельним. Також було б цікаво почути ваш досвід, яка інтеграція (або підхід) допомогла покращити observability в CI/CD процесі.

(вечір перед вихідними не витрачаємо, а дивимось доповідь - покращує mental health) ✅

https://fosdem.org/2023/schedule/event/how_we_gained_observability_into_our_cicd_pipeline/

Inside Datadog’s $5M Outage (Real-World Engineering Challenges #8)

Datadog автоматично насетапили собі апдейт Ubuntu 22.04 з декількома фіксами systemd і завалили собі весь мультиклаудний продакшн. Причому проблема була не в systemd, а в процесі оновлення цього пакету, який перетер їм кастомні eBPF роутинги.

Виглядає не дуже, і далі Datadog виправдовується у частині постмортему під назвою “4. Why did running in 5 regions on 3 different cloud providers not help?” 😅

Загалом багато питань:

- Чи є хоч якийсь інший енв, де ці апдейти деплойнулись за день-два, до проду? Їх ішью зарепродьюсилось би всюди, навіть на якомусь мікро енві, де є лише декілька нод.

- Функціонал ролбеку працює зовсім не так, як потрібно, бо оновлення не зупинилось після Х% unhealthy хостів (типу, ой, цей регіон ми вже поклали - і автоматизація вирішує не продовжувати далі, а пробувати ролбечити не здорові хости)

- Чи знали on-call інженери, що запустився автоапдейт? Через 3 хвилини прилетів перший алерт, далі через 15 хвилин прокинувся перший сапорт, і ще через 16 було очевидно increased latency. Чи можна було розкатати сетінгу “бігом вирубаємо unattended upgrade”?

Власне, в цьому потсмотремі мені не подобається абсолютно все, і навіть прикро за Datadog що все було проти них. Окрім цитат з SRE book, вони завжди подобаються.

Дивимось далі, Datadog робить такі висновки:
- 1. Made OS images resilient to systemd updates.
- 2. No more automatic updates.

Виходить, що вирішили вимкнути security updates. На масштабі Datadog, думаю, доцільно було б найняти окрему команду, і назавжди віддати цю проблему (тестити, деплоїти мануально-автоматизовано, нести відповідальність).

У нас немає такого масштабу, і за день такої сраки ми не втратимо $5M. В той же час, нам потрібні секьюріті апдейти хостової ОС. Амішки, драйвери, пакети - все що можна, має бути свіжим з пофікшеними vulnerabilities, але тепер великий челендж - не отримати такий результат, як у Datadog.

Щоб бути world-class інженерами, треба вирішувати world-class проблеми. Будемо вирішувати.

https://newsletter.pragmaticengineer.com/p/inside-the-datadog-outage

hashicorp/aws 4.67.0 —> 5.0.1

Поки не апгрейдимось, чекаємо 2-3 тижні.

Аргументи:
- 48 брейкін ченджів
- 5.0.1 зарелізили з BUG FIXES: provider/tags: Fix crash when tags are null лол
- в мене особисто сходу не завівся жоден енв, який мав працювати
- кожну годину на GitHub нова ішью

Чекаємо.

Shark + Шалені Кабани

Вітаю, прохання конвертонути новини вчора —> в хороший донат сьогодні.

Підсвічую 2 варіанти:
1) @shaleni_kabany - Альфа, Омега, ГУР, гумові човни, набої, тепловізори. Рекомендую підписатись, ми вже допомагали Шаленим Кабанам і успішно зібрали на частину бандеромобіля.
Останнього разу мене просили підсвітити збори на човни - не знаю наскільки це актуально зараз, енівей - хлопці тримають руку на пульсі, і радують підписників чудовими відео (якщо ви розумієте, про що я) 🚀

2) DOU збирає потужну котлету на борти Shark, а велика котлета збирається з мікродонатів.
Долучайтесь: https://dou.ua/forums/topic/43731/

Тихого і продуктивного дня 🤝

DOU DevOps Meetup

Шановні девопси, 26 липня у Києві організовуємо офлайн-мітап! Нічого не плануйте на вечір (середа), будемо спілкуватись, слухати доповіді, подивимось на наше комьюніті під час війни і зберемо трохи донатів на перемогу 🚀

Локацію повідомимо згодом, інженерів з інших регіонів - запрошуємо, онлайн - стрімити будемо.

Станом на зараз у нас є рокстар-спікер Сергій Міхно (на Kyiv DevOps Community розклав ClickHouse + vector.dev по поличкам), тому прохання долучатись до Call For Papers:

https://docs.google.com/forms/d/e/1FAIpQLSepkpfQcY-rEaIOuZzP7w4rrFuJ6LYTI9rWFnvAqnvtPp-xPw/viewform

Що цікаво:
- деліверіс (CNCF, Kuberentes, клауди, хайлоад)
- унікальний досвід роботи під час війни (електрика, датацентри, міграції, атаки)

Що не цікаво:
- реклама
- руснявий тулінг 💩

Долучайтесь у якості спікерів, ETA - 2 тижні.

Разом переможемо! 🇺🇦

Інженер отримає запрошення до перегляду компенсації, коли погодяться усі стейкхолдери і будуть виконані всі умови, — тімлід, який насправді не планує вас промоутити

# Менеджерський булшит, який ні до чого не зобовʼязує, і дає мільйон варіантів відмовити у майбутньому