До вашої уваги — те, заради чого ми всі тут зібралися! (жартуємо, або ні 😅)

Оновлений DevOps-дайджест повертається!

Над матеріалами працювала крута команда: Олексій Асютін, Влад Волошин, Олег Миколайченко, Дмитро Горбунов, Андрій Білоус. Хлопці відібрали найцікавіші матеріали, на які варто звернути увагу, тож гайда читати!

Terraform vs AWS CDK

Поки в нас летять кинджали і крилаті ракети разом з шахідами, ми продовжуємо працювати і знайшли прикольну штуку.

Зацініть, наскільки вона прикольна (опера в 3 діях):
1️⃣ Amazon просуває свій сервіс для роботи з git репозиторіями - AWS CodeCommit
2️⃣ Amazon просуває свій тулсет для IaC (AWS CDK —> CloudFormation)
3️⃣ AWS CDK не підтримує необхідних ресурсів для конфігурації AWS CodeCommit

А що ж Terraform? Підтримує.

Тобто, Amazon в своїй екосистемі не підтримує сумісність, а third-party (для них так виглядає Terraform) - підтримує.

Чи є у вас ще питання доцільності використання AWS CDK? 😂

Пруфи:
🔸Фіча AWS CodeCommit: https://docs.aws.amazon.com/codecommit/latest/userguide/approval-rule-templates.html (Approval Rule Templates - кому ж треба ці CODEOWNERS, фігня якась)
🔸Ресурс в Terraform: https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/codecommit_approval_rule_template
🔸Відкритий фіче-ріквест в AWS CDK: https://github.com/aws/aws-cdk/issues/18254

Це ще одне додаткове підтвердження, чому Terraform - стандарт ринку, Gitlab - стандарт ринку, і вам не треба змінювати ці рішення, щоб не наступати на неочевидні проблеми.

Якщо ви знаєте ще такі приклади, накиньте пліз в коментах (або зворотні приклади).

Працюємо далі!

4 ударні багаторазові FPV дрони з тепловізором

Шановне DevOps панство, прохання сьогодні підтримати підрозділ пілотів 45-го ОСБ з такими характеристиками:

- дальність 8км
- 3кг корисного навантаження
- низький шум
- Dual-HD + тепловізійний приціл

Приклади роботи (відео, фото) в пості:
https://xn--r1a.website/full_of_hatred/797

Збором займається Вова Рожков та Віталій Ратушний (інженери давно в темі, займаються цим серйозно) - модифікують дрони з ринку, підвищуючи їх ефективність і характеристики. Дрони повертаються на базу, тож реюзабельність присутня 🙂

Задумка в чому: всі чекають контрнаступ, тож давайте допоможемо, і підвищимо шанси на успіх 🇺🇦

Банка:
https://send.monobank.ua/jar/2FVDAiJvat

Снепшот поточного стану:
Accumulated - 76 553.91, Goal - 242 800

Приклад як завжди в коментах. Всім тихого робочого дня!

OpenCost — open source cost monitoring

Власне, OpenCost - це тула, яка допомагає отримати ще більшу візібіліті по витратам всередині вашого Kubernetes кластеру.

Чудово вирішує нескінчені ріквести «А скільки це коштує?» або «Порахуйте мені вартість цього сервісу за 2022 рік». Достатньо дати кастомеру, PM, або іншому клієнту цей інтерфейс - і вже буде приблизне бачення, про які суми йдеться.

Корисно буде не всім, принаймні у нашому кейсі - доволі неточні підрахунки (в нас є і знижки, і апфронт пейменти, яких не відображає Billing API), тож ця штука теж не може видати ідеальний результат, який можна було б одразу ріпортити.

Так чи так, комусь підійде, хтось трохи підрихтує сетап, і якусь частину задач до команди вийде мінімізувати.

Встановлюється через helm, інтегрується з Prometheus, рахує по неймспейсам/деплойментам/подам через апішку клауд провайдерів.

З коробки підтримує основні клауди + кастом on-prem:
- AWS/EKS
- Azure/AKS
- GCP/GKE
- On-prem clusters via custom pricing sheets

https://www.opencost.io/

Потрібен голос спільноти!

Щойно пройшов регулярний сінк по DevOps Days, і ми бачимо, що на жаль, на ринку хайрінг фріз, компанії заморожують бюджети на інтеграції з конференціями, і жмуть донати.

В той же самий час, з організаційної сторони лайнапи готові, спікери готові, всі готові. Тобто, виглядає так, що ми потенційно зможемо провести конференцію, але без великої і потужної котлети грошей від спонсорів (які далі прямують у гуманітарні фонди).

Або ми можемо перенести конференцію на осінь цього року, і методично говорити з великими компаніями, щоб вони розпакували свою донатилку. Тоді це могло б бути більш ефективно. Нагадаю, що минулого року вдалось залучити €100 000 від спонсорів.

Linux Foundation Training 40% знижка

Вітання! Віталій Віннічук поділився промо знижкою з KubeCon, яку нарив десь у Твітері. Подейкують, вона мала б бути унікальна і персоналізована для учасників конференції, але виглядає як розшарена для всіх.

Заекспайриться через 4 дні: 23:59 Pacific on Monday, 24 April 2023. Пруфи в коментах!

KCEU23

https://training.linuxfoundation.org/full-catalog/

containerd + fluentbit != json logs?

Шановне DevOps панство, звертаюсь не з вирішенням, а саме з проблемою. Підкажіть пліз, хто стикався з такою штукою, і чи вдалось пофіксити або знайти воркераунд?

У нас після апгрейду на AWS EKS 1.25 з containerd CRI відпав валідний анмаршал json. Тобто після фіксів логи збираються, все ок, приходять в OpenSearch але не парсяться в окремі філди, зручні для фільтерінгу.

Більш детально поведінка описана тут (в нас абсолютно ідентичний кейс):
https://github.com/fluent/fluent-bit/issues/7218

Як пофіксили?

Накидайте швидко пліз 24 698

Доброго дня, точковий і швидкий мікро-збір для НГУ, 7 окремий стрілецький батальйон, 23-тя бригада, військовий лікар самостійно долучився до лав сил оборони, необхідний ноутбук для роботи в полях.

Збір під контрнаступ! Тому треба швидко.

Відповідальність особисто на мені, передаю з рук в руки, звіт в канал.

Необхідно на сьогодні, прохання підключитись, важливо.
Банка за посиланням, картка в першому коменті!

https://send.monobank.ua/jar/9iWEDkeepe

39 хвилин! Зібрали

DevOps Інженери - найнадійніший економічний тил 🔥

Займаюсь організацією.

Далі технічні пости.

Тисну руку кожному! Переможемо 🇺🇦

DevOps Podcast #0

Спеціально переглянув, перед тим як постити, щоб все було ок (хоча це ж DOU, тому мало б бути точно ок, але все ж).

Мої враження:
- Індусам випуск би не сподобався, бо ведучі запропонували зробити каунтер для жартів про індусів
- Це другий прецедент ДевОпс підкасту на нашому ринку (перший - Неправильний ДевОпс), вітаємо команду 👍
- Ведучі - приємні люди, підкаст комфортно слухати, працювати під нього, в тачці думаю теж (але швидкість х1.5)
- Топіки, я так розумію, з коментів, і їх нормально навалило на ще один, і навіть ще пару епізодів - то ж, чекаємо
- В обговореннях не помітив зашкварів, якоїсь лютої дичини, або відверто тригерних моментів - вважаю, що пройшло на досить непоганому рівні

Серед цікавого для себе виніс курс на Coursera - Learning How to Learn, якось за часу та натхнення зверну увагу на цей курс, і сподіваюсь він буде в скарбничці штук, які можна рекомендувати ньюкамерам.

З коментів ютубу, в коментатора трохи підгоріло, а ми можемо зробити висновок - що ведучі говорять з нами мовою ДевОпсів лол 🙂:
На Амазоні дуже багато всього ЧАРДЖИТЬСЯ за просто те, шо це МЕНЕДЖ

З важливого, варто зазначити що ми бачили 4 спікери, але для того щоб це їхало - існує велика команда DOU, яка невпинно формує українське ІТ. І це чудово. Там є свої зірочки. Вони великі молодці.

https://www.youtube.com/watch?v=pocI7wSNFVI

How We Gained Observability Into Our CI/CD Pipeline

Випадково наткнувся на досить непогану динамічну доповідь про observability в CI/CD від компанії Logz.io

Logz - це та компанія, яка давала офер з двозначного числа ще до війни (зараз - не знаю), і на співбесідах уже було настільки напряжно, що не так і хотілось той офер. На співбесідах менеджери насідали так потужно, що мені здавалось що я вже вписався в двіжуху Puppet/Chef/Salt на дедіках, хоч це був якийсь там початковий етап циклу співбесід. Купа кластерів, деплойментів, різних шматків, просто хардкор.

Остання співбесіда була 15 хв, де якийсь тіп повідомив, що якщо вже вдалось дійти до цього етапу, то все підходить, і запитав тільки чи готовий я махати величезною сталевою лопатою. Тобто там реально інженери вписуються і деліверять.

Щодо доповіді (ключові поінти):
🔸 Надсилаємо логи білдів в Logging Platform, де аналізуємо (скільки джоб, які помилки, тривалість етапів, etc) і робимо візуалізації + можемо і нотифікації <— тут є широке поле для експериментів
🔸 CI/CD тулу напаковуємо експортерами, колекторами метрик, всім чим можна - і теж повторюємо трюк з візуалізаціями (автор пропонує Telegraf + Jenkins Input Plugin)

У нас немає таких штук (є базові, якими ніхто не користується) - в доповіді були приклади, як зробити це адекватним і юзабельним. Також було б цікаво почути ваш досвід, яка інтеграція (або підхід) допомогла покращити observability в CI/CD процесі.

(вечір перед вихідними не витрачаємо, а дивимось доповідь - покращує mental health) ✅

https://fosdem.org/2023/schedule/event/how_we_gained_observability_into_our_cicd_pipeline/

Inside Datadog’s $5M Outage (Real-World Engineering Challenges #8)

Datadog автоматично насетапили собі апдейт Ubuntu 22.04 з декількома фіксами systemd і завалили собі весь мультиклаудний продакшн. Причому проблема була не в systemd, а в процесі оновлення цього пакету, який перетер їм кастомні eBPF роутинги.

Виглядає не дуже, і далі Datadog виправдовується у частині постмортему під назвою “4. Why did running in 5 regions on 3 different cloud providers not help?” 😅

Загалом багато питань:

- Чи є хоч якийсь інший енв, де ці апдейти деплойнулись за день-два, до проду? Їх ішью зарепродьюсилось би всюди, навіть на якомусь мікро енві, де є лише декілька нод.

- Функціонал ролбеку працює зовсім не так, як потрібно, бо оновлення не зупинилось після Х% unhealthy хостів (типу, ой, цей регіон ми вже поклали - і автоматизація вирішує не продовжувати далі, а пробувати ролбечити не здорові хости)

- Чи знали on-call інженери, що запустився автоапдейт? Через 3 хвилини прилетів перший алерт, далі через 15 хвилин прокинувся перший сапорт, і ще через 16 було очевидно increased latency. Чи можна було розкатати сетінгу “бігом вирубаємо unattended upgrade”?

Власне, в цьому потсмотремі мені не подобається абсолютно все, і навіть прикро за Datadog що все було проти них. Окрім цитат з SRE book, вони завжди подобаються.

Дивимось далі, Datadog робить такі висновки:
- 1. Made OS images resilient to systemd updates.
- 2. No more automatic updates.

Виходить, що вирішили вимкнути security updates. На масштабі Datadog, думаю, доцільно було б найняти окрему команду, і назавжди віддати цю проблему (тестити, деплоїти мануально-автоматизовано, нести відповідальність).

У нас немає такого масштабу, і за день такої сраки ми не втратимо $5M. В той же час, нам потрібні секьюріті апдейти хостової ОС. Амішки, драйвери, пакети - все що можна, має бути свіжим з пофікшеними vulnerabilities, але тепер великий челендж - не отримати такий результат, як у Datadog.

Щоб бути world-class інженерами, треба вирішувати world-class проблеми. Будемо вирішувати.

https://newsletter.pragmaticengineer.com/p/inside-the-datadog-outage

hashicorp/aws 4.67.0 —> 5.0.1

Поки не апгрейдимось, чекаємо 2-3 тижні.

Аргументи:
- 48 брейкін ченджів
- 5.0.1 зарелізили з BUG FIXES: provider/tags: Fix crash when tags are null лол
- в мене особисто сходу не завівся жоден енв, який мав працювати
- кожну годину на GitHub нова ішью

Чекаємо.

Shark + Шалені Кабани

Вітаю, прохання конвертонути новини вчора —> в хороший донат сьогодні.

Підсвічую 2 варіанти:
1) @shaleni_kabany - Альфа, Омега, ГУР, гумові човни, набої, тепловізори. Рекомендую підписатись, ми вже допомагали Шаленим Кабанам і успішно зібрали на частину бандеромобіля.
Останнього разу мене просили підсвітити збори на човни - не знаю наскільки це актуально зараз, енівей - хлопці тримають руку на пульсі, і радують підписників чудовими відео (якщо ви розумієте, про що я) 🚀

2) DOU збирає потужну котлету на борти Shark, а велика котлета збирається з мікродонатів.
Долучайтесь: https://dou.ua/forums/topic/43731/

Тихого і продуктивного дня 🤝

DOU DevOps Meetup

Шановні девопси, 26 липня у Києві організовуємо офлайн-мітап! Нічого не плануйте на вечір (середа), будемо спілкуватись, слухати доповіді, подивимось на наше комьюніті під час війни і зберемо трохи донатів на перемогу 🚀

Локацію повідомимо згодом, інженерів з інших регіонів - запрошуємо, онлайн - стрімити будемо.

Станом на зараз у нас є рокстар-спікер Сергій Міхно (на Kyiv DevOps Community розклав ClickHouse + vector.dev по поличкам), тому прохання долучатись до Call For Papers:

https://docs.google.com/forms/d/e/1FAIpQLSepkpfQcY-rEaIOuZzP7w4rrFuJ6LYTI9rWFnvAqnvtPp-xPw/viewform

Що цікаво:
- деліверіс (CNCF, Kuberentes, клауди, хайлоад)
- унікальний досвід роботи під час війни (електрика, датацентри, міграції, атаки)

Що не цікаво:
- реклама
- руснявий тулінг 💩

Долучайтесь у якості спікерів, ETA - 2 тижні.

Разом переможемо! 🇺🇦

Інженер отримає запрошення до перегляду компенсації, коли погодяться усі стейкхолдери і будуть виконані всі умови, — тімлід, який насправді не планує вас промоутити

# Менеджерський булшит, який ні до чого не зобовʼязує, і дає мільйон варіантів відмовити у майбутньому

Next War Won't be a Cyber War, it will be a DevOps War

(1) У нас багато роботи
(2) Ми знаємо що робити, в цьому кейсі так точно
(3) F-16, ATACMS ASAP

https://ryanmcbeth.substack.com/p/how-america-loses-the-next-war?sd=pf

TLDR: Орки вчились збивати HIMARS 6+ місяців

Architecture Decision Record або Architecture Decision Log

Сьогодні хочу підсвітити чудову практику, яка допоможе зробити вашу роботу і рішення більш прозорими, створить knowladge base і пришвидшить комунікацію з клієнтами.

Вперше про Architecture Decision Log почув коли необхідно було впровадити новий інструмент згідно ріквесту нашого замовника, але він був прямо ну абсолютно не юзабельний. Треба було комунікувати документами, бо на пальцях неможливо мати сильну позицію на обговореннях.

Надалі ми зробити Confluence сторінку, де описали Pros/Cons, фідбеки від команд, потенційні проблеми і пояснювали замовнику, що ми типу можемо, але буде дуже боляче. Це і був ADR, який народився природно.

З часом прийнятих і не прийнятих рішень створюється величезний snowflake, надалі ж - всім відома фраза так склалось історично. Тому, для того, щоб розуміти історію прийнятих або відхилених рішень з питань архітектури, практик, тулсету - рекомендую використовувати Architecture Decision Record підхід, або ж інший його неймінг - Architecture Decision Log.

Додаю приклад, як зробити цей підхід набагато зручніше, ніж сторінки в Confluence:

https://github.com/ministryofjustice/modernisation-platform/tree/main/architecture-decision-record

Забирайте шаблон, і будуйте стійкі докази для прийнятих, або відхилених рішень.

🎙️ Ми в етері, приєднуйтесь!

Говоримо про Trunk-based development та GitFlow.

🗣 Спікери:
- Андрій Горобченко, Bored DevOps Engineer в Vareger Group
- Валерія Іванова, DevOps Team Lead at Plarium
- Дмитро Стрілецький, Senior Software Engineer в Plum

🔴 Трансляція: Telegram

Під цим дописом можна спілкуватись в чаті, лишати свої коментарі та питання спікерам, або ж — "піднімати руку" на самому войсчаті.

Small fundraiser campaigns are good to cover local needs right here, right now.

Currently, my wife is raising 150k UAH to get 18 complete medical kits to the 27th battalion of the 67th brigade of the AFU.

Her brother's girlfriend's relative serves in that battalion.

Requisites for donations:

🎯 Goal: 150 000.00 ₴

🔗 Monobank Jar:
https://send.monobank.ua/jar/5zCptYx1sb

💳 Card number
5375 4112 0823 3556

Thank y'all for your support!

#donations #Ukraine