Kubernetes: моніторинг Events з kubectl та Grafana Loki

В Kubernetes окрім метрик та логів з контейнерів ми маємо змогу отримувати інформацію про роботу компонентів за допомогою Kubernetes Events. В евентах зазвичай зберігається інформація про статус подів (створення, Evict, kill, ready або not-ready статус подів), про WorkerNodes (статус серверів), про роботу Kubernetes Scheduler (неможливість запуску поду, тощо). Contents - Типи Kubernetes Events - Kubernetes…

https://rtfm.co.ua/kubernetes-monitoring-events-z-kubectl-ta-grafana-loki/

#kubernetes #grafana

Kubernetes: контейнери та “загублений” SIGTERM

Маємо API-сервіс в Kubernetes, який періодично видає 502, 503, 504 помилки. Почав його дебажити, і виявив дивну штуку – в логах не було повідомлень про отриманий SIGTERM, а тому спочатку пішов розбиратись з Kubernetes – чому він його не відправляє? Contents - The Issue - Kubernetes та процес Pod termination - PID 1 та SIGTERM…

https://rtfm.co.ua/kubernetes-kontejneri-ta-zagublenij-sigterm/

#kubernetes #docker #linux

AWS: RDS з IAM database authentication, EKS Pod Identities та Terraform

Готуємось мігрувати базу даних нашого Backend API з DynamoDB до AWS RDS з PostgreSQL, і нарешті вирішив спробувати що ж таке AWS RDS IAM database authentication, який з’явився здається ще десь у 2021. IAM database authentication, як, в принципі, можна здогадатись з назви, дозволяє нам виконувати аутентифікацію в RDS за допомогою AWS IAM, а не…

https://rtfm.co.ua/aws-rds-z-iam-database-authentication-eks-pod-identities-ta-terraform/

#333399 #AWS #AWS_RDS #Kubernetes #Security #Terraform

Підготовка до зими 2024-2025: ДБЖ, інвертори, та акумулятори

Перший пост цієї “серії” (яка взагалі не планувалась як серія) – я написав ще у 2022, коли вперше довелося почати розбиратись з електрикою і тим, як забезпечити електрохарчування вдома під час відключень: 1. Підготовка до зими 2022-2023: інтернет, електрика, опалення, їжа та вода (опублікований 1 січня 2023) 2. Підготовка до зими 2023-2024: електрохарчування (опублікований 13…

https://rtfm.co.ua/pidgotovka-do-zimi-2024-2025-dbzh-invertori-ta-akumulyatori/

#електрика

AWS: Kubernetes та Access Management API – нова схема авторизації в EKS

Ще одна крута фіча, яку Амазон показав ще на минулому re:Invent в листопаді 2023 – це зміни в тому, як AWS Elastic Kubernetes Service виконує аутентифікацію та авторизацію юзерів. При чому це стосується не тільки саме користувачів кластеру, а і WorkerNodes. Тобто, не дуже-то нова схема – але в мене ось тільки зараз дійшли руки…

https://rtfm.co.ua/aws-kubernetes-ta-access-management-api-nova-sxema-avtorizaciї-v-eks/

#333399 #AWS #AWS_EKS #Kubernetes #Security

EcoFlow: моніторинг з Prometheus та Grafana

В продовження теми з Підготовка до зими 2024-2025: ДБЖ, інвертори, та акумулятори. Сюрпрайз – для EcoFlow навіть є Prometheus експортер – berezhinskiy/ecoflow_exporter. Виглядає прям дуже круто. Запустив, подивився на це діло – і побіг писати цей пост. Запускається фактично в пару кліків з Docker Compose, файл є “в комплекті” експортера. Contents - Як це працює?…

https://rtfm.co.ua/ecoflow-monitoring-z-prometheus-ta-grafana/

#EcoFlow #Grafana #monitoring #Prometheus #Telegram #електрика

Terraform: EKS та Karpenter – upgrade версії модуля з 19.21 на 20.0

Наче звична задача – оновити версію модулю Terraform, але в terraform-aws-modules/eks версії 20.0 були досить великі зміни з breaking changes. Зміни стосуються аутентифікації та авторизації в AWS IAM та AWS EKS, які розбирав в пості AWS: Kubernetes та Access Management API – нова схема авторизації в EKS. Але там ми все робили руками, аби взагалі…

https://rtfm.co.ua/terraform-eks-ta-karpenter-upgrade-versiї-modulya-z-19-21-na-20-0/

#AWS #AWS_IAM #karpenter #Kubernetes #Terraform

Terraform: менеджмент EKS Access Entries та EKS Pod Identities

Отже, маємо кластер AWS Elastic Kubernetes Service з Authentication mode EKS API and ConfigMap, який ми включили під час апгрейду Terraform-модуля з версії 19.21 на 20.0. Перед тим, як переключати EKS Authentication mode повністю на API – нам потрібно з aws-auth ConfgiMap перенести всіх юзерів і ролі в Access Entries EKS-кластера. І ідея зараз така,…

https://rtfm.co.ua/terraform-menedzhment-eks-access-entries-ta-eks-pod-identities/

#333399 #AWS #AWS_EKS #AWS_IAM #Kubernetes #Terraform

https://dou.ua/forums/topic/49543/

Вперше на Dou.ua ^_^

AWS: IAM Access Analyzer policy generation – створення IAM Policy

Доволі частий кейс, коли на новому проекті, який тільки створює свою інфраструктуру і CI/CD, робиться це як MVP/PoC, і на початку на тюнінг AWS IAM Roles та IAM Policies час не витрачається, а просто підключається AdministratorAccess. Власне, саме так відбувалось і в моєму проекті, але ми ростемо, і прийшов час навести лад в IAM. Contents…

https://rtfm.co.ua/aws-iam-access-analyzer-policy-generation-stvorennya-iam-policy/

#AWS #AWS_IAM #Security

Anyone can Access Deleted and Private Repository Data on GitHub

Sounds scary, if you didn't deep dive into how git works and how GitHub hosts it.

TL;DR: If some repo can git fetch upstream - all these fetchable commits will be always accessible from this fork/main repo.
Only after the visibility of the repo changes - new commits will be not discoverable.

For more details and examples, check this article, which was brought to us from CatOps Chat.

#security #git #github

А хто з моїх читачів веде блоги\телеграм канали?

З тих що прямо знаю це @catops, @devopsengineer (якщо ще читає), @rtfmcoua, @geekopsua

якщо ви ведете щось — пошарю у цьому мессаджі

А то багато усього цікавого і треба якось шарити 🙂

додано:

https://www.youtube.com/channel/UCGVrYLe4-dpHuue16-b84iA

https://www.disfinder.com/posts/ (https://xn--r1a.website/boston_by_eyes_of_aliens)

https://xn--r1a.website/tbtpm

https://www.youtube.com/channel/UC-EEBX3yVkBaSduOYykQbKA

https://xn--r1a.website/mamkin_architect

https://xn--r1a.website/snclab

https://devdosvid.blog/

Буду благодарен, если поддержите инициативу по подписи плагина VictoriaMetrics для Grafana https://github.com/grafana/grafana/issues/91687
Контекст https://grafana.com/blog/2024/08/06/prometheus-data-source-update-redefining-our-big-tent-philosophy/

AWS: Kubernetes та External Secrets Operator для AWS Secrets Manager

Маємо на проекті новий EKS кластер 1.30, на якому хочемо повністю відмовитись від старого IRSA з OIDC і почати користуватись EKS Pod Identities – див. AWS: EKS Pod Identities – заміна IRSA? Спрощуємо менеджмент IAM доступів. І все наче працює чудово, але коли почав деплоїти наш Backend API – поди не стартують, і висять в…

https://rtfm.co.ua/aws-kubernetes-ta-external-secrets-operator-dlya-aws-secrets-manager/

#333399 #AWS #Kubernetes #Security

VictoriaLogs: знайомство, запуск в Kubernetes, LogsQL та Grafana

VictoriaLogs – відносно нова система для збору та аналізу логів, схожа на Grafana Loki, але – як і VictoriaMetrics в порівнянні з “ванільним” Prometheus – менш вибаглива до ресурсів CPU/Memory. Особисто я користуюсь Grafana Loki років 5, але до неї іноді буває дуже багато питань – і по документації, і по загальній складності системи, бо…

https://rtfm.co.ua/victorialogs-znajomstvo-zapusk-v-kubernetes-logsql-ta-grafana/

#333399 #Kubernetes #monitoring #VictoriaLogs #VictoriaMetrics

Karpenter: використання Disruption budgets

Disruption budgets з’явились в версії 0.36, і виглядає як дуже цікавий інструмент для того, аби обмежити Karpenter в перестворенні WorkerNodes. Наприклад в моєму випадку ми не хочемо, аби EC2 вбивались в робочі часи по США, бо там у нас клієнти, а тому зараз маємо consolidationPolicy=whenEmpty, аби запобігти “зайвому” видаленню серверів та Pods на них. Натомість…

https://rtfm.co.ua/karpenter-vikoristannya-disruption-budgets/

#333399 #AWS #karpenter #Kubernetes

VictoriaMetrics Cloud: інтеграція з AWS Data Firehose для CloudWatch метрик

Про саму VictoriaMetrics Cloud напишу окремо, а зараз хочу перевірити як можна писати CloudWatch Metrcis через AWS Firehose до VictoriaMetrics Cloud. Власне, сам сервіс AWS Data Firehose дозволяє передачу потокових даних з різних джерел до сервісів Amazon на кшталт AWS S3, Redshift, OpenSearch, або до зовнішніх – Datadog, New Relic, і т.д. Нещодавно VictoriaMetrics запустила…

https://rtfm.co.ua/victoriametrics-cloud-integraciya-z-aws-data-firehose-dlya-cloudwatch-metrik/

#333399 #AWS #AWS_CloudWatch #monitoring #VictoriaMetrics

GitHub Actions: запуск Actions Runner Controller в Kubernetes

Ми користуємось GitHub Actions для деплоїв, і врешті-решт прийшли до того, що хочеться запускати Runners на своїх серверах в Kubernetes, бо: - self-hosted GitHub Runners дешевші – фактично, платимо тільки за сервери, на яких запускаються джоби - нам потрібно запускати SQL migrations на AWS RDS в приватних сабнетах - перформанс – ми можемо використовувати будь-який…

https://rtfm.co.ua/github-actions-zapusk-actions-runner-controller-v-kubernetes/

#333399 #Docker #Github #Github_Actions #Kubernetes

24 жовтня ділитимемося практичними порадами щодо сучасних підходів до обробки даних, огляд інструментів та кейсів від провідних експертів у сфері Data Engineering.

Спікери розкажуть про рішення для архітектурних викликів даних у Redshift, уроки з впровадження Data Mesh з Kafka для 50+ команд, реалізацію фреймворку Data as a Product з AWS DataZone, відкриття даних у багатоаккаунтних середовищах AWS, помилки при плануванні архітектури даних та приховані недоліки AWS MWAA та багато іншого.

Що очікувати від нового розділу AWS Notes:

- 6 Tech Notes, де спікери поділяться своїм досвідом побудови та роботи із системами обробки та аналізу даних
- 2 короткі Snap Talks з концентрованими інсайтами про найсвіжіші технології та практики
- Формат: онлайн
- Час: 14:00 - 20:30 (GMT+3)
- Участь безкоштовна


З цієї нагоди ми збираємо разом провідних data експертів та сертифікованих AWS спеціалістів, серед яких: Юлія Шологонь з SoftServe, Тарас Сліпець з Flix, Alex DeBrie (AWS Data Hero), Joel Farvault з AWS, Ростислав Мироненко з Booking.com, Дмитро Сірант з OpsWorks та Максим Войтко з Honeycomb Software.

Для більш детальної інформації та реєстрації відвідайте сайт конференції: https://bit.ly/3YjdrzH

🎦 Онлайн вебінар “Solving AWS VPC CIDR overlaps”

Якщо вам доводилося працювати з однаковими CIDR блоками у AWS VPC, то ви точно знаєте як складно організувати комунікацію між ними. Це спричиняє численні складнощі для інженерів та адміністраторів мережі, включаючи конфлікти маршрутизації, ризики безпеки та операційні виклики.

На вебінарі ви отримаєте практичні рішення для усунення цих проблем та цінні інсайти щодо процесу впровадження надійної та безпечної мережевої архітектури🤓

Це чудова можливість для технічних фахівців поглибити знання та прокачати навички управління мережами!

👨‍💻 Спікер: Сергій Кайдалов — Solution Architect із 8 сертифікатами AWS та 6-річним досвідом у DevOps та хмарних рішеннях
📅 Дата та час: 20 листопада, 18:00
🌍 Мова: англійська

🔥Приєднуйтесь, реєстрація безкоштовна: https://bit.ly/3AlBe8Z

AWS: VPC Flow Logs – логи до S3 та Grafana dashboard з Loki

В продовження теми AWS: VPC Flow Logs, NAT Gateways, та Kubernetes Pods – детальний обзор. Там ми розбирали роботу з VPC Flow Logs в цілому, і дізнались, як ми можемо отримувати інформацію про трафік з/до Kubernetes Pods. Але при використанні Flow Logs з CloudWatch Logs є одна проблема – це вартість. Наприклад, коли ми включаємо…

https://rtfm.co.ua/aws-vpc-flow-logs-logiv-do-s3-ta-grafana-dashboard-z-loki/

#333399 #AWS #AWS_CloudWatch #Grafana #Kubernetes #Loki #monitoring #Networks #VictoriaLogs #VictoriaMetrics