AWS: Cost Explorer – проверка расходов на примере CloudWatch Logs

Данный пост – не полноценный обзор возможностей Cost Explorer (а их много), но больше просто пример того, как с его помощью можно отследить расходы. В данном случае, вернувшись из отпуска обратил внимание, что за август существенно выросли расходы на CloudWatch – до 50 долларов в день (входит в Others на графике):   Что бы узнать,…

https://rtfm.co.ua/aws-cost-explorer-proverka-rasxodov-na-primere-cloudwatch-logs/

.NET Meetup Temabit

Привет! Готовы окунуться в мир .NET?  Приглашаем присоединиться к новому митапу от Temabit Fozzy Group 14 сентября. На митапе вас ждут выступления от: Кристоса Матскаса с Microsoft с темою “Secure your apps with Azure and Microsoft Identity’” Антона Копосова с Temabit Fozzy Group, который расскажет про способы интеграции систем и паттерны интеграции с помощью MassTransit…

https://rtfm.co.ua/net-meetup-temabit/

Kubernetes: Helm – “x509: certificate signed by unknown authority” и ServiceAccount для Pod

Имеются у нас Github runners, которые запущены в виде подов в Kubernetes-кластере, см. Github: обзор Github Actions и деплой с ArgoCD. На них выполняеттся сборка docker-образов и их пуш в Docker Hub, а затем деплой приложения с Helm или ArgoCD. При первом запуске helm install в поде получаем ошибку “x509: certificate signed by unknown authority“:…

https://rtfm.co.ua/kubernetes-helm-x509-certificate-signed-by-unknown-authority-i-serviceaccount-dlya-pod/

Kubernetes: менеджер плагинов Krew и полезные плагины для kubectl

Одна из наиболее приятных возможностей kubectl – это его расширяемость за счёт плагинов. Конечно, есть Lens, который прям отлично заходит разработчикам, которые не очень любят консоль, или есть k9s, но плагины kubectl – отдельная тема. В этом посте установим Krew для управления плагинами, и рассмотрим несколько наиболее интересных, с моей личной точки зрения, плагинов. Contents…

https://rtfm.co.ua/kubernetes-menedzher-plaginov-krew-i-poleznye-plaginy-dlya-kubectl/

AWS User group Ukraine: AWS Tech Conference

Boom!  Встречайте виртуальную AWS Tech Conference от AWS User Group Ukraine!  В программе конференции: 6 хайлоад докладов 6 воркшопов с тренерами AWS Ask an Expert з AWS 1500 участников онлайн призы за лучшие вопросы Спикеры — команда AWS с разных уголков мира, поэтому доклады будут на украинском, русском и английском языках. Суперинтересно будет backend разработчикам…

https://rtfm.co.ua/aws-user-group-ukraine-aws-tech-conference/

21 октября состоится Cloud Builders Build-up: DevOps Edition, тема билдапа - Azure.

В программе:
✔️Azure Kubernetes Service (AKS) CI / CD with GitHub - Томас Стрингер, Principal Software Engineer Lead at Microsoft
✔️ Fireside chat с Дилан Битти, Systems architect and developer at Ursatile. С Диланом поговорим про Azure DevOps в формате fireside chat — неформальной дискуссии между модератором, спикером и участниками.
✔️ Azure Policy + Terraform = Policy-As-Code - Александр Карпенко, Senior DevOps Engineer at Intellias
✔️ Секретный спикер, который будет анонсирован позже.

📍Когда и где: 21 октября в 19:00, онлайн.
📍 Участие бесплатное.

👉 Регистрация

AWS: Lambda – копирование тегов EC2 на EBS, часть 1 – Python и boto3

Есть кластер AWS Elastic Kubernetes Service, у которого есть несколько WorkerNode Group, которые созданы как AWS AutoScaling Groups, всё создаётся через eksctl, см. AWS Elastic Kubernetes Service: — автоматизация создания кластера, часть 2 — Ansible, eksctl. Для WorkerNode Group в конфигурации eksctl прописан набор тегов, которые позволяют проводить инвентаризацию сервисов: --- apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig…

https://rtfm.co.ua/aws-lambda-kopirovanie-tegov-ec2-na-ebs-chast-1-python-i-boto3/

AWS: Lambda – копирование тегов EC2 на EBS, часть 2 – создание Lambda-функции

Продолжаем создавать Lambda-функцию для копирования тегов EC2 на EBS. В первой части – AWS: Lambda – копирование тегов EC2 на EBS, часть 1 – Python и boto3, мы написали Python-скрипт, который умеет получать список всех EC2 в регионе, и потом для каждого ЕС2 получает список всех его EBS, на которые копирует теги плюс добавляет один…

https://rtfm.co.ua/aws-lambda-kopirovanie-tegov-ec2-na-ebs-chast-2-sozdanie-lambda-funkcii/

📌30 жовтня відбудеться конференція Tech Ground: Java Edition!
До чого тут DevOрs? На конфі два потоки і один із них ─ Cloud, де будуть говорити про наші теми.

Що: Tech Ground: Java Edition
Де: онлайн
Коли: 30.10 о 12:00 за GMT + 3

Теми:
Andrii Rodionov, JUG UA leader з темою "GraalVM Native image"
Patrycja Wegrzynowicz, CTO of Yon Labs, Oracle Groundbreakers Ambassador розповість про "A Multi-Cloud Cluster Mesh Based on Kubernetes with Cilium"

Крім того, будуть ще open space discussion, де можна обговорити актуальні питання та поділитися досвідом з колегами!

Кому буде цікаво: OPS (Sysadmins, DevOps, SRE), Cloud Software Engineers.

Ціна питання:
Безкоштовно за попередньою реєстрацією: https://bit.ly/2ZxZ4LI
Посилання на трансляцію прийде за 3 години до початку конфи.

AWS: Cost optimization – обзор расходов на сервисы и стоимость трафика в AWS

Продолжим серию постов по оптимизации расходов в AWS. Предыдущие посты – AWS: оптимизация расходов – покупка и анализ RDS Reserved Instances и AWS: Cost Explorer – проверка расходов на примере CloudWatch Logs. Один из основных недостатков cloud-based архитектуры является стоимость обслуживания такой системы. При этом у клауд-провайдеров может быть весьма запутанная схема тарификации, в которой…

https://rtfm.co.ua/aws-cost-optimization-obzor-rasxodov-na-servisy-i-stoimost-trafika-v-aws/

AWS: Costs optimization – обзор Bills и Cost Explorer и контроль расходов

Продолжим серию по оптимизации расходов в AWS. Предыдущие посты –AWS: оптимизация расходов – покупка и анализ RDS Reserved Instances, AWS: Cost Explorer – проверка расходов на примере CloudWatch Logs, AWS: Cost optimization – обзор расходов на сервисы и стоимость трафика в AWS. Теперь, когда мы разобрались за что мы вообще платим в AWS – посмотрим,…

https://rtfm.co.ua/aws-costs-optimization-obzor-bills-i-cost-explorer-i-kontrol-rasxodov/

AWS: Console – тёмная тема оформления

В production эту фичу ещё видимо не завезли (объявят на re:Invent-2021?), но через Developer Tools браузера можно задать тёмную тему оформления для панели управления AWS. Открываем Developer Tools (F12) и AWS Console, переключаемся во вкладку Application, слева в Storage открываем Cookies: В Filter находим параметр aws-color-scheme: Двойной клик на Value, что бы открыть на редактирование,…

https://rtfm.co.ua/aws-console-tyomnaya-tema-oformleniya/

AWS: Trusted Advisor, часть 1 – обзор возможностей

AWS Trusted Advisor – инструмент от AWS, позволяющий проверить аккаунт и используемые в нём ресурсы на предмет оптимизации расходов, производительности, безопасности и отказоустойчивости. При этом доступные вам рекомендации зависят от типа Support Plan вашего аккаунта. К счастью, у нас Premium, так что есть возможность показать все детали Trusted Advisor. Общая документация тут – Проверки AWS…

https://rtfm.co.ua/aws-trusted-advisor-chast-1-obzor-vozmozhnostej/

AWS: Trusted Advisor, часть 2 – алерты CloudWatch и уведомления в Slack

В продолжение темы по работе с AWS TrustedAdvisor – рассмотрим настройку отправки уведомлений и обновление данных в Trusted Advisor. Начало – AWS: Trusted Advisor, часть 1 – обзор возможностей. Что бы настроить уведомления – используем метрики Trusted Advisor, которые он шлёт в CloudWatch, см. список на странице Trusted Advisor metrics and dimensions. Далее, CloudWatch будет…

https://rtfm.co.ua/aws-trusted-advisor-chast-2-alerty-cloudwatch-i-uvedomleniya-v-slack/

Prometheus: Recording Rules и теги – разделяем алерты в Slack

С 2018 года используем Opsgenie, который получает алерты от Prometheus, CloudWatch и Uptrends, которые потом через Slack-интеграцию отправляет нам в Slack. Интеграции Slack на данный момент выглядят так: В каждой из них настроен фильтр по уровню важности, например интеграция P1, P2 > Slack #devops-alarms-warning: Но есть проблема: так как каналы получаются общие, то все алерты…

https://rtfm.co.ua/prometheus-recording-rules-i-tegi-razdelyaem-alerty-v-slack/

RTFM: День рождения и годовщина – 10 лет. Обзор изменений.

Как время-то летит… В 2021 году блогу исполнилось целых 10 лет. Вообще, День Рождения блога я “отмечаю” 14-го августа – в день регистрации домена rtfm.co.ua: whois rtfm.co.uaDomain ID:228567_COUA-DRSDomain Name:RTFM.CO.UACreated On:14-Aug-2011 09:40:17 UTC И первый пост в нём был сделан в тот же день: https://rtfm.co.ua/idem-na-koshernyj-google/ Contents История, хостинг и всё вот это вотСтарая тема оформления1800 постов за 10 лет?Как я пишу в…

https://rtfm.co.ua/rtfm-den-rozhdeniya-i-godovshhina-10-let-obzor-izmenenij/

Prometheus: мониторинг AWS Load Balancer Controller Controller в AWS EKS

“Внезапно”, но AWS ALB Controller умеет в метрики для Prometheus. Используем стандартный URI /metrics. Для начала – проверим, что метрики в поде есть. Находим под: kk -n kube-system get pod | grep awsaws-load-balancer-controller-7bdcf75789-wk4bt   1/1     Running   0          41h Пробрасываем на него порт: kk port-forward -n kube-system pods/aws-load-balancer-controller-7bdcf75789-wk4bt 8080:8080Forwarding from 127.0.0.1:8080 -> 8080Forwarding from [::1]:8080 -> 8080 И пробуем с рабочей машины: curl -s localhost:8080/metrics | headHELP aws_api_call_duration_seconds Perceived latency from when your code makes an SDK call, includes retriesTYPE aws_api_call_duration_seconds histogramaws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.005"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.01"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.025"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.05"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.1"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.25"} 29aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.5"} 39aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="1"} 39 Супер – метрики есть. Осталось их собрать. Contents Настройка PrometheusALB Controller ServiceALB Controller ServiceMonitor Настройка Prometheus У нас…

https://rtfm.co.ua/prometheus-monitoring-aws-load-balancer-controller-controller-v-aws-eks/

AWS: RDS Proxy – обзор, запуск, тестирование

AWS RDS Proxy – сервис от AWS, позволяющий разгрузить сервера баз данных AWS RDS, в первую очередь за счёт переиспользования существующих подключений вместо открытия новых для выполнения запросов от клиентов. Кроме того, RDS Proxy улучшает failover при переключении упавшего инстанса на резервный, например – когда AWS RDS Aurora выполняет переключение read-replica на роль master, если…

https://rtfm.co.ua/aws-rds-proxy-obzor-zapusk-testirovanie/

Prometheus: мониторинг сети с node_exporter – метрики сети CloudWatch и Docker –net=host

Начал обновлять дашборды в Grafana, и столкнулся с двумя интересными вещами. Первое – что же на самом деле показывается в CloudWatch для сети в графиках NetworkIn/Out (Bytes), как эти данные правильно интерпретировать, и как данные CloudWatch коррелируют с данными самого node_exporter? Второе – почему node_exporter должен быть запущен именно в режиме host network mode? Сначала…

https://rtfm.co.ua/prometheus-monitoring-seti-s-node_exporter-metriki-seti-cloudwatch-i-docker-nethost/

Всем привет! Уже завтра, 26 января приглашаем на Cloud Builders: Java Edition.

В программе:

— Грейс Дженсен и Джейми Колмен, Developers Advocate в IBM, с tech talk “15 factors needed to build cloud native applications”.

— Джонатан Вила, Senior Software Engineer в Red Hat и Java Champion с fireside chat в формате Cloud AMA (ask me anything).

— Евгений Сулейманов, Senior Software Engineer в Bizzabo, выступит с lightning talk: “The complexities of working with ES in distributed systems on the real project”.

Модератор: Максим Сальников, Developer Engagement Lead в Microsoft

Язык докладов: английский.

Когда и где: 26 января в 19:00 онлайн. Участие бесплатное.

Регистрация 👉https://bit.ly/3rI9D9s

Elastic Stack: обзор и установка ELK на Ubuntu

Последний раз ELK трогал (oh, my!) 7 лет тому, см. ELK: установка Elasticsearch+Logstash+Kibana на CentOS. Сейчас активно используем Logz.io, но расходы всё растут, и понемногу начинаем смотреть в сторону self-hosted ELK для запуска в Kubernetes, а потому надо поднять такой себе Proof of concept, дабы вспомнить с чем его едят и как настраивают. Собственно, в…

https://rtfm.co.ua/elastic-stack-obzor-i-ustanovka-elk-na-ubuntu/