AWS: Lambda – копирование тегов EC2 на EBS, часть 1 – Python и boto3

Есть кластер AWS Elastic Kubernetes Service, у которого есть несколько WorkerNode Group, которые созданы как AWS AutoScaling Groups, всё создаётся через eksctl, см. AWS Elastic Kubernetes Service: — автоматизация создания кластера, часть 2 — Ansible, eksctl. Для WorkerNode Group в конфигурации eksctl прописан набор тегов, которые позволяют проводить инвентаризацию сервисов: --- apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig…

https://rtfm.co.ua/aws-lambda-kopirovanie-tegov-ec2-na-ebs-chast-1-python-i-boto3/

AWS: Lambda – копирование тегов EC2 на EBS, часть 2 – создание Lambda-функции

Продолжаем создавать Lambda-функцию для копирования тегов EC2 на EBS. В первой части – AWS: Lambda – копирование тегов EC2 на EBS, часть 1 – Python и boto3, мы написали Python-скрипт, который умеет получать список всех EC2 в регионе, и потом для каждого ЕС2 получает список всех его EBS, на которые копирует теги плюс добавляет один…

https://rtfm.co.ua/aws-lambda-kopirovanie-tegov-ec2-na-ebs-chast-2-sozdanie-lambda-funkcii/

📌30 жовтня відбудеться конференція Tech Ground: Java Edition!
До чого тут DevOрs? На конфі два потоки і один із них ─ Cloud, де будуть говорити про наші теми.

Що: Tech Ground: Java Edition
Де: онлайн
Коли: 30.10 о 12:00 за GMT + 3

Теми:
Andrii Rodionov, JUG UA leader з темою "GraalVM Native image"
Patrycja Wegrzynowicz, CTO of Yon Labs, Oracle Groundbreakers Ambassador розповість про "A Multi-Cloud Cluster Mesh Based on Kubernetes with Cilium"

Крім того, будуть ще open space discussion, де можна обговорити актуальні питання та поділитися досвідом з колегами!

Кому буде цікаво: OPS (Sysadmins, DevOps, SRE), Cloud Software Engineers.

Ціна питання:
Безкоштовно за попередньою реєстрацією: https://bit.ly/2ZxZ4LI
Посилання на трансляцію прийде за 3 години до початку конфи.

AWS: Cost optimization – обзор расходов на сервисы и стоимость трафика в AWS

Продолжим серию постов по оптимизации расходов в AWS. Предыдущие посты – AWS: оптимизация расходов – покупка и анализ RDS Reserved Instances и AWS: Cost Explorer – проверка расходов на примере CloudWatch Logs. Один из основных недостатков cloud-based архитектуры является стоимость обслуживания такой системы. При этом у клауд-провайдеров может быть весьма запутанная схема тарификации, в которой…

https://rtfm.co.ua/aws-cost-optimization-obzor-rasxodov-na-servisy-i-stoimost-trafika-v-aws/

AWS: Costs optimization – обзор Bills и Cost Explorer и контроль расходов

Продолжим серию по оптимизации расходов в AWS. Предыдущие посты –AWS: оптимизация расходов – покупка и анализ RDS Reserved Instances, AWS: Cost Explorer – проверка расходов на примере CloudWatch Logs, AWS: Cost optimization – обзор расходов на сервисы и стоимость трафика в AWS. Теперь, когда мы разобрались за что мы вообще платим в AWS – посмотрим,…

https://rtfm.co.ua/aws-costs-optimization-obzor-bills-i-cost-explorer-i-kontrol-rasxodov/

AWS: Console – тёмная тема оформления

В production эту фичу ещё видимо не завезли (объявят на re:Invent-2021?), но через Developer Tools браузера можно задать тёмную тему оформления для панели управления AWS. Открываем Developer Tools (F12) и AWS Console, переключаемся во вкладку Application, слева в Storage открываем Cookies: В Filter находим параметр aws-color-scheme: Двойной клик на Value, что бы открыть на редактирование,…

https://rtfm.co.ua/aws-console-tyomnaya-tema-oformleniya/

AWS: Trusted Advisor, часть 1 – обзор возможностей

AWS Trusted Advisor – инструмент от AWS, позволяющий проверить аккаунт и используемые в нём ресурсы на предмет оптимизации расходов, производительности, безопасности и отказоустойчивости. При этом доступные вам рекомендации зависят от типа Support Plan вашего аккаунта. К счастью, у нас Premium, так что есть возможность показать все детали Trusted Advisor. Общая документация тут – Проверки AWS…

https://rtfm.co.ua/aws-trusted-advisor-chast-1-obzor-vozmozhnostej/

AWS: Trusted Advisor, часть 2 – алерты CloudWatch и уведомления в Slack

В продолжение темы по работе с AWS TrustedAdvisor – рассмотрим настройку отправки уведомлений и обновление данных в Trusted Advisor. Начало – AWS: Trusted Advisor, часть 1 – обзор возможностей. Что бы настроить уведомления – используем метрики Trusted Advisor, которые он шлёт в CloudWatch, см. список на странице Trusted Advisor metrics and dimensions. Далее, CloudWatch будет…

https://rtfm.co.ua/aws-trusted-advisor-chast-2-alerty-cloudwatch-i-uvedomleniya-v-slack/

Prometheus: Recording Rules и теги – разделяем алерты в Slack

С 2018 года используем Opsgenie, который получает алерты от Prometheus, CloudWatch и Uptrends, которые потом через Slack-интеграцию отправляет нам в Slack. Интеграции Slack на данный момент выглядят так: В каждой из них настроен фильтр по уровню важности, например интеграция P1, P2 > Slack #devops-alarms-warning: Но есть проблема: так как каналы получаются общие, то все алерты…

https://rtfm.co.ua/prometheus-recording-rules-i-tegi-razdelyaem-alerty-v-slack/

RTFM: День рождения и годовщина – 10 лет. Обзор изменений.

Как время-то летит… В 2021 году блогу исполнилось целых 10 лет. Вообще, День Рождения блога я “отмечаю” 14-го августа – в день регистрации домена rtfm.co.ua: whois rtfm.co.uaDomain ID:228567_COUA-DRSDomain Name:RTFM.CO.UACreated On:14-Aug-2011 09:40:17 UTC И первый пост в нём был сделан в тот же день: https://rtfm.co.ua/idem-na-koshernyj-google/ Contents История, хостинг и всё вот это вотСтарая тема оформления1800 постов за 10 лет?Как я пишу в…

https://rtfm.co.ua/rtfm-den-rozhdeniya-i-godovshhina-10-let-obzor-izmenenij/

Prometheus: мониторинг AWS Load Balancer Controller Controller в AWS EKS

“Внезапно”, но AWS ALB Controller умеет в метрики для Prometheus. Используем стандартный URI /metrics. Для начала – проверим, что метрики в поде есть. Находим под: kk -n kube-system get pod | grep awsaws-load-balancer-controller-7bdcf75789-wk4bt   1/1     Running   0          41h Пробрасываем на него порт: kk port-forward -n kube-system pods/aws-load-balancer-controller-7bdcf75789-wk4bt 8080:8080Forwarding from 127.0.0.1:8080 -> 8080Forwarding from [::1]:8080 -> 8080 И пробуем с рабочей машины: curl -s localhost:8080/metrics | headHELP aws_api_call_duration_seconds Perceived latency from when your code makes an SDK call, includes retriesTYPE aws_api_call_duration_seconds histogramaws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.005"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.01"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.025"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.05"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.1"} 0aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.25"} 29aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="0.5"} 39aws_api_call_duration_seconds_bucket{operation="AuthorizeSecurityGroupIngress",service="EC2",le="1"} 39 Супер – метрики есть. Осталось их собрать. Contents Настройка PrometheusALB Controller ServiceALB Controller ServiceMonitor Настройка Prometheus У нас…

https://rtfm.co.ua/prometheus-monitoring-aws-load-balancer-controller-controller-v-aws-eks/

AWS: RDS Proxy – обзор, запуск, тестирование

AWS RDS Proxy – сервис от AWS, позволяющий разгрузить сервера баз данных AWS RDS, в первую очередь за счёт переиспользования существующих подключений вместо открытия новых для выполнения запросов от клиентов. Кроме того, RDS Proxy улучшает failover при переключении упавшего инстанса на резервный, например – когда AWS RDS Aurora выполняет переключение read-replica на роль master, если…

https://rtfm.co.ua/aws-rds-proxy-obzor-zapusk-testirovanie/

Prometheus: мониторинг сети с node_exporter – метрики сети CloudWatch и Docker –net=host

Начал обновлять дашборды в Grafana, и столкнулся с двумя интересными вещами. Первое – что же на самом деле показывается в CloudWatch для сети в графиках NetworkIn/Out (Bytes), как эти данные правильно интерпретировать, и как данные CloudWatch коррелируют с данными самого node_exporter? Второе – почему node_exporter должен быть запущен именно в режиме host network mode? Сначала…

https://rtfm.co.ua/prometheus-monitoring-seti-s-node_exporter-metriki-seti-cloudwatch-i-docker-nethost/

Всем привет! Уже завтра, 26 января приглашаем на Cloud Builders: Java Edition.

В программе:

— Грейс Дженсен и Джейми Колмен, Developers Advocate в IBM, с tech talk “15 factors needed to build cloud native applications”.

— Джонатан Вила, Senior Software Engineer в Red Hat и Java Champion с fireside chat в формате Cloud AMA (ask me anything).

— Евгений Сулейманов, Senior Software Engineer в Bizzabo, выступит с lightning talk: “The complexities of working with ES in distributed systems on the real project”.

Модератор: Максим Сальников, Developer Engagement Lead в Microsoft

Язык докладов: английский.

Когда и где: 26 января в 19:00 онлайн. Участие бесплатное.

Регистрация 👉https://bit.ly/3rI9D9s

Elastic Stack: обзор и установка ELK на Ubuntu

Последний раз ELK трогал (oh, my!) 7 лет тому, см. ELK: установка Elasticsearch+Logstash+Kibana на CentOS. Сейчас активно используем Logz.io, но расходы всё растут, и понемногу начинаем смотреть в сторону self-hosted ELK для запуска в Kubernetes, а потому надо поднять такой себе Proof of concept, дабы вспомнить с чем его едят и как настраивают. Собственно, в…

https://rtfm.co.ua/elastic-stack-obzor-i-ustanovka-elk-na-ubuntu/

SSH: ошибка “Too many authentication failures” и её решение

При подключении по SSH начала появляться ошибка “Too many authentication failures“. Contents Ошибка и причиныРешение Ошибка и причины Причина достаточно простая: SSH-клиент при подключении сначала пытается использовать ключи, которые загружены ssh-agent, и только потом использует ключ, переданный клиенту опцией -i. Сама ошибка выглядит так: ssh root@rtfm.ssh -i /home/setevoy/Dropbox/AWS/setevoy-do-nextcloud-production-d10-03-11Received disconnect from 139.59.205.180 port 22:2: Too many authentication failuresDisconnected from 139.59.205.180 port 22 Что бы убедиться, что сначала используются ключи ssh-agent – выполняем…

https://rtfm.co.ua/ssh-oshibka-too-many-authentication-failures-i-eyo-reshenie/

CloudFlare: ускоряем работу WordPress с плагином Automatic Platform Optimization

Давно уже видел проблему со скоростью загрузки блога. У меня на машине он открывается сравнительно быстро за счёт кеша браузера, а вот для других посетителей скорость достаточно печальная, что подтверждается проверкой на, например, https://gtmetrix.com: 4.3 секунды до полной загрузки – мрак. Внизу страницы видим топ проблем: Во-первых – ах… удивляемся с размера страницы в 1.16…

https://rtfm.co.ua/cloudflare-uskoryaem-rabotu-wordpress-s-plaginom-automatic-platform-optimization/

NGINX: IP Geolocation от Cloudflare и вложенные if

Среди прочих плюшек, которые предоставляет Cloudflare, есть возможность передачи заголовка с указанием страны, из которой пришёл посетитель. После долгих и безуспешных попыток как-то адекватно настроить GeoIP v2 для NGINX, IP Geolocation от Cloudflare стал просто подарком. Собственно, что хочется сделать: перенаправлять всех посетителей с российских IP на другой домен при этом фильтровать запросы от Yandex,…

https://rtfm.co.ua/nginx-ip-geolocation-ot-cloudflare-i-vlozhennye-if/

AWS: VPC Flow Logs – описание и пример с CloudWatch Logs Insights

AWS VPC Flow Logs позволяет логгировать инфомрацию о трафике между сетевыми интерфейсами в VPC. Далее, эти логи могут быть сохранены в AWS S3 или отправлены в AWS CloudWatch Logs, при этом включение логгирования трафика никак не виляет на производительность работы сетевого интерфейса. Кратко рассмотрим основные понятия, доступные настройки и настроим Flow Logs для VPC с…

https://rtfm.co.ua/aws-vpc-flow-logs-opisanie-i-primer-s-cloudwatch-logs-insights/

AWS: VPC Flow Logs – знайомство та приклад аналітики з CloudWatch Logs Insights

AWS VPC Flow Logs – сервіс Amazon, який дозволяє логувати інформацію про трафік між мережевими інтерфейсами у AWS VPC. Далі, ці логи можуть бути передані у AWS CloudWatch Logs для подальшого аналізу, при цьому логування трафіку ніяк не впливає на швидкість роботи мережі. Коротко розглянемо основні поняття, доступні налаштування та налаштуємо Flow Logs для VPC…

https://rtfm.co.ua/uk/aws-vpc-flow-logs-znajomstvo-ta-priklad-analitiki-z-cloudwatch-logs-insights/

Apache Druid: обзор, запуск в Kubernetes и мониторинг с Prometheus

Apache Druid – колоночная база данных, ориентированная на работу с большими объемами данных, сочетающая в себе возможности и преимущества Time-Series Database, Data Warehouse и поисковой системы. Общая задача – настроить мониторинг кластера Druid в Kubernetes, для чего сначала посмотрим что это вообще такое и как оно всё работает, а затем запустим Друид и потрогаем его…

https://rtfm.co.ua/apache-druid-obzor-zapusk-v-kubernetes-i-monitoring-s-prometheus/