​​Проект для отладки Лямбд и API Gateway локально:

https://github.com/dherault/serverless-offline

#Lamda #API_Gateway

Классная статья от Василия Пантюхина: https://habr.com/ru/post/537786/

​​Federated EKS cluster:

https://aws.amazon.com/solutions/implementations/federated-amazon-eks-clusters-on-aws/

Данное решение позволяет развернуть федеративный EKS кластер в разных регионах для VPC, объединённых через VPC Peering.

#EKS

​​Как с помощью AWS CDK поднять EKS-D кластер в полторы строчки:

https://github.com/pahud/cdk-eksdistro

#CDK

PHP в Docker на Лямбде:

https://aws.amazon.com/blogs/compute/building-php-lambda-functions-with-docker-container-images/

#Lambda

Читы для работы с CloudFormation в VS Code:

https://dev.to/aws-builders/level-up-cloudformation-with-vs-code-32m9

#CloudFormation

Персонажи в команде

Валера

Валера следит за трендами, профи в своей и не только области, знает про все модные фреймворки, регулярно посещает конференции и на ретроспективах периодически советует (грозит) переписать часть (всё) на Rust.

Валеру любят, над ним шутят, однако он нет. Через пару лет, задолбав тимлидов и не получив одобрения своих устремлений, Валера уходит в FAANG, где занимается тем, чем так давно хотел.

Саша

Саша не согласен, стопроцентный инженер, но не поддерживает, сомневается и против. Зачем переходить на куберы, если ещё докер не сносили? Зачем ставить t3a.medium, да, дешевле, да, совсем нет нагрузки, но ведь c5.large надёжней, а там буковки подозрительные. Какой ещё пайплайн, если нажал, загрузил, написал письмо, объяснил, в крайнем случае можно написать в скайп, и работает. Всегда так было, зачем менять? А где доказательства, что такая архитектура лучше, дешевле, надёжней и сработает? И вообще, он не Саша, а Олександр, через О, потому что из Винницы.

Сашу (Олександра) никто не любит и он отвечает взаимностью. Через пару лет от него избавляются и радостная команда спокойно пилит свою плохую, дорогую, ненадёжную и оказавшуюся через пару лет совсем невостребованной, фигню.

Виктор

Виктор задаёт вопросы. Читает, задаётся вопросом и спрашивает. Почему так сложно – не понятно. Почему написано, что правильно через CodePipeline, а у них там один баш? Почему в буфере TLB нельзя сбросить запись как в кэше? Можно ли использовать yaml-ссылки в CloudFormation шаблоне, ведь это ж yaml? Как подключить t1.micro EC2-Classiс к MSK? И вообще, на собеседовании спрашивали Питон, а тут Ruby и Java – почему?

Виктора любят, ведь посылать всем приятно. Через пару лет он задаёт неправильный вопрос в неправильном месте и увольняется.

p.s. Все совпадения имён случайны.

p.s. p.s. Это было начало текста "Какие люди ценны в команде".

#персонажи

Что там случилось с Elasticsearch?

Супер кратко:
Elastic поменял лицензию для продуктов, и они перестали быть open source. Комьюнити это не понравилось.
Теперь вышел Amazon, у которого война с Elastic, и сказал - мы форкнем, и будем дальше развивать Elasticsearch + Kibana с ALv2 лицензией.

Итого, факты:
- Elastic announced moving Apache 2.0-licensed source code to be under Server Side Public License
- Elasticsearch 7.11 будет уже под SSPL, т.е. не open-source
- Elasticsearch 7.10.x, который еще ALv2 - будет получать секьюрити апдейты до May 11th, 2022
- AWS will step up to create and maintain a ALv2-licensed fork of open source Elasticsearch and Kibana

Кто бы мог подумать 🤔

https://aws.amazon.com/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch

Создать CloudFormation ресурс со случайным паролем, чтобы, например, после его передать для базы данных:

MySecretA:
 Type: 'AWS::SecretsManager::Secret'
 Properties:
  Name: MySecretForAppA
  Description: "This secret has a dynamically generated secret password."
  GenerateSecretString:
   SecretStringTemplate: '{"username": "test-user"}'
   GenerateStringKey: "password"
   PasswordLength: 30
   ExcludeCharacters: '"@/\'

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-secretsmanager-secret.html

#CloudFormation

Тестируй правильно.

Первоисточник.

Утилита для удаления CloudFormation стэков по TTL (expiration time) или пул реквесту:

https://github.com/lendi-au/StackJanitor

#CloudFormation

​​Managed Workflows for Apache Airflow

Пока продолжаются прения между командой Elastic (авторами ELK стека) и Amazon на тему того кто из них более open-source-friendly, расскажу про другую недавнюю интеграцию в стек AWS - управляемый вариант Airflow.

Apache Airflow - это платформа для планирования, управления и мониторинга заданий, написанная на python. Это собственно тоже промышленный стандарт в мире ETL, для организации взаимодействия между процессами (формализованными в виде DAG - однонаправленных ациклических графов). Благодаря набору плагинов в рамках Airflow можно запускать достаточно разнородные пайплайны - от простых bash-команд, до модулей со сложной логикой - поверх тоже довольно разнородной инфраструктуры. У этого продукта не так много конкурентов (вот например Luigi разработки Spotify) и поэтому интеграция в AWS - это был только вопрос времени. Тем более что в GCP, например, Cloud Composer изначально реализован как управляемый Airflow.

Есть конечно разработчики, которые и этот новый сервис (официальное название AWS MWAA) восприняли настороженно, в духе "опять Amazon зарабатывает на open-source ". Ну во-первых, я уже упомянул GCP, а во-вторых, кажется, что получился на самом деле очень удобный сервис, который ребята из AWS адаптировали к остальному стеку. В сборке настроено много плагинов к остальным элементам AWS (тут и Athena, и DynamoDB, и Redshift, EKS, ECS, Firehose, SQS и прочие), код DAG (и зависимости) хранится в s3, настроен auto-scale воркеров для запуска заданий с тремя вариантами окружения: pw1.small (1 vCPU), pw1.medium (2 vCPU) или pw1.large (4 vCPU). Мониторинг настраивается в Cloudwatch.

Другими словами, получилась сборка которая помогает построить ETL процессы на полностью управляемых компонентах и сервисах. Конечно, если выбрать такое архитектурное решение для проекта - перейти потом в другую инфраструктуру будет сложно. Но с другой стороны, если есть периодический процесс, в котором источником служат, например, файлы в s3 (пусть от стороннего провайдера), задействована их трансформация с помощью python и sql и выгрузка в data-lake или наоборот в готовую витрину для визуализации, то сервис конкурентоспособен. Стоимость складывается из использованных часов работы окружения (scheduler/worker/web server), количества и мощности воркеров. То есть выбор - поднимать Airflow самостоятельно или использовать в виде сервиса - упирается в баланс между набором своих вычислительных мощностей и арендуемых.

Сервис пока доступен не во всех регионах и дата-центрах, но в наиболее крупных (N. Virginia, Frankfurt, Ireland, Sydney, Ohio) попробовать можно.

​​Установка Sentry на AWS сервисах из CloudFormation шаблона:

https://github.com/Rungutan/sentry-performance-monitoring

Для различных вариантов установки приведены рассчёты по стоимости:

Element    Cost per month in USD
RDS       65
Redis      55
Kafka      110
ClickHouse 140
VPC       30
1ELB+2ALB 90
ECS       200

#monitoring #CloudFormation

#машины_aws

Мой “контент-план” по блогам на Январь 2021 официально выполнен!

Вниманию моих читателей - финальная (на данный момент) глава по DynamoDB.
Моделирование данных, лучшие практики, Single-Table Design… И разумеется, полезные ссылки для страждущих!

​​Нажав в AWS Console для VPC кнопку See all regions можно быстро увидеть количество различных ресурсов по всем регионам в аккаунте. Что удобно для поиска, где находятся забытые VPC с NAT GW, незаметно пожирающих деньги, Elastic IP или просто быстро найти используемые регионы с поднятыми виртуалками.

p.s. Полезную кнопку подсказал вопросом Виктор, за что ему большое спасибо.

#AWS_Console #VPC