Практикум по AWS CDK — 31 Августа 19.00 МСК

1. Что такое AWS CDK, сравнение с другими решениями IaaS
2. Особенности AWS CDK
3. Пример развертывания инфраструктуры      

https://rebrainme.com/webinars/devops-rebrain-and-luxoft-ep-3/

Вебинар проведёт Антон Коваленко - Lead cloud solutions architect, Luxoft.

Terminology change - AWS KMS is replacing the term customer master key (CMK) with AWS KMS key and KMS key. The concept has not changed. To prevent breaking changes, AWS KMS is keeping some variations of this term. https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-template-resource-type-ref.html

День добрый. AWS анонсировали альфу для Kotlin SDK. Если тут найдутся потенциальные пользователи, будем рады обратной связи. Спасибо.

https://aws.amazon.com/blogs/developer/aws-sdk-for-kotlin-alpha-release/

​​Безоткатный режим CloudFormation --disable-rollback:

https://aws.amazon.com/blogs/aws/new-for-aws-cloudformation-quickly-retry-stack-operations-from-the-point-of-failure/

CloudFormation allows you to disable the automatic rollback, keep the resources successfully created or updated before the error occurs, and retry stack operations from the point of failure. In this way, you can quickly iterate to fix and remediate errors and greatly reduce the time required to test a CloudFormation template in a development environment.

Дождались, однако. Очень нужная фича, критическая для многих ситуаций.

На картинке видно, что если выбрать безоткатный режим, то созданные до ошибки ресурсы не удаляются (зелёные) и можно поробовать исправить ситуацию - поменять шаблон (или параметры в нём) и повторить апдейт либо же откатить по обычной схеме.

#CloudFormation

​​День знаний AWS

Знаниями нужно делиться. Делюсь своими знаниями про источники знаний по AWS в Telegram.

⚠️ Далее список из моей ленты, каналы, которые постоянно сам читаю. Не реклама (с авторами оных не согласовывал — надеюсь, они не против😀). Кроме AWS, в списке в основном по devops тематике.

Обозначение:
🔥 - активные и маст хэв каналы/чаты для того, чтобы следить за AWS (и просто хорошие)
🇺🇦 - на украинском языке (или в том числе)

Каналы по AWS:
@aws_notes 🔥
@aws_history
@awscommunitybuilders
@aws_ua_notes 🇺🇦
@yaawschannel
@fluffy_clouds_aws

Ленты по AWS:
@awsfeed
@aws_doc_update

Чаты по AWS:
@aws_ru 🔥
@aws_minsk 🔥
@aws_kz 🔥
@awsNSK
@aws_notes_chat 🔥
@awsamplify
@aws_ua 🇺🇦
@aws_friday

Викторины по AWS:
@awsec
@cloudandcybersecurity 

Боты по AWS:
@Awstatus_bot

Каналы, где много пишут в том числе по AWS:
@devopsengineer
@devopslibrary 🔥
@devops_talks
@SysadminNotes
@sysadmin_tools 🔥
@bykvaadm
@count0_digest
@kazarin_online 🔥
@tech_b0lt_Genona 🔥
@sec_devops 🔥
@DevOops
@catops 🔥
@devopsminsk
@manandthemachine 🔥
@oleg_log 🔥

Чаты, где часто обсуждают AWS:
@devops_ru 🔥
@catops_chat 🔥 🇺🇦
@terraform_ru 🔥
@CNCFMinskChat
@DevOpsMinskChat

Просто хорошие каналы (где не так часто, но бывают посты по AWS):
@webapparch 🔥
@dataplace
@devops4ua
@response418
@deep_thought_aas
@monitorim_it
@CloudTechRU
@RoToRoCloud
@devops_deflope

Если знаете каналы/чаты/боты/итп, которых нет в списке выше и которые пишут/обсуждают темы AWS - поделитесь, пожалуйста, своими знаниями в комментариях!

#AWS #devops

S3 Intelligent-Tiering — отмена ограничений для маленьких файлов (меньше 128КБ) и минимального срока хранения 30 дней:

https://aws.amazon.com/blogs/aws/amazon-s3-intelligent-tiering-further-automating-cost-savings-for-short-lived-and-small-objects/

To date, S3 Intelligent-Tiering was intended for objects larger than 128 KB stored for a minimum of 30 days. As of today, monitoring and automation charges will no longer be collected for objects smaller than 128 KB — this includes both new and already existing objects in the S3 Intelligent-Tiering storage class. Additionally, objects deleted, transitioned, or overwritten within 30 days will no longer accrue prorated charges.

Полезное изменение, которое делает S3 Intelligent-Tiering существенно более эффективным, т.к. снимает одну из самых популярных причин, что часто делало просто невыгодным его использование.

#S3

​​Amazon S3 Multi-Region Access Points:

https://aws.amazon.com/blogs/aws/s3-multi-region-access-points-accelerate-performance-availability/

This S3 feature that allows you to define global endpoints that span buckets in multiple AWS Regions. With S3 Multi-Region Access Points, you can build multi-region applications with the same simple architecture used in a single region.

Крутая фича, мультирегиональности продолжают шириться и множиться (и это хорошо). Правда, понятно, это небесплатно:

When you use an S3 Multi-Region Access Point to route requests within the AWS global network, you pay a data routing cost of $0.0033 per GB processed, in addition to the standard charges for S3 requests, storage, data transfer, and replication. If your applications access the S3 Multi-Region Access Point over the internet, you’re also charged an internet acceleration cost per GB. This cost depends on the transfer type (upload or download) and whether the client and the bucket are in the same or different locations.

Обзорное видео по S3 Multi-Region Access Points:

https://www.youtube.com/watch?v=JKwXyQI_FAY

#S3

S3 security — Top 10 best practices:

https://aws.amazon.com/blogs/security/top-10-security-best-practices-for-securing-data-in-amazon-s3/

1️⃣ Block public S3 buckets at the organization level
2️⃣ Use bucket policies to verify all access granted is restricted and specific
3️⃣ Ensure that any identity-based policies don’t use wildcard actions
4️⃣ Enable S3 protection in GuardDuty to detect suspicious activities
5️⃣ Use Macie to scan for sensitive data outside of designated areas
6️⃣ Encrypt your data in S3
7️⃣ Protect data in S3 from accidental deletion using S3 Versioning and S3 Object Lock
8️⃣ Enable logging for S3 using CloudTrail and S3 server access logging
9️⃣ Backup your data in S3
🔟 Monitor S3 using Security Hub and CloudWatch Logs

#S3 #security #best_practices

Amazon EFS Intelligent-Tiering:

https://aws.amazon.com/blogs/aws/new-amazon-efs-intelligent-tiering-optimizes-costs-for-workloads-with-changing-access-patterns/

With EFS Intelligent-Tiering, lifecycle management monitors the access patterns of your file system and moves files that have not been accessed for the duration of the lifecycle policy from EFS Standard or EFS One Zone to EFS Standard-IA or EFS One Zone-IA, depending on whether your file system uses EFS Standard or EFS One Zone storage classes. If the file is accessed again, it is moved back to EFS Standard or EFS One Zone storage classes.

#EFS

Худшие практики AWS IAM — ReadOnlyAccess:

https://posts.specterops.io/aws-readonlyaccess-not-even-once-ffbceb9fc908

Нужно помнить, что ReadOnlyAccess IAM Managed policy имеет избыточные права доступа к некоторым сервисам (из которых наиболее критичный - IAM), с помощью которых запросто можно поломать ваше окружение.

Не стоит воспринимать ReadOnlyAccess как какую-то "защиту", правильней рассматривать установку такого доступа как быстрое/временное решение, выдавая лишь в целях какого-то аудита, а не постоянного использования.

#IAM #security

Top 8 AWS services for QA

С вашей помощью получился список AWS сервисов, которые нужно знать QA-инженеру.

1️⃣ CloudWatch
2️⃣ S3
3️⃣ EC2
4️⃣ IAM
5️⃣ RDS
6️⃣ Lambda
7️⃣ CodeBuild
8️⃣ Route53

В опросах перечислил полтора десятка сервисов AWS, которые можно как-то причислить к теме QA. Однако конечный список получился прогнозируемо весьма коротким 😀, что, в принципе, достаточно логично, ибо, всё же, деятельность QA не так сильно завязана конкретно на AWS.

p.s. Ранее было аналогичное для бэкенда, фронта и фуллстэк.

#qa #top #опрос

Новый VPC CNI plugin 1.9.0 с поддержкой большего количества подов на EKS ноду:

https://aws.amazon.com/blogs/containers/amazon-vpc-cni-increases-pods-per-node-limits/

In this post, we have discussed in detail prefix assignment mode, summarized VPC CNI workflows, and described installation and setup choices. The key considerations and use cases section provide guidance on using prefix assignment mode.
We covered how to use prefix assignment mode on Amazon EKS to increase pod density.

#EKS

​​Amplify воркшоп по теме аналитики, затрагивает много сервисов, в том числе Kinesis, Athena и Quicksight:

https://amplify-analytics.workshop.aws/00-intro.html

This workshop is designed for Web Developers, Product Managers and Analysts, who want to learn how to:
▪️ create and deploy React web application and backend services with authentication and GraphQL API using AWS Amplify
▪️ set up web analytics and send event-based email campaigns with Amazon Pinpoint
▪️ set up recommendations and use them in email campaigns and in web application with Amazon Personalize
▪️ create custom analytics pipeline to collect events and create custom dashboards to analyze these events with Amazon Kinesis and Amazon QuickSight

#Amplify #workshop

Удобнейшие и крутейшие вещи в AWS, про которые нужно знать:

🔹 CloudShell позволяет бесплатно крутить десяти разным пользователям свои виртуалки с сохраняемым диском 1ГБ прямо из браузера с IAM правами залогиненного пользователя. Это супер-удобно для отработки каких-то скриптов из документации или воркшопов.

🔹 Cloud9 сервис для разработки AWS - незаменимый для разработки бэкенда, особенно Serverless, когда требуется непосредственный "доступ к телу" (ресурсам на AWS). Действительно просто ставится, стоит недорого (практически бесплатно, если нечасто - лишь за стоимость стопнутых виртуалок).

🔹 t4g.micro (ARM виртуалки на Graviton 2) уже год (❗) бесплатны! И их бесплатное использование вновь продлили - до конца 2021-го года! 🔥🔥🔥
Бесплатный пробный доступ к инстансу t4g.micro на срок до 750 часов в месяц до 31 декабря 2021 года.

Поделитесь, пожалуйста, своими незаменимыми вещами на AWS, про которые, возможно, не так давно узнали и которые реально постоянно используете и рекомендуете знать.

Тяжкая судьба QA-инженера или разбор падения 2 сентября AWS Direct Connect в Токио: 🇯🇵

https://aws.amazon.com/ru/message/17908/

Всего три абзаца, а при этом классический детектив.

🔫 Завязка (загадочное преступление) — сервис Direct Connect в ap-northeast-1 прилёг на целый день.

🔎 Расследование (с погоней) — простая перезагрузка свитчей не помогла. (а ведь всегда работало!)

😮 Развязка (наказание невиновных) — виноваты русские хакеры тестировщики, которые заапрувили фичу, залитую в прод на все регионы ещё в январе этого года.

Приятного чтения!

​​Контейнеры на AWS - какой сервис/утилиту выбрать

На момент написания этого поста есть 20(!) вариантов как/где запустить контейнер с помощью AWS сервисов / утилит. Исторический путь 18-ти из них взяты отсюда плюс к этому правильно добавить амазоновские IaC - CloudFormation и AWS CDK.

В результате полный список (на сентябрь 2021-го года) получится следующий — отсортирован по условной простоте запуска (с учётом актуальности для начинающих):

1️⃣ App Runner 👈 рекомендуется (готовый сервис)
2️⃣ Copilot 👍 рекомендуется (CLI)
3️⃣ CodeBuild (для запуска временных задач - Jobs)
4️⃣ App2Container (CLI)
5️⃣ CDK (IaC)
6️⃣ ECS
7️⃣ EKS
8️⃣ Fargate
9️⃣ Lambda Containers
🔟 Beanstalk (устаревший)
11. Lightsail Containers (VPS)
12. Proton (сервис для CI/CD)
13. EC2 (развернуть на виртуалке)
14. Batch (для массового запуска Jobs)
15. CloudFormation (IaC)
16. ECS Anywhere (on-prem)
17. EKS Distro (on-prem)
18. ROSA (on-prem)
19. GreenGrass (IoT)
20. CodeDeploy (local)

Чтобы понять, как соотновятся сервисы/утилиты для работы с контейнерами на AWS - большая картинка прилагается. Это моя интерпретация (да, не люблю и не советую Beanstalk 😀 - используйте вместо него современную замену - Copilot), а не официальная, потому комментарии и критика крайне приветствуются.

#containiers