​​AL1 →️ AL2 →️ AL2022:

https://docs.aws.amazon.com/linux/al2022/ug/what-is-amazon-linux.html

Amazon Liniux переходит на двухлетний цикл выпуска версий и 5 лет поддержки каждой версии в дальнейшем.

#AmazonLiniux

ECS-optimized AMI теперь open source:

https://github.com/aws/amazon-ecs-ami

Можно собрать свой образ, добавив в него нужное, а не ставить каждый раз через cloud-init.

#ECS

IPv6 для балансеров и подсетей на AWS

Месяц назад появился очередной документ по состоянию поддержки IPv6 для AWS сервисов:

https://d1.awsstatic.com/whitepapers/IPv6-on-AWS.pdf

Просмотрев который, удивился и решил про него не писать, т.к. выглядел промежуточной версией. Каковые уже по сложившейся традиции, частенько "выбрасывают" за некоторое время перед инвентом. Потому что, типа, всё равно выбрасывать 😄 — совсем скоро, на реинвенте всё изменится, документ устареет и придётся выпускать новый.

Не раз писал здесь про IPv6, что давно пора на него переходить, что есть особенности работы с ним (по сравнению с IPv4), но их всё меньше.

В частности, поддержка IPv6 у ALB был давно (у NLB - год назад), однако внутри, для listeners и targets, IPv6 балансеры не умели. Что, собственно, отражено в по ссылке выше в Таблице 2.

И вот теперь они умеют IPv6 и для внутренних (по отношению к интернету) операций:

https://aws.amazon.com/ru/about-aws/whats-new/2021/11/application-load-balancer-network-load-balancer-end-to-end-ipv6-support/

И это очень хорошо.

Вторая проблема была, что IPv4 был всегда дефолтным, нельзя было создать VPC подсеть без него, то есть если нужно лишь IPv6, то в нагрузку всегда приходилось делать и IPv4.

И вот, теперь это тоже пофиксили, добавив «IPv6-only subnets»:

https://aws.amazon.com/blogs/networking-and-content-delivery/introducing-ipv6-only-subnets-and-ec2-instances/

В результате теперь можно и создать чисто IPv6 подсетку, и поднять в ней виртуалку, работающую исключительно по IPv6.

Так что документ по верхней ссылке устарел. 😀 Обождём реинвента и новой версии. После можно будет подвести итоги прошедшего года — очень много закрыто по IPv6 и это очень круто и важно.

#IPv6

​​AWS Cloud Adoption Framework

https://docs.aws.amazon.com/whitepapers/latest/overview-aws-cloud-adoption-framework/welcome.html

Полезный документ, описывающий 6 основных групп проблем - Business, People, Management, Platform, Security и Operations - на пути в облако.

Особенно полезен классификацией данных доменов, что применимо не только для миграции в AWS, но и вообще, кто давно (всегда) в облаке.

#Whitepaper

Объём исходящего трафика для Free Tier увеличен! 👍

https://aws.amazon.com/blogs/aws/aws-free-tier-data-transfer-expansion-100-gb-from-regions-and-1-tb-from-amazon-cloudfront-per-month/

▪️ Из AWS Regions в интернет: 1 GB было → 100 GB стало 🔥
▪️ Из CloudFront в интернет: 50 GB было → 1 000 GB стало 💪

На https://aws.amazon.com/free/ пока старые значения, они изменятся с 1 декабря.

#FreeTier

​​Новый AWS Support plan — Enterprise On-Ramp:

https://aws.amazon.com/blogs/apn/announcing-aws-enterprise-on-ramp-a-new-support-plan/

Средний между Busines и Enterprise, который ближе ко второму, то есть можно было бы назвать Enterprise Lite. Удобен тем, что есть доступ к TAM (Technical Account Manager) и WAR (Well-Architected Review).

Цена также средняя - минимум $5,500, дальше 10% в месяц.

https://aws.amazon.com/premiumsupport/plans/

Сделал табличку, чтобы было удобней видеть отличия текущих планов. Серые строки - то, что не отличается, жирным - различия.

#Support

AWS Proton с поддержкой Terraform и Git:

https://aws.amazon.com/blogs/aws/new-aws-proton-supports-terraform-and-git-repositories-to-manage-templates/

В дополнение к очевидному CloudFormation как IaC инструмент, добавили и Terraform. Однако нужно учитывать, что это лишь поддежка файлов, а не самого Terraform:

https://docs.aws.amazon.com/proton/latest/adminguide/ag-infrastructure-tmp-files.html#terraform

AWS Proton with Terraform IaC considerations:
• AWS Proton doesn’t manage your Terraform provisioning.

Кто пропустил, то Proton — это такой себе как бы Jenkins, появившийся год назад.

p.s. Немой вопрос "а что, не было поддержки Git?!" пропустим — теперь точно есть. 😁

#Proton #Terraform

Хорошая подборка DevSecOps ссылок и инструментов для работы с AWS:

https://github.com/sottlmarek/DevSecOps

🔨 Tooling
😀 Precommit and threat modeling
👀 SAST
😈 DAST
💥 Supply chain and dependencies
💡 Infrastructure as code
🔎 Containers security
⛵️ Kubernetes security
☁️ Cloud (Now AWS only and expect more from GCP and Azure)
🐵 Chaos engineering
🎯 Policy as code
⚡️ Methodologies

#DevSecOps

Результаты исследования DevOps в России 2021 объявят через час от этого поста — присоединяйтесь по ссылке.

NAT64 и DNS64 или IPv6 перешёл в наступление:

https://aws.amazon.com/about-aws/whats-new/2021/11/aws-nat64-dns64-communication-ipv6-ipv4-services/

Как раз то, про что говорил раньше, IPv6 атакует, последние объявления (и те, что услышим на реинвенте) — это кардинальные изменения, результат, если не долгой работы, то стратегического решения.

Решения о полном переходе на IPv6 внутри AWS. У меня нет инсайда на этот счёт, но сделал бы именно так. 😀

Наружу бы ходил через свежеанонсированные NAT64. Снимает все ограничение на рост. VPC делать без IPv4 вообще. Работу с "legacy IPv4 world" разрулят dualstack балансеры. А внутри исключительно IPv6.

Сделал бы так. И AWS тоже бы и сделал. Мне нравится. 😁

#IPv6

​​Сервис AMG обновлён до версии Grafana 8.2 и добавлена поддержка Athena и Redshift в качестве Data sources:

https://aws.amazon.com/ru/about-aws/whats-new/2021/11/amazon-grafana-athena-redshift-data-sources-geomap/

Теперь можно делать в AMG дашборды по стоимости ресурсов с помощью Athena плагина (уже есть в консоли) и вешать сложные алерты на Redshift или данные в S3.

Очень круто — AMG становится центральной частью observability для AWS, с более широкими (а главное - более удобными и многим более привычными) возможностями.

#AMG

​​New CloudFront Edges:

Australia
🔹 Canberra
🔹 Perth

India
🔹 Ahmedabad
🔹 Bhubaneswar
🔹 Patna

England
🔹 Birmingham
🔹 Bristol
🔹 Hull
🔹 Manchester

Estonia
🔹 Tallinn 👍

New Zealand
🔹 Christchurch

Panama
🔹 Panama City

Peru
🔹 Lima

United States
🔸 Michigan?
🔸 Missouri?
🔸 Nevada?
🔸 New Jersey?
🔸 Tennessee?

Vietnam (new AWS Region?)
🔹 Hanoi
🔹 Ho Chi Minh

The data is taken from a public official document:

https://d1.awsstatic.com/whitepapers/compliance/AWS_SOC3.pdf

Pictured here is Tashkent, Uzbekistan, which is not listed on CloudFront Edges. 👀

#CloudFront

​​Weekly Summary on AWS (November 21-27)

🔹 VPC
• IPv6 targets for ALB and NLB
• IPv6-only subnets
• NAT64 and DNS64 to enable communication between IPv6 and IPv4 services
• Free Tier Data Transfer Expansion: 1GB→100GB and 50GB→1TB

🔹 EC2
• New R6i instances
• New M6i and C6i bare metal instances.
• C5/G4/I3 instances + Elastic Fabric Adapter
• Mac instances + EBS hot attach/detach
• Mac instances + macOS Monterey
• ASG Predictive Scaling with Custom Metrics

🔹 Lambda
• Event filtering for SQS/DynamoDB/Kinesis
• Partial batch response for SQS
• OffsetLag for MSK, Self-managed Kafka, AmazonMQ, and RabbitMQ

🔹 Redshift
• Cross-region data sharing
• Performance enhancements for data sharing
• Better cold query performance for AWS China regions
• RA3 Reserved Instance migration feature
• Spatial GEOGRAPHY datatype support
• Concurrency Scaling for write queries

🔹 Graviton2 support for
• Beanstalk
• Fargate (for ECS)
• ElastiCache
• MemoryDB for Redis + 2-month Free Trial
• CloudWatch Lambda Insights
• Amazon Neptune

🔹 DMS (Database Migration Service)
• Azure SQL Managed Instance
• Google Cloud SQL for MySQL
• Kafka multi-topic

🔹 Amplify
• Redesigned GraphQL Transformer
• In-app messaging (JavaScript)

🔹 AWS SSO for EC2 Windows
🔹 SQS Server-Side Encryption (SSE-SQS ­- the same as SSE-S3)
🔹 New Multi-AZ deployment for RDS
🔹 RDS Proxy PostgreSQL 12
🔹 Amazon MSK + over the internet connection
🔹 New AWS Support plan Enterprise On-Ramp
🔹 EventBridge expands to more Regions
🔹 CloudFormation import into CloudFormation StackSets
🔹 CloudWatch + S3 Storage Lens metrics
🔹 AWS Proton + Terraform
🔹 AWS App2Container + Jenkins CI/CD
🔹 AWS App Runner + GitHub Actions

#AWS_week

​​Что покажут на re:Invent 2021?

У автора нет инсайда, все будущие совпадения случайны.

Graviton 3

Да, очень жду нового гравитона! 😀 Причём даже сразу двух — бурно растущий спрос на высокопроизводительные вычисления (HPC) и машинное обучение (ML) требует своего процессора.

Architecture: ARMv8.2 Ares Neoverse N1 → ARMv9 Neoverse N2 Perseus и ARMv9 Neoverse V1 Zeus для HPC и ML.
Process technology: 7nm → 5nm.
Memory: DDR4 → DDR5
Max CPU Cores: 64 → 192
Performance: +50%


Новые AI Ops сервисы

Сервис DevOps Guru и другие инструменты с использованием AI/ML растут и пахнут. И совершенно справедливо. Это очень круто, эффективно и легко внедряется. Потому, да - жду много интересного.


Новые Security сервисы

Их и так уже много, но тема безопасности становится лишь всё более актуальней. Всё больше компаний внедряют DevSecOps, нужно вести отчётность, а сервиса для этого в AWS (пока) нет.

Кроме того, жду новостей по теме Confidential Computing. Да, уже есть AWS Nitro Enclaves, однако новому Graviton3 будет чего предложить по этой части.


Organizations

Пять лет назад появился сервис AWS Organizations, на базе которого реализуется Multi Account Strategy, теперь являющаяся best practices для реализации безопасности и разделения проектов внутри любой компании.

Однако многие болезненные ограничения для работы с Organizations до сих пор так и не сняты. Много раз повторял здесь – закрытие аккаунтов, временные аккаунты, это боль. Не жду полного решения проблем, но точно жду прогресса в этом направлении.


S3

Во-первых, не просто жду, а требую 😁 анонса по реализации поддержки S3 со стороны AWS Backup!

Во-вторых, жду продолжения глобальных возможностей S3. Вышедшая не так давно S3 Multi-Region Access Points должны быть основанием для чего-то более глобального, чем просто автосинхронизация файлов в разных регионах.

Может быть глобальный/мультирегиональный бакет, файловая система. Сервис старый, возможности новые!


AMT (Amazon Managed Terraform)

Думаю, и так понятно. 😄

===

А чего ожидаете увидеть на re:Invent 2021 вы?


p.s. Регистрируйтесь, кто ещё не - онлайн бесплатно:

https://reinvent.awsevents.com/

#reInvent

​​AWS Chatbot for Slack now with resource management:

https://aws.amazon.com/about-aws/whats-new/2021/11/aws-chatbot-management-resources-slack/

It used to be just monitoring, but now it's almost a complete AWS CLI!
---
@aws help
Hello! I am the AWS Chatbot.
I can run most read-only commands for you as defined by the AWS-Managed ReadOnlyAccess policy, invoke Lambda functions, and create Support cases.
You can use standard AWS CLI syntax:
@aws service operation --parameter-1 foo --parameter-2 bar
For example, you can type:
@aws cloudwatch describe-alarms --state-value ALARM
Or enter values one parameter at a time by first providing an operation. For example, if you type:
@aws support create-case
I will prompt you for subject, and then you type:
@aws subject Can't ssh to EC2 instance
and then I will prompt for the next value:
@aws communication-body I created an EC2 instance and can't ssh to it. Please help.
until all required parameters are fulfilled.
You can get help for a service or operation by including --help.
• Service help:
@aws ec2 --help
• Operation help:
@aws lambda invoke --help
To see a list of available AWS services, enter
@aws help services
To see a list of AWS accounts configured for this channel, enter
@aws set default-account
You can provide feedback to AWS Chatbot by using below syntax
@aws feedback <text>
===

Very cool, I started writing this myself, because the ChatOps approach is obvious here. And it is extremely convenient, especially for small projects. It is clear that security issues may arise, since there is a vulnerability on the part of Slack. However, this is a different problem.

The last announcement before the start of re:Invent 2021 made me very happy!

#Chatbot

​​Новые G5g виртуалки для ML на Graviton2 + NVIDIA T4G Tensor Core GPUs:

https://aws.amazon.com/blogs/aws/new-amazon-ec2-g5g-instances-powered-by-aws-graviton2-processors-and-nvidia-t4g-tensor-core-gpus

#EC2

​​Новые M6a виртуалки на AMD Zen3 :

https://aws.amazon.com/blogs/aws/new-amazon-ec2-m6a-instances-powered-by-3rd-gen-amd-epyc-processors/

Самая навороченная виртуалка m6a.48xlarge имеет 192 процессора!

Цена практически такая же как и M5a (с микроскопической разницей - M6a дороже на доли центов):

m6a.large $0.0864
m5a.large $0.086
m6a.24xlarge $4.1472
m5a.24xlarge $4.128

#EC2

Кэш для ECR:

https://aws.amazon.com/blogs/aws/announcing-pull-through-cache-repositories-for-amazon-elastic-container-registry/

Теперь можно пулить образы из публичных репозиториев (без авторизации) используя для этого свои приватные ECR. Амазон сам автоматически будет синхронизировать тэги в приватном репозитории с теми, что находятся в публичном источнике.

Ещё один набор велосипедных Лямбд, подтягивающих опенсорсные образы из внешних репозиториев можно заменить на нативный функционал.

#ECR

Amazon CloudWatch Evidently – инструмент для A/B тестирования:

https://aws.amazon.com/blogs/aws/cloudwatch-evidently/

Тестировать можно не только front-end, но также back-end, мобильные и любые другие приложения. Поддерживаемые языки:
C++, Go, Java, JavaScript (and Typescript), .Net, NodeJS, PHP, Python, and Ruby.

Цена на CloudWatch Evidently:
First time free trial includes 3 million Evidently events and 10 million Evidently analysis units per account

#CloudWatch

​​CloudWatch RUM (Real-User Monitoring):

https://aws.amazon.com/blogs/aws/cloudwatch-rum/

Такой себе вариант Google Analytics от AWS для отработки ошибок и производительности на клиентской стороне, т.е. у юзеров (потому Real-User).

#CloudWatch

​​AWS Well-Architected Custom Lenses — собственные best practices в сервисе Well-Architected Framework:

https://aws.amazon.com/blogs/aws/well-architected-custom-lenses-internal-best-practices/

Полезная возможность сделать и поддерживать список всех лучших практик (и своих, и от AWS) в одном месте.

#WAF