​​Новая AWS Console с иконками сервисов!

Всего год мучились и теперь вот она снова на месте. Не на том же – второй строкой, но ведь есть! 😃

#AWS_Console

​​Итоги недели на AWS (14-20 ноября 2021)

🔸 New! AWS Elastic Disaster Recovery service (DRS)
▪️ New AWS Console with service icons! (на картинке)
🔹 Amazon AppStream 2.0 introduces
• Elastic fleets (serverless)
• Linux Application Streaming
🔹 AWS Amplify now
• can override Amplify-generated resources using CDK
• add custom AWS resources to Amplify-created backends using CDK and CloudFormation 👍
• export Amplify backends to CDK and use with existing deployment pipelines
• Amplify UI’s new Authenticator component makes it easy to add customizable login pages to your React, Angular, or Vue app
🔹 Amazon Rekognition
• reduces pricing of all Image APIs by up to 38% 🎉
• improves accuracy of content moderation for images and text detection
• Custom Labels now offers an enhanced experience to train computer vision models more easily
🔹 CloudWatch now
• supports anomaly detection on metric math expressions
• adds console support for CloudWatch Application Insights problems
🔹 Control Tower now supports nested OU 🔥
🔹 Monitron launches Web App
🔹 AWS App Runner supports AWS CDK to build and deploy applications
🔹 Amazon Pinpoint now includes an SMS simulator feature and supports Safari push notifications
🔹 Amazon Linux 2 + kernel 5.10 - VPN WireGuard is here at last!🎄
🔹 AWS Well-Architected Framework — Games Industry Lens 👀
🔹 SNS + 10 messages in a single API request
🔹 IAM troubleshooting of access denied errors 👍
🔹 Outposts + Amazon S3 strong consistency
🔹 .NET 6 on AWS
🔹 AWS AppConfig Feature Flags in preview
🔹 Amazon Neptune JDBC driver
🔹 AWS IoT Greengrass + Microsoft Windows devices
🔹 Redshift + default IAM role
🔹 AWS Application Migration Service + agentless replication
🔹 Amazon Lex + spelling
🔹 AWS Transfer Family adds identity provider options and enhanced monitoring
🔹 AWS Database Migration Service + parallel load for S3
🔹 CloudFormation StackSets + multiple operations for simultaneous execution

#AWS_week

​​AWS podcasts

Если есть желание что-то послушать по AWS во время пробежки/тренировки, вот три популярных источника AWS подкастов:

📻 https://aws.fm/episodes
Хорошие эпизоды с известными личностями в области AWS (плюс отличный список на кого стоит подписаться в Twitter).

📻 https://aws.amazon.com/podcasts/
Официальные подкасты от AWS, большой выбор по многим темам с возможностью поиска.

📻 https://www.lastweekinaws.com/podcast/aws-morning-brief/
Всегда живые и актуальные подкасты от Core Queen.

#podcasts

Всесторонний документ, почему IAM – это боль:

https://www.effectiveiam.com/

Очень полезен и для того, чтобы разобраться в том, как работает IAM, и для того, чтобы глубже понять проблемы настройки политик, и для того, чтобы шире взглянуть на то, почему это так проблематично вообще (спойлер – всё сложно, в прямом смысле этого слова).

Описываются подходы и для настройки IAM политик в рамках одного аккаунта, и для выстраивания процессов в рамках Organizations.

#IAM #security #best_practices

Доступ в Amazon MSK (Kafka) через интернет:

https://docs.aws.amazon.com/msk/latest/developerguide/public-access.html

При публичном доступе доступны авторизации SASL/IAM, SASL/SCRAM, mTLS. Без авторизации использовать публичный доступ нельзя, равно как и без шифрования кластера.

Из-за того, что требуется доступ MSK к публичным подсетям, то наверняка потребуется пересоздание (для того, чтобы включить публичный доступ). В любом случае, проблематичные велосипеды с VPN можно убирать. Очень хорошо.

#MSK

​​MemoryDB + T4g и Free Tier на 2 месяца:

https://aws.amazon.com/ru/memorydb/pricing/#Get_started_with_Amazon_MemoryDB_for_Redis_for_free

С добавлением поддержки дешёвых Graviton2 теперь можно пробовать мигрировать с ElastiCache Redis, т.к. цены на дешёвые варианты для MemoryDB сопоставимые:

cache.t4g.small $0.032
cache.t4g.medium $0.065

cache.t3.small $0.034
cache.t3.medium $0.068

db.t4g.small $0.048
db.t4g.medium $0.097

До этого минимум был db.r6g.large $0.309, что не располагало к тому, чтобы попробовать или начинать для новых проектов.

#MemoryDB

​​AL1 →️ AL2 →️ AL2022:

https://docs.aws.amazon.com/linux/al2022/ug/what-is-amazon-linux.html

Amazon Liniux переходит на двухлетний цикл выпуска версий и 5 лет поддержки каждой версии в дальнейшем.

#AmazonLiniux

ECS-optimized AMI теперь open source:

https://github.com/aws/amazon-ecs-ami

Можно собрать свой образ, добавив в него нужное, а не ставить каждый раз через cloud-init.

#ECS

IPv6 для балансеров и подсетей на AWS

Месяц назад появился очередной документ по состоянию поддержки IPv6 для AWS сервисов:

https://d1.awsstatic.com/whitepapers/IPv6-on-AWS.pdf

Просмотрев который, удивился и решил про него не писать, т.к. выглядел промежуточной версией. Каковые уже по сложившейся традиции, частенько "выбрасывают" за некоторое время перед инвентом. Потому что, типа, всё равно выбрасывать 😄 — совсем скоро, на реинвенте всё изменится, документ устареет и придётся выпускать новый.

Не раз писал здесь про IPv6, что давно пора на него переходить, что есть особенности работы с ним (по сравнению с IPv4), но их всё меньше.

В частности, поддержка IPv6 у ALB был давно (у NLB - год назад), однако внутри, для listeners и targets, IPv6 балансеры не умели. Что, собственно, отражено в по ссылке выше в Таблице 2.

И вот теперь они умеют IPv6 и для внутренних (по отношению к интернету) операций:

https://aws.amazon.com/ru/about-aws/whats-new/2021/11/application-load-balancer-network-load-balancer-end-to-end-ipv6-support/

И это очень хорошо.

Вторая проблема была, что IPv4 был всегда дефолтным, нельзя было создать VPC подсеть без него, то есть если нужно лишь IPv6, то в нагрузку всегда приходилось делать и IPv4.

И вот, теперь это тоже пофиксили, добавив «IPv6-only subnets»:

https://aws.amazon.com/blogs/networking-and-content-delivery/introducing-ipv6-only-subnets-and-ec2-instances/

В результате теперь можно и создать чисто IPv6 подсетку, и поднять в ней виртуалку, работающую исключительно по IPv6.

Так что документ по верхней ссылке устарел. 😀 Обождём реинвента и новой версии. После можно будет подвести итоги прошедшего года — очень много закрыто по IPv6 и это очень круто и важно.

#IPv6

​​AWS Cloud Adoption Framework

https://docs.aws.amazon.com/whitepapers/latest/overview-aws-cloud-adoption-framework/welcome.html

Полезный документ, описывающий 6 основных групп проблем - Business, People, Management, Platform, Security и Operations - на пути в облако.

Особенно полезен классификацией данных доменов, что применимо не только для миграции в AWS, но и вообще, кто давно (всегда) в облаке.

#Whitepaper

Объём исходящего трафика для Free Tier увеличен! 👍

https://aws.amazon.com/blogs/aws/aws-free-tier-data-transfer-expansion-100-gb-from-regions-and-1-tb-from-amazon-cloudfront-per-month/

▪️ Из AWS Regions в интернет: 1 GB было → 100 GB стало 🔥
▪️ Из CloudFront в интернет: 50 GB было → 1 000 GB стало 💪

На https://aws.amazon.com/free/ пока старые значения, они изменятся с 1 декабря.

#FreeTier

​​Новый AWS Support plan — Enterprise On-Ramp:

https://aws.amazon.com/blogs/apn/announcing-aws-enterprise-on-ramp-a-new-support-plan/

Средний между Busines и Enterprise, который ближе ко второму, то есть можно было бы назвать Enterprise Lite. Удобен тем, что есть доступ к TAM (Technical Account Manager) и WAR (Well-Architected Review).

Цена также средняя - минимум $5,500, дальше 10% в месяц.

https://aws.amazon.com/premiumsupport/plans/

Сделал табличку, чтобы было удобней видеть отличия текущих планов. Серые строки - то, что не отличается, жирным - различия.

#Support

AWS Proton с поддержкой Terraform и Git:

https://aws.amazon.com/blogs/aws/new-aws-proton-supports-terraform-and-git-repositories-to-manage-templates/

В дополнение к очевидному CloudFormation как IaC инструмент, добавили и Terraform. Однако нужно учитывать, что это лишь поддежка файлов, а не самого Terraform:

https://docs.aws.amazon.com/proton/latest/adminguide/ag-infrastructure-tmp-files.html#terraform

AWS Proton with Terraform IaC considerations:
• AWS Proton doesn’t manage your Terraform provisioning.

Кто пропустил, то Proton — это такой себе как бы Jenkins, появившийся год назад.

p.s. Немой вопрос "а что, не было поддержки Git?!" пропустим — теперь точно есть. 😁

#Proton #Terraform

Хорошая подборка DevSecOps ссылок и инструментов для работы с AWS:

https://github.com/sottlmarek/DevSecOps

🔨 Tooling
😀 Precommit and threat modeling
👀 SAST
😈 DAST
💥 Supply chain and dependencies
💡 Infrastructure as code
🔎 Containers security
⛵️ Kubernetes security
☁️ Cloud (Now AWS only and expect more from GCP and Azure)
🐵 Chaos engineering
🎯 Policy as code
⚡️ Methodologies

#DevSecOps

Результаты исследования DevOps в России 2021 объявят через час от этого поста — присоединяйтесь по ссылке.

NAT64 и DNS64 или IPv6 перешёл в наступление:

https://aws.amazon.com/about-aws/whats-new/2021/11/aws-nat64-dns64-communication-ipv6-ipv4-services/

Как раз то, про что говорил раньше, IPv6 атакует, последние объявления (и те, что услышим на реинвенте) — это кардинальные изменения, результат, если не долгой работы, то стратегического решения.

Решения о полном переходе на IPv6 внутри AWS. У меня нет инсайда на этот счёт, но сделал бы именно так. 😀

Наружу бы ходил через свежеанонсированные NAT64. Снимает все ограничение на рост. VPC делать без IPv4 вообще. Работу с "legacy IPv4 world" разрулят dualstack балансеры. А внутри исключительно IPv6.

Сделал бы так. И AWS тоже бы и сделал. Мне нравится. 😁

#IPv6

​​Сервис AMG обновлён до версии Grafana 8.2 и добавлена поддержка Athena и Redshift в качестве Data sources:

https://aws.amazon.com/ru/about-aws/whats-new/2021/11/amazon-grafana-athena-redshift-data-sources-geomap/

Теперь можно делать в AMG дашборды по стоимости ресурсов с помощью Athena плагина (уже есть в консоли) и вешать сложные алерты на Redshift или данные в S3.

Очень круто — AMG становится центральной частью observability для AWS, с более широкими (а главное - более удобными и многим более привычными) возможностями.

#AMG

​​New CloudFront Edges:

Australia
🔹 Canberra
🔹 Perth

India
🔹 Ahmedabad
🔹 Bhubaneswar
🔹 Patna

England
🔹 Birmingham
🔹 Bristol
🔹 Hull
🔹 Manchester

Estonia
🔹 Tallinn 👍

New Zealand
🔹 Christchurch

Panama
🔹 Panama City

Peru
🔹 Lima

United States
🔸 Michigan?
🔸 Missouri?
🔸 Nevada?
🔸 New Jersey?
🔸 Tennessee?

Vietnam (new AWS Region?)
🔹 Hanoi
🔹 Ho Chi Minh

The data is taken from a public official document:

https://d1.awsstatic.com/whitepapers/compliance/AWS_SOC3.pdf

Pictured here is Tashkent, Uzbekistan, which is not listed on CloudFront Edges. 👀

#CloudFront

​​Weekly Summary on AWS (November 21-27)

🔹 VPC
• IPv6 targets for ALB and NLB
• IPv6-only subnets
• NAT64 and DNS64 to enable communication between IPv6 and IPv4 services
• Free Tier Data Transfer Expansion: 1GB→100GB and 50GB→1TB

🔹 EC2
• New R6i instances
• New M6i and C6i bare metal instances.
• C5/G4/I3 instances + Elastic Fabric Adapter
• Mac instances + EBS hot attach/detach
• Mac instances + macOS Monterey
• ASG Predictive Scaling with Custom Metrics

🔹 Lambda
• Event filtering for SQS/DynamoDB/Kinesis
• Partial batch response for SQS
• OffsetLag for MSK, Self-managed Kafka, AmazonMQ, and RabbitMQ

🔹 Redshift
• Cross-region data sharing
• Performance enhancements for data sharing
• Better cold query performance for AWS China regions
• RA3 Reserved Instance migration feature
• Spatial GEOGRAPHY datatype support
• Concurrency Scaling for write queries

🔹 Graviton2 support for
• Beanstalk
• Fargate (for ECS)
• ElastiCache
• MemoryDB for Redis + 2-month Free Trial
• CloudWatch Lambda Insights
• Amazon Neptune

🔹 DMS (Database Migration Service)
• Azure SQL Managed Instance
• Google Cloud SQL for MySQL
• Kafka multi-topic

🔹 Amplify
• Redesigned GraphQL Transformer
• In-app messaging (JavaScript)

🔹 AWS SSO for EC2 Windows
🔹 SQS Server-Side Encryption (SSE-SQS ­- the same as SSE-S3)
🔹 New Multi-AZ deployment for RDS
🔹 RDS Proxy PostgreSQL 12
🔹 Amazon MSK + over the internet connection
🔹 New AWS Support plan Enterprise On-Ramp
🔹 EventBridge expands to more Regions
🔹 CloudFormation import into CloudFormation StackSets
🔹 CloudWatch + S3 Storage Lens metrics
🔹 AWS Proton + Terraform
🔹 AWS App2Container + Jenkins CI/CD
🔹 AWS App Runner + GitHub Actions

#AWS_week

​​Что покажут на re:Invent 2021?

У автора нет инсайда, все будущие совпадения случайны.

Graviton 3

Да, очень жду нового гравитона! 😀 Причём даже сразу двух — бурно растущий спрос на высокопроизводительные вычисления (HPC) и машинное обучение (ML) требует своего процессора.

Architecture: ARMv8.2 Ares Neoverse N1 → ARMv9 Neoverse N2 Perseus и ARMv9 Neoverse V1 Zeus для HPC и ML.
Process technology: 7nm → 5nm.
Memory: DDR4 → DDR5
Max CPU Cores: 64 → 192
Performance: +50%


Новые AI Ops сервисы

Сервис DevOps Guru и другие инструменты с использованием AI/ML растут и пахнут. И совершенно справедливо. Это очень круто, эффективно и легко внедряется. Потому, да - жду много интересного.


Новые Security сервисы

Их и так уже много, но тема безопасности становится лишь всё более актуальней. Всё больше компаний внедряют DevSecOps, нужно вести отчётность, а сервиса для этого в AWS (пока) нет.

Кроме того, жду новостей по теме Confidential Computing. Да, уже есть AWS Nitro Enclaves, однако новому Graviton3 будет чего предложить по этой части.


Organizations

Пять лет назад появился сервис AWS Organizations, на базе которого реализуется Multi Account Strategy, теперь являющаяся best practices для реализации безопасности и разделения проектов внутри любой компании.

Однако многие болезненные ограничения для работы с Organizations до сих пор так и не сняты. Много раз повторял здесь – закрытие аккаунтов, временные аккаунты, это боль. Не жду полного решения проблем, но точно жду прогресса в этом направлении.


S3

Во-первых, не просто жду, а требую 😁 анонса по реализации поддержки S3 со стороны AWS Backup!

Во-вторых, жду продолжения глобальных возможностей S3. Вышедшая не так давно S3 Multi-Region Access Points должны быть основанием для чего-то более глобального, чем просто автосинхронизация файлов в разных регионах.

Может быть глобальный/мультирегиональный бакет, файловая система. Сервис старый, возможности новые!


AMT (Amazon Managed Terraform)

Думаю, и так понятно. 😄

===

А чего ожидаете увидеть на re:Invent 2021 вы?


p.s. Регистрируйтесь, кто ещё не - онлайн бесплатно:

https://reinvent.awsevents.com/

#reInvent