🌤 Issue #67 | 16 April 2023

▪️   AppFlow +6 connectors
▪️   AppSync EventBridge support
▪️   Backup +3 new regions
▪️   Chime SDK
       ▫️  updated video background blur and replacement
       ▫️  updates Service Level Agreement
▪️   CodeWhisperer is now generally available
▪️   Competency Media & Entertainment Competency
▪️   Config advanced queries supports 27 new resource types
▪️   Connect
       ▫️  agents to handle voice calls, chats, and tasks concurrently
       ▫️  Voice ID multiple fraudster watchlists per Voice ID domain
▪️   EC2
       ▫️  I4i  available in additional regions
       ▫️  Inf2 optimized for generative AI| GA
       ▫️  Trn1n optimized for network-intensive generative AI models | GA
▪️   EC2 Image Builder vulnerability detection with Amazon Inspector for custom images
▪️   EC2 Serial Console EC2 bare metal instances
▪️   ECS/Batch Split Cost Allocation Data
▪️   ECS Linux containers AL2023 and gMSA
▪️   ECS on Fargate supports extensible ephemeral storage for Windows Tasks
▪️   EKS Kubernetes version 1.26
▪️   Elemental MediaConnect Gateway
▪️   Elemental MediaConvert media metrics
▪️   Firewall Manager +6 WAF features
▪️   FSx for Lustre is now available in three additional regions
▪️   FSx for NetApp ONTAP is now available in three additional regions
▪️   FSx for Windows File Server is now available in the 3 additional regions
▪️   GameLift adds support for Unreal Engine 5
▪️   Glue visual ETL new native Redshift capabilities
▪️   Ground Station Wideband Digital Intermediate Frequency
▪️   GuardDuty +3 threat detections to Alert Customers on Suspicious DNS Traffic
▪️   IoT Core MQTT5 Shared Subscriptions and new CloudWatch metrics
▪️   Lambda SnapStart for Java functions in 6 additional regions
▪️   MSK is now available in Hyderabad, Spain, and Zurich Regions
▪️   MWAA Apache Airflow version 2.5
▪️   Pinpoint PrivateLink support
▪️   QuickSight Row Level Security tags with OR condition
▪️   RDS Optimized Reads up to 2X faster queries on RDS for PostgreSQL
▪️   Redshift enhances string query performance by up to 63x
▪️   Rekognition Face Liveness to deter fraud in facial verification
▪️   SageMaker Inference Recommender improves usability and launches new features
▪️   Service Management Connector AWS Support and Automation integrations in Jira Cloud
▪️   WAF
       ▫️  increases web ACL capacity units limits
       ▫️  larger request body inspections for CloudFront distributions
▪️   Well-Architected Framework strengthens prescriptive guidance

IAM Roles, прикреплённые к виртуалкам, работают через EC2 Instance Profiles. Это даёт некоторую специфику, например, когда роль убирается у виртуалки, а она ещё некоторое время продолжает отрабатывать права, что были у виртуалки ранее с уже отсутствующей ролью.

Как это происходит и почему в деталях описано здесь:

https://www.uptycs.com/blog/aws-iam-roles-instance-profiles

AWS знает про такое поведение, так задумано. Короче —всё нормально, расходимся.

#IAM #EC2

​​📆 Ровно через неделю, 24 апреля начнётся AWS All Stars Meetup:

https://wearecommunity.io/events/aws-user-group-3city-allstars

Приглашённые звёзды и их доклады:

⭐ Viktor Vedmich: Senior Developer Advocate at AWS — "Chaos engineering Why breaking things should be practiced"

⭐ Denis Astahov: AWS Hero, Solutions Architect at OpsGuru — "Why you should use AWS Organization"

⭐ Pawel Piwosz: AWS Community Builder, DevOps Institute Ambassador, Lead Systems Engineer at Epam Systems — "Security for IaC with Terraform and Cloudformation(Live demo)"

Мероприятие бесплатное, пройдёт онлайн 24 апреля в 17:00 GMT+2 (18:00 по Минску/Москве).

Присоединяйтесь!

🆕 Lambda + Python 3.10

https://docs.aws.amazon.com/lambda/latest/dg/lambda-runtimes.html#w354aac23c27:~:text=Mar%2031%2C%202023-,Python%203.10,-python3.10

#Lambda

Команда девопсов демонстрирует клиенту как просто выкатывается новая версия на прод.

#пятничное

How to create and manage Redshift clusters, as well as store, process, and analyze large data scopes?
How does AWS QuickSight facilitate data-driven decisions in companies?

📍Join the Data Analytics Meetup by N-iX!

Rostyslav Fedyshyn, Solution Architect | Head of Data & Analytics Practice at N-iX
and Oleksiy Ivanchenko, Solution Architect at AWS, will give deep answers to these questions and share best practices on:
• setting up and optimizing Redshift;
• using Redshift in real projects and optimal integration with other services;
• how QuickSight allows you to share analytical results with colleagues, which contributes to better decision-making and team collaboration.

Don't miss it!
April 26 at 18:00 (GMT+3)
Online

Participation is free of charge: https://bit.ly/3H8SyOG

See you there!

​​cfn-teleport

A command-line tool which can move CloudFormation resources between stacks.

https://github.com/udondan/cfn-teleport

cfn-teleport --source Stack1 --target Stack2 --resource Bucket21D68F7E8 --resource Bucket182C536A1 --yes

#CloudFormation

Уже третий эпизод - и только о AWS организациях!
В первой части поговорили о Organization Units, во второй - о service control policies (SCPs). В новом выпуске продолжаем обсуждать безопасность: начали с IAM Access Analyzer, затронули то, как работает SOO и работу c SSO через CLI. А на сладкое поделились с вами проверенными практиками написания SCP политик, способами защиты root account и MFA, а также описали важные шаги в случае, если MFA была утеряна.

Тема настолько обширная, что, кажется, будет продолжение в 4 выпуске. Будем рады ответить на вопросы!

#podcast
Послушать можно тут:
- Apple Podcasts
- Google Podcasts
- Spotify
- PodBean
- YandexMusic

Watch out for your kids!

​​⭐️ Top AWS Week Updates 2023 April 23-29

Прошедшая неделя была богата заметными AWS новостями.

🔹 Athena теперь имеет Provisioned Capacity, важная и полезная вещь. Однако попытка "включил и выключил — приключение на 20 минут" закончится аналогично, т.к. минимальная мощность 24 DPU, а время 8 часов, то есть около 60$.

🔸 В CloudWatch обновилась консоль и да, это важно. Вы ведь тоже ненавидите CloudWatch за те проклятые часы, когда накликанные дашборды уходили в небытиё из-за окончания сессии? Так вот, произошло чудо и туда таки завезли автосохранение (а в следующем году мог бы быть юбилей ненависти — 15 лет).

🔹 В FIS сервис завезли симуляцию переполнения диска — первая проблема по популярности (проблемы сети/DNS, понятно, вне конкуренции).

🔸 Пишущим на Java (мои соболезнования) в Lambda добавили поддержку Java 17.

🔹 Амазоновская Grafana проапдейтилась до 9.4 версии, ура! Кто кликал там всё вручную — придётся страдать и завидовать. Миграции не предусмотрено, просто при создании workspace можно выбрать версию 8.4 или 9.4.

🔸 Новость про поддержку в RDS инстансов m7g/r7g здесь была ещё 2 недели назад, но другим рассказали страшную правду лишь сейчас.

🔹 Амазоновская Kafka (MSK) теперь может работать cross-account и cross-VPC — реально круто.

🔸 В OpenSearch завезли OpenSearch Ingestion, просто супер. Что, уже можно выбрасывать свои костыли и всякие Лямбды для заброса логов с S3? Эээ, не спешите, посмотрите на ценник. $200 в месяц. Кому-то нормально, конечно, но если костыли работают очень давно, то это уже не костыли, а "исторически сложившаяся архитектура".

🔹 В RAM добавились кастомные политики расшаривания. То есть можно ограничить расшаренное в какой-то аккаунт, отдавая лишь кусочек нужного функционала. Не шибко применимо на сейчас, но супер круто на потом.

🔸 В S3 наконец-то сделали по дефолту ACL выключенным, а бакеты приватными, ура, свершилось! Хотя ещё в четверг пробовал, не было. Теперь можно удалять раздражающие блоки aws_s3_bucket_public_access_block и aws_s3_bucket_ownership_controls для каждого бакета.

🔹 Amazon Verified Access вышел в GA. Классный, крутой и полезный сервис. Если бы не цена. 200$ в месяц за то, что ваши девопсы не осилили настроить AWS ALB + SSO через Cognito — такое себе удовольствие.

🔸 В поддержку добавили корейский. Это не важно? Ну, как сказать. Тот нечастый случай, когда завидуешь гражданам КНДР.

🔹 В EC2 для AMD виртуалок завезли поддержку SEV-SNP. Если кому-то этот странный набор букв кажется не слишком важным, то, поверьте, это очень важно — расскажу в следующем посте.

#top #week

​​Confidential Computing

Confidential Computing, если говорить упрощённо, это способ запуска своей виртуалки или приложения таким образом, что остальные части — гипервизор, хостовая ОС или условный BIOS (в общем, всё, что "выше" и можно подвести под термин "Cloud Provider") — не имеют доступа к вашей информации. Реализуется это на уровне процессора, когда память шифруется на лету, т.е. в DRAM сохраняется уже в зашифрованном виде и расшифровывается при чтении. Ключи шифрования не покидают процессор и вы можете проконтролировать этот процесс.

История

Intel в 2015-м году выпустил первые процессоры с Intel SGX, технологией, позволяющей на программном уровне внутри ОС или виртуалки создать шифрованную область, которая аппаратно защищена от любых других процессов.

AMD выбрала другой путь и в 2016-м выпустила процессоры с AMD SEV, шифрующие всю память на уровне виртуалки. Это намного удобней — нет специальных драйверов и разработки на уровне приложений. Кроме того такой подход позволяет обезопасить уже имеющиеся нагрузки (легаси) да и просто "облачней".

Каждый из конкурирующих вариантов имел проблемы. Intel SGX ломали столько раз, что Intel даже задеприкейтила эту технологию, начиная с десктопных процессоров 11-го поколения. AMD SEV не шифровал регистры при переключении, потому через год появился AMD SEV-ES. Проигрывая Intel по части отсутствия контроля целостности памяти, в 20-м году с выходом Zen3 появился функционал AMD SEV-SNP, который закрыл эту проблему.

Intel тоже активно работал, штопая дыры и клепая версии Intel SGX. Первая позволяла защитить лишь маленькую область данных 128/256МБ, потому появилась Intel SGX Scalable, увеличив объём до 1 ТБ. Технология Intel SGX осталась в серверных процессорах и имеет на текущий момент уже третью версию драйвера. Догоняя AMD в популярном подходе шифрования на уровне виртуалки, она выпустила Intel TDX, доступный в последнем поколении серверных процессоров.

Итого на сегодня для реализации Confidential Computing для x86 имеем:
▫️ AMD SEV-SNP, построенная на базе AMD SEV и AMD SEV-ES — начиная с Zen3 (2021)
▫️ Intel TDX, построенная на базе Intel SGX — начиная с 4th Gen Intel Xeon Scalable processors (2022)

▪️ А что же для ARM? У ARM давно есть технология TrustZone, однако она имеет ограничения схожие с Intel SGX. В будущих процессорах ARM v9 это будет реализовано с помощью ARM CCA (Confidential Computing Architecture), то есть на текущий момент это лишь планы (2023+).
▪️ Наконец, Nvidia тоже с недавнего времени старается решить этот вопрос и год назад реализовала функционал Confidential Computing в NVIDIA H100 Tensor Core GPU (2022).

Итого, четыре крупных игрока, три из которых уже имеют решения для Confidential Computing.

А что же AWS? Амазон пошёл другим путём, по принципу сходным с Intel SGX, реализовав технологию AWS Nitro Enclaves, позволяющую создать защищённую область внутри EC2 виртуалки. Её тоже можно удалённо аттестировать, однако в отличие от Intel, у AWS имеется техническая возможность получить доступ к данным внутри, поэтому реализовать ZeroTrust подход невозможно, т.к. в трастовых всегда будет AWS как провайдер. В том числе поэтому спектр применения AWS Nitro Enclaves достаточно узкий.

👉 Продолжение следует.

#ConfidentialComputing

​​☁️ Confidential Computing на AWS

29 апреля 2023 компания AWS официально вступила в клуб Confidential Computing.

https://aws.amazon.com/about-aws/whats-new/2023/04/amazon-ec2-amd-sev-snp/
 
Многие годы скептики переезда в облака и, в частности, в AWS, имели три железных аргумента:

1️⃣ Не доверяю этим вашим облакам, которые где-то там. Только настоящее железо у себя в серверной!

Появление AWS Outposts закрыло этот аргумент — можно поставить себе в серверную кусочек собственного и при этом настоящего AWS.

https://aws.amazon.com/outposts/

2️⃣ А ключи шифрования-то лежат у облачного провайдера, захочет — расшифрует!

Появление AWS XKS закрыло и этот аргумент — теперь в качестве AWS KMS можно использовать собственный ключ, который не будет покидать вашей серверной.

https://aws.amazon.com/blogs/aws/announcing-aws-kms-external-key-store-xks/

3️⃣ Всё равно провайдер, если захочет или если от него потребуют — получит доступ к вашим данным!

Появление поддержки AMD SEV-SNP закрыло и этот аргумент — создав виртуалку c6a/m6a/r6a в Ирландии или Огайо, её можно аттестовать и убедиться, что AWS не имеет доступа к данным в ней на аппаратном уровне.

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/snp-attestation.html

И это реально круто. 💪

💰 Круто и недорого — за поддержку AMD SEV-SNP придётся доплатить 10% от стоимости виртуалки, а значит минимальная обойдётся в 60$/месяц. Теперь можно выполнять даже самые жестокие требования регуляторов.

🌤️ Но главное, повторюсь, у скептиков переезда в AWS из-за опасений по части безопасности не осталось аргументов — есть любые варианты. Можно спорить о цене и других моментах, но вопрос с безопасностью железно закрыт во всех смыслах.

👉 Продолжение следует
Часть 1 - Confidential Computing

#ConfidentialComputing

Микросервисы → Монолит

Статья от Amazon Prime Video, где рассказывается, как удалось уменьшить расходы в десять раз после перехода с микросервисов на монолитную архитектуру:

https://www.primevideotech.com/video-streaming/scaling-up-the-prime-video-audio-video-monitoring-service-and-reducing-costs-by-90

Статья достаточно скудная на факты, потому попробую изложить свою версию развития событий исходя из данного текста.

v.0.0.0

— Привет, Дмитро. Тут задача срочная прилетела — клиенту нужно запилить сервис по проверке качества роликов. А вы, помню, уже как-то что-то делали для тестирования видео?
— Было дело, накрапали костылик для внутренних нужд, чтобы отчёты слать аналитикам.
— Вот и отлично, приступайте.
— А какая нагрузка планируется?
— Подробностей не знаю, если что, чего-нибудь помощней поставим.
— Не, мы ж на Лямбдах всё написали.
— О, отлично, передам маркетингу — у нас будет Serverless-решение!

v.0.1.0

— Макс, что по нагрузке?
— Всё должно работать рилтайм и в перспективе держать тысячи параллельных задач на обработку.
— <censored>! Мы ж никогда пробовали на таких объёмах.
— Поздно, уже всё продано, продолжайте делать.
— А денег у клиента хватит?
— Деньги не проблема, главное сделать быстро!

v.1.0.0

— Дмитро, у нас проблемы. Клиент увидел счёт за прошлый месяц и офигел.
— Я предупреждал. И это лишь 5% от полной нагрузки.
— А почему так дорого?
— Так мы ж каждый кадр видео на S3 гоняем Лямбдами по несколько раз с помощью дорогущих Step Functions.
— И как это исправить?
— Никак, нужно всё переделывать. Проанализировать результаты под нагрузкой, попробовать различные варианты, спроектировать...
— ...А если нужно вчера?
— Ну, можно всё тупо засунуть в один контейнер и масштабировать как монолит с помощью ECS. Ещё и дешевле получится.
— О, супер, так и сделаем. И продадим как версию 2.0. А я напишу маркетингу, пусть они статейку накатают, как мы сэкономили клиенту кучу денег, перейдя на монолит с микросервисов. Все будут обсуждать только это и никто не вспомнит, как мы облажались с первой версией.

#serverless #monolith #design

Анализ статьи Amazon Prime Video

Во-первых, мои поздравления команде маркетинга Amazon — браво, великолепная работа! Кратко, минимум информации, точно в больное место и в результате каждый может сделать для себя (не)правильные выводы.

Во-вторых, если у вас есть сомнения в компетенциях управляющих процессом разработки в Amazon, то сначала спросите, что по этому поводу думает Google ChatGPT или просто посмотрите список самых успешных IT компаний.

Целью команды Amazon Prime Video было максимально быстро получить рабочий вариант. С отлаженным процессом разработки на Serverless можно выдавать готовые решения за несколько спринтов, в том числе для сложных и нагруженных систем.

Главный плюс Serverless — не условная "бесплатность", это уже побочный эффект. Главный плюс — скорость разработки и возможность справляться с неизвестной или непрогнозируемой нагрузкой.

Анализ статьи с цитатами из текста

1️⃣ Была задача получить решение максимально быстро и они сделали это. Serverless прекрасно вписывается в этот подход и команда имеет опыт разработки Serverless решений.

«We designed our initial solution as a distributed system using serverless components (for example, AWS Step Functions or AWS Lambda), which was a good choice for building the service quickly.»

2️⃣ Они получили опыт эксплуатации первой тестовой версии и реальные данные по нагрузке. Выяснилось, что быстро разработанное Serverless-решение имеет ограничения по масштабированию да при этом ещё и дорогое.

«In theory, this would allow us to scale each service component independently. However, the way we used some components caused us to hit a hard scaling limit at around 5% of the expected load. Also, the overall cost of all the building blocks was too high to accept the solution at a large scale.»

3️⃣ На основе полученных данных они получили возможность сформировать конкретные требования как по масштабированию, так и по стоимости. В результате чего переработали решение, выбрав монолитную архитектуру вместо распределённой.

«We initially considered fixing problems separately to reduce cost and increase scaling capabilities. We experimented and took a bold decision: we decided to rearchitect our infrastructure.
We realized that distributed approach wasn’t bringing a lot of benefits in our specific use case, so we packed all of the components into a single process. This eliminated the need for the S3 bucket as the intermediate storage for video frames because our data transfer now happened in the memory. We also implemented orchestration that controls components within a single instance.»

4️⃣ Изменения затронули лишь исполнительную часть, общая схема не изменилась, поэтому переход Serverless → ECS был быстрым.

«Conceptually, the high-level architecture remained the same. We still have exactly the same components as we had in the initial design (media conversion, detectors, or orchestration). This allowed us to reuse a lot of code and quickly migrate to a new architecture.»

Выводы

Имея свободу в изменении в том числе архитектурного решения, можно и быстро разрабатывать, и получать эффективные проекты.

Однако каждый может сделать и свои выводы — ещё раз респект маркетингу Amazon. Кстати, им точно стоит развить успех и помочь коллегам из AWS с придумыванием адекватных названий для сервисов.

P.S. Самая уместная (из немногих) статья по данной теме:

https://adrianco.medium.com/so-many-bad-takes-what-is-there-to-learn-from-the-prime-video-microservices-to-monolith-story-4bd0970423d4

#design #development #marketing