Где нужно прописывать временные IAM credentials (не в ~/.aws/credentials) и почему:

https://ben11kehoe.medium.com/never-put-aws-temporary-credentials-in-env-vars-or-credentials-files-theres-a-better-way-25ec45b4d73e

Для работы с временными кредами нужно использовать переменную credential_process. Для случаев, где не работает credential_process, можно использовать авторскую утилиту https://github.com/benkehoe/aws-export-credentials либо на её базе сделать свою.

Очень полезный документ от Ben Kehoe (как и другие) по внутренностям работы IAM:

🔹 Principals and credentials
🔹 Assuming a role and using the credentials
🔹 Configuring and using named profiles
🔹 Assumed role profiles
🔹 AWS SSO profiles
🔹 Federated sign-in (AssumeRoleWithSAML) 
🔹 credential_process
🔹 aws-export-credentials

Очень рекомендуется к прочтению для понимания IAM — это рафинированный опыт, практические знания, сложные, как и вся тема IAM, но при этом и самые важные.

Однозначно в закладки, причём те, что стоит постоянно держать перед глазами.

#IAM #security

Детали архитектуры Astana International Exchange on AWS
Kuanysh 👍🏻 @ekrasikov
https://youtu.be/IP03SkGbP-U

Все официальные AWS post-mortems в одном месте:

https://aws.amazon.com/premiumsupport/technology/pes/

Всегда полезный список для изучения. Память подводит, а здесь можно освежить знания, зрительно увидеть картинку в исторической перспективе и уже даже на основе такой статистики сделать какие-то выводы по дизайну либо Disaster Recovery плану.

#design #взакладки

Публичный слой для Лямбда + AWS Lambda Powertools for Python:

https://awslabs.github.io/aws-lambda-powertools-python/latest/

Теперь добавить поддержку AWS Lambda Powertools for Python можно просто добавив одну строчку в код Лямбды:

MyLambdaFunction:
Type: AWS::Serverless::Function
Properties:
Layers:
- arn:aws:lambda:us-east-1:017000801446:layer:AWSLambdaPowertoolsPython:3

#Lambda

А вы говорите, это у вас тяжёлая неделя выдалась:

https://www.mirror.co.uk/news/world-news/breaking-facebook-instagram-go-down-25173626

Найти сертификаты ACM...

aws acm list-certificates

... показать лишь выданные (валидные)...

 --certificate-statuses ISSUED

...вывести ARN сертификата для нужного домена my.domain...

--query "CertificateSummaryList[?DomainName=='my.domain'].CertificateArn"

...в виде готового значения (а не JSON)...

 --output text

Итого:

aws acm list-certificates --certificate-statuses ISSUED --query "CertificateSummaryList[?DomainName=='my.domain'].CertificateArn" --output text

#query #ACM

Итоги недели на AWS (10/3-10/9 2021)

CodeGuru
▪️ Java код теперь можно анализизировать с помощью Infer
▪️ Python код можно анализировать на проблемы безопасности с помощью двух Security detectors: 🔥
1. Топ10 OWASP категорий, security best practices для AWS APIs, а также проблемы при использовании библиотек шифрования.
2. Используя опенсорсный фреймворк https://github.com/PyCQA/bandit
С помощью CodeGuru теперь можно заменять не только девопсов, но и безопасников. 😁

RDS PostgreSQL
▪️ Новые версии 13.4, 12.8, 11.13, 10.18 и PostGIS 
3.1.4 для них

Network Firewall
▪️ Централизованное логирование

Lambda
▪️ Лямбду можно триггерить для SQS из другого аккаунта 🔥
▪️ Обновилась документация для CloudFormation, где появился пункт Architectures 🎉
▪️ Можно использовать IAM аутентификацию (в дополнение к парольной), чтобы ходить в Кафку

Amazon OpenSearch Service (OSS)
▪️ OpenSearch 1.1.0 с поддержкой Cross-Cluster Replication (CCR) 👍
Теперь можно иметь реплики для OSS в разных регионах, чтобы уменьшить задержки, реализовать мульти-региональную инфраструктуру либо реализовать Disaster Recovery.
▪️ Новая консоль

EC2
▪️ Capacity Reservation Fleet — возможность изменять типы зарезервированных инстансов на новые поколения 👍
▪️ Поддержка Hibernation для Ubuntu 20.04 LTS 

AWS Backup
▪️ Поддержка AWS Backup Audit Manager в CloudFormation (однако документацию ещё не обновили)
▪️ У Backup Audit Manager появились compliance reports
▪️ AWS Backup Vault Lock — можно защитить бэкапы от удаления навсегда (и будете платить за них всю жизнь! 😁)

Beanstalk
▪️ Теперь можно не удалять используемую при создании базу данных с помощью опций HasCoupledDatabase и DBDeletionPolicy

===

Опрос — самые интересные AWS события 10/3-10/9 2021.

#AWS_week

Новые CloudFormation ресурсы — теперь можно разворачивать окружение с Lightsail виртуалками:

🔹 AWS::Lightsail::Instance
🔹 AWS::Lightsail::Disk

#CloudFormation #Lightsail

Тяжёлая выдалась неделя:

🔸 Падение Facebook 4 октября
🔸 Массивная утечка исходников Twitch
🔸 Падение Facebook 8 октября

Ещё предстоит проанализировать последствия, а также отметить позитивные стороны произошедшего. За что нужно искренне поблагодарить коллег из Facebook — для будущих докладов по сетям, безопасности, архитектуре, надёжности, Disaster Recovery, Incident Management и далее по списку — появился великолепный материал. Раньше такое нужно было придумывать и использовать "вот, предположим", а теперь достаточно "а помните".

Резервирование

— Вот представьте, вы пилите мессенджер и, конечно же, сами его пользуете для всех процессов. А что будет, если у вашего мессенджера возникнут проблемы? А?
— Нужно иметь запасной мессенжер для коммуникаций.
— Именно! А как заводить пользователей в запасной мессенжер?
— Через централизованную авторизацию компании для обоих мессенджеров. Не может же корпоративный домен пропасть, да?...

Моделирование

— А помнишь, как у нас всё легло 4 октября из-за ошибки в настройках BGP?
— Как не помнить.
— Так вот, мы решили найти причину и 8 октября провели эксперимент по её моделированию.
— Как я понимаю, у вас всё получилось.
— Ага.

#жизненное

​​15 октября заканчивается раздача 50% скидок на сдачу Solutions Architect - Associate:

https://pages.awscloud.com/SAA-Voucher-LP.html

#AWS_Certification

Как избежать бесконечного вызова (рекурсии) Лямбды при работе с S3:

https://aws.amazon.com/blogs/compute/avoiding-recursive-invocation-with-amazon-s3-and-aws-lambda/

Способы:
(1) Using a prefix or suffix in the S3 event notification
(2) Using object metadata to identify the original S3 object
(3) Using an Amazon DynamoDB table to filter duplicate events
1 2 3
Output uses the same bucket Y Y Y
Output uses the same key N Y Y
User-defined metadata N Y N
Lambda invocations per object 1 2 1-2

#Lambda

​​CDK8s + Go:

https://aws.amazon.com/blogs/containers/announcing-the-general-availability-of-cdk8s-and-support-for-go/

CDK8s (Cloud Development Kit for Kubernetes) получил поддержку Go и вышел в General Availability. То есть теперь можно сменить профессию YAML-инженера на более привычный язык:
🔸 Python
🔸 TypeScript
🔸 Java
🔸 Go

CDK8s+ является надстройкой над CDK8s, что позволяет ещё больше сократить код (см.картинку).

#cdk8s

AWS Backup Vault Lock — абсолютная блокировка возможности удалить бэкап:

https://aws.amazon.com/blogs/storage/enhance-the-security-posture-of-your-backups-with-aws-backup-vault-lock/

Включение Vault Lock недоступно через AWS консоль — нужно использовать AWS CLI или SDK.

После включения блокировки даётся минимум три дня на передумать. После этого периода, если вы вдруг не задали максимальный срок хранения — станете пожизненным спонсором AWS. 😁

#Backup

Напоминаю про сегодняшний AWS митап — присоединяйтесь!

На этой неделе сетевики из Facebook передали эстафету коллегам из OVH:

https://twitter.com/ovh_status/status/1448185498812485633

Из весёлых комментариев (на самом деле нет):

OVH CEO: We need to become a global brand just like
Facebook Infra Team: Hold my switches

​​Эстафетную палочку OVH перехватывают сетевые инженеры из Микрософт:

https://status.azure.com/status

Update
Microsoft says it mitigated one of the largest DDoS attacks:

https://www.thehindu.com/sci-tech/technology/internet/microsoft-says-it-mitigated-one-of-the-largest-ddos-attacks/article36979973.ece

​​#Начинающим — сейчас идёт онлайн-конференция AWSome Day:

https://pages.awscloud.com/emea-awsome-day-reg-event

AWSome Day Online Conference is a free training event delivered by AWS technical instructors. AWSome Day is here to level-up your understanding of the cloud. Learn what AWS Cloud concepts and services are right for you, and get back-to-basics training on key concepts like Compute, Storage, Database, Networking and Security. We will then discuss innovation opportunities through topics like Machine Learning, IoT, Edge Computing and more. At the end of the conference, you’ll leave with resources that will kick-start your learning journey and prepare you to start building on AWS.

Присоединяйтесь прямо сейчас — AWS митап User Group Ukraine:

https://www.youtube.com/watch?v=18Gy6JK4PhA

Serverless Cloud - в текущем виде надстройка над AWS, выглядит очень привлекательно, нужно попробовать.

https://www.serverless.com/blog/introducing-serverless-cloud-public-preview

#serverless

Well-Architected подход для Machine Learning:

https://aws.amazon.com/blogs/architecture/introducing-the-new-aws-well-architected-machine-learning-lens/

1. The Well-Architected Machine Learning Design Principles
2. The Well-Architected Machine Learning Lifecycle
3. Cloud and technology agnostic best practices
4. ML Lifecycle architecture diagrams

#Well_Architected #design

EPAM AWS Community приглашает на Serverless talks

📆 21 октября в 18:45 мск (2 часа 20 минут )
💻 онлайн, Zoom
Регистрация по ссылке

В начале встречи мы поделимся результатами и объявим победителей AWS COMMUNITY CHALLENGE.

В 19:00 вас ждут 2 доклада:
Aleksandr Barmin Chief Software Engineer I EPAM выступит с докладом Writing serverless app with AWS SAM.
После доклада вы сможете написать простое приложение, которое получает данные из общедоступного API, хранит информацию в DynamoDB, сохраняет записи в S3 и управляет процессом с помощью Step Functions.

Roman Boiko Senior Specialist Solutions Architect AWS расскажет об AWS Lambda deep dive. Вы узнаете все, что хотели знать о Lambda.