Дорогие читатели, запись моего доклада для Highload++ 2019 - https://youtu.be/BEZKub1BYCE

Таймкоды к видео Нормально делай - нормально будет:

0:17 - Кому хорошо спится по ночам
2:36 - Зачем нанимают амазонщиков
3:07 - Least Privilege Principle (LPP)
4:40 - Метод обезьянки для борьбы с LPP
5:54 - В любой непонятной ситуации берите M-тип виртуалок
6:34 - Горизонтальное масштабирование против вертикального
8:08 - Только Spot, только хардкор!
9:13 - Проблема next-next-next-finish.
9:50 - Идентификатор зоны доступности и его отличие от имени зоны доступности
11:50 - Не используйте AWS Console вообще! (штоа?!?)
12:25 - Infrastructure As Code и экстремалы из Ansible
14:53 - cfn-lint (линтер, который не валидатор)
16:54 - AWS Trusted Advisor - сервис-советчик
17:54 - AWS Config - история изменения ресурсов с проверкой Compliance
18:51 - RDK (Rule Development Kit) для AWS Config Custom Rules
21:15 - Well-Architected Framework
22:08 - Well-Architected Tool
24:20 - Multi-Account Strategy
28:50 - Расчёт оценки решения
30:51 - Эксплуатационные издержки
32:42 - Делайте нормально и спите хорошо!

Вопросы:

33:36 - Как вы относитесь к Фаргейту (спойлер - очень положительно)
34:37 - Когда будут реализованы persistent volumes для Фаргейта (спойлер - следующий вопрос)
35:07 - Когда Карен напишет книжку «Стандарты разработки Serverless приложений» (спойлер - в раздумьях)
36:30 - В каких случаях стоит использовать Serverless (спойлер - отталкивайтесь от проблемы)
38:05 - Serverless - это не лямбда, а подход (ответ из зала)
39:17 - Преобразование одного аккаунта с продом в мультиаккаунт схему (без спойлера)
40:32 - Terrafom vs CloudFormation (спойлер - CloudFormation более надёжный)
44:23 - Подводные камни у Route53 (спойлер - не поддерживает DNSSEC)

п.с. Удалось дважды попасть в кадр на 10:12 и 24:25.

⁠В̵с̵помнить всё

Поучительное совпадение - буквально пару дней назад записал себе в заметки (на картинке - простые гуглошиты, просто копирую себе полезное из обсуждений, каждый месяц меняю название, т.к. много слишком много страниц набегает :) ) из AWS-чатов в слэке, где общаются настоящие гуру, что кто-то отвечая на вопрос не знал какой-то вещи. При этом сомневаться в профессионализме не приходилось и т.к. до этого не раз такое замечал, решил законспектировал конкретный факт, чтобы после написать о такой проблеме.

И вот сегодня примерно-показательно выяснилось, что и сам такой же. Кому лень читать лог чата, то коротко - посоветовал вариант решения, предполагая, что Access Control по тэгам объектов в S3 невозможен, а потому нужно использовать другой подход, в то время, как это давно реализовано.

То есть вот писал про тэги тут сто раз, понимая и рассказывая их важность, а не знал вещей 2013-го года розлива.

Задумался, как же так. После потужился и вспомнил, таки читал в документации, но не встречая реальных примеров использования-обсуждения таких проблем и это ушло на задний план. А после, видимо, было окончательно отторгнуто логикой "это ж ведь расходы какие на каждый запрос к объекту - вряд ли значит так может быть".


Выводы я для себя ещё сделаю, но один из них - граждане, спрашивайте и вам ответят. Сила коллективного разума, однако.

Другой: делайте внешний аудит ваших решений, какие бы профи у вас не работали (в том числе вы лично или я).

Ну и третий - проходите сертификацию, сдавайте на сертификаты. Писал, что не получал сертификатов за ненадобностью, как считал. И на выходе, вот, прорехи в обороне. Надеюсь, что сдача на сертификат позволит структурировать знания и закрыть такие бреши.

#учиться #учиться #учиться

Инструменты для получения минимальных прав (Least Privilege Principle), что требуются приложению с помощью CloudTrail:

https://medium.com/netflix-techblog/introducing-aardvark-and-repokid-53b081bf3a7e

https://github.com/duo-labs/cloudtracker

Это в дополнение к видео выше.

Где задать вопрос по AWS

Официальный форум:
https://forums.aws.amazon.com/
Официальный, англоязычный, требуется аккаунт в AWS.

Reddit:
https://www.reddit.com/r/aws/
Большой и популярный англоязычный форум, короче - Reddit.

Slack og-aws (каналы #questions #cloudformation
#ecs и другие) - требуется инвайт.
Инвайт можно получить на https://og-aws-slack.lexikon.io/ , большое количество каналов по Амазону, известные AWS-гуру обитают тут, потому вопросы предполагают какой-то достаточный уровень. Задавать вопросы сразу в нескольких каналах не принято. Если не знаете точно темы - задавайте в #questions. Англоязычный.

Slack hangops (канал #aws) - требуется инвайт.
Инвайт можно получить на https://signup.hangops.com/ , живенький AWS-чат, вопросы предполагают некоторый уровень, англоязычный.

Телеграм:
AWS_ru
AWS Minsk Community
AWS@NSK
AWS User group Kazakhstan

Чат AWS_ru - самый большой и самый популярный русскоязычный чат по AWS.

Его преимущества - очень много народу, можно получить с большой вероятностью качественный комментарий, т.к. его читают и в нём отвечают представители AWS. Задать вопрос можно любого уровня и при этом не побьют.

Его минусы - когда много народу спрашивает, лента бежит быстро и на ваш вопрос могут так и не ответить, даже если кто-то мог и хотел.

Поэтому, если вы из Минска-Новосибирска-Казахстана-поблизости - старайтесь задавать вопрос в своих сообществах. Везде есть профи, только местные точно увидят ваш вопрос и с удовольствие ответят. Кроме того представители AWS мониторят и эти каналы, потому также смогут прокомментировать.

Facebook:
https://www.facebook.com/groups/aws.notes/
Юзер-группа канала aws_notes, требуется аккаунт в Facebook. Народу нет совсем, но если кто спросит - я точно отвечу. :) Копирую туда новости из этого канала для тех, кому удобней читать и комментировать в Фейсбуке.

#info

Из правил техподдержки AWS.

Неправильно говорить «Нет, к сожалению, у нас нет такого сервиса», правильно «Вы можете сделать это сами на Лямбде!»

#правильное

Из правил отдела маркетинга AWS.

Неправильно говорить «Мы придумали новую фичу», правильно «Почти все фичи сделаны по просьбам наших клиентов».
Если фича понравилась — мы заботимся о вас.
Если нет — мы тут ни при чём, это ж клиенты.

#правильное

Из правил работы пресс-службы AWS.

Если за день не было новостей, то обратитесь в отдел по развёртыванию текущих сервисов в любом регионе или просто печатайте результаты очередного спринта команды CloudFormation.

#правильное

Из правил технического отдела EC2.

Название для нового типа инстансов формируется по первому потопленному однопалубному кораблю.

#правильное

Подсказка по морскому бою.

CloudFormation - главные фичи 2019

• Появился Roadmap
• Импорт существующих ресурсов в стэки
• Реестр для сторонних ресурсов + cfn (CloudFormation Command Line Interface)

#итоги

VPC - главные фичи 2019

• Shared VPC
• VPC Traffic Mirroring
• VPC CNI Version 1.5.0 для EKS
• awsvpcTrunking для ECS
• VPC NAT для Лямбды
• Метадата для VPC Flow Logs
• Kinesis добрался до VPC
• VPC Ingress Routing

#итоги

S3 - главные фичи 2019

• S3 Batch Operations
• S3 Path Deprecation Plan до 2020.09.30
• SigV2 Deprecation Period до 2020.06.24
• Same-Region Replication
• S3 Replication Time Control (SLA для Cross-Region Replication)
• S3 Access Points

#итоги

Новые фичи коротко:

• Асимметричное шифрование (публичный+приватный ключ) в AWS KMS
• Least Outstanding Requests (LOR) для ALB
• CloudWatch метрики для VPC Traffic Mirroring
• Политики тэгирования в AWS Organizations
• NLB поддерживает подсети из Shared VPC
• Amazon QuickSight API
• Managed Rules для AWS WAF
• External Identity Provider для AWS SSO
• Поддержка своих ключей (KMS Customer-Provided Keys) в Kinesis и DynamoDB
• Поддержка LDAPS в AWS Managed Microsoft AD
• Пользовательские функции в Amazon Athena
• Параллельная Лямбда под Kinesis
• Spot инстансы в Elastic Beanstalk
• Materialized Views в Amazon Redshift

@aws_update

​​Новое на AWS:

EC2 Image Builder - сервис для создания и сопровождения системных образов для Windows Server и Amazon Linux 2

AWS DeepComposer - сервис для сочинения музыки.

DeepRacer Evo - новая машинка с двумя камерами и LIDAR-ом.

Amazon Transcribe Medical - сервис перевода в текст речи врачей.

Amazon EventBridge Schema Registry Preview - с поддержкой в JetBrains IntelliJ, PyCharm и Microsoft Visual Studio Code.

AWS End-of-Support Migration Program (EMP) for Windows Server - позволяет запускать не имеющие уже поддержки Windows приложения, рассчитанные на Windows Server 2003/2008/2008R2 и новей без их изменения.

#reInvent

⁠IAM анализатор и S3 анализатор

Появились два полезных инструмента по безопасности.

IAM Access Analyzer позволяет просканировать аккаунт на предмет доступа - для бакетов, ролей, ключей шифрования и т.д. - из других аккаунтов либо просто публичных.

https://aws.amazon.com/blogs/aws/identify-unintended-resource-access-with-aws-identity-and-access-management-iam-access-analyzer/

Сделанный на базе апишки IAM анализатора Access Analyzer for S3 доступен в консоли S3 и показывает доступ лишь для бакетов:

https://aws.amazon.com/blogs/storage/protect-amazon-s3-buckets-using-access-analyzer-for-s3/

В общем, давно назревшие решения, для тех, кто не озаботился и не использовал открытые альтернативы (которые местами более детальные и точные, чем свежие амазоновские) - однозначно рекомендуется к (постоянному) использованию.

#IAM #S3

EC2 - главные фичи 2019

Фичи:
• EC2 Instance Connect (SSH к виртуалкам через IAM)
• EC2 Instance Metadata v2 - аутентификации для метадаты
• EC2 Image Builder для создания образов Windows Server и Amazon Linux 2

EBS:
• Шифрованный EBS из нешифрованного AMI
• Шифрование по умолчанию для EBS
• Fast Snapshot Restore (FSR) для EBS - быстрое восстановление из снэпшота

Auto Scaling:
• Maximum Instance Lifetime - пенсионный возраст для Auto Scaling
• Instance Weighting - веса (приоритеты) для Auto Scaling

ALB:
• Weighted Target Groups (приоритеты) для ALB
• Least Outstanding Requests(LOR) для ALB - альтернатива Round-Robin для балансировки

NLB:
• NLB - теперь можно добавить подсетки для текущего NLB, выбрать конкретный айпишник и использовать подсетки из Shared VPC

Опции:
• SendDiagnosticInterrupt (блюскрин вручную)
• Изменение On-Demand Target Capacity для существующих EC2 Fleet
• vCPU-based лимиты для On-Demand виртуалок

Сетка:
• Elastic Fabric Adapter (EFA) для c5n.18xlarge и p3dn.24xlarge

Dedicated:
• Host Recovery для Dedicated хостов

Windows:
• Microsoft SQL Server 2019 на EC2

Улучшайзинги:
• Визард для подключения EFS при создании виртуалки
• Типы виртуалок в EC2 консоли

Инстансы:
• t3a инстансы - burstable на AMD
• i3en инстансы - быстрая сеть плюс большой и быстрый диск (для баз данных и т.п.)
• c5.12xlarge, c5.24xlarge и c5.metal типы виртуалок
• c5d.12xlarge, c5d.24xlarge и c5d.metal типы виртуалок
• 8xlarge и 16xlarge для m5 и r5 типов виртуалок
• g4dn инстансы с NVIDIA T4 для ML и т.п.
• High Memory инстансы до 24ТБ - для SAP HANA
• a1.metal инстансы на ARM процессорах от Амазона
• m5n и r5n инстансы с быстрой сеткой
• t2/t3/t3a инстансам можно включить Unlimited mode на уровне аккаунта
• inf1 инстансы на Inferentia чипах от Амазона для машинного обучения

#итоги

Amazon S3 Access Points:

https://docs.aws.amazon.com/AmazonS3/latest/dev/access-points.html

Для бакета можно создать одну или больше точек доступа, у каждой будет свой уникальный (внутри региона и аккаунта) DNS и свои полиси.

https://aws.amazon.com/blogs/aws/easily-manage-shared-data-sets-with-amazon-s3-access-points/

В общем, маленький (а не глобальный), собственный, региональный S3.

#S3

⁠Local Zones

Вы жаловались, что невозможно запомнить названия регионов и обрадовались их подписи в консоли? Рано радовались (см. картинку):

https://aws.amazon.com/blogs/aws/aws-now-available-from-a-local-zone-in-los-angeles/

Если коротко и более серьёзно, для близости к конечным пользователям, "в местах скопления людей, денег и людей с деньгами", будут развёрнуты локальные зоны в дополнение к "обычным".

В частности, по причине выполнения вышеназванных факторов, в Лос-Анджелесе в следующем году появится локальная зона с захватывающим названием us-west-2-lax-1a. По-моему - отличная причина туда переехать и быть близко к AWS во всех смыслах (не сарказм).

#reInvent

⁠AWS Outposts - амазоновские сервисы на своём железе

Обещали Outposts год назад и вот сделали:

https://aws.amazon.com/blogs/aws/aws-outposts-now-available-order-your-racks-today/

Теперь можно в своём датацентре поднять свою VPC, в ней свои EC2 виртуалки со своими EBS дисками, развернуть свои ECS или EKS кластер, а также свои EMR и RDS.

Для работы с S3, DynamoDB, CloudFormation, CloudWatch, балансеры и т.д. - используются VPC Endpoints.

К сожалению, сервис не доступен в наших пенатах. Однако мы верим. Ждём и верим.

#Outposts