Метадата v.2

Для защиты от врагов, чтобы они не смогли узнать ваш внешний айпишник, роль и прочие вещи из метадаты, теперь доступна её вторая версия - с токеном:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-instance-metadata.html#configuring-instance-metadata-service

Пример использования метадаты второй версии:

curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"

AQAEAMMiR7trrtLiN8SOOiGQ4PFkK32HW60lliSpf-kcaYnW3RFtiQ==

curl -H "X-aws-ec2-metadata-token: AQAEAMMiR7trrtLiN8SOOiGQ4PFkK32HW60lliSpf-kcaYnW3RFtiQ==" -v http://169.254.169.254/latest/meta-data/public-ipv4

*  Trying 169.254.169.254...
* TCP_NODELAY set
* Connected to 169.254.169.254 (169.254.169.254) port 80 (#0)
GET /latest/meta-data/public-ipv4 HTTP/1.1
Host: 169.254.169.254
User-Agent: curl/7.61.1
Accept: */*
X-aws-ec2-metadata-token: AQAEAMMiR7trrtLiN8SOOiGQ4PFkK32HW60lliSpf-kcaYnW3RFtiQ==

HTTP/1.1 200 OK
X-Aws-Ec2-Metadata-Token-Ttl-Seconds: 21504
Content-Type: text/plain
Accept-Ranges: none
Last-Modified: Wed, 20 Nov 2019 09:05:09 GMT
Content-Length: 13
Date: Wed, 20 Nov 2019 09:11:06 GMT
Server: EC2ws
Connection: close
* Closing connection 0

63.34.171.2

Что можно с ходу сказать по этому поводу. Давно стоило сделать и вот наконец. Однако процесс миграции (на "защищённую" вторую версию) будет долгим и болезенным и займёт годы (без преувеличения).

Если у вас уже сегодня что-то отломалось с переключением ролей под капотом в каких-то утилитах - мои соболезнования, издержки прогресса, ждите обновления или пилите костыли.

Update: а вот пожалуйста.

#EC2 #metadata

⁠Время и регион последнего использования у ролей

Обидно, что добавив, аналогично юзерам, время последнего использования у ролей, в консоли нет региона. :( Региона, где роль последний раз использовалась.

Так обрадовался сначала, но после целый день искал - где же регион запропастился. А он завалился под диван и достаётся оттуда только с помощью #aws_cli:

aws iam get-role --role-name AWSCloudFormationStackSetExecutionRole

{
 "Role": {
...
 "RoleLastUsed": {
  "Region": "eu-west-1",
  "LastUsedDate": "2019-07-27T14:29:00Z"
 },
... 

Но если вы попытаетесь это у себя повторить, то наверняка не обнаружите секции RoleLastUsed, хотя в документации она есть. Просто достаётся она из-под этого из-под дивана лишь свежей версией #aws_cli!

/home/ec2-user # aws --version
aws-cli/1.16.286 Python/2.7.16 Linux/4.14.97-90.72.amzn2.x86_64 botocore/1.13.22

Столько времени потратил на вдалбливание этого (новое - новым!) в очередной раз.

В любой непонятной ситуации - обновляй aws-cli!

#IAM #самообучение

Новые фичи кратко

• SSM Explorer
• CloudWatch + Service Quotas
• Lamda + FIFO
• ALB + Weigth
• AutoScaling + Weigth
• AutoScaling + Lifetime
• CodeBuild for ML/AI
• Drift Detection + Stack Sets
• FSx Windows File Server + Multi-AZ
• S3 Replication Time Control (S3 RTC)

Больше обновлений - на @aws_update.

Amazon Chime SDK

Кто связан с VoIP - стоит обратить внимание на то, что Chime запилил, наконец, своё SDK:

https://aws.amazon.com/blogs/business-productivity/announcing-amazon-chime-sdk/

Три года пилили - уже точно достойный внимания продукт в этом столь конкурентном сегменте.

Chime SDK:

https://docs.aws.amazon.com/chime/latest/dg/meetings-sdk.html

Chime API:

https://docs.aws.amazon.com/chime/latest/APIReference/Welcome.html

#Chime

IAM + OU Condition

IAM в рамках #multi_account_strategy тренда продолжает обрастать функционалом для #Organizations и теперь позволяет управлять доступом для OU (Organization Unit):

https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_condition-keys.html#condition-keys-principalorgpaths

Например, для мультиаккаунтной схемы типа этой, можно сделать общий бакет для проекта Project1 и в него будут иметь доступ все dev-test-stg-prd аккаунты OU Project1:

{
 "Sid": "Full access for Project1 OU",
 "Effect": "Allow",
 "Principal": {
  "AWS": "*"
 },
 "Action": "s3:*",
 "Resource": [
  "arn:aws:s3:::project1-bucket",
  "arn:aws:s3:::project1-bucket/*"
 ],
 "Condition": {
  "ForAnyValue:StringLike": {
    "aws:PrincipalOrgPaths":["o-dtj1bor777/ou-d1n7-h8xzxidp*"]
  }
 }
}

#IAM #S3 #Organizations

Новые фичи кратко

• Новая версия EC2 консоли
• EBS Fast Snapshot Restore (FSR)
• ECR Events + EventBridge
• CloudWatch ServiceLens
• CloudTrail Insights
• Trace Map в X-Ray
• New DynamoDB Global Tables
• Sentiment Analysis для Amazon Lex
• Большое обновление CloudFormation

@aws_update

⁠EC2 console - Instance Types

Теперь для поиска подходящего типа инстанса не нужно идти на другие ресурсы типа (хорошего) https://ec2instances.info, т.к., наконец, в EC2 консоли появилось своё встроенное - отдельная менюшка Instance Types (см. картинку).

Это реализовано с помощью двух доступных апишек - DescribeInstanceTypes и DescribeInstanceTypeOfferings (последней пока нет в документации):

https://docs.aws.amazon.com/AWSEC2/latest/APIReference/API_DescribeInstanceTypes.html

Так что при желании можно делать свои варианты.

Удобные фильтры - можно вводить или выбирать. Много полезной информации с привязкой к типу инстанса, ради которой и приходилось раньше ходить в другие места - теперь всё под рукой.

Отдельно только скажу, что для того, чтобы длинные названия колонок видеть полностью, то нужно жать Wrap lines в настройках, иначе названия будут обрезаться - даже на очень широких мониторах.

#EC2 #Console #info

⁠Tag-Based Access Control

Я не раз говорил и писал про глобальный тренд тэгизации всего в Амазоне. И вот с появлением тэгов для сессий при переключении ролей, эта конструкция перешла из количества в качество:

https://aws.amazon.com/blogs/aws/new-for-identity-federation-use-employee-attributes-for-access-control-in-aws/

В версии Амазона используется классическое Attribute-Based Access Control, однако в реальности это ведь Tag-Based Access Control, что и стоит в заголовке поста.

Итак, в дополнение к Role-Based и Resource-Based подходам разделения доступа, у нас теперь выделен в отдельное направление полноценный Tag-Based подход (access control). Который сначала был просто подвидом Resource-Based схемы, но после того, как тэги получили и роли (точно не ресурсная сущность) и вот теперь сессии - теперь можно смело говорить о трёх типах разделения доступа:

1. Resource-Based - вырос когда-то из Bucket policy.
2. Role-Based - сущность IAM.
3. Tag-based (или Attribute-Based) - гибрид предыдущих, обладающий новыми качественным свойствами.

Для последнего в документации теперь есть отдельный раздел с картинками:

https://docs.aws.amazon.com/en_pv/IAM/latest/UserGuide/introduction_attribute-based-access-control.html

Где показывается, как лихо можно решить сложные задачи, точней сложные для попытки их решения в двух первых подходах. Конечно, для этого нужно всё тэгировать, однако с учётом того, что тэги есть и у целых аккаунтов - чувствуете, чем это грозит? Да-да, нужно начинать привыкать.

И хотя ещё далеко не всё допилено, однако теперь своими пользователями в AD через SAML и SSO можно очень гибко рулить, изменяя тэги того, куда им и как можно ходить.

Конечно, это автоматически даст новый тип уязвимости в плане способности получать привилегии на изменение тэгов, но это уже другой вопрос.

В общем, не сложно догадаться, что этой теме будет посвящены не одно и не два обсуждения на предстоящем re:Invent, потому для получения подробностей по данной теме - стоит просто недельку обождать.

#IAM

Писал раньше про крутой формат тематических митапов на #HighLoad - выглядит это вот так.

Ресурсы, которые можно тэгировать

В дополнение к Tag-Based Access Control - апишка для работы с тэгами:

https://docs.aws.amazon.com/resourcegroupstagging/latest/APIReference/Welcome.html

С её помощью можно тэгировать ресурсы в любом регионе/аккаунте, а также искать тэги (или значения тэгов) в нужном регионе или аккаунте. В общем, это главный инструмент для работы с тэгами.

#tags #ABAC

⁠Редактирование файлов прямо на S3

Если зачем-то нужно именно так, то уже оно есть:

https://github.com/tsub/s3-edit

Настраиваете credentials с помощью aws configure и запускаете s3-edit edit s3://mybucket/myfile.txt - откроется ваш дефолтный редактор. Сохранив - это будет сразу на S3.

#s3

⁠ ABAC + AD FS

Опять в продолжение Tag-Based access control (или официально ABAC - Attribute-Based Access Control) - очередные подробности, как и говорилось, о гибкой работе данной схемы с AD:

https://aws.amazon.com/blogs/security/attribute-based-access-control-ad-fs-simplify-iam-permissions-management/

В примере показывается, как можно смапить свои атрибуты из AD на тэги, управляя таким образом доступом к ресурсам через них (tags), а не плодя несчисленное количество ролей под каждую нужду.

#ABAC #AD

​​100 EKS кластеров в одном регионе для тех, кто так и не освоил #multi_account_strategy:

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-eks-increases-limits-to-100-clusters-per-region/

#EKS

Основные новые фичи коротко

• Приватные Hosted Zones с пересекающимися доменами
• Типы инстансов в EC2-консоли
• Тэги для сессий при переключении IAM ролей - для реализации новой схемы разделения доступа ABAC
• Логи RDS for Microsoft SQL Server в CloudWatch
• Helm чарты под App Mesh controllers для EKS
• Официальная поддержка CloudWatch в Grafana 6.5
• Ротация секретов в CloudFormation
• Test Reporting в CodeBuild
• DynamoDB и Kinesis эвенты для Лямбды
• Мониторинг состояния Лямбды
• Отправление результатов Лямбды в другие сервисы
• Статистика выполняющихся запросов в Performance Insights для Aurora PostgreSQL
• Service Action Events в ECS
• AWS PrivateLink для EC2 Auto Scaling, Application Auto Scaling и AWS Auto Scaling
• Восстановление дифференциального бэкапа и логов для Amazon RDS for Microsoft SQL
• IPv6 для Inter-Region VPC Peering
• Alexa Voice Service (AVS) Integration для AWS IoT
• Aurora Global Database совместимая с MySQL 5.7 для Aurora MySQL version 2.07+
• Ещё одно большое обновление CloudFormation

@aws_update

⁠Least Outstanding Requests (LOR) балансировка для ALB

При распределении запросов за ALB используется обычный Round-Robin. Теперь же можно задать Least Outstanding Requests (LOR) - маршрутизировать запросы сначала к тем, кто лучше пингуется:

https://docs.aws.amazon.com/elasticloadbalancing/latest/application/load-balancer-target-groups.html#modify-routing-algorithm

То есть запросы будут получать инстансы с учётом значений RequestCount, TargetConnectionErrorCount и TargetResponseTime.

Не на всех типах нагрузки это отразится, однако денег лишних не просит, а первые результаты очень положительные (см. картинку), потому точно стоит попробовать.

Включается в консоли в Target Groups или с помощью #aws_cli:

https://docs.aws.amazon.com/cli/latest/reference/elbv2/modify-target-group-attributes.html

Удачных экспериментов!

#ALB

⁠Политики тэгирования - Tag Policies

Tag-Based access control (ABAC) продожает расширяться с взрывной скоростью.

То, чего так не хватало желающим заставить своих девелоперов проставлять нужные тэги там где нужно или просто везде, теперь получите и распишитесь:

https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_policies_tag-policies.html

Т.е. теперь незачем постоянно менять ключи доступа в наказание за непростановку стандартных тэгов для создаваемых EC2-инстансов, а можно прописать политики тэгирования на уровне организации:

{
 "tags": {
  "env": {
    "tag_value": {
      "@@assign": [
        "dev",
        "test",
        "stage",
        "prod"
      ]
    }
  },
  "project": {
    "tag_value": {
      "@@assign": [
        "project1",
        "project2"
      ]
    }
  }
 }
}

И теперь придётся их проставлять в принудительном порядке, чтобы что-то запустить.

Список ресурсов, которые можно заставить тэгировать прилагается в редакторе Tag Policies, однако нужно понимать, что лучше выбирать по минимуму (точечно), чтобы не поломать работы каких-то сервисов.

#tags #ABAC #Organizations

⁠Обозначения регионов в консоли

Маленькое изменение, а кому-то большая радость. Кто никак не запомнил, теперь сразу с буквами и цифрами - не только (человеческое) название региона, но и (нечеловеческое) название региона.

#AWS_console

⁠re:Invent 2019 - Итоги

Анонсы продолжают сыпаться (за последние два дня больше сотни, чуть ли не половина - новые фичи), реинвент ещё не начался, но итоги уже можно подвести.

Нас будут развлекать говорящие тёти Алексы, всё более неотличимые от живых людей, ролики в 8k разрешении, быстрее-больше-удобней дашбордов-графиков-отчётов. Удобство управления доступом пройдёт под знаменем новой эры Amazon Attribute Based Access Control. Лямбды настолько прокачались, что из serverless перекочуют в functionless. Инфраструктурные вещи не будут столь выражены, т.к. почти всё уже было сделано. Продолжится централизация управления всем внутри и вокруг SSM. Ключи будут шифроваться и шифровать все сервисы подряд, а интеграция со сторонними вендорами по всяческим фичам множиться и шириться.

Но главное не это. Реинвент не просто подчеркнёт, а будет форсить новую тему - использование AI/ML функционала для простых девелоперов и админов, бизнес-аналитиков и менеджеров. Так что если вы завидовали патлатым и бородатым датасайнтистам за их умение разговаривать на непонятные нейронные темы - расслабьтесь, теперь не только они владеют священным знанием. Не поступили на кафедру искуственного интеллекта - так теперь и не надо.

Всё что нужно - покурить документацию новых фич Aurora, Athena, Quicksight. Они работают сами и позволят напрямую работать с моделями машинного обучения без дополнительных наворотов, предоставляя нужный функционал из коробки и чуть ли не прямо через SQL. Это новый тренд - ИИ от бессмысленных разговоров про завоевание человечества становится каждодневным инструментом в работе всё большего количества людей.

В общем, звучит немного пафосно, но это факт. Так что если вы девопсите и верите в вечную жизнь IPv4, почивая на вершине пирамиды зарплат, помните - это уже в прошлом.

#тренды #прогнозы #мнения

⁠Beanstalk - есть и хорошие новости

Зря наезжал - #Beanstalk реабилитирован.

#праздничное

Подробности:
Спустя всего каких-то два года в Elastic Beanstalk появилась поддержка Amazon Linux 2.

Добавлено:
Это был нервный сарказм. В реальности у #Beanstalk-а действительно хорошие новости - он стал поддерживать Spot-ы.

Заметки по AWS, которые я когда-то решил сюда перенести из своих гуглошитов, копятся с угрожающей скоростью. Так и остались неразобранными нескольколетней давности. А теперь остаётся по десять страниц в месяц. И это без реинвента, который переваривать ещё не один месяц.

Обычно готовлю каждый пост на основе таких заметок, чтобы в результате получить мини или микростатейку. Это для меня способ запомнить плюс возможная польза для других.

Однако такое занимает много времени. В то время как многие (а скорей - большинство) заметки больше просто "полезности", в одну строку. На министатейку не потянет, т.к. актуально лишь для себя. Наверное.

Это и банальности и непроверенные моменты, которые с большим жирным шрифтом проверить, попробовать, посмотреть, обязательно посмотреть так и сгинут в этих гуглошитах, став неактуальными.

В общем, буду такое теперь также скидывать сюда - формат заметок в прямом смысле.

В таких материалах (как и любых других) возможны ошибки - просьба комментировать в личку (контакты в описании), а лучше в группу на фейсбуке (кто его не боится и использует) или страницу в фейсбуке.