⁠NLB + sticky sessions

Теперь и NLB обзавёлся поддержкой Sticky Sessions:

https://docs.aws.amazon.com/elasticloadbalancing/latest/network/load-balancer-target-groups.html#sticky-sessions

Очень интересно отметить, что новая фича доступна лишь в европейских датацентрах Ирландии, Франции (Paris) и Швеции (Stockholm).

Так что не обнаружив NLB Sticky Sessions в как бы дефолтной N.Virginia (us-east-1) — не удивляйтесь, там её нет, европейское подразделение AWS рулит. :)

Кстати, на официальной странице возможностей балансеров у NLB ещё нет галочки (см. картинку), но вскоре поставят.

#NLB

Кто из Минска и кому нечего делать в пятницу вечером, у меня для вас соболезнования и предложение. Есть тёплый уютный ламповый чатик AWS Friday Minsk, где мы обычно обсуждаем всякое около-авс-ное и не только (от вопросов по AWS сертификации до проблем образования вообще), а главное — где собраться в пятницу в оффлайне и поговорить по AWS живьём.

⁠Важная картинка для понимания логики работы IAM.

https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_evaluation-logic.html

Стоит к ней всегда обращаться, особенно если возникают вопросы взаимодействия Resource-based политик и Identity-based.

#IAM

Amazon FSx теперь работает в Shared VPC:

https://aws.amazon.com/about-aws/whats-new/2020/02/amazon-fsx-enables-create-use-file-systems-shared-amazon-virtual-private-clouds/

В ECR завезли метрики:

https://docs.aws.amazon.com/AmazonECR/latest/userguide/monitoring-usage.html

В Config добавится большое количество ресурсов:

https://www.diffchecker.com/qnK0l5aY

А через CloudFormation теперь можно автоматически поднять свой GroundStation:

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_GroundStation.html

#updates

⁠Тесла плохого не посоветует.

#best_practices

⁠AWS February 2020

Кто пропустил, краткий список основного за февраль на AWS.

Вышла AWS CLI v2

В Well-Architected tool добавили раздел для Severless

StackSets умеет автодеплой для всех аккаунтов в организации

EBS Volumes + Multi-Attach — EBS диски типа io1 можно монтировать сразу к нескольким инстансам одновременно

Масштабирование AutoScaling Group можно временно выключать

Скидки Savings Plans теперь распространяются также на Лямбды

Халявное ускорение на треть у EBS-дисков для T3/T3a/C5/M5/R5 инстансов

И по мелочи:

Active Directory для RDS SQL теперь раобтает в мульти-аккаунтах и мульти-VPC

В CodeBuild можно монтировать EFS

Бэкап DynamoDB можно сразу восстанавливать в таблицу в другом регионе

Зарелизился VPC CNI Version 1.6 для EKS

Amazon Rekognition умеет разгадывать текст в видео

AWS Chatbot умеет выводить CloudWatch (метрики, алярмы и логи)

ECS научился парсить JSON из Secrets и можно указывать их (секретов) версию (а не только последний, как раньше)

#месячное

Почему стоит (нужно, требуется) использовать IPv6

Хотел было написать про IPv6 и тут как раз вышла отличная статья на Хабре:

https://habr.com/ru/post/490378/

Проведённый же тут опрос показал, что 85% не используют и не собираются использовать IPv6, 10% собираются и лишь 5% уже используют.

В продолжение к статье выше — информация к размышлению для 85% аудитории этого канала.

---

→ LinkedIn рассказал ещё в 2018-м году, что у них больше половины трафика юзеров из США приходит по IPv6:

https://engineering.linkedin.com/blog/2018/06/celebrating-ipv6-launch-day

→ На сегодняшний день у Facebook около 60% штатовских юзеров на IPv6, сколько в вашей стране можно глянуть здесь:

https://www.facebook.com/ipv6/?tab=ipv6_country

→ В Германии около половины трафика Google на IPv6:

https://www.google.com/intl/en/ipv6/statistics.html#tab=per-country-ipv6-adoption&tab=per-country-ipv6-adoption

→ IPv6 банально быстрей уже лишь только из-за отсутствия NAT. Казалось бы какие-то десятки миллисекунд, однако Амазон говорит, что каждые 100мс стоят 1% выручки в Sales сегменте:

https://www.gigaspaces.com/blog/amazon-found-every-100ms-of-latency-cost-them-1-in-sales/

→ Переходя от агитации к AWS. Базовые инфраструктурные сервисы, такие как EC2, S3, CloudFront, ALB и VPC — давно поддерживают IPv6. (NLB пока нет — фу, какой ужас — но обещают). В частности, как перейти на IPv6 в VPC из документации:

https://docs.aws.amazon.com/vpc/latest/userguide/vpc-migrate-ipv6.html

→ И туториал - как создать сайт на S3+CloudFront с поддержкой IPv6:

https://blogs.infoblox.com/ipv6-coe/configuring-an-ipv6-website-in-aws/

===

Итого, проектируя новый проект - обязательно берите во внимание IPv6 или проиграете (придётся до/переделывать), дуалстэк (поддержка IPv4+IPv6) на текущий момент показан чуть меньше, чем для всего. Существующим проектам, особенно штатовским и мобильным - продумайте внедрение IPv6, т.к. это уже местами более половины трафика.

Нужно учитывать, что по умолчанию, все IPv6 адреса публичные и инстансы с ними могут разговаривать друг с другом. Это даёт возможность избежать использования NAT, который автоматом отрабатывает для всех IPv4 систем. С другой стороны, для того, чтобы сделать свои IPv6 подсетки приватными — используйте Egress-Only Internet Gateway:

https://docs.aws.amazon.com/vpc/latest/userguide/egress-only-internet-gateway.html#IPv6

Если у вас есть что-то своё о плюсах и минусах IPv6 на AWS — спрашивайте и высказывайте в чате.

#IPv6

Как посчитать файлы в S3 бакете

Можно несколькими способами:

• Использовать команду list_objects_v2 для AWS CLI (или boto3)

https://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html

Но нужно учесть, что придётся перебирать все страницы выдачи по 1000 шт, пока не дойдёте до конца.


• Использовать Amazon S3 CloudWatch Daily Storage Metrics for Buckets

https://docs.aws.amazon.com/AmazonS3/latest/dev/cloudwatch-monitoring.html#s3-cloudwatch-metrics

Но нужно учесть, что это значение обновляется раз в день.


• Использовать Amazon S3 Inventory

https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html

Можно запускать по расписанию, в отличие от других способов — стоит небольшую копеечку.

#s3

⁠AWS Simple Iconification Service

Простенькое расширение, добавляющее иконку на вкладки AWS Console (см. картинку). Просто и со вкусом, когда вкладок много — хоть как-то можно ориентироваться.

Chrome:

https://chrome.google.com/webstore/detail/aws-simple-iconification/edagjlhogddnlkbkllibfhbekpcdppbk

Firefox:

https://addons.mozilla.org/en-GB/firefox/addon/simple-iconification-service/

Исходники:

https://github.com/leepa/aws-simple-iconification-service

#AWS_Console

⁠Serverless пример работы с AWS Textract:

https://github.com/aeksco/aws-pdf-textract-pipeline

Одна лямбда собирает урлы с pdf-файлами, сохраняя в DynamoDB. Другая их скачивает в S3 бакет. Третья отправляет их в Textract, а четвёртая получает из него результаты и сохраняет результаты в DynamoDB.

#Textract #serverless #demo #пример

Повторяющиеся записи в эвентах ECS-тасок типа:

...

[2020-03-02 11:56:03 +0300] (service ***) has reached a steady state.
[2020-03-02 17:56:06 +0300] (service ***) has reached a steady state.
[2020-03-02 23:56:44 +0300] (service ***) has reached a steady state.
[2020-03-03 05:56:47 +0300] (service ***) has reached a steady state.

...

Обозначают, что всё хорошо, никто ничего не делал (не умирал и не масштабировался), можно ещё 6 часов (они периодические) спать спокойно.

#ECS

⁠Если вы тренируете свою сетку распознавать котиков или у вас есть другие проекты, относящиеся к AI/ML, то тут можно получить от AWS до 10000$ (десять тысяч долларов прописью) на ваши эксперименты:

https://pages.awscloud.com/GLOBAL-other-LN-accelerated-computing-free-trial-2020-interest.html

#раздача #слонов

AWS Secrets Manager + 64KB

В секреты теперь можно писать до 64КБ:

https://aws.amazon.com/about-aws/whats-new/2020/03/aws-secrets-manager-now-supports-larger-size-for-secrets-and-higher-request-rate-for-getsecretvalue-api/

Приятно, когда Амазон реагирует на чаянья простых пользователей. В общем, спасибо, мне 64КБ достаточно, больше не надо, так что все лишние резервы — срочно перекидывайте в команду CloudFormation!

#Secrets

⁠NoSQL Workbench for Amazon DynamoDB:

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/workbench.html

Клиентское приложение для разработчиков, чтобы работать с DynamoDB. Есть версия под MacOS и Windows (линуксоиды в пролёте :/ ).

Описание функционала NoSQL Workbench (ещё когда оно было в Preview):

https://aws.amazon.com/blogs/aws/nosql-workbench-for-amazon-dynamodb-available-in-preview/

#DynamoDB

GKE = EKS

Kubernetes мастер-ноды на GCP перестают быть бесплатными.

Starting June 6, 2020, GKE clusters will accrue a management fee of $0.10 per cluster per hour, irrespective of cluster size or topology. One zonal cluster per billing account is free. GKE cluster management fees do not apply to Anthos GKE clusters.

Причём цена у Google теперь точно равна варианту от Amazon. Совпадение? Не думаю!

#EKS #pricing

⁠Логин в AWS Console сменил дизайн (на человеческий)

Теперь, наконец, проще понять самому и объяснить другим - как попасть в консоль через юзера или рута (см. картинку).

#AWS_Console

Жертва коронавируса — AWS Summit Sydney отменён

After a careful review of the current situation with COVID-19 and listening to the guidance provided by the local authorities, Amazon Web Services regrets to announce that we have made the decision to cancel the AWS Summit Sydney and Amazon Innovation Day 2020, which was scheduled for 31 March - 2 April 2020 at the International Convention Centre, Sydney.

Полезный комментарий из твиттера к происшедшему:

When Coronavirus really hits the tech industry will we switch to UDP to avoid handshakes?

#AWSSummit

⁠Показательная статистика по объёму документации к IAM. Учите лучше сейчас — завтра будет ещё сложней!

#IAM

Cегодня истекли (уже) сертификаты rds-ca-2015, так надоевшие постоянными предупреждениями и просьбами, переходящими в требования, их обновить.

Так что, если к вам прилетел алерт с забытого окружения - имейте это в виду.

#RDS

Когда нужно в каком-то аккаунте почистить орды кем-то наделанных EBS снэпшотов и AMI-образов, то вручную кликать можно устать. Для автоматизации процесса подойдёт простая утилитка:

https://github.com/bonclay7/aws-amicleaner

#EBS #AMI

Amazon EKS + AWS KMS

Теперь куберовские секреты можно шифровать с помощью KMS:

https://aws.amazon.com/blogs/containers/using-eks-encryption-provider-support-for-defense-in-depth/

Давно востребованный и важный для различных compliance требований функционал.

#EKS #KMS