Forwarded from Alexander Patrushev
Amazon EMR - отличный севис для запуска приложений для анализа больших объемов данных на таких фреймворках, как Apache Spark, Hive, HBase, Flink, Hudi и Presto.

В настоящее время заказчики консолидируют вычислительные ресурсы, используя Kubernetes.
Тут должна быть какая то связь!!! Рад представить вам новую статью от AWS RU команды о новой возможности запускать Amazon EMR на Amazon EKS. 

https://aws.amazon.com/ru/blogs/rus/new-amazon-emr-on-amazon-elastic-kubernetes-service-eks/

AWS посиделки (2)
Тема: FSx for Lustre Dive Deep
Когда: Понедельник 21 декабря 17:00-18:00 MSK
Где: https://chime.aws/1448024238
Meeting ID: 1448 02 4238
Как присоединиться: Download Amazon Chime at https://aws.amazon.com/chime/download

​​Обзор re:Invent 2020 — сети и контейнеры

Получился очень объёмный и информативный обзор, настоятельно рекомендую посмотреть:

https://www.twitch.tv/videos/833386109

Для простоты далее:
слева ссылка на время обсуждения фичи на Твиче 🔹 справа ссылка на официальный анонс (плюс комментарии)

минута 🔹 фича

03 🔹 Новые performance metrics для EC2

07 🔹 VPC Recheability Analyser

13 🔹 Global Accelerator Custom Routing

Ссылка, упомянутая при обсуждении GA — https://speedtest.globalaccelerator.aws
Также добавлю по Custom Routing, что наряду с гейм-серверами, второй большой сектор, осчастливленный выходом этой фичи - это VoIP. А в моём понимание, он даже первый. 😀

18 🔹 IGMP мультикаст в Transit Gateway

20 🔹 GRE в Transit Gateway Connect

23 🔹 Публичный ECR и его кросс-регионная репликация

Добавлю по репликации ECR, что она может быть двусторонняя (настроив один аккаунт-регион на другой) и, к сожалению, реплицирует весь регион, то есть все репозитории в нём, а не выборочные. ☹️
Также ссылочка на фичреквест по кэшированию ECR - дружно ставим палец вверх:
https://github.com/aws/containers-roadmap/issues/939

35 🔹 ECS Anywhere

45 🔹 EKS Anywhere

58 🔹 EKS addons

63 🔹 Слухи-скандалы-сенсации

69 🔹 EMR на EKS

#reInvent

Spot Blueprints:

https://aws.amazon.com/blogs/compute/introducing-spot-blueprints-a-template-generator-for-frameworks-like-kubernetes-and-apache-spark/

#Spot

Итоги второй недели AWS re:Invent 2020

Новые сервисы:
• Amazon HealthLake (ML)
• Amazon Lookout for Metrics (ML)
• Amazon Neptune ML (ML)
• Amazon Redshift ML (ML)
• Amazon SageMaker Clarify (ML)
• Amazon SageMaker Debugger (ML)
• Amazon SageMaker Distributed Training (ML)
• Amazon SageMaker Edge Manager (ML)
• Amazon SageMaker JumpStart (ML)
• AWS Audit Manager

Новые фичи Amazon Redshift:
• Data Sharing
• Automatic Table Optimization
• JSON and semi-structured data
• Простое перемещение между AZ-подзонами
• RDS/Aurora MySQL as data sources
• Дешёвые RA3.xlplus 4vCPU/32GB + 32TB 💰
• Нативная интеграция с Google Analytics, Facebook Ads и др.

Новые фичи по сетям:
• Amazon VPC Reachability Analyzer 👍
• AWS Global Accelerator Custom Routing
• AWS Transit Gateway Connect (GRE)
• AWS Transit Gateway IGMP Multicast
• EC2 performance metrics

Другое:
• Amazon ECR cross-region replication 👍
• EMR на EKS

===

Обзоры новинок второй недели на Твиче AWSPoRusski:
➡️ Machine Learning (ML)
➡️ Контейнеры и сети

#reInvent

Утилита для работы в мульти-аккаунтной среде от Netflix:

https://github.com/Netflix/consoleme

#multi_account_strategy

У Google проблемы:

https://www.google.com/appsstatus

Новый Амазон сервис... вообще, да, возможно и сервис, но не AWS:

https://www.bloomberg.com/news/articles/2020-12-14/amazon-s-zoox-unveils-robotaxi-for-future-ride-hailing-service

4-х местная самодвижущаяся повозка со встроенным кучером и юсби-зарядкой.

​​Чем отличается вторая версия aws-cli от первой, так это включенным по умолчанию pager-ом, из-за которого приходится нажимать клавиши, чтобы увидеть весь вывод на экран, если он большой.

Чтобы исправить это раздражающее поведение в aws-cli v2, то можно добавить строчку export AWS_PAGER="" в автозагрузку:

https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-output.html#cli-usage-output-pager

#aws_cli

​​Поиск в консоли теперь, наконец-то, теперь можно называть этим словом:

https://aws.amazon.com/about-aws/whats-new/2020/12/announcing-unified-search-aws-management-console/

Мои контрольные слова es, acm, ram и некоторые другие, которые годы до этого были просто издевательством над здравым смыслом — ищет (показывает на первой позиции). У кого что не нашлось — пишите в комментариях.

#AWS_Console

Оптовый импорт пользователей в AWS SSO:

https://aws.amazon.com/blogs/security/how-to-bulk-import-users-and-groups-from-csv-into-aws-sso/

#SSO

​​AWS CloudShell — встроенный в браузерную консоль терминал!

https://aws.amazon.com/blogs/aws/aws-cloudshell-command-line-access-to-aws-resources/

Для активации нужно нажать значёк терминальчика (после чего он будет активироваться для аккаунта-региона несколько минут).

Поддерживаются табы, можделить на столбцы и колонки (см.картинку), задать шрифт. Есть постоянное пространство хранилище на гигабайт для каждого региона аккаунта. На борту Amilinux 2, доступ в интернет.

В общем, выглядит очень круто и удобно. При этом можно считать бесплатно — до десяти одновременно работающих терминалов. Нужно пробовать!

#AWS_Console

OMG — AMG! Amazon Managed Grafana!

https://aws.amazon.com/blogs/aws/announcing-amazon-managed-grafana-service-in-preview/

#AMG

​​AMP — Amazon Managed Prometheus!

https://aws.amazon.com/blogs/aws/join-the-preview-amazon-managed-service-for-prometheus-amp/

На текущий момент поддерживаются лишь ECS, EKS или свой собственный Kubernetes кластер (в том числе on-prem).

В любом случае, теперь стандартный стэк Prometheus+Grafana = AMP+AMG = полный комплект!

#AMP

​​AWS Managed Chaos Engineering ­- AWS Fault Injection Simulator:

https://aws.amazon.com/fis/

Как не смешно, но теперь будет отдельный сервис, который создаст проблемы вашему окружению. Потому, если у вас нет проблем, то с FIS это можно запросто исправить!

#FIS

Доступ к картам и геотрэкингу через новый AWS сервис — Amazon Location:

https://aws.amazon.com/blogs/aws/amazon-location-add-maps-and-location-awareness-to-your-applications/

Цены заявлены как конкурентные — и за счёт возможностей Амазона договориться с другими провайдерами, и за счёт возможности использовать их по обычной облачной модели ценоисчисления (платы лишь за использованное).

В частности, в отличие от большинства других провайдеров, пусть по более дорогому тарифу, но можно кэшировать получаемые геоданные:
Addresses geocoded (stored result) $4.00 (без кэширования 0.50$)
Positions reverse-geocoded (stored result) $4.00 (без — 0.50$)

#Location

​​Пример настройки связки AMG+AMP (амазоновские Grafana+Prometheus) с доступом пользователей в Графану через AWS SSO:

https://aws.amazon.com/blogs/mt/amazon-managed-grafana-getting-started/

#AMG

​​AWS CloudShell плагин для VS Сode:

https://github.com/iann0036/vscode-aws-cloudshell

Свежевышедший AWS CloudShell даёт возможность создавать условное рабочее место с постоянным хранилищем на гигабайт, работая от выбранной роли или залогиненного в консоль пользователя. Кроме интерактивного режима (в браузере) его также можно использовать и через консоль.

На данный момент этот плагин поддерживает работу лишь через профиль с токеном или через роль. Но зная скорость работы Ian Mckay, вскоре добавятся и обычные способы задания credentials.

#CloudShell

#машины_aws

Дождались!

Глубокое погружение в DynamoDB, глава 2: Таблицы, операции, вторичные индексы, пропускная способность.

Мой самый большой лонгрид: >4000 слов, приблизительное время чтения - 15 минут.