​​Transit Gateway Peering в том же регионе:

https://aws.amazon.com/blogs/networking-and-content-delivery/aws-transit-gateway-now-supports-intra-region-peering/

Вариант, когда нужно объединить части сети для TGW в том же регионе (до этого TGW Peering был лишь кросс-региональный). Актуально, например, когда нужно присоединиться к 3-d party TGW, который в том же регионе, что и вы.

#TGW

re:Invent 2021, день третий — буйство сервисов машинного обучения на AWS:

https://habr.com/ru/company/softline/blog/592907/

🔸 SageMaker Studio Lab
🔸 SageMaker Canvas
🔸 SageMaker Serverless Inference 🔥
🔸 SageMaker Studio + EMR 
🔸 SageMaker Training Compiler
🔸 SageMaker Inference Recommender

А также базы данных и сервисы для них:

🔹 RDS Custom for SQL Server
🔹 RDS Custom for Oracle
🔹 DynamoDB Standard-IA
🔹 DevOps Guru for RDS (Aurora)

Эти новости 3-го дня re:Invent 2021 обсудим сегодня в 17:00 (GMT+3):

https://www.youtube.com/watch?v=JyxLpOCvRAM

Присоединяйтесь и задавайте вопросы в чате!

#reInvent

​​Ровно через час от этого поста представители AWS расскажут про интересные анонсы 3-го дня re:Invent 2021 — присоединяйтесь и задавайте им вопросы в чате!

https://www.youtube.com/watch?v=JyxLpOCvRAM

#reInvent

Присоединяйтесь прямо сейчас!

EC2 M1 Mac инстансы на Apple M1:

https://aws.amazon.com/blogs/aws/use-amazon-ec2-m1-mac-instances-to-build-test-macos-ios-ipados-tvos-and-watchos-apps/

То есть теперь два типа инстансов от Apple - на Intel и на ARM процессорах:

Family Instance Processor Cores vCPUs Memory
Mac1 mac1.metal Intel Core i7 6 12 32
Mac2 mac2.metal Apple M1 4+4 12 16

#Mac

​​AWS Cloud WAN:

https://aws.amazon.com/blogs/networking-and-content-delivery/introducing-aws-cloud-wan-preview/

AWS Cloud WAN is a managed wide area networking (WAN) service that makes it easy to build, manage, and monitor a unified global network that connects resources running across your cloud and on-premises environments. It provides a central dashboard for attaching the connections you use to reach your branch offices, data centers, and Amazon VPCs to the AWS global network in just a few clicks. You can use simple network policies to centrally configure and automate network management and security tasks and get a complete view of your global network in just a few clicks.

#CloudWAN

​​Новый официальный AWS форум:

https://repost.aws/

Старый форум https://forums.aws.amazon.com/ будет закрыт. Новый re:Post, соответственно, полностью заменяет предыдущий.

Статья в AWS блоге по этому поводу:

https://aws.amazon.com/blogs/aws/aws-repost-a-reimagined-qa-experience-for-the-aws-community/

Первые впечатления – старый был ещё хуже и тормознее. 😁

Будем надеяться, что это просто наплыв сейчас и некоторые недоделки запуска.

#forum

AWS re:Invent 2021 - Keynote with Dr. Werner Vogels:

https://www.youtube.com/watch?v=8_Xs8Ik0h1w

#reInvent

Срочно подключайтесь, самое интересное re:Invent 2021! 👍

https://www.youtube.com/watch?v=Ak95BIJTb0w

​​14 декабря не пропустите Data Meetup от AWS User Group Ukraine!

На митапе вас ждет выступление от Virginie Mathivet AWS ML Hero & DataSquad Team Leader в TeamWork и специалистов из N-iX

Регистрируйтесь сегодня и узнайте:
🔸как step-by-step создавать Datalab и какие сервисы AWS использовать.
🔸скрытые возможности сервиса AWS Data Pipeline. 
🔸топ навыков, благодаря которым Data Engineers становятся high-level специалистами. 

Присоединяйтесь онлайн: https://bit.ly/31dlxyE

Результаты ежегодного исследования
Состояние DevOps в России 2021

👉 скачать отчет

👉 запись вебинара

#devops

​​Weekly & re:Invent 2021 Summary on AWS (November 28 - December 4)
 
Part 1 - 50 New AWS services!
 
Networking & Content Delivery
🔸 AWS Private 5G
🔸 AWS Cloud WAN
🔸 VPC Network Access Analyzer
🔸 VPC IPAM (IP Address Manager)
🔸 Direct Connect SiteLink
 
Analytics
🔸 Redshift Serverless
🔸 MSK Serverless
🔸 EMR Serverless
🔸 Kinesis Data Streams On-Demand
🔸 AWS Data Exchange for APIs
 
ML
🔸 SageMaker Serverless Inference
🔸 SageMaker Canvas – visual/nocode ML for business analysts
🔸 SageMaker Ground Truth Plus
🔸 SageMaker Studio
🔸 SageMaker Inference Recommender
🔸 SageMaker Training Compiler
🔸 SageMaker Studio Lab (free service to learn ML)
🔸 DevOps Guru for RDS (Aurora)
🔸 Amazon Lex Automated Chatbot Designer
🔸 AWS AIDA (AI for Data Analytics)
 
IoT
🔸 IoT ExpressLink
🔸 IoT FleetWise (AWS for Automotive)
🔸 IoT TwinMaker
🔸 IoT RoboRunner
🔸 IoT Greengrass Software Catalog
 
Storage
🔸 AWS Backup for VMware
🔸 AWS Backup for S3
🔸 EBS Snapshots Archive
🔸 Recycle Bin for EBS Snapshots
🔸 FSx for Lustre for OpenZFS
 
Security, Identity & Compliance
🔸 Amazon Inspector v2
🔸 AWS Shield Advanced Automatic Application Layer
DDoS Mitigation
 
Management Tools
🔸 CloudWatch Evidently
🔸 CloudWatch Real-User Monitoring
🔸 CloudWatch Metrics Insights
 
Developer Tools
🔸 AWS CDK v2
🔸 AWS SDK for Swift
🔸 AWS SDK for Kotlin
🔸 AWS SDK for Rust
 
Containers
🔸 AWS Marketplace for Containers Anywhere
🔸 Karpenter (Kubernetes Cluster Autoscaler replacement)
 
Database
🔸 RDS Custom for SQL Server
🔸 AWS DMS Fleet Advisor
 
Migration
🔸 AWS Migration Hub Refactor Spaces
🔸 AWS Mainframe Modernization
🔸 AWS Snowball Edge Offline Tape Migration
🔸 AWS Microservice Extractor for .NET
 
Mobile Services
🔸 Amplify Studio
 
End User Computing
🔸 WorkSpaces Web
 
Support
🔸 AWS re:Post new forum
 
#AWS_week #reinvent

​​Weekly & re:Invent 2021 Summary on AWS (November 28 - December 4)

Part 2 - New instances and new features of existed services.

🔸 EC2
• C7g (Graviton3)
• Trn1 (AWS Trainium)
• M6a (AMD Zen3)
• M1 Mac (mac2.metal)
• G5g (NVIDIA T4G Tensor)
• Im4gn/Is4gen (storage-optimized - NVMe up to 30 TB)

🔸 AWS Outposts
• Form factors 1U & 2U
• Locations Costa Rica, Ecuador, Morocco, Nigeria, and Vietnam

🔸 IoT SiteWise hot and cold storage tiers
🔸 IoT Greengrass + SSM 👍

🔸 S3
• Glacier Instant Retrieval Storage Class
• Intelligent-Tiering Archive Instant Access tier
• Reduces prices up to 31% (for IA / One Zone-IA)
• Event Notifications with EventBridge 👍
• S3 ACLs disabled 🎉
• Enhanced Integration for FSx for Lustre
• S3 console + IAM Access Analyzer

🔸 FSx for Lustre
• Multiple S3 buckets to a file system
• Auto update as data is deleted/moved in S3
• The next generation of FSx for Lustre file systems
• Automatically exporting file updates to S3

🔸 Redshift
• Etleap + Redshift Streaming Ingestion
• Automated Materialized View
• VARBYTE data type
• SQL Notebooks

🔸 Athena
• ACID transactions
• Lake Formation fine-grained security and reliable table features

🔸 Control Tower
• Account Factory for Terraform 👍
• Region Deny and Guardrails 👍

🔸 Amazon Connect
• Call Summarization
• Tasks and Contact Lens
• Unified agent application

🔸 AWS Compute Optimizer
• Enhanced Infrastructure Metrics
• Resource Efficiency Metrics

🔸 Amazon Personalize
• Intelligent user segmentation
• Personalized recommenders

🔸 Well-Architected Framework
• Sustainability Pillar
• Custom Lenses

🔸 CloudWatch Microsoft AD metrics
🔸 DynamoDB Standard-Infrequent Access
🔸 RAM Global resource types 👀
🔸 SQS DLQ redrive to source
🔸 Transit Gateway Intra-Region Peering 👍
🔸 ECR pull through cache repositories 🔥
🔸 CodeGuru Reviewer Secrets Detector 👍
🔸 AWS Chatbot resources management in Slack 💪
🔸 Lake Formation Cell-Level Security and Governed Tables with Automatic Compaction
🔸 Timestream scheduled queries, multi-measure records, and magnetic storage writes
🔸 AWS Ground Station Software Defined Radios
🔸 Amazon Braket Hybrid Jobs

#AWS_week #reInvent

​​Free AWS Official Practice Questions Sets:

https://explore.skillbuilder.aws/learn/course/external/view/elearning/9153/aws-certification-official-practice-question-sets-english

🔸 10 certificates (all without Advanced Networking)
🔹 20 questions each

#AWS_Certification

​​Первые впечатления о прошедшем re:Invent 2021

Честно говоря не так много ожидал от него и главное получил.

В первую очередь это, конечно, Graviton 3, о котором будет отдельный пост.

Во вторую, бэкап для S3 — очень уж его не хватало для полноты картины. Теперь набор бэкапов на AWS реально крут, спасибо команде AWS Backup (хотя вот я-то помню, что-то кто-то обещал ещё и для MS AD 😀 ).

В принципе всё. Новостей для Organizations не было — проехали, не привыкать.

Не оправдали ожидания AI Ops — выход DevOps Guru для RDS лишь под Aurora — сиротски смотрелся на этом фронте по сравнению с прошлыми реинвентами.

Буйство анонсов в ML (читай – SageMaker) ожидаемо. Интересно и важно ответить большое обновление на IoT фронте — обратите внимание, спустя некоторое время тема снова поднимается в топ и заслуженно.

Неожиданно для меня выход (а точней вход 😀 со стороны AWS) темы 5G — AWS Private 5G. Задним числом такое можно было бы спрогнозировать. Реально круто и стратегически правильно, снимаю шляпу!

Outposts 1U/2U — вообще круть. Жаль у нас такое не купить, но небольшим конторам получить себе личный кусок AWS в стойку за 600€/месяц (64vCPU/Graviton2/128GB) — просто сказка!

5 новых Serverless сервисов (Redshift/Kafka/EMR/Kinesis/SageMaker) — ожидаемо и круто, что тут скажешь. Несложно спрогнозировать, что это направление будет развиваться.

По части безопасности было также не так много, как предполагал. Всего два анонса — круто смотрящийся AWS Shield Advanced с прикрученными ML плюшками автоматической борьбы с вражеским трафиком. Плюс оживление Inspector без приставки v2, которую я добавил в своих постах, но смысл именно такой ­— сильно обновлённый. Ему прикрутили контейнеры (не прошло и...) плюс немало интересных штук по безопасности — нужно посмотреть-попробовать, чтобы вынести вердикт.

CDK v2 с monorepo и Construct Hub — форсили лишь для рекламы (как и в прошлый раз на реинвенте). Люди давно пользуются, но вдруг кто не знал — полезно.

Новые языки — Swift/Rust/Kotlin для AWS SDK — всё понятно, давно пора.

Сервисы для миграции продолжают плодиться — также ничего удивительного. Лишь отмечу в этом сегменте, вдруг не заметили — программу AWS Mainframe Modernization — для перевода ламповых COBOL и PL/I на современные рельсы.

В принципе и всё. Итого, с одной стороны — полсотни новых сервисов!
(Посчитать сервисы точно очень сложно, т.к. уже давно не очевидно, что нужно считать новым сервисом и можно ли к ним приравнивать новую фичу существующего сервиса, но весьма, важную, например. Потому тут достаточно субъективный подсчёт, в любом случае, это несколько десятков).
Например, чтобы сравнить — Яндекс.Облако на текущий момент имеет те же 50 сервисов.

С другой стороны — всё же, считаю реинвент итерационным. AWS Private 5G — это ах!, Graviton 3 — это ух! и всё. Инновации ждём в следующий раз.

Между тем, всё же, проявления кардинального изменения стратегии AWS на этом реинвенте были. Может, не всем заметные, но это факт. Однако об этом уже в следующий раз.

#reInvent

​​Бывает время, когда можно увидеть ресурсы, которые используют AWS в N.Virginia:

https://downdetector.com

Началось с падения консоли в N.Virginia, после стало ясно, что это не просто так.

https://status.aws.amazon.com/

Таки снова сетевики (о вчерашнем падении консоли, а после и EC2, Connect, DynamoDB, Glue, Athena, Timestream, Chime и некоторые другие в N.Virginia):

The root cause of this issue is an impairment of several network devices in the US-EAST-1 Region.

https://status.aws.amazon.com/

Итого по времени недоступности/проблем, часов (примерно):

AWS Console   8
DynamoDB      7
AWS Support   7
Connect       9.5
AWS Batch     13
===

API requests 5.5-8

Что весьма много. В очередной раз посоветую прислушаться к рекомендациям Reliability Pillar → Multi-Region Scenarios. А пока ждём постмортем.

AWS Cloud WAN & Direct Connect SiteLink - короткое демо:

https://www.youtube.com/watch?v=ZJjrwI2L964

Не сильно подробное видео (16 минут) с реинвента, где было обсуждение деталей работы свежеанонсированных сервисов.

#CloudWAN #DirectConnectSiteLink

​​Well-Architected Framework — Sustainability Pillar:

https://docs.aws.amazon.com/wellarchitected/latest/sustainability-pillar/sustainability-pillar.html

Малозаметное и при этом принципиальное, на мой взгляд, событие произошло на re:Invent 2021. В наборе Well-Architected Framework появилась ещё одна, шестая по счёту, Pillar для обеспечения "устойчивости" окружения.

Невозможно точно перевести данный термин, проще (и даже правильней), если бы её назвали Green Pillar — в продолжение зелёных технологий, защиты окружающей среды, заботы о будущем планеты и прочих вещей в рамках «green transformation» тренда.

Для начала расскажу про "малозаметную" часть данной Pillar, а в следующем посте обсудим принципиальность.

Итак, кому будет лень читать про Sustainability Pillar, я всё прочитал и вот краткая выжимка рекомендаций оттуда:

▪️ Покупайте макбуки и айфоны
▪️ Выбирайте для ваших нагрузок AWS регионы с ветряками
▪️ Переписывайте всё на Rust
▪️ Кэшируйте
▪️ Удаляйте ненужные данные
▪️ Классифицируйте данные и используйте Lifecycles
▪️ Сжимайте данные перед отправкой
▪️ Создавайте ПО с обратной совместимостью версий, чтобы клиентам не нужно было покупать новые девайсы (и чтобы на старых хватало места)
▪️ Обновляйте библиотеки и другое ПО
▪️ Обновляйте ОС
▪️ Используйте Graviton, Spot и Burstable инстансы
▪️ Используйте managed сервисы (Амазона, понятно)
▪️ Используйте SSM и CloudShell вместо бастионов

Интересно отметить про обратную совместимость (типа – делай как я! – Amazon S3 имеет версию апишки от 2006-го года).

Ещё более интересно отметить про рекомендацию использовать Graviton (энергоэффективность), Spot (более эффективное расходование простаивающих ресурсов) и Burstable (аналогично). И если с энергоэффективностью Graviton понятно (при этом это правда 😀), то интересно отметить рекомендацию использовать споты и T-инстансы — такого раньше не было.

Использование managed AWS сервисов – за вас уже позаботится обо всём (и во всех смыслах) сам Амазон, потому правильней выбирать именно их, т.к. самостоятельно добиться такой эффективности очень сложно.

Кратко и шуточно (при этом по делу) получится как-то так. Однако проблема глубокая и важная, потому достойна отдельного обсуждения, без деталей конкретных рекомендаций описанных сейчас.

#WellArchitectedFramework #Sustainability

Sustainability Pillar как документальное проявление глобального тренда

Предположу, что не все разделяют "зелёный подход" и его важность. Важность в общем смысле влияния на окружающую среду или климат, а теперь и влияние на выбор ноутбуков для работников компании или типа используемых виртуалок.

У кого-то это может вызвать усмешку или даже раздражение. Лично я отношусь к этому – учёту собственного воздействия на окружающую среду и заботе о будущем планеты – серьёзно. Но главное, что к этому очень серьёзно относится сама Amazon.

Кто не в курсе, компания Amazon – один из мировых лидеров в продвижении и реализации идей заботы об окружающей среде, климата, возобновляемых источников энергии для IT отрасли и т.п. Инициативу Amazon под названием The Climate Pledge уже поддержало более 200 компаний:

https://sustainability.aboutamazon.com/about/the-climate-pledge

Стоит полистать, чтобы понять, как крупнейшие компании мира берут на себя обязательства, которые затратны по определению и при этом являются долгосрочными. Это новое, революционное изменение. Ранее не всем очевидное, а теперь уже в составе конкретных рекомендаций по выбору архитектуры новых проектов и процесса улучшения имеющихся. Чтобы учитывать собственное воздействие, чтобы минимизировать ущерб, повысить эффективность, а при этом сделать архитектуру грамотней, инфраструктуру надёжней и при этом экономичней.

И раньше, до появления Sustainability Pillar это правильно было делать и так делали. Однако какие-то моменты требовали слишком больших вложений, которые никогда не окупились бы, потому проще было (и есть) платить больше.

С одной стороны – это прямая выгода для AWS, когда у него есть миллионы спонсоров, которые платят за годами неиспользуемые прожорливые виртуалки, забытые диски, бессмысленные логи, никому не нужные снэпшоты.

С другой стороны – это неэффективное расходование средств (даже если это ваши средства, дающие прибыль), увеличение потребления электроэнергии без полезной нагрузки в общем смысле этого слова, генерация бессмысленного паразитного трафика (при этом весьма недешёвого для клиентов) и дальнейшее умножение облачной энтропии.

Теперь настал этап, когда продавец товара, продавец сервиса, который искренне заинтересован в более общих и для кого-то абстрактных вещах, чем просто прибыль, которой многие по привычке объясняют всё и вся – теперь провайдеры сервиса хотят, чтобы их потребители использовали имеющееся максимально эффективно. Если не работает стимул для себя (мне, как клиенту, проще и выгодней заплатить), то возможно сработает момент ответственности за будущее.

И по моему мнению он сработает. Он уже работает для Amazon и появление Sustainability Pillar ровно этому доказательство. Сейчас это рекомендации, как вам заботиться о себе же в виде эффективности используемых ресурсов, в виде документации по способу разработки архитектуры. Рекомендации в виде подсказок в различных сервисах, в том числе платных, т.к. они позволяют существенно сэкономить.

Потом этом могут быть всё более навязчивые (в хорошем смысле 😀) и бесплатные сервисы по контролю за ресурсами с автоматическим удалением/остановкой. Такая себе кнопка "Проверить всё и удалить ненужное".

Подведя итог, хочу ещё раз отметить важность этого малозаметного события. Обратите внимание на должности разработчиков документа Sustainability Pillar:

▫️ VP Sustainability Architecture
▫️ Principal Sustainability Solutions Architect
▫️ Sustainability Tech Leader

Так что всё очень серьёзно. И потому, если вы работаете в компаниях-проектах, руководство которых разделяет Sustainability подход, возможно в числе тех сотен подписавшихся – смело можете теперь форсить переход на Serverless архитектуру, отвечая на дурацкие вопросы типа "Зачем? Что это нам даст?" гордым «Чтобы бороться с потеплением!» 😁

#Sustainability