AWS Cloud WAN:
https://aws.amazon.com/blogs/networking-and-content-delivery/introducing-aws-cloud-wan-preview/
#CloudWAN
https://aws.amazon.com/blogs/networking-and-content-delivery/introducing-aws-cloud-wan-preview/
AWS Cloud WAN is a managed wide area networking (WAN) service that makes it easy to build, manage, and monitor a unified global network that connects resources running across your cloud and on-premises environments. It provides a central dashboard for attaching the connections you use to reach your branch offices, data centers, and Amazon VPCs to the AWS global network in just a few clicks. You can use simple network policies to centrally configure and automate network management and security tasks and get a complete view of your global network in just a few clicks.#CloudWAN
Новый официальный AWS форум:
https://repost.aws/
Старый форум https://forums.aws.amazon.com/ будет закрыт. Новый re:Post, соответственно, полностью заменяет предыдущий.
Статья в AWS блоге по этому поводу:
https://aws.amazon.com/blogs/aws/aws-repost-a-reimagined-qa-experience-for-the-aws-community/
Первые впечатления – старый был ещё хуже и тормознее. 😁
Будем надеяться, что это просто наплыв сейчас и некоторые недоделки запуска.
#forum
https://repost.aws/
Старый форум https://forums.aws.amazon.com/ будет закрыт. Новый re:Post, соответственно, полностью заменяет предыдущий.
Статья в AWS блоге по этому поводу:
https://aws.amazon.com/blogs/aws/aws-repost-a-reimagined-qa-experience-for-the-aws-community/
Первые впечатления – старый был ещё хуже и тормознее. 😁
Будем надеяться, что это просто наплыв сейчас и некоторые недоделки запуска.
#forum
AWS re:Invent 2021 - Keynote with Dr. Werner Vogels:
https://www.youtube.com/watch?v=8_Xs8Ik0h1w
#reInvent
https://www.youtube.com/watch?v=8_Xs8Ik0h1w
#reInvent
YouTube
AWS re:Invent 2021 - Keynote with Dr. Werner Vogels
Dr. Werner Vogels, CTO, Amazon.com, looks at the past, present and future of the cloud and how it is changing what developers can build. He looks at how developer experience has changed over time and announces a number of new AWS developer tools and services.…
👍1
Forwarded from Viktor Vedmich (AWS)
https://youtu.be/Ak95BIJTb0w подводим итоги re:Invent 2021 прямо сейчас 🙂
YouTube
Подведение итогов AWS re:Invent 2021: Networking, Storage, Development, IoT
Cовместно с архитекторами из AWS обсудили анонсы re:Invent 2021:
- Новый функционал для VPC: IP Address Manager (IPAM), VPC Network Access Analyzer
- AWS Transit Gateway (TGW) поддерживает пиринг с другим TGW внутри одного региона
- AWS Direct Connect SiteLink…
- Новый функционал для VPC: IP Address Manager (IPAM), VPC Network Access Analyzer
- AWS Transit Gateway (TGW) поддерживает пиринг с другим TGW внутри одного региона
- AWS Direct Connect SiteLink…
14 декабря не пропустите Data Meetup от AWS User Group Ukraine!
На митапе вас ждет выступление от Virginie Mathivet AWS ML Hero & DataSquad Team Leader в TeamWork и специалистов из N-iX
Регистрируйтесь сегодня и узнайте:
🔸как step-by-step создавать Datalab и какие сервисы AWS использовать.
🔸скрытые возможности сервиса AWS Data Pipeline.
🔸топ навыков, благодаря которым Data Engineers становятся high-level специалистами.
Присоединяйтесь онлайн: https://bit.ly/31dlxyE
На митапе вас ждет выступление от Virginie Mathivet AWS ML Hero & DataSquad Team Leader в TeamWork и специалистов из N-iX
Регистрируйтесь сегодня и узнайте:
🔸как step-by-step создавать Datalab и какие сервисы AWS использовать.
🔸скрытые возможности сервиса AWS Data Pipeline.
🔸топ навыков, благодаря которым Data Engineers становятся high-level специалистами.
Присоединяйтесь онлайн: https://bit.ly/31dlxyE
Forwarded from Mops DevOps
Weekly & re:Invent 2021 Summary on AWS (
Part 1 - 50 New AWS services!
Networking & Content Delivery
🔸 AWS Private 5G
🔸 AWS Cloud WAN
🔸 VPC Network Access Analyzer
🔸 VPC IPAM (IP Address Manager)
🔸 Direct Connect SiteLink
Analytics
🔸 Redshift Serverless
🔸 MSK Serverless
🔸 EMR Serverless
🔸 Kinesis Data Streams On-Demand
🔸 AWS Data Exchange for APIs
ML
🔸 SageMaker Serverless Inference
🔸 SageMaker Canvas – visual/nocode ML for business analysts
🔸 SageMaker Ground Truth Plus
🔸 SageMaker Studio
🔸 SageMaker Inference Recommender
🔸 SageMaker Training Compiler
🔸 SageMaker Studio Lab (free service to learn ML)
🔸 DevOps Guru for RDS (Aurora)
🔸 Amazon Lex Automated Chatbot Designer
🔸 AWS AIDA (AI for Data Analytics)
IoT
🔸 IoT ExpressLink
🔸 IoT FleetWise (AWS for Automotive)
🔸 IoT TwinMaker
🔸 IoT RoboRunner
🔸 IoT Greengrass Software Catalog
Storage
🔸 AWS Backup for VMware
🔸 AWS Backup for S3
🔸 EBS Snapshots Archive
🔸 Recycle Bin for EBS Snapshots
🔸 FSx for Lustre for OpenZFS
Security, Identity & Compliance
🔸 Amazon Inspector v2
🔸 AWS Shield Advanced Automatic Application Layer
DDoS Mitigation
Management Tools
🔸 CloudWatch Evidently
🔸 CloudWatch Real-User Monitoring
🔸 CloudWatch Metrics Insights
Developer Tools
🔸 AWS CDK v2
🔸 AWS SDK for Swift
🔸 AWS SDK for Kotlin
🔸 AWS SDK for Rust
Containers
🔸 AWS Marketplace for Containers Anywhere
🔸 Karpenter (Kubernetes Cluster Autoscaler replacement)
Database
🔸 RDS Custom for SQL Server
🔸 AWS DMS Fleet Advisor
Migration
🔸 AWS Migration Hub Refactor Spaces
🔸 AWS Mainframe Modernization
🔸 AWS Snowball Edge Offline Tape Migration
🔸 AWS Microservice Extractor for .NET
Mobile Services
🔸 Amplify Studio
End User Computing
🔸 WorkSpaces Web
Support
🔸 AWS re:Post new forum
#AWS_week #reinvent
November 28 - December 4)Part 1 - 50 New AWS services!
Networking & Content Delivery
🔸 AWS Private 5G
🔸 AWS Cloud WAN
🔸 VPC Network Access Analyzer
🔸 VPC IPAM (IP Address Manager)
🔸 Direct Connect SiteLink
Analytics
🔸 Redshift Serverless
🔸 MSK Serverless
🔸 EMR Serverless
🔸 Kinesis Data Streams On-Demand
🔸 AWS Data Exchange for APIs
ML
🔸 SageMaker Serverless Inference
🔸 SageMaker Canvas – visual/nocode ML for business analysts
🔸 SageMaker Ground Truth Plus
🔸 SageMaker Studio
🔸 SageMaker Inference Recommender
🔸 SageMaker Training Compiler
🔸 SageMaker Studio Lab (free service to learn ML)
🔸 DevOps Guru for RDS (Aurora)
🔸 Amazon Lex Automated Chatbot Designer
🔸 AWS AIDA (AI for Data Analytics)
IoT
🔸 IoT ExpressLink
🔸 IoT FleetWise (AWS for Automotive)
🔸 IoT TwinMaker
🔸 IoT RoboRunner
🔸 IoT Greengrass Software Catalog
Storage
🔸 AWS Backup for VMware
🔸 AWS Backup for S3
🔸 EBS Snapshots Archive
🔸 Recycle Bin for EBS Snapshots
🔸 FSx for Lustre for OpenZFS
Security, Identity & Compliance
🔸 Amazon Inspector v2
🔸 AWS Shield Advanced Automatic Application Layer
DDoS Mitigation
Management Tools
🔸 CloudWatch Evidently
🔸 CloudWatch Real-User Monitoring
🔸 CloudWatch Metrics Insights
Developer Tools
🔸 AWS CDK v2
🔸 AWS SDK for Swift
🔸 AWS SDK for Kotlin
🔸 AWS SDK for Rust
Containers
🔸 AWS Marketplace for Containers Anywhere
🔸 Karpenter (Kubernetes Cluster Autoscaler replacement)
Database
🔸 RDS Custom for SQL Server
🔸 AWS DMS Fleet Advisor
Migration
🔸 AWS Migration Hub Refactor Spaces
🔸 AWS Mainframe Modernization
🔸 AWS Snowball Edge Offline Tape Migration
🔸 AWS Microservice Extractor for .NET
Mobile Services
🔸 Amplify Studio
End User Computing
🔸 WorkSpaces Web
Support
🔸 AWS re:Post new forum
#AWS_week #reinvent
Weekly & re:Invent 2021 Summary on AWS (
Part 2 - New instances and new features of existed services.
🔸 EC2
• C7g (Graviton3)
• Trn1 (AWS Trainium)
• M6a (AMD Zen3)
• M1 Mac (
• G5g (NVIDIA T4G Tensor)
• Im4gn/Is4gen (storage-optimized - NVMe up to 30 TB)
🔸 AWS Outposts
• Form factors 1U & 2U
• Locations Costa Rica, Ecuador, Morocco, Nigeria, and Vietnam
🔸 IoT SiteWise hot and cold storage tiers
🔸 IoT Greengrass + SSM 👍
🔸 S3
• Glacier Instant Retrieval Storage Class
• Intelligent-Tiering Archive Instant Access tier
• Reduces prices up to 31% (for
• Event Notifications with EventBridge 👍
• S3 ACLs disabled 🎉
• Enhanced Integration for FSx for Lustre
• S3 console + IAM Access Analyzer
🔸 FSx for Lustre
• Multiple S3 buckets to a file system
• Auto update as data is deleted/moved in S3
• The next generation of FSx for Lustre file systems
• Automatically exporting file updates to S3
🔸 Redshift
• Etleap + Redshift Streaming Ingestion
• Automated Materialized View
• VARBYTE data type
• SQL Notebooks
🔸 Athena
• ACID transactions
• Lake Formation fine-grained security and reliable table features
🔸 Control Tower
• Account Factory for Terraform 👍
• Region Deny and Guardrails 👍
🔸 Amazon Connect
• Call Summarization
• Tasks and Contact Lens
• Unified agent application
🔸 AWS Compute Optimizer
• Enhanced Infrastructure Metrics
• Resource Efficiency Metrics
🔸 Amazon Personalize
• Intelligent user segmentation
• Personalized recommenders
🔸 Well-Architected Framework
• Sustainability Pillar
• Custom Lenses
🔸 CloudWatch Microsoft AD metrics
🔸 DynamoDB Standard-Infrequent Access
🔸 RAM Global resource types 👀
🔸 SQS DLQ redrive to source
🔸 Transit Gateway Intra-Region Peering 👍
🔸 ECR pull through cache repositories 🔥
🔸 CodeGuru Reviewer Secrets Detector 👍
🔸 AWS Chatbot resources management in Slack 💪
🔸 Lake Formation Cell-Level Security and Governed Tables with Automatic Compaction
🔸 Timestream scheduled queries, multi-measure records, and magnetic storage writes
🔸 AWS Ground Station Software Defined Radios
🔸 Amazon Braket Hybrid Jobs
#AWS_week #reInvent
November 28 - December 4)Part 2 - New instances and new features of existed services.
🔸 EC2
• C7g (Graviton3)
• Trn1 (AWS Trainium)
• M6a (AMD Zen3)
• M1 Mac (
mac2.metal)• G5g (NVIDIA T4G Tensor)
• Im4gn/Is4gen (storage-optimized - NVMe up to 30 TB)
🔸 AWS Outposts
• Form factors 1U & 2U
• Locations Costa Rica, Ecuador, Morocco, Nigeria, and Vietnam
🔸 IoT SiteWise hot and cold storage tiers
🔸 IoT Greengrass + SSM 👍
🔸 S3
• Glacier Instant Retrieval Storage Class
• Intelligent-Tiering Archive Instant Access tier
• Reduces prices up to 31% (for
IA / One Zone-IA)• Event Notifications with EventBridge 👍
• S3 ACLs disabled 🎉
• Enhanced Integration for FSx for Lustre
• S3 console + IAM Access Analyzer
🔸 FSx for Lustre
• Multiple S3 buckets to a file system
• Auto update as data is deleted/moved in S3
• The next generation of FSx for Lustre file systems
• Automatically exporting file updates to S3
🔸 Redshift
• Etleap + Redshift Streaming Ingestion
• Automated Materialized View
• VARBYTE data type
• SQL Notebooks
🔸 Athena
• ACID transactions
• Lake Formation fine-grained security and reliable table features
🔸 Control Tower
• Account Factory for Terraform 👍
• Region Deny and Guardrails 👍
🔸 Amazon Connect
• Call Summarization
• Tasks and Contact Lens
• Unified agent application
🔸 AWS Compute Optimizer
• Enhanced Infrastructure Metrics
• Resource Efficiency Metrics
🔸 Amazon Personalize
• Intelligent user segmentation
• Personalized recommenders
🔸 Well-Architected Framework
• Sustainability Pillar
• Custom Lenses
🔸 CloudWatch Microsoft AD metrics
🔸 DynamoDB Standard-Infrequent Access
🔸 RAM Global resource types 👀
🔸 SQS DLQ redrive to source
🔸 Transit Gateway Intra-Region Peering 👍
🔸 ECR pull through cache repositories 🔥
🔸 CodeGuru Reviewer Secrets Detector 👍
🔸 AWS Chatbot resources management in Slack 💪
🔸 Lake Formation Cell-Level Security and Governed Tables with Automatic Compaction
🔸 Timestream scheduled queries, multi-measure records, and magnetic storage writes
🔸 AWS Ground Station Software Defined Radios
🔸 Amazon Braket Hybrid Jobs
#AWS_week #reInvent
Free AWS Official Practice Questions Sets:
https://explore.skillbuilder.aws/learn/course/external/view/elearning/9153/aws-certification-official-practice-question-sets-english
🔸 10 certificates (all without Advanced Networking)
🔹 20 questions each
#AWS_Certification
https://explore.skillbuilder.aws/learn/course/external/view/elearning/9153/aws-certification-official-practice-question-sets-english
🔸 10 certificates (all without Advanced Networking)
🔹 20 questions each
#AWS_Certification
Первые впечатления о прошедшем re:Invent 2021
Честно говоря не так много ожидал от него и главное получил.
В первую очередь это, конечно, Graviton 3, о котором будет отдельный пост.
Во вторую, бэкап для S3 — очень уж его не хватало для полноты картины. Теперь набор бэкапов на AWS реально крут, спасибо команде AWS Backup (хотя вот я-то помню, что-то кто-то обещал ещё и для MS AD 😀 ).
В принципе всё. Новостей для Organizations не было — проехали, не привыкать.
Не оправдали ожидания AI Ops — выход DevOps Guru для RDS лишь под Aurora — сиротски смотрелся на этом фронте по сравнению с прошлыми реинвентами.
Буйство анонсов в ML (читай – SageMaker) ожидаемо. Интересно и важно ответить большое обновление на IoT фронте — обратите внимание, спустя некоторое время тема снова поднимается в топ и заслуженно.
Неожиданно для меня выход (а точней вход 😀 со стороны AWS) темы 5G — AWS Private 5G. Задним числом такое можно было бы спрогнозировать. Реально круто и стратегически правильно, снимаю шляпу!
Outposts 1U/2U — вообще круть. Жаль у нас такое не купить, но небольшим конторам получить себе личный кусок AWS в стойку за 600€/месяц (64vCPU/Graviton2/128GB) — просто сказка!
5 новых Serverless сервисов (Redshift/Kafka/EMR/Kinesis/SageMaker) — ожидаемо и круто, что тут скажешь. Несложно спрогнозировать, что это направление будет развиваться.
По части безопасности было также не так много, как предполагал. Всего два анонса — круто смотрящийся AWS Shield Advanced с прикрученными ML плюшками автоматической борьбы с вражеским трафиком. Плюс оживление Inspector без приставки v2, которую я добавил в своих постах, но смысл именно такой — сильно обновлённый. Ему прикрутили контейнеры (не прошло и...) плюс немало интересных штук по безопасности — нужно посмотреть-попробовать, чтобы вынести вердикт.
CDK v2 с monorepo и Construct Hub — форсили лишь для рекламы (как и в прошлый раз на реинвенте). Люди давно пользуются, но вдруг кто не знал — полезно.
Новые языки — Swift/Rust/Kotlin для AWS SDK — всё понятно, давно пора.
Сервисы для миграции продолжают плодиться — также ничего удивительного. Лишь отмечу в этом сегменте, вдруг не заметили — программу AWS Mainframe Modernization — для перевода ламповых COBOL и PL/I на современные рельсы.
В принципе и всё. Итого, с одной стороны — полсотни новых сервисов!
(Посчитать сервисы точно очень сложно, т.к. уже давно не очевидно, что нужно считать новым сервисом и можно ли к ним приравнивать новую фичу существующего сервиса, но весьма, важную, например. Потому тут достаточно субъективный подсчёт, в любом случае, это несколько десятков).
Например, чтобы сравнить — Яндекс.Облако на текущий момент имеет те же 50 сервисов.
С другой стороны — всё же, считаю реинвент итерационным. AWS Private 5G — это ах!, Graviton 3 — это ух! и всё. Инновации ждём в следующий раз.
Между тем, всё же, проявления кардинального изменения стратегии AWS на этом реинвенте были. Может, не всем заметные, но это факт. Однако об этом уже в следующий раз.
#reInvent
Честно говоря не так много ожидал от него и главное получил.
В первую очередь это, конечно, Graviton 3, о котором будет отдельный пост.
Во вторую, бэкап для S3 — очень уж его не хватало для полноты картины. Теперь набор бэкапов на AWS реально крут, спасибо команде AWS Backup (хотя вот я-то помню, что-то кто-то обещал ещё и для MS AD 😀 ).
В принципе всё. Новостей для Organizations не было — проехали, не привыкать.
Не оправдали ожидания AI Ops — выход DevOps Guru для RDS лишь под Aurora — сиротски смотрелся на этом фронте по сравнению с прошлыми реинвентами.
Буйство анонсов в ML (читай – SageMaker) ожидаемо. Интересно и важно ответить большое обновление на IoT фронте — обратите внимание, спустя некоторое время тема снова поднимается в топ и заслуженно.
Неожиданно для меня выход (а точней вход 😀 со стороны AWS) темы 5G — AWS Private 5G. Задним числом такое можно было бы спрогнозировать. Реально круто и стратегически правильно, снимаю шляпу!
Outposts 1U/2U — вообще круть. Жаль у нас такое не купить, но небольшим конторам получить себе личный кусок AWS в стойку за 600€/месяц (64vCPU/Graviton2/128GB) — просто сказка!
5 новых Serverless сервисов (Redshift/Kafka/EMR/Kinesis/SageMaker) — ожидаемо и круто, что тут скажешь. Несложно спрогнозировать, что это направление будет развиваться.
По части безопасности было также не так много, как предполагал. Всего два анонса — круто смотрящийся AWS Shield Advanced с прикрученными ML плюшками автоматической борьбы с вражеским трафиком. Плюс оживление Inspector без приставки v2, которую я добавил в своих постах, но смысл именно такой — сильно обновлённый. Ему прикрутили контейнеры (не прошло и...) плюс немало интересных штук по безопасности — нужно посмотреть-попробовать, чтобы вынести вердикт.
CDK v2 с monorepo и Construct Hub — форсили лишь для рекламы (как и в прошлый раз на реинвенте). Люди давно пользуются, но вдруг кто не знал — полезно.
Новые языки — Swift/Rust/Kotlin для AWS SDK — всё понятно, давно пора.
Сервисы для миграции продолжают плодиться — также ничего удивительного. Лишь отмечу в этом сегменте, вдруг не заметили — программу AWS Mainframe Modernization — для перевода ламповых COBOL и PL/I на современные рельсы.
В принципе и всё. Итого, с одной стороны — полсотни новых сервисов!
(Посчитать сервисы точно очень сложно, т.к. уже давно не очевидно, что нужно считать новым сервисом и можно ли к ним приравнивать новую фичу существующего сервиса, но весьма, важную, например. Потому тут достаточно субъективный подсчёт, в любом случае, это несколько десятков).
Например, чтобы сравнить — Яндекс.Облако на текущий момент имеет те же 50 сервисов.
С другой стороны — всё же, считаю реинвент итерационным. AWS Private 5G — это ах!, Graviton 3 — это ух! и всё. Инновации ждём в следующий раз.
Между тем, всё же, проявления кардинального изменения стратегии AWS на этом реинвенте были. Может, не всем заметные, но это факт. Однако об этом уже в следующий раз.
#reInvent
Бывает время, когда можно увидеть ресурсы, которые используют AWS в N.Virginia:
https://downdetector.com
Началось с падения консоли в N.Virginia, после стало ясно, что это не просто так.
https://status.aws.amazon.com/
https://downdetector.com
Началось с падения консоли в N.Virginia, после стало ясно, что это не просто так.
https://status.aws.amazon.com/
Таки снова сетевики (о вчерашнем падении консоли, а после и EC2, Connect, DynamoDB, Glue, Athena, Timestream, Chime и некоторые другие в
The root cause of this issue is an impairment of several network devices in the
https://status.aws.amazon.com/
Итого по времени недоступности/проблем, часов (примерно):
N.Virginia):The root cause of this issue is an impairment of several network devices in the
US-EAST-1 Region.https://status.aws.amazon.com/
Итого по времени недоступности/проблем, часов (примерно):
AWS Console 8
DynamoDB 7
AWS Support 7
Connect 9.5
AWS Batch 13
===
API requests 5.5-8
Что весьма много. В очередной раз посоветую прислушаться к рекомендациям Reliability Pillar → Multi-Region Scenarios. А пока ждём постмортем.Telegram
aws_notes
Бывает время, когда можно увидеть ресурсы, которые используют AWS в N.Virginia:
https://downdetector.com
Началось с падения консоли в N.Virginia, после стало ясно, что это не просто так.
https://status.aws.amazon.com/
https://downdetector.com
Началось с падения консоли в N.Virginia, после стало ясно, что это не просто так.
https://status.aws.amazon.com/
AWS Cloud WAN & Direct Connect SiteLink - короткое демо:
https://www.youtube.com/watch?v=ZJjrwI2L964
Не сильно подробное видео (16 минут) с реинвента, где было обсуждение деталей работы свежеанонсированных сервисов.
#CloudWAN #DirectConnectSiteLink
https://www.youtube.com/watch?v=ZJjrwI2L964
Не сильно подробное видео (16 минут) с реинвента, где было обсуждение деталей работы свежеанонсированных сервисов.
#CloudWAN #DirectConnectSiteLink
YouTube
AWS re:Invent 2021: AWS On Air ft. Cloud WAN & Direct Connect SiteLink | AWS Events
AWS On Air hosts Kunal Batra, Sr. Developer Advocate and Kris Howard, Mgr, Developer Relations EEM, Santiago Riesco, PM for Direct Connect SiteLink and Nick Matthews, PM for AWS Cloud WAN discuss how traffic goes from Direct Connect PoP to Direct Connect…
Well-Architected Framework — Sustainability Pillar:
https://docs.aws.amazon.com/wellarchitected/latest/sustainability-pillar/sustainability-pillar.html
Малозаметное и при этом принципиальное, на мой взгляд, событие произошло на re:Invent 2021. В наборе Well-Architected Framework появилась ещё одна, шестая по счёту, Pillar для обеспечения "устойчивости" окружения.
Невозможно точно перевести данный термин, проще (и даже правильней), если бы её назвали Green Pillar — в продолжение зелёных технологий, защиты окружающей среды, заботы о будущем планеты и прочих вещей в рамках «green transformation» тренда.
Для начала расскажу про "малозаметную" часть данной Pillar, а в следующем посте обсудим принципиальность.
Итак, кому будет лень читать про Sustainability Pillar, я всё прочитал и вот краткая выжимка рекомендаций оттуда:
▪️ Покупайте макбуки и айфоны
▪️ Выбирайте для ваших нагрузок AWS регионы с ветряками
▪️ Переписывайте всё на Rust
▪️ Кэшируйте
▪️ Удаляйте ненужные данные
▪️ Классифицируйте данные и используйте Lifecycles
▪️ Сжимайте данные перед отправкой
▪️ Создавайте ПО с обратной совместимостью версий, чтобы клиентам не нужно было покупать новые девайсы (и чтобы на старых хватало места)
▪️ Обновляйте библиотеки и другое ПО
▪️ Обновляйте ОС
▪️ Используйте Graviton, Spot и Burstable инстансы
▪️ Используйте managed сервисы (Амазона, понятно)
▪️ Используйте SSM и CloudShell вместо бастионов
Интересно отметить про обратную совместимость (типа – делай как я! – Amazon S3 имеет версию апишки от 2006-го года).
Ещё более интересно отметить про рекомендацию использовать Graviton (энергоэффективность), Spot (более эффективное расходование простаивающих ресурсов) и Burstable (аналогично). И если с энергоэффективностью Graviton понятно (при этом это правда 😀), то интересно отметить рекомендацию использовать споты и
Использование managed AWS сервисов – за вас уже позаботится обо всём (и во всех смыслах) сам Амазон, потому правильней выбирать именно их, т.к. самостоятельно добиться такой эффективности очень сложно.
Кратко и шуточно (при этом по делу) получится как-то так. Однако проблема глубокая и важная, потому достойна отдельного обсуждения, без деталей конкретных рекомендаций описанных сейчас.
#WellArchitectedFramework #Sustainability
https://docs.aws.amazon.com/wellarchitected/latest/sustainability-pillar/sustainability-pillar.html
Малозаметное и при этом принципиальное, на мой взгляд, событие произошло на re:Invent 2021. В наборе Well-Architected Framework появилась ещё одна, шестая по счёту, Pillar для обеспечения "устойчивости" окружения.
Невозможно точно перевести данный термин, проще (и даже правильней), если бы её назвали Green Pillar — в продолжение зелёных технологий, защиты окружающей среды, заботы о будущем планеты и прочих вещей в рамках «green transformation» тренда.
Для начала расскажу про "малозаметную" часть данной Pillar, а в следующем посте обсудим принципиальность.
Итак, кому будет лень читать про Sustainability Pillar, я всё прочитал и вот краткая выжимка рекомендаций оттуда:
▪️ Покупайте макбуки и айфоны
▪️ Выбирайте для ваших нагрузок AWS регионы с ветряками
▪️ Переписывайте всё на Rust
▪️ Кэшируйте
▪️ Удаляйте ненужные данные
▪️ Классифицируйте данные и используйте Lifecycles
▪️ Сжимайте данные перед отправкой
▪️ Создавайте ПО с обратной совместимостью версий, чтобы клиентам не нужно было покупать новые девайсы (и чтобы на старых хватало места)
▪️ Обновляйте библиотеки и другое ПО
▪️ Обновляйте ОС
▪️ Используйте Graviton, Spot и Burstable инстансы
▪️ Используйте managed сервисы (Амазона, понятно)
▪️ Используйте SSM и CloudShell вместо бастионов
Интересно отметить про обратную совместимость (типа – делай как я! – Amazon S3 имеет версию апишки от 2006-го года).
Ещё более интересно отметить про рекомендацию использовать Graviton (энергоэффективность), Spot (более эффективное расходование простаивающих ресурсов) и Burstable (аналогично). И если с энергоэффективностью Graviton понятно (при этом это правда 😀), то интересно отметить рекомендацию использовать споты и
T-инстансы — такого раньше не было.Использование managed AWS сервисов – за вас уже позаботится обо всём (и во всех смыслах) сам Амазон, потому правильней выбирать именно их, т.к. самостоятельно добиться такой эффективности очень сложно.
Кратко и шуточно (при этом по делу) получится как-то так. Однако проблема глубокая и важная, потому достойна отдельного обсуждения, без деталей конкретных рекомендаций описанных сейчас.
#WellArchitectedFramework #Sustainability
Sustainability Pillar как документальное проявление глобального тренда
Предположу, что не все разделяют "зелёный подход" и его важность. Важность в общем смысле влияния на окружающую среду или климат, а теперь и влияние на выбор ноутбуков для работников компании или типа используемых виртуалок.
У кого-то это может вызвать усмешку или даже раздражение. Лично я отношусь к этому – учёту собственного воздействия на окружающую среду и заботе о будущем планеты – серьёзно. Но главное, что к этому очень серьёзно относится сама Amazon.
Кто не в курсе, компания Amazon – один из мировых лидеров в продвижении и реализации идей заботы об окружающей среде, климата, возобновляемых источников энергии для IT отрасли и т.п. Инициативу Amazon под названием The Climate Pledge уже поддержало более 200 компаний:
https://sustainability.aboutamazon.com/about/the-climate-pledge
Стоит полистать, чтобы понять, как крупнейшие компании мира берут на себя обязательства, которые затратны по определению и при этом являются долгосрочными. Это новое, революционное изменение. Ранее не всем очевидное, а теперь уже в составе конкретных рекомендаций по выбору архитектуры новых проектов и процесса улучшения имеющихся. Чтобы учитывать собственное воздействие, чтобы минимизировать ущерб, повысить эффективность, а при этом сделать архитектуру грамотней, инфраструктуру надёжней и при этом экономичней.
И раньше, до появления Sustainability Pillar это правильно было делать и так делали. Однако какие-то моменты требовали слишком больших вложений, которые никогда не окупились бы, потому проще было (и есть) платить больше.
С одной стороны – это прямая выгода для AWS, когда у него есть миллионы спонсоров, которые платят за годами неиспользуемые прожорливые виртуалки, забытые диски, бессмысленные логи, никому не нужные снэпшоты.
С другой стороны – это неэффективное расходование средств (даже если это ваши средства, дающие прибыль), увеличение потребления электроэнергии без полезной нагрузки в общем смысле этого слова, генерация бессмысленного паразитного трафика (при этом весьма недешёвого для клиентов) и дальнейшее умножение облачной энтропии.
Теперь настал этап, когда продавец товара, продавец сервиса, который искренне заинтересован в более общих и для кого-то абстрактных вещах, чем просто прибыль, которой многие по привычке объясняют всё и вся – теперь провайдеры сервиса хотят, чтобы их потребители использовали имеющееся максимально эффективно. Если не работает стимул для себя (мне, как клиенту, проще и выгодней заплатить), то возможно сработает момент ответственности за будущее.
И по моему мнению он сработает. Он уже работает для Amazon и появление Sustainability Pillar ровно этому доказательство. Сейчас это рекомендации, как вам заботиться о себе же в виде эффективности используемых ресурсов, в виде документации по способу разработки архитектуры. Рекомендации в виде подсказок в различных сервисах, в том числе платных, т.к. они позволяют существенно сэкономить.
Потом этом могут быть всё более навязчивые (в хорошем смысле 😀) и бесплатные сервисы по контролю за ресурсами с автоматическим удалением/остановкой. Такая себе кнопка "Проверить всё и удалить ненужное".
Подведя итог, хочу ещё раз отметить важность этого малозаметного события. Обратите внимание на должности разработчиков документа Sustainability Pillar:
▫️ VP Sustainability Architecture
▫️ Principal Sustainability Solutions Architect
▫️ Sustainability Tech Leader
Так что всё очень серьёзно. И потому, если вы работаете в компаниях-проектах, руководство которых разделяет Sustainability подход, возможно в числе тех сотен подписавшихся – смело можете теперь форсить переход на Serverless архитектуру, отвечая на дурацкие вопросы типа "Зачем? Что это нам даст?" гордым «Чтобы бороться с потеплением!» 😁
#Sustainability
Предположу, что не все разделяют "зелёный подход" и его важность. Важность в общем смысле влияния на окружающую среду или климат, а теперь и влияние на выбор ноутбуков для работников компании или типа используемых виртуалок.
У кого-то это может вызвать усмешку или даже раздражение. Лично я отношусь к этому – учёту собственного воздействия на окружающую среду и заботе о будущем планеты – серьёзно. Но главное, что к этому очень серьёзно относится сама Amazon.
Кто не в курсе, компания Amazon – один из мировых лидеров в продвижении и реализации идей заботы об окружающей среде, климата, возобновляемых источников энергии для IT отрасли и т.п. Инициативу Amazon под названием The Climate Pledge уже поддержало более 200 компаний:
https://sustainability.aboutamazon.com/about/the-climate-pledge
Стоит полистать, чтобы понять, как крупнейшие компании мира берут на себя обязательства, которые затратны по определению и при этом являются долгосрочными. Это новое, революционное изменение. Ранее не всем очевидное, а теперь уже в составе конкретных рекомендаций по выбору архитектуры новых проектов и процесса улучшения имеющихся. Чтобы учитывать собственное воздействие, чтобы минимизировать ущерб, повысить эффективность, а при этом сделать архитектуру грамотней, инфраструктуру надёжней и при этом экономичней.
И раньше, до появления Sustainability Pillar это правильно было делать и так делали. Однако какие-то моменты требовали слишком больших вложений, которые никогда не окупились бы, потому проще было (и есть) платить больше.
С одной стороны – это прямая выгода для AWS, когда у него есть миллионы спонсоров, которые платят за годами неиспользуемые прожорливые виртуалки, забытые диски, бессмысленные логи, никому не нужные снэпшоты.
С другой стороны – это неэффективное расходование средств (даже если это ваши средства, дающие прибыль), увеличение потребления электроэнергии без полезной нагрузки в общем смысле этого слова, генерация бессмысленного паразитного трафика (при этом весьма недешёвого для клиентов) и дальнейшее умножение облачной энтропии.
Теперь настал этап, когда продавец товара, продавец сервиса, который искренне заинтересован в более общих и для кого-то абстрактных вещах, чем просто прибыль, которой многие по привычке объясняют всё и вся – теперь провайдеры сервиса хотят, чтобы их потребители использовали имеющееся максимально эффективно. Если не работает стимул для себя (мне, как клиенту, проще и выгодней заплатить), то возможно сработает момент ответственности за будущее.
И по моему мнению он сработает. Он уже работает для Amazon и появление Sustainability Pillar ровно этому доказательство. Сейчас это рекомендации, как вам заботиться о себе же в виде эффективности используемых ресурсов, в виде документации по способу разработки архитектуры. Рекомендации в виде подсказок в различных сервисах, в том числе платных, т.к. они позволяют существенно сэкономить.
Потом этом могут быть всё более навязчивые (в хорошем смысле 😀) и бесплатные сервисы по контролю за ресурсами с автоматическим удалением/остановкой. Такая себе кнопка "Проверить всё и удалить ненужное".
Подведя итог, хочу ещё раз отметить важность этого малозаметного события. Обратите внимание на должности разработчиков документа Sustainability Pillar:
▫️ VP Sustainability Architecture
▫️ Principal Sustainability Solutions Architect
▫️ Sustainability Tech Leader
Так что всё очень серьёзно. И потому, если вы работаете в компаниях-проектах, руководство которых разделяет Sustainability подход, возможно в числе тех сотен подписавшихся – смело можете теперь форсить переход на Serverless архитектуру, отвечая на дурацкие вопросы типа "Зачем? Что это нам даст?" гордым «Чтобы бороться с потеплением!» 😁
#Sustainability
Theclimatepledge
Be the planet’s turning point
There’s no time for business as usual. Join the world’s top companies—and take action now to reach net-zero carbon emissions by 2040.
Подробный постмортем падения AWS на несколько часов 7 декабря 2021:
https://aws.amazon.com/message/12721/
Кому нужна выжимка:
• Проблема была во внутренней сети AWS, где крутятся мониторинг и control plain некоторых сервисов. Поэтому сами сервисы не падали, но невозможно было внести изменения, что для некоторых сервисов, например, API Gateway оказалось равным проблемам его работоспособности (делается фикс такого поведения).
• Задержка с отображением проблем на странице статуса в том числе связана с недоступностью мониторинга в результате падения внутренней сети. Так как инженеры AWS долгое время не могли узнать (без мониторинга), что на самом деле происходит.
• Интересно отметить, что причиной послужил код, который уже несколько лет успешно крутится в проде, просто его поведение, когда он масштабируется, не было оттестировано (теперь протестировали – нет, не работает). Автоскелинг выключили, мощности хватает, как дотестируют, включат автоскелинг обратно (может быть).
Дополнительно отмечу для себя интересный факт, что S3 и DynamoDB ресурсы, которые, как и другие, не страдали во время инцидента, однако вот те, что подключены через VPC Endpoint – были недоступны. Причём, как понимаю (чего нет в постмортеме) – речь именно о (бесплатных) Gateway VPC Endpoints, в то время как (платные) Interface endpoints – не пострадали.
Итого: приятно читать столь детальный отчёт, проливающий свет на внутреннюю кухню AWS.
#postmortem
https://aws.amazon.com/message/12721/
Кому нужна выжимка:
• Проблема была во внутренней сети AWS, где крутятся мониторинг и control plain некоторых сервисов. Поэтому сами сервисы не падали, но невозможно было внести изменения, что для некоторых сервисов, например, API Gateway оказалось равным проблемам его работоспособности (делается фикс такого поведения).
• Задержка с отображением проблем на странице статуса в том числе связана с недоступностью мониторинга в результате падения внутренней сети. Так как инженеры AWS долгое время не могли узнать (без мониторинга), что на самом деле происходит.
• Интересно отметить, что причиной послужил код, который уже несколько лет успешно крутится в проде, просто его поведение, когда он масштабируется, не было оттестировано (теперь протестировали – нет, не работает). Автоскелинг выключили, мощности хватает, как дотестируют, включат автоскелинг обратно (может быть).
Дополнительно отмечу для себя интересный факт, что S3 и DynamoDB ресурсы, которые, как и другие, не страдали во время инцидента, однако вот те, что подключены через VPC Endpoint – были недоступны. Причём, как понимаю (чего нет в постмортеме) – речь именно о (бесплатных) Gateway VPC Endpoints, в то время как (платные) Interface endpoints – не пострадали.
Итого: приятно читать столь детальный отчёт, проливающий свет на внутреннюю кухню AWS.
We want to apologize for the impact this event caused for our customers. While we are proud of our track record of availability, we know how critical our services are to our customers, their applications and end users, and their businesses. We know this event impacted many customers in significant ways. We will do everything we can to learn from this event and use it to improve our availability even further.#postmortem
Amazon
Summary of the AWS Service Event in the Northern Virginia (US-EAST-1) Region
Уязвимость Apache Log4j2 (
https://aws.amazon.com/security/security-bulletins/AWS-2021-005/
▫️ Amazon Linux 1 —
▫️ Amazon Linux 2 —
▫️ Amazon Linux 2022 (preview) — fixed
▫️ AWS WAF / Shield —
Защита от
▫️ CloudFront, ALB, AppSync или API Gateway можно защитить с помощью WAF у которого включён
▫️ OpenSearch Service — все ресурсы в процессе обновления на защищённую версию (не требует действий).
▫️ Lambda — не использует Log4j2 в AWS managed runtimes и образах. Однако пользователи, использующие aws-lambda-java-log4j2 должны обновиться на версию
▫️ AWS CloudHSM — требуется обновить CloudHSM JCE SDK до версии 3.4.1. Версии SDK 3.4.0 и древнее подвержены уязвимости
#security
CVE-2021-44228) и сервисы AWS:https://aws.amazon.com/security/security-bulletins/AWS-2021-005/
▫️ Amazon Linux 1 —
OK▫️ Amazon Linux 2 —
OK▫️ Amazon Linux 2022 (preview) — fixed
▫️ AWS WAF / Shield —
updatedЗащита от
CVE-2021-44228 добавлена в AWS managed rule AWSManagedRulesKnownBadInputsRuleSet.▫️ CloudFront, ALB, AppSync или API Gateway можно защитить с помощью WAF у которого включён
AWSManagedRulesKnownBadInputsRuleSet.▫️ OpenSearch Service — все ресурсы в процессе обновления на защищённую версию (не требует действий).
▫️ Lambda — не использует Log4j2 в AWS managed runtimes и образах. Однако пользователи, использующие aws-lambda-java-log4j2 должны обновиться на версию
1.3.0 и передеплоить свои Лямбды.▫️ AWS CloudHSM — требуется обновить CloudHSM JCE SDK до версии 3.4.1. Версии SDK 3.4.0 и древнее подвержены уязвимости
CVE-2021-44228.#security
Amazon
Apache Log4j2 Security Bulletin (CVE-2021-44228)
Weekly Summary on AWS (December
🔹 AppSync + custom domain names for AppSync GraphQL endpoints
🔹 Route 53 + DeleteDomain (it was only in the AWS Console before) and ListPrices
🔹 SSM + maximum session timeout and annotate reason for starting the session
🔹 EKS + new EBS CSI add-on 👍
🔹 AWS Network Firewall + AWS Managed Rules
🔹 Redshift + single-node RA3.xlplus cluster
🔹 AWS Toolkit for VS Code + Amazon ECS Exec
🔹 App2Container + .NET on Linux
🔹 FSx for NetApp ONTAP
• Data compression for capacity pool storage
• Minimum throughput capacity is now 128 MB/s
🔹 Amazon Location Service
• Suggestions API (autocomplete)
• Metadata
🔹 Comprehend Medical
• SNOMED CT API
• Reduced pricing across all APIs by up to 90%
🔹 Amazon Pinpoint + one-time password
🔹 AWS WAF + logs directly to S3 bucket
🔹 CloudFormation
• AWS::FSx::FileSystem
• AWS::Lex::Bot
• AWS::Lex::BotAlias
• AWS::Lex::BotVersion
• AWS::Lex::ResourcePolicy
🔸 AWS Wavelength + Germany
#AWS_week
5-11)🔹 AppSync + custom domain names for AppSync GraphQL endpoints
🔹 Route 53 + DeleteDomain (it was only in the AWS Console before) and ListPrices
🔹 SSM + maximum session timeout and annotate reason for starting the session
🔹 EKS + new EBS CSI add-on 👍
🔹 AWS Network Firewall + AWS Managed Rules
🔹 Redshift + single-node RA3.xlplus cluster
🔹 AWS Toolkit for VS Code + Amazon ECS Exec
🔹 App2Container + .NET on Linux
🔹 FSx for NetApp ONTAP
• Data compression for capacity pool storage
• Minimum throughput capacity is now 128 MB/s
🔹 Amazon Location Service
• Suggestions API (autocomplete)
• Metadata
🔹 Comprehend Medical
• SNOMED CT API
• Reduced pricing across all APIs by up to 90%
🔹 Amazon Pinpoint + one-time password
🔹 AWS WAF + logs directly to S3 bucket
🔹 CloudFormation
• AWS::FSx::FileSystem
• AWS::Lex::Bot
• AWS::Lex::BotAlias
• AWS::Lex::BotVersion
• AWS::Lex::ResourcePolicy
🔸 AWS Wavelength + Germany
#AWS_week
Forwarded from Человек и машина
#машины_aws
Чем дилетанты отличаются от неудачников:
- Дилетанты осознают свои возможности и учатся
- Неудачники улюлюкают и устраивают клоунаду в Твиттере
Очевидно, дилетантам надо помогать и наставлять, а неудачников гнать и насмехаться.
Понедельничное чтиво для моих любимых дилетантов : мой набор трюков, как не тратить лишних денег на AWS.
Чем дилетанты отличаются от неудачников:
- Дилетанты осознают свои возможности и учатся
- Неудачники улюлюкают и устраивают клоунаду в Твиттере
Очевидно, дилетантам надо помогать и наставлять, а неудачников гнать и насмехаться.
Понедельничное чтиво для моих любимых дилетантов : мой набор трюков, как не тратить лишних денег на AWS.
Medium
Easy way to save money on AWS
Unless you like overspending
Update V2 (новая версия отчёта
https://aws.amazon.com/security/security-bulletins/AWS-2021-006/
▫️ S3 —
▫️ OpenSearch —
▫️ Lambda —
▪️ AWS CloudHSM — требуется обновить CloudHSM JCE SDK до версии 3.4.1. Версии SDK 3.4.0 и древнее подвержены уязвимости
▫️ EC2 - Amazon Linux 1/2 —
▫️ API Gateway —
▪️ AWS Greengrass — нужно обновить Stream Manager до версии 2.0.14+ (1.10.5+ для версий 1.10.х и 1.11.5 для версий 1.11.х) и Secure Tunneling до версии 1.0.6+.
▫️ CloudFront —
▫️ Beanstalk —
▫️ EMR —
▫️ Lake Formation —
▫️ AWS SDK for Java —
▫️ AMS (AWS Managed Services) —
▫️ Amazon Neptune —
▪️ NICE DCV — серверы требуют апгрейда на новую версию EnginFrame, либо обновления библиотеки Log4j2 отдельно через саппорт.
▫️ Kafka —
▫️ AWS Glue —
▫️ RDS —
▫️ Amazon Connect —
▫️ DynamoDB —
▫️ Keyspaces (Cassandra) —
▫️ Amazon MQ —
▫️ Kinesis Data Analytics —
▫️ AWS WAF / Shield —
▫️ ALB и AppSync можно защитить с помощью WAF у которого включён
#security
2021/12/13) — Уязвимость Apache Log4j2 (CVE-2021-44228) и сервисы AWS:https://aws.amazon.com/security/security-bulletins/AWS-2021-006/
▫️ S3 —
completed patching everything.▫️ OpenSearch —
is deploying update R20211203-P2.▫️ Lambda —
OK, не пострадала, лишь пользователи, aws-lambda-java-log4j2 должны обновиться на версию 1.3.0 и пересоздать свои Лямбды.▪️ AWS CloudHSM — требуется обновить CloudHSM JCE SDK до версии 3.4.1. Версии SDK 3.4.0 и древнее подвержены уязвимости
CVE-2021-44228.▫️ EC2 - Amazon Linux 1/2 —
OK, Amazon Linux 2022 - fixed▫️ API Gateway —
is updating (не требует действий)▪️ AWS Greengrass — нужно обновить Stream Manager до версии 2.0.14+ (1.10.5+ для версий 1.10.х и 1.11.5 для версий 1.11.х) и Secure Tunneling до версии 1.0.6+.
▫️ CloudFront —
updated. Обработка запросов не на Java, потому не пострадала.▫️ Beanstalk —
OK. Аналогично EC2, для дефолтных настроек Amazon Linux 1/2 — OK. Если же ставились свои версии, то нужно обновить самостоятельно.▫️ EMR —
OK, при запуске в дефолтной конфигурации не пострадал. Кластеры версий EMR 5/6 с разрешением для недоверенных источников — подвержены уязвимости. Патч в процессе создания.▫️ Lake Formation —
updated.▫️ AWS SDK for Java —
OK.▫️ AMS (AWS Managed Services) —
OK, сервис относится к инфраструктуре заказчиков, а не приложений. Потому для своих приложений, подвержённых уязвимости — их нужно обновить самостоятельно.▫️ Amazon Neptune —
OK, напрямую не использует Log4j2, потому пользователи кластеров не пострадали. Однако некоторые зависимости используют, потому все кластеры будут обновлены (автоматически, не требует действий).▪️ NICE DCV — серверы требуют апгрейда на новую версию EnginFrame, либо обновления библиотеки Log4j2 отдельно через саппорт.
▫️ Kafka —
OK, текущие версии MSK кластеров не используют проблемную версию Log4j2. Некоторые компоненты MSK обновляются по ходу.▫️ AWS Glue —
updated. При использовании не дефолтных конфигов — требуется обновить скрипты самостоятельно.▫️ RDS —
OK, базы не используют Log4j2. Сами сервисы под капотом могут использовать, обновляются автоматически (действий не требуется).▫️ Amazon Connect —
updated.▫️ DynamoDB —
updated.▫️ Keyspaces (Cassandra) —
updated.▫️ Amazon MQ —
updated.▫️ Kinesis Data Analytics —
is updating (новое уже пропатченное, обновить можно через UpdateApplication API).▫️ AWS WAF / Shield —
updated.▫️ ALB и AppSync можно защитить с помощью WAF у которого включён
AWSManagedRulesKnownBadInputsRuleSet.#security
👍1