Технологии machine learning для малого и среднего бизнеса — Игорь Шарфмессер, AWS

Через 15 минут от этого поста, присоединяйтесь!

https://aws-experience.com/emea/smb/event/ddba58a4-3868-4e2f-a916-32ddc1d30a62

​​Новый будущий AWS регион — Малайзия:

https://aws.amazon.com/blogs/aws/in-the-works-aws-region-in-malaysia/

Когда регион планируется к открытию не уточняется.

Итого на текущий момент AWS строит одновременно 5 регионов:

• Asia Pacific (Auckland, New Zealand)
• Asia Pacific (Bangkok, Thailand)
• Canada West (Calgary)
• Malaysia
• Middle East (Tel Aviv, Israel)

#AWS_Regions

​​Как не платить за счета AWS и продолжать при этом с ним работать?

Просто будьте Илоном Маском! 😀

Оригинальная статья:

https://www.theinformation.com/articles/musk-delayed-paying-twitters-amazon-cloud-bill-sparking-ad-threat

🟢 Issue #61 | 27 Feb 2023 – 05 Mar, 2023

▪️ Aurora Serverless v1 customer configurable maintenance windows
▪️ CloudShell modular variant of Tools for PowerShell
▪️ CloudWatch Internet Monitor general availability
▪️ Comprehend simplifies custom model retraining and management
▪️ Control Tower a progress tracker for landing zone setup and upgrades
▪️ Detective graph visualization for interactive security investigations
▪️ DevOps Guru Proactive Insights for RDS
▪️ DocumentDB MongoDB 5.0 wire protocol and client-side field level encryption
▪️ ECS deletion of inactive task definition revisions
▪️ Elemental MediaConvert now Ingests FLAC and Animated GIF Inputs
▪️ EMR Serverless application log encryption with Customer Managed Keys
▪️ Inspector Code scans for Lambda | Preview
▪️ IoT SiteWise Time-Weighted Average and Standard Deviation
▪️ Kinesis Data Streams On-Demand write throughput limit to 1 GB/s
▪️ KMS FIPS 140-2 enabled interface VPC endpoint
▪️ Lake Formation extends Data Filters to all regions for supported services
▪️ Lambda
     ▫️ DocumentDB change streams as an event source
     ▫️ Powertools for .NET is now generally available
▪️ Lightsail for Research Scilab, RStudio, and Jupyter apps | New
▪️ Managed Blockchain (AMB) Ethereum Token-Based Access | GA
▪️ Marketplace search autocomplete suggestions
▪️ Neptune Serverless now scales down to 1 NCU
▪️ Open Service Graviton2 (C6g, M6g, R6g) instances support in four additional regions
▪️ Private CA open-source samples for Matter compliant certificate authorities
▪️ RDS for PostgreSQL major version PostgreSQL 15
▪️ RDS for SQL Server cross-region Automated Backups with encryption
▪️ Redshift ROLLUP/CUBE and GROUPING SETS in GROUP BY clause | GA
▪️ SageMaker Autopilot select algorithms while launching ML experiment
▪️ SAM Rust build support | Preview
▪️ Service Catalog disassociate and delete products in one-action
▪️ SimSpace Weaver IAM Identity Center
▪️ Timestream batch loading data support

​​📓 Лучшее сравнение "NIST CSF vs ISO 27001/2 vs NIST 800-53 vs SCF", что видел. Отлично подойдёт для тех, кто хочет глубоко разобраться в теме.

https://www.complianceforge.com/faq/nist-800-53-vs-iso-27002-vs-nist-csf-vs-scf

Главное на картинке в заголовке сверху:

1️⃣ Cамый всеобъемлющий стандарт Secure Controls Framework (SCF). Если вы параноик и хотите потратить весь свой бюджет на кибербезопасность, тогда смело делайте всё по этому стандарту.

2️⃣ NIST 800-53 есть его подмножество SCF. Если вам потребуется работать с военными или государственными структурами США, тогда сразу ориентируйтесь на NIST 800-53.

3️⃣ ISO 27001/2 есть его подмножество NIST 800-53. В статье кратко и доступно описана путаница 27001 vs 27002 — почему два стандарта. Расписано, почему многие бизнесы любят его использовать — он не настолько суров, а при этом очень популярен, особенно в крупных компаниях.

4️⃣ NIST CSF — самый простой, этим и хорош. Потому рекомендуется с него начинать небольшим компаниям.

Таблица внизу показывает ландшафт различных compliance с координатами по охвату и популярности типа квадрантов Gartner. При некоторой спорности, помогает сориентироваться и выстроить своё понимание, как соотносятся между собой PCI-DSS, HIPAA, FedRAMP, а также другие популярные и не очень стандарты.

Отдельно добавлю, что в AWS есть сервис Security Hub, который следит за всеми требованиями согласно этих стандартов применимо к AWS сервисам. И недавно появилась поддержка версии NIST 800-53 v.5:

https://docs.aws.amazon.com/securityhub/latest/userguide/nist-standard.html

А до этого у Security Hub появилась фича "Consolidated Control Findings" и теперь все проблемы можно увидеть сразу в одном месте:

https://docs.aws.amazon.com/securityhub/latest/userguide/controls-findings-create-update.html#consolidated-control-findings

Реально удобно, AWS Security Hub — must-have для безопасности! 👍

#security #compliance #SecurityHub

⚡️ Issue #62 | 06 Mar 2023 –  12 Mar, 2023

▪️ Application Composer is now generally available
▪️ Aurora cross-region DR capabilities in more regions
▪️ Aurora MySQL-Compatible Edition  AD auth
▪️ Config +18 new resource types
▪️ Connect new API for customers to access historical metrics
▪️ Database Migration Service Fleet Advisor target recommendations
▪️ DynamoDB table deletion protection
▪️ EC2 create AMI with UEFI and Legacy BIOS on boot | blog
▪️ Elemental MediaConvert enhanced color processing
▪️ EMR on EKS emitting customer metrics for managed endpoints
▪️ Glue
     ▫️ faster and simpler permissions setup
     ▫️ Job Monitoring continuous logs
     ▫️ Streaming ETL
▪️ IAM roles with credentials control props for EC2
▪️ IoT Device Management Jobs maintenance window feature
▪️ Kinesis Data Firehose data delivery to ELK
▪️ Lambda up to 10 GB of ephemeral storage in 6 additional regions
▪️ License Manager Linux subscriptions expands region and admin support
▪️ Location Service Open Data Maps
▪️ Migration Hub Refactor Spaces environments without a network bridge
▪️ QuickSight enhances the developer experience with SDK 2.0
▪️ RDS for MariaDB RDS Optimized Writes
▪️ Redshift 200K tables in a single cluster
▪️ Redshift Serverless lower data warehouse base capacity configuration
▪️ Resource Explorer +12 new resource types
▪️ Route 53 Resolver endpoints for hybrid cloud announces IPv6 support
▪️ SageMaker Data Wrangler EMR Hive as a big query engine
▪️ Security Hub NIST SP 800-53 Rev. 5
▪️ SES email receiving metrics for better visibility and control
▪️ Systems Manager Favorites for documents and runbooks

​​Осенью 2022-го года не слишком громко появился сервис Amazon File Cache. Он позволяет кэшировать файлы в облачных и гибридных архитектурах для on-premises, S3 и NFS v3 совместимых систем.

Ссылка в AWS Blog:

https://aws.amazon.com/blogs/aws/amazon-file-cache-a-high-performance-cache-on-aws-for-your-on-premises-file-systems/

Видео с re:Invent 2022:

https://www.youtube.com/watch?v=n4G8qmKS_-k

🆕 Теперь Amazon File Cache кроме EC2 получил поддержку и контейнерных сервисов ECS и EKS. Для работы с Kubernetes используется Amazon File Cache CSI driver:

https://docs.aws.amazon.com/eks/latest/userguide/file-cache-csi.html

#FileCache #ECS #EKS

AWS Pi Day 2023

Amazon S3 launched 17 years ago on Pi Day, March 14, 2006, and became the first generally available AWS service. Over the last 17 years, data has grown exponentially. Data is rapidly becoming a strategic asset for every organization that is coming from newer sources, is increasingly diverse, and is needed by many users within an organization.

Attend the 3rd annual AWS Pi Day live, virtual event hosted on the AWS On Air channel on Twitch as we celebrate the 17th birthday of Amazon S3.

https://pages.awscloud.com/NAMER-field-OE-Pi-Day-2023-reg-event.html

Официальный клиент для монтирования S3 бакета в файловую систему — Mountpoint for Amazon S3

https://aws.amazon.com/blogs/storage/the-inside-story-on-mountpoint-for-amazon-s3-a-high-performance-open-source-file-client/

Отличия от других клиентов:

1️⃣ Использует те же библиотеки, что и AWS SDK
2️⃣ Написан на Rust
3️⃣ Автонастройка как для S3

Репозиторий:

GitHub 🔗 https://github.com/awslabs/mountpoint-s3
Roadmap 🔗 https://github.com/orgs/awslabs/projects/84

p.s. Альфа версия, у меня не заработало на ARM 😐 .

#S3

​​Project Kuiper (Starlink от Амазона) показал пользовательские терминалы:

https://www.aboutamazon.com/news/innovation-at-amazon/heres-your-first-look-at-project-kuipers-low-cost-customer-terminals

Три размера:
▪️ Компактный — 100 Mbit/s (на картинке)
▪️ Средний — 400 Mbit/s
▪️ Большой — 1 Gbit/s

Стоимость терминалов планируется в районе 400-500 долларов.

На уровне железа используется собственная разработка — 5G-чип "Prometheus", который способен работать на скоростях вплоть до 1 Tbit/s.

#Kuiper

​​☁️ AWS Survey 2023

https://answersforaws.com/2023/

• This is a yearly survey to collect data on the the state of AWS and related services.
• 331 people who responded
• Most people have 6-10 years of experience with AWS
• Most people complete the survey in under 5 minutes
• Every question of the survey is optional and can be skipped
• Ran from January 16 to February 15, 2023
• This survey is in not supported, sponsored or endorsed by AWS (it's unofficial and is entirely community made)

#survey

​​Будьте вежливы!

#пятничное

☁️ Issue #63 | 13 Mar 2023 – 19 Mar, 2023

▪️ Amazon Linux 2023 is GA
▪️ Application Auto Scaling Metric Math for Target Tracking policies
▪️ Backup VMware vSphere 8 and multiple virtual NICs
▪️ Chatbot now available in Microsoft Teams
▪️ Chime SDK Amazon Voice Focus for carriers
▪️ CloudWatch Logs VPC Flow Logs metadata
▪️ CodeBuild small GPU machine type
▪️ Connect Wisdom Microsoft SharePoint Online
▪️ Database Migration Service
     ▫️ Glue Data Catalog when migrating to S3
     ▫️ S3 data validation
▪️ Data Exchange S3 is now generally available
▪️ EC2 in-place OS updates on M1 Mac instances
▪️ EMR fine-grained access controls with Lake Formation
▪️ GameLift updated console UX
▪️ GuardDuty RDS Protection for Amazon Aurora is GA
▪️ Kendra
     ▫️ Confluence Cloud Connector
     ▫️ Confluence Server Connector
     ▫️ Microsoft SharePoint Cloud Connector
     ▫️ SharePoint OnPrem Connectors
▪️ Keyspaces client-side timestamps
▪️ Migration Hub Strategy Recommendations binary analysis
▪️ Neptune
     ▫️ graph summary API
     ▫️ R6i instances
     ▫️ Slow Query Logs
▪️ OpenSearch Service
     ▫️ introduces security analytics
     ▫️ OpenSearch version 2.5
▪️ QuickSight hide collapsed columns control for Pivot table
▪️ S3
     ▫️ Mountpoint a high performance open source file client
     ▫️ Multi-Region Access Points cross-account support
     ▫️ Object Lambda CloudFront to tailor content for end users
     ▫️ Outposts local S3 Replication on Outposts
     ▫️ simplified private connectivity from on-premises networks

​​Свой собственный Former2 для получения CloudFormation и Terraform кода из накликанного окружения:

https://github.com/aws-samples/ec2-former2

Вводить, пусть даже на проверенном сайте, ключи доступа к AWS аккаунту, от неприятно до невозможно. Former2 же работает лишь на собственном домене либо на localhost. Второй способ и реализует этот скрипт.

С помощью готового CloudFormation шаблона поднимается t3.medium (по умолчанию) виртуалка с обычным Amazon Linux 2, туда автоматом водружается GUI (чтобы работать с ней удалённо), амазоновский NICE DСV (сервис для реализации рабочего стола), ставятся популярные браузеры (Firefox, Chrome, Edge), а также VS Code — главное нужное для работы.

Всё ставится в существующую VPC. После запуска нужной зайти через SSM Session Manager (виртуалка ставится без SSH ключа), чтобы поменять пароль для ec2-user (sudo passwd ec2-user), который будет использоваться для доступа через NICE DСV.

Задав пароль, можно логиниться и работать прямо через браузер (на картинке). Такой функционал реализует NICE DСV. А если скачать его бесплатный клиент, то получится вполне годный рабочий стол. Сделав нужное, машинку можно потушить и поднимать по необходимости.

Навороченная (может ставиться минут двадцать), но проверил — рабочая конструкция. Из минусов — будет долго висеть (и не заработает), если в VPC есть IPv6 (нужно прямо по ходу добавить IPv6 в egress для создаваемой security group и успешно установится).

В общем, хорошая штука, применима не только для Former2, но и как заготовка для собственной реализации удалённого рабочего стола.

p.s. У кого аллергия на CloudFormation, могу переделать под Terraform — пишите, если нужно. 😃

#cloudfromation #terraform

​​Planning to take the AWS certification exam?

Now it would be a little less stressful as you would get free retake if you fail.

Promo code needs to be applied during checkout. Exam must be scheduled and taken between March 15 and May 31, 2023. Free retake must be taken before August 1, 2023.

More info and get your promo code here:

https://home.pearsonvue.com/aws/free-retake

#AWS_Certification

Beginning on March 20th, all traffic targeting the legacy k8s.gcr.io registry will be redirected to the new image container registry at the registry.k8s.io endpoint. Then on April 3, 2023, the old registry will then be frozen, preventing any images for Kubernetes and its sub-projects from being pushed to the k8s.gcr.io registry.

https://aws.amazon.com/blogs/containers/changes-to-the-kubernetes-container-image-registry/

All images in the k8s.gcr.io registry will be impacted by this change, including other sub-projects such as dns/k8s-dns-node-cache and ingress-nginx/controller.

To find images from k8s.gcr.io:

▫️ OPA Gatekeeper
▫️ Kyverno
▫️ kubectl community-images plugin
▫️ run
kubectl get pods --all-namespaces -o jsonpath="{.items[*].spec.containers[*].image}" | tr -s '[[:space:]]' '\n' | sort | uniq -c | grep "k8s.gcr.io"

#Kubernetes #EKS

AWS переводит европейские датацентры на биодизель.

https://www.theregister.com/2023/03/20/aws_wants_to_cook_its/

#news

​​Cfnctl — Terraform cli experience for AWS Cloudformation

https://github.com/rogerwelin/cfnctl

With cfnctl, you write Cloudformation templates as usual but use the cli workflow that you are already used to from Terraform, including:

▪️ apply
▪️ plan
▪️ destroy
▪️ output
▪️ validate
▪️ version

#CloudFormation

​​ALB + TLS 1.3: 🎉

https://docs.aws.amazon.com/elasticloadbalancing/latest/application/create-https-listener.html#describe-ssl-policies

🔹 ELBSecurityPolicy-TLS13-1-2-2021-06 security policy is the default policy for HTTPS listeners created using the AWS Console. This security policy includes TLS 1.3, which is optimized for security and performance, and backward compatible with TLS 1.2.
🔸 ELBSecurityPolicy-2016-08 policy is the default security policy for listeners created using the AWS CLI.

#ALB