​​📄 AWS Whitepaper — AWS Multi-Region Fundamentals:

https://docs.aws.amazon.com/pdfs/whitepapers/latest/aws-multi-region-fundamentals/aws-multi-region-fundamentals.pdf

🔹 This paper focuses on high availability and continuity of operations requirements, and helps you navigate the considerations for adopting a multi-Region architecture for a workload.
🔸 It describes fundamental concepts that apply to design, development, and deployment of a multi-Region workload, along with a prescriptive framework to help you determine whether a multi-Region architecture is the right choice for a particular workload.
🔹 You need to ensure a multi-Region architecture is the right choice for your workload, because these architectures are challenging, and it’s possible that, if not done correctly, the overall availability of the workload can decrease.

#design

How's your weekend?

#friday13

Issue #54 | 09 January 2023 – 15 January, 2023

▪️ AppConfig allows tracking of stale feature flags
▪️ Clean Rooms | Preview
▪️ CloudFormation Fn::FindInMap supports default values and additional intrinsic functions
▪️ CloudFront request header order and header count headers
▪️ CloudShell HIPAA eligible
▪️ Config  +22 new resource types
▪️ Elemental MediaLive POIS signal conditioning
▪️ Kendra
     ▫️ Google Drive Connector
     ▫️ Intelligent Ranking for self-managed OpenSearch
     ▫️ MS Exchange Connector with email-messaging search
     ▫️ MS Teams Connector with messaging search
     ▫️ S3 connector with VPC support
▪️ Lambda Maximum Concurrency for SQS as an event source
▪️ Location Service GrabMaps in Southeast Asia
▪️ Network Firewall reject action for TCP traffic
▪️ Nitro Enclaves support for multiple enclaves
▪️ Personalize
     ▫️ tag based resource authorization
     ▫️ “Trending-Now” recipe
▪️ RDS
     ▫️ MariaDB 2x faster queries with Optimized Reads
     ▫️ new SSL/TLS certificates and certificate controls
     ▫️ restore snapshots from Multi-AZ with two readable standbys
▪️ Resource Groups now emits lifecycle events
▪️ Route 53 Application Recovery Controller zonal shift | GA
▪️ S3 Storage Lens tiered pricing for cost-effective monitoring at scale

re:Invent 2022 reCap — Аналитика

Евгений Красиков, расскажет об основных новинках в аналитике с reInvent 2022:
- New service Amazon DataZone to share, search, and discover data at scale across organizational boundaries while enforcing governance and compliance policies
- Amazon OpenSearch serverless
- AWS Glue - built-on Data Quality capabilities, support for Python framework Ray, new runtime Glue 4.0, improvement to visual transforms and more
- Amazon Redshift - streaming ingestions directly from Kinesis Data Streams and Kafka, zero-ETL integration with Athena, Multi-AZ configuration to improve availability, Dynamic Data Masking to easily protect sensitive data, better Spark integration and more
- Amazon Athena - new Spark engine (job start under a second with per-second billing) in addition to Presto
- Amazon QuickSight - new API capabilities, automated data-prep for QuickSight Q (natural language processing query)
- Amazon Applow - 22 new connectors, including Facebook Ads, Google Ads, Stripe, Jira Cloud and others

Присоединяйтесь прямо сейчас!

https://www.youtube.com/watch?v=Z_cNl8hgPHU

Не упустите шанс отправить заявку в программу #AWSCommunityBuilders до 23 января. Регистрация доступна по ссылке

Уже несколько раз говорили про программу в подкасте кто такой Community Builder
Самые важные бенефиты в этой программе, на мой взгляд:
1) официальная поддержка от AWS
2) брендированный AWS мерч, который хочется носить
3) ваучер на сертификат
4) кредиты в AWS
5) самое важное — новые знакомства с другими community builders и общение с экспертами из AWS

Детально почитать о программе можно тут
Приходите! Буду рад вам помочь!
#aws #community #awscommunitybuilders

Issue #55 🧧16 January 2023 – 22 January, 2023

▪️ Billing Conductor SKU pricing rules
▪️ Chime SDK up to 250 video streams per WebRTC session
▪️ CloudWatch
     ▫️ cross-account Metric Streams
     ▫️ enhanced error visibility for Embedded Metric Format (EMF)
▪️ Connect long lasting, persistent chat experiences
▪️ Detective new AWS managed IAM policies
▪️ EC2 ConnTrack Utilization metric
▪️ EC2 Auto Scaling recommendations about activating predictive scaling policy
▪️ EC2 Image Builder
     ▫️ CIS Benchmarks for AMI security hardening
     ▫️ custom AMIs Marketplace subscription
▪️ EC2 Launch Templates Systems Manager parameters for AMIs
▪️ ECS new default console experience
▪️ EFS 1K Access Points per FS
▪️ EMR 30% faster to launch on EC2 cluster in a private subnet
▪️ EMR Serverless account-level vCPU-based service quota
▪️ Fault Injection Simulator increased quotas for target resources
▪️ Kendra MS Yammer Connector
▪️ Marketplace Console new private offers page
▪️ Network Firewall IPv6 support
▪️ OpenSearch Service enhanced dry run for configuration changes
▪️ RDS for MariaDB enforcing SSL/TLS connections
▪️ S3 File Gateway
     ▫️ DOS attributes support
     ▫️ maximum file shares per gateway from 10 to 50
▪️ SAM CloudFormation Linter
▪️ Systems Manager  cross-account/region patching with Patch Policies

Новый AWS Region — Мельбурн, Австралия: 🎉

https://aws.amazon.com/blogs/aws/now-open-aws-asia-pacific-melbourne-region-in-australia/

Второй на текущий момент в Австралии, идентификатор ap-southeast-4. Как и в подавляющем большинстве других регионов, имеет 3 AZ.

✅ Итого на теперь всего — 31 регион.

#AWS_Regions

​​📓 Choosing the right AWS service to deploy your website or web application in the AWS Cloud — AWS Prescriptive Guidance:

https://docs.aws.amazon.com/prescriptive-guidance/latest/website-deployment-services

▫️ Static: S3 + CloudFront
▫️ JS framework + CI/CD: Amplify
▫️ Serverless + low-cost: API Gateway + Lambda + S3
▫️ WordPress/Drupal/Joomla: LightSail
▫️ Containers: App Runner or ECS or Fargate
▫️ Kubernetes: EKS
▫️ On-premises: EKS Anywhere or ECS Anywhere
▫️ Old-style managed environment: Beanstalk
▫️ Self-managed: EC2

#design

В гостях подкаста - Алексей Григорьев: AWS Hero, автор нескольких книг по ML и лидер https://datatalks.club/ комьюнити.

Вначале мы поговорили о том, как стать AWS Hero - в этой части подкаста можно узнать больше о самой программе и о том, какими активностями занимаются комьюнити лидеры, которые хотят быть частью этой программы. Затем мы обсудили разницу между Data Scientist и ML инженером - кого же, как не Principal Data Scientist об этом расспрашивать, верно?:) И наконец, мы поговорили о подходе Алексея к написанию книг, обсудили мнение, почему код нужно писать раньше, чем книгу о нем, и почему сделать обучающий курс намного легче, чем написать книгу.

Если вы интересуетесь ML - курсы и книги Алексея будут отличным стартом для самообразования и перехода в эту сферу.
#podcast
Послушать можно тут:
- Apple Podcasts
- Google Podcasts
- Spotify
- PodBean
- YandexMusic

​​⭐ Top AWS Week Updates 2023 January 22-28

1️⃣ OpenSearch Serverless GA
2️⃣ Lambda runtime management controls
3️⃣ Fault Injection Simulator Pause I/O action for EBS
4️⃣ IPAM updates
5️⃣ Porting Advisor for Graviton

➖➖➖

1️⃣ OpenSearch Serverless → GA:

https://aws.amazon.com/blogs/big-data/amazon-opensearch-serverless-is-now-generally-available/

На re:Invent 2022 появился "всего один" новый serverless сервис — OpenSearch Serverless. В отличие от пачки, что появились на re:Invent 2021.

К сожалению, в данном случае приставка "serverless" означает лишь то, что сервис автоматически масштабируется. А не то, что он масштабируется до нуля. 😐

⚠️ Минимальная стоимость OpenSearch Serverless — 700$ в месяц (т.к. минимально допустимое значение 4 OCU).

2️⃣ Lambda runtime management controls:

https://aws.amazon.com/blogs/compute/introducing-aws-lambda-runtime-management-controls/

Лямбда (как сервис) всегда обновлялась автоматически под капотом (security патчи, улучшения и т.д.), причём без оповещения об этом пользователя. Это нарушает строгие требования некоторых compliance и теперь можно не только мониторить эти обновления, но и даже отключить их.

aws lambda put-runtime-management-config --function-name function_arn --update-runtime-on Manual --runtime-version-arn runtime_version_arn

3️⃣ Fault Injection Simulator Pause I/O action for EBS:

https://docs.aws.amazon.com/fis/latest/userguide/fis-actions-reference.html#ebs-actions-reference

Теперь с помощью FIS можно моделировать тормоза EBS-дисков. Например, теперь можно будет посмотреть, как упадёт ваша self-hosted база до того, как на проде вдруг начнёт сильно тормозить диск.

4️⃣ IPAM updates.

Сразу два важных улучшения для тех, кому нужно нарезать сети для различных подразделений своей компании в AWS.

🔘 IPv6 contiguous CIDR block for IPAM pools:

https://docs.aws.amazon.com/vpc/latest/ipam/intro-create-ipv6-pools.html

При создании VPC можно самому указать IPv4 блок адресов, а вот IPv6 выдаёт AWS в случайном порядке (и забирает их после удаления VPC). Если вы хотите рулить IPv6 адресами также, то приходилось покупать адреса и заводить их в AWS как BYOIP. Теперь же можно использовать для этого IPAM, где можно получить блок IPv6 адресов /52 (по умолчанию —можно попросить до /40), который останется навсегда.

🔘 Integrate IPAM with accounts outside of an AWS Organization:

https://docs.aws.amazon.com/vpc/latest/ipam/enable-integ-ipam-outside-org.html

Другая новость — теперь IPAM работает не только для вашей AWS Organizations, что характерно для многих крупных компаний, имеющих разные организации (AWS Organizations), а при этом, понятно, общую сеть.

Нужно отметить, что IPAM — штука не бесплатная, стоит по $0.20 за каждый используемый IP в месяц (именно используемый, а не диапазон). Однако для большой компании это не актуально, в то время как удобства очевидны.

5️⃣ Porting Advisor for Graviton:

https://github.com/aws/porting-advisor-for-graviton

Вышла первая версия утилиты, которая анализирует зависимости на предмет портируемости под Graviton. Сделана на базе aarch64 Porting Advisor.

Поддерживаемые языки:
▪️ Python 3+
▪️ Java 8+
▪️ Go 1.11+
▪️ C/C++
▪️ Fortran

👇
Bonus items для тех, кто дочитал до сюда. 🙂

🔢 Aurora PostgreSQL + 14.6 version support:

https://aws.amazon.com/about-aws/whats-new/2023/01/amazon-aurora-supports-postgresql-versions/

Проходная новость, что Аврора получила поддержку 14.6 версии (и других минорных предыдущих версий), однако интересно отметить, что обычно RDS получала первой обновления, а пока на момент написания поста у RDS лишь 14.5 максимум.

🆒 720 → 730 hours per month inflation

Обнаружил в AWS Pricing Calculator прикольную фразу:

The AWS Pricing Calculator calculates using 730 hours in a month for cost calculations.

То есть у нас нонче в месяце 730 часов, а не 720, как было многие годы до этого?! 😁

☲☲☲☲☲☲☲☲☲☲☲

📌 Полный список всех AWS Updates за прошлую неделю здесь.

#AWS_week

В этот раз re:Invent 2022 посетили 50 000+ человек, прошло 2000 технических сессий на которых презентовали более 100 технологических новинок - и это все только за одну неделю! По традиции в нашем подкасте мы делаем обзор того, что было анонсировано: и это не только новые сервисы, но и детальное обсуждение новых фич в уже существующих.
В одном выпуске очень трудно уместить все, поэтому в первой части мы рассмотрели:
- Amazon Security Lake
- Amazon CloudWatch Internet Monitor
- AWS Verified Access
- Amazon Verified permissions
- Amazon EventBridge Pipes
- Trusted Language Extensions for PostgreSQL on Amazon Aurora and Amazon RDS
- Amazon DocumentDB Elastic Clusters
- Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS
- AWS Control Tower – Comprehensive Controls Management

#podcast
Послушать можно тут:
- Apple Podcasts
- Google Podcasts
- Spotify
- PodBean
- YandexMusic

​​📘 AWS Reference Architecture — Invoking Asynchronous External APIs:

https://d1.awsstatic.com/architecture-diagrams/ArchitectureDiagrams/invoking-asynchronous-external-apis-ra.pdf

1️⃣ Set up Step Functions
2️⃣ Send the task token and the request payload
3️⃣ Use Lambda to poll SQS and trigger an express Step Functions workflow
4️⃣ (Optionally) Add dynamic delay inside Lambda controlled by AppConfig
5️⃣ Step Function invokes an API Gateway HTTP proxy API
6️⃣ Invoke the external third-party asynchronous service API
7️⃣ Store the workflow’s task token and the received job ID in DynamoDB
8️⃣ Receive the completed job ID in a callback webhook endpoint
9️⃣ Transform the external callbacks with API Gateway
🔟 Use Lambda to poll the callback SQS
1️⃣1️⃣ Pass the job ID to the next step, and invoke a Step Function processor to fetch the job’s results

#design

On February 15, AWS User Group Ukraine invite you to AWS re:Invent re:Cap!

AWS re: Invent 2022 took place in Las Vegas and turned out to be one of the biggest conferences devoted to cloud technologies. Lots of new products and updates for different specialists were presented.

What to expect?
🔸an overview of the most important announcements from AWS Re:invent by Igor Ivanyuk, Sr. Solutions Architect at AWS
News and updates: AWS infrastructure, Data/ML, security tools, IT Ops.
🔸 a panel discussion with:
• Igor Ivanyuk, Sr. Solutions Architect at AWS;
• Denis Golovatyuk, Country Lead at AWS;
• Dmytro Ovcharenko, Director of Technology Office at N-iX;
• Oleksii Zayets, Chief Information Technology Architect at PrivatBank.

Moderator: Ivanna Bashmat, Software Architect at N-iX

Keytopics: Large migrations to the AWS and building Secure SDLC with AWS services.

See you on February 15 at 6:00 pm, online
100% free of charge

Save your spot: http://bit.ly/3jLNmrg

​​⚠️ Сегодня заканчивается поддержка EKS 1.21 — кто так и не обновился, то могут быть проблемы.

Также напомню про возможность послушать Игоря Иванюка сегодня вечером. 😀

#EKS

​​AWS для военных — AWS Modular Data Center (MDC)

https://aws.amazon.com/blogs/publicsector/announcing-aws-modular-data-center-u-s-department-defense-joint-warfighting-cloud-capability/

Амазон разработал специальную бронированную версию облака для военных. MDC способен вместить до 5 штук Outposts и умеет отстреливаться до 30 штук Snowball Edge.

В общем, крутая штука, слово "контейнеризация" заиграло новыми красками, в следующей версии это должен быть корабль.

#MDC

Вновом эпизоде нашего подкаста мы пригласили Егора Мясникова (@e90rm) , чтобы обсудить возможности использования Amplify в разработке приложений для iOS, Android, Flutter, Web и React Native. Мы рассмотрели основные компоненты Amplify, включая Studio, CLI, Libraries, UI Components и Web Hosting, и обсудили, как значительно они могут ускорить процесс разработки. Также мы обсудили ситуации, в которых Amplify может быть особенно полезен, и ответили на вопрос, можно ли использовать Amplify для разработки высоконагруженных систем. В конце эпизода мы рассмотрели интеграцию Figma с Amplify и порассуждали о том, могут ли дизайнеры стать кандидатами для становления full-stack developer.

#podcast
Послушать можно тут:
- Apple Podcasts
- Google Podcasts
- Spotify
- PodBean
- YandexMusic

Обычный CI/CD в обычном стартапе.

#пятничное

​​ChatGPT-3 для DevOps и обучения DevOps

Если вы ещё не пробовали использовать ChatGPT-3, то обязательно попробуйте:

https://chat.openai.com/

Возможности его можно посмотреть в многочисленных обзорах, тут же хочу отметить кратко рассказать о применимость для DevOps как с точки зрения уже работающего в этой сфере, так и с позиции кандидата, изучающего DevOps или с нуля начинающего изучать эту тему.

Всех девопсов скоро заменят на ИИ

Краткий ответ — нет. Развёрнутый — нет, всех не заменят. 😁

Грядут серьёзные изменения

Если же серьёзно, то мы находимся в точке резкого увеличения производительности труда, радикального изменения во многих сферах обучения, когда классические методы образования будут вынуждены приспособиться к ещё на порядок увеличившейся простотой доступа к информации.

Это приведёт к изменениям в процессе найма, если процесс происходит удалённо, т.к. задавать по чеклисту вопросы будет малоэффективно ввиду слишком большого количества способов на них получить адекватный ответ в ChatGPT.

PromptOps

На первый план при использовании ChatGPT выходит то, как вы умеете спрашивать, то есть формировать запрос. Тут ведь вопрос уже не половина, а 100% ответа, а правильно поставленный запрос даст не только адекватный, но и качественный ответ.

Уже совсем скоро негодование по поводу поверхностности знаний начинающих перейдёт на новый уровень, т.к. теперь часть работ можно выполнять вообще без знаний — ведь всё можно спросить у ChatGPT-3.

Незачем гуглить ошибку и читать StackOverfllow — вставляем в ChatGPT-3, который поймёт из неё контекст, напишет когда и почему так бывает, а также даст ответ. Если это нельзя сделать — так и напишет, что может быть особенно полезно.

ChatGPT-3 говнокодит не точен

Это правда, ChatGPT-3 ошибается, по опыту оценю ошибки в 10-15%+. Главное — он хорошо генерирует конструкции, на базе которых уже можно сделать нужное, что особенно круто для самообучения (к тому же он всегда поясняет что-как работает).

Крутые вещи ChatGPT-3 для DevOps

▫️ Объяснение ошибок
▫️ Конвертация скриптов из одного языка программирования в другой
▫️ Генерация случайных данных для тестов в любом формате
▫️ Сравнение продуктов/подходов/технологий с аргументаций плюсов и минусов, рекомендаций выбору и подведению выводов
▫️ Поможет придумать имя переменной (постоянно использую 😁)

ChatGPT-3 напишет за вас

➖ Контракт о найме
➖ Письмо шефу с просьбой о повышении зарплаты
➖ Объяснительную, почему упал прод
➖ Резюме

Недостатки ChatGPT-3

▫️ Он не в курсе о том, что было в этом и прошлом году, т.к. был натренирован на данных до 2021-го года
▫️ Он хорош в конкретных областях, крут в генерации идей, но этим и может быть плох — он может придумать то, чего не знает.

p.s. ChatGPT-3 доступен не во всех странах (без дополнительных усилий), с 18 февраля стал официально доступен в Украине. 🇺🇦

#chatgpt #devops

​​Kubernetes 1.25 для EKS и EKS Distro

https://aws.amazon.com/blogs/containers/amazon-eks-now-supports-kubernetes-version-1-25/

Спустя официального релиза 1.25 прошло ровно 5 месяцев, то есть задержка поддержки очередной версии резко сократилась, что очень радует. Сделанный в прошлый раз прогноз на эту версию был очень неточным — ошибся почти на два месяца. Причём ошибся не только я — и у AWS ещё неделю назад в графике стоял март.

https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html#kubernetes-1.25

Несмотря на то, что отставание по версиям сократилось до одной версии, всё же предыдущая версия 1.26 вышла два с половиной месяца назад. 😐 В качестве прогноза этой версии на AWS поставлю на 23 мая 2023 года.

Отдельно стоит отметить, что 15 февраля закончилась поддержка версии EKS 1.21, а окончание поддержки версии EKS 1.22 будет в самом начале лета — 4 июня.

#EKS