Новый AWS Region — Малайзия: 🎉

https://aws.amazon.com/blogs/aws/now-open-aws-asia-pacific-malaysia-region/

Идентификатор ap-southeast-5, имеет 3 AZ.

✅ Итого на теперь всего — 34 региона.

#AWS_Regions

Gartner® Magic Quadrant™ for AI Code Assistants

⭐️ Issue #138 | 25 August 2024

▪️ Amplify multiple bucket support for Storage
▪️ Bedrock
     ▫️ select FMs for batch inference at 50% of on-demand inference price
     ▫️ Knowledge Bases supports Claude 3.5 Sonnet
▪️ CloudFormation resource discovery and template review in the IaC Generator
▪️ CloudHSM new hsm2m.medium instance type
▪️ CodeBuild Mac builds
▪️ Connect
     ▫️ new ways to configure callbacks
     ▫️ an audit trail for changes to an agent performance evaluation
▪️ Direct Connect Announces new location and expansion in Kuala Lumpur, Malaysia
▪️ DocumentDB
     ▫️ Global Clusters introduces Switchover
     ▫️ Global Clusters introduces Failover
▪️ EMR prioritized and capacity-optimized-prioritized allocation strategies for EC2 instances
▪️ EventBridge Scheduler provides higher default service quotas
▪️ IAM Supports PrivateLink in all commercial Regions
▪️ Lambda
     ▫️ Supports function-level configuration for recursive loop detection
     ▫️ Supports encryption of filter criteria for event source mappings
▪️ Lightsail Introduces browser-based SSH/RDP support for IPv6-only instances bundles
▪️ Q Provides more details about user subscriptions and associated resources
▪️ Route 53 Resolver Endpoints available in the Asia Pacific (Malaysia) Region
▪️ S3
     ▫️ No longer charges for several HTTP error codes
     ▫️ Supports conditional writes
     ▫️ Adds additional context to HTTP 403 Access Denied error messages
▪️ SageMaker
     ▫️ Pipelines provides a drag-and-drop UI to easily create ML workflows
     ▫️ Canvas supports data flows import, and faster data prep for ML

Karpenter Blueprints for Amazon EKS

https://github.com/aws-samples/karpenter-blueprints

- High-Availability: Spread Pods across AZs & Nodes
- Split Between On-Demand & Spot Instances
- Prioritize Savings Plans and/or Reserved Instances
- Working with Graviton Instances
- Overprovision capacity in advanced to increase responsiveness
- Using multiple EBS volumes
- Working with Stateful Workloads using EBS
- Update Nodes using Drift
- Launching nodes using custom AMIs
- Customizing nodes with your own User Data automation
- Protecting batch jobs during the consolidation process
- NodePool Disruption Budgets

#Karpenter

Процесс пошёл (обратно).

https://www.elastic.co/blog/elasticsearch-is-open-source-again

3 года с копейками назад Elasticsearch возглавил волну перехода из чистого Open Source на закрытые типы лицензий. В результате появился Opensearch и на него переключились многие проекты, и совсем не только для AWS, например, есть OCI Search или Alibaba Cloud Opensearch.

И вот теперь он же может возглавить волну "возвращенцев". Не очевидно, чем это закончится, т.к. вряд ли можно ожидать простого объединения проектов, которые успели достаточно серьёзно разойтись за эти годы.

В любом случае это отличный подарок на день рождения OpenTofu, которому 25-го августа исполнился год.

#open_source

Alexa + Claude

https://www.reuters.com/technology/artificial-intelligence/amazon-turns-anthropics-claude-alexa-ai-revamp-2024-08-30/

Amazon plans to charge $5 to $10 a month for its new "Remarkable" version of Alexa as it will use powerful generative AI to answer complex queries, while still offering the "Classic" voice assistant for free.

#Alexa

🆕 AWS WAF + 10 запросов в минуту

https://docs.aws.amazon.com/waf/latest/developerguide/waf-rule-statement-type-rate-based-high-level-settings.html

Если у вас нежный бэкенд, который падает уже от нескольких параллельных запросов, то ставьте десяточку в Rate limit с минутой в Evaluation window.

WAF отработает не сразу после десятого запроса, а с небольшой задержкой в 15-20 секунд (но сработает).

И бэкенд не упадёт. Но это не точно.

#WAF

Всем привет!
23 сентября в RS School стартует новый бесплатный курс по основам DevOps на базе AWS, созданный сотрудниками EPAM и волонтерами RS School. Планируется, что несколько лучших выпускников курса смогут получить возможность трудоустройства в EPAM на позицию Junior System Engineer.

В рамках подготовки к запуску курса сегодня пройдет YouTube-стрим на тему: "Кто такой DevOps-инженер и какие типичные задачи он решает".
Ссылка на стрим: https://www.youtube.com/watch?v=tXyTXCoyZgo

Регистрация на сам курс: https://wearecommunity.io/events/aws-devops-course
Если вашим знакомым может быть интересна эта возможность, буду признателен за шаринг!

Storage Browser for S3

Шёл 2024-й год. Не прошло и 20 лет спустя появления Amazon S3, как уже можно прямо в браузере ходить по S3!

https://github.com/aws-amplify/amplify-ui/issues/5731

Правда пока альфа-версия, но, глядишь, к юбилею успеют.

Хотя, вроде были варианты. Например, S3Fox:

https://aws.amazon.com/blogs/aws/s3fox_organizer/

Странно, в чём же прикол? Почему AWS потребовалось два десятка лет, чтобы придумать внешне обычный S3 просмотрщик?

Ох. Всё непросто. Дело в том, что у нас теперь новый, правильный S3. Точней, доступ к нему. Вы и не заметили, но это перепридуманный доступ к S3. Причём дважды.

AWS разработчикам пришлось всё переделать и при этом чтобы ничего не изменилось для старого и просто древнего кода.

А что ж так, зачем? Всё просто, две волшебные буквы — AI. В данном случае данные в виде Data Lake. Нужно иметь возможность задавать доступ к огромному количеству источников данных, где старый-привычный подход на базе IAM Roles и S3 Bucket policy не годится из-за ограничений и тупо неудобности.

Так были придуманы S3 Access Grants, которые были анонсированы на re:Invent 2023.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-grants.html

Реально полезное видео с этого реинвента:

https://www.youtube.com/watch?v=Ts-ZMBzGeh0

И AWS Blogs:

Часть 1 https://aws.amazon.com/blogs/storage/how-to-develop-a-user-facing-data-application-with-iam-identity-center-and-s3-access-grants/
Часть 2 https://aws.amazon.com/blogs/storage/how-to-develop-a-user-facing-data-application-with-iam-identity-center-and-s3-access-grants-part-2/

Кратко смысл следующий. Мы создаём S3 грант в аккаунте, с помощью которого юзер сможет получить доступ к S3 бакету или его префиксу. Юзер через условную Okta или MS Entra ID получает доступ с этим грантом через IAM Identity Center. В результате доступом к своим данным, разбросанным по аккаунтам и бакетам централизованно и при желании — извне Амазона.

Итого, что было раньше. Раньше были S3 ACL. Потом S3 Bucket Policy. Затем плюс IAM к ним. После S3 Access Points. И, на радость всем разработчикам AWS курсов, S3 Access Grants.

Важно отметить, что S3 Access Grants — нонче рекомендуемый способ предоставления доступа к данным в S3. Перевожу на понятный — все остальные "нерекомендованные". 😁

Причём тут Storage Browser for S3 вообще?

Да, собственно, вернёмся к теме. Так вот, с этими грантами вышла следующая беда. Нарезать то их можно, а вот "огласить полный список" для юзера — сразу по всем бакетам и префиксам было нельзя. Короче, та же беда, как нельзя ограничить листинг бакетов в аккаунте, чтобы не показывались те, к которым пользователь не имеет доступа.

Помните эту вечную болячку и постоянный вопрос "как сделать листинг только тех бакетов, которые нужно" — никак, листинг s3:ListAllMyBuckets требует звёздочку в ресурсах.

И вот, наконец, ему на замену есть s3:ListCallerAccessGrants, который был нужен, чтобы реализовать Storage Browser for S3 — нам же нужно вывести всё, доступное пользователю.

https://docs.aws.amazon.com/AmazonS3/latest/API/API_control_ListCallerAccessGrants.html

Итого, с помощью s3:ListCallerAccessGrants можно получить полный список доступных S3 бакетов и доступных только этому юзеру, где он не увидит имени сразу всех S3 бакетов в аккаунте.

Это победа!

P.S. Жаль нет больше в AWS Василия Пантюхина. И эти титанические усилия на стороне AWS остаются не раскрытыми. А тут такая драма, нет, остросюжетный детектив, сериал, что угодно, а видно почти никому. Полезешь копаться, а там и пасхалки, и респауны, и шкафы со скелетами на каждом уровне.

#S3

Грамотный инженер знает все best practices и когда их нужно применять.

Хороший инженер знает все best practices и когда их не нужно применять.

Вы жаловались, что AWS изучить невозможно, потому что сервисов очень много и их количество постоянно растёт.

Вас услышали. Ещё минус один.

Бишкек, сегодня, не пропустите!

Лучший AWS VPC Terraform модуль для SRE

https://www.youtube.com/watch?v=DFeItULOeHc

Обсудили с Виктором его AWS VPC Terraform модуль:

https://github.com/ViktorUJ/terraform-aws-vpc

Хотите узнать, почему (не) надо писать собственный AWS VPC Terraform модуль — смотрите видео.

Комментарии, критика, а также подписка на канал и пулреквесты в репозитории Виктора — категорически приветствуются.

#Terraform #VPC #video

Девопса уволят в любом случае:

— Когда он смог всё автоматизировать.
— Если он не смог всё автоматизировать.

Сколько настройщиков FreeBSD поместится в автобус Бэтмена?

#пятничное

OpenSearch + Linux Foundation 💪

https://www.linuxfoundation.org/press/linux-foundation-announces-opensearch-software-foundation-to-foster-open-collaboration-in-search-and-analytics

AWS transfers OpenSearch to the Linux Foundation to support a vendor-neutral community for search, analytics, observability, and vector database software.

#OpenSearch #opensource

Всем привет!

Уже через неделю в RS School стартует новый бесплатный курс по основам DevOps на базе AWS. Планируется, что несколько лучших выпускников курса смогут получить возможность трудоустройства в EPAM на позицию Junior System Engineer.

Подробности и регистрация на курс по ссылке:
https://wearecommunity.io/events/aws-devops-course

Если вашим знакомым может быть интересна эта возможность, буду признателен за шаринг!

Варшава, сегодня, не пропустите!