🆕 Invoice Configuration — возможность выставлять счета отдельно по аккаунтам:

https://aws.amazon.com/blogs/aws-cloud-financial-management/configuring-your-aws-invoices-using-invoice-configuration/

Крайне востребованная фича, когда по любой причине нет возможности поднимать окружение у заказчика, а он хочет просто платить за AWS аккаунт, что крутится в нашей AWS Organization. Теперь это можно будет делать без костылей.

#cost_optimization

🆕 Amazon EKS Hybrid Nodes

https://aws.amazon.com/blogs/aws/use-your-on-premises-infrastructure-in-amazon-eks-clusters-with-amazon-eks-hybrid-nodes/

Теперь можно поднимать ноды EKS у себя в серверной, по-прежнему управляя кластером в консоли AWS.

#EKS

🆕 MemoryDB + Multi-Region

https://aws.amazon.com/blogs/aws/amazon-memorydb-multi-region-is-now-generally-available/

🔹 active-active replication
🔸 microsecond read latency
🔹 single-digit millisecond write latency

#MemoryDB

☸️ EKS автопилот — EKS Auto Mode со встроенным Karpener-ом, dual stack сетью, поддержкой block storage, GPU и автообновлением нод по безопасности:

https://aws.amazon.com/blogs/aws/streamline-kubernetes-cluster-management-with-new-amazon-eks-auto-mode/

К сожалению, это не ECS обновлять EKS кластер на новую версию по-прежнему нужно будет самостоятельно.

#EKS

🆕 AWS Transfer Family web apps

https://aws.amazon.com/blogs/aws/announcing-aws-transfer-family-web-apps-for-fully-managed-amazon-s3-file-transfers/

Если вы не смогли поставить себе какой-нибудь Cyberduck для работы с данными в S3, то теперь можно настроить UI доступ к S3 с помощью AWS Transfer Family web apps. За каких-то 360$ в месяц за приложение.

#Transfer_Family #S3

Storage Browser for Amazon S3

https://www.youtube.com/watch?v=UBpX8hCpLAY

AWS Blog:

https://aws.amazon.com/blogs/aws/connect-users-to-data-through-your-apps-with-storage-browser-for-amazon-s3/

#S3

Количество метрик, обрабатываемых CloudWatch за последние пять лет выросло в 20 раз.

С одной стороны, вот, как сложно обрабатывать такую увеличивающуюся нагрузку на CloudWatch.

А с другой, на биллинг. 😃

#reInvent

С новыми фичами типа CloudWatch Logs Insights Observability нагрузка на биллинг CloudWatch увеличится ещё больше:

https://aws.amazon.com/blogs/aws/container-insights-with-enhanced-observability-now-available-in-amazon-ecs/

#CloudWatch #ECS #reinvent

CloudWatch + OpenSearch = возможность запрашивать логи из OpenSearch

https://aws.amazon.com/blogs/aws/new-amazon-cloudwatch-and-amazon-opensearch-service-launch-an-integrated-analytics-experience/

#CloudWatch #OpenSearch #reInvent

Интересное из истории AWS и re:Invent от Andy Jassy:

https://www.youtube.com/watch?v=moECYs9sH4g

#reInvent

First Keynote from re:Invent for confident English "listeners" :)
https://youtu.be/vx36tyJ47ps

🆕 S3 Tables = S3 buckets для аналитики

https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/

По сравнению с возможностью сделать на S3 buckets всё то же самое, S3 Tables обещает:

🔹 up to 3x faster query performance
🔸 up to 10x more transactions per second

И это весьма серьёзное отличие для прожорливых аналитических запросов.

А что с ценой? Отличия по самому хранению минимальные — где-то +5% по сравнению с S3 buckets. Если включить сжатие (S3 Tables compaction), то добавится ещё десяток-другой процентов, что вполне адекватно.

С ходу S3 Tables имеют интеграцию с Athena, Redshift, EMR, Glue Data Catalog и QuickSight.

Итого, нужно брать. С учётом важности работы с данными сейчас, S3 Tables теперь базовый элемент инфраструктуры.

Мои очередные сожаления (поздравления) всевозможным курсам — переделывать (и продавать).

#S3

🆕 Amazon Q напишет юнит-тесты, документацию (не только для нового, но и для легаси) и сделает code review.

#reInvent

— А давайте придумаем новое название для Aurora Serverless v2?
— А давайте!

🆕 Aurora DSQL = multi-region Aurora Serverless v2

https://aws.amazon.com/blogs/database/introducing-amazon-aurora-dsql/

#Aurora

🆕 AWS Data Transfer Terminal — будущая замена Snowball Edge

https://aws.amazon.com/blogs/aws/new-physical-aws-data-transfer-terminals-let-you-upload-to-the-cloud-faster/

https://www.youtube.com/watch?v=H2Z-Byu15qA

#DataTransferTerminal

Через три часа от этого поста начнётся первый стрим по новостям с re:Invent, где мы в том числе обсудим выступления Peter DeSantis и Matt Garman:

https://www.youtube.com/live/nn2la97zS9I

Это будет тёплый ламповый стрим, минимум задолбавшего AI, максимум хардкор hardware, которого на удивление было достаточно на re:Invent 2024.

CNBC: Apple заявила, что использует ИИ-чипы Amazon

– Apple использует ИИ-чипы Amazon для поиска и др.
– Их также используют для обучения Apple Intelligence
– ML-директор Apple выступил на конференции Amazon
– Это серьезная поддержка AWS со стороны компании
– Apple использует AWS для своих сервисов уже 10+ лет
– AWS используют для Siri, Apple Maps, Apple Music и др.
– Apple также использует ее чипы Inferentia и Graviton
– Она заявила, что чипы повысили эффективность на 40%
– Apple также может начать использовать чип Trainium2

@ftsec

Прочитал за вас большой анализ по Trainium2, новой вычислительной платформе от Amazon.

- Главная задача в разработке Trainium2 — повысить конкурентоспособность AWS на рынке предоставления услуг для GenAI.
- AWS делает кластер на 400000 чипов Trainium2 для Anthropic в рамках Проекта Rainier, что указывает на сильное партнерство. Мы часто обсуждали, есть ли связь между амазоном и Антропиком помимо инвестиций.
- Главные цифры — 650 TFLOP/s и 96GB памяти.
- NeuronLinkv3 — шина высокоскоростной внутренней и межсерверной связи, образует очень красивый гиперкуб, в котором 32 узла Trainium2 связаны друг с другом на скорости в 640 гигабит. И пока это чуть ли не самое интересное и свежее во всей конструкции платформы.
- Раздельные движки для работы с разными типами данных (Tensor, Vector, Scalar) тоже выгодно отличают Trainium от классических GPU.
- Trainium2 — это прямой конкурент Nvidia H100 и Google TPU.
- Энергобюджет для кластеров Trainium2 до 48 кВт на сервер Trn2-Ultra. В общем, за потреблением амазону приходится следить.
- AWS внедрила автоматизированные проверки работоспособности и диагностику для обеспечения надежности прямо в платформу. Очень умно и красиво, тут виден прямо подход.

Я вам очень рекомендую прочитать статью самим, прямо глубоко. На фоне недавнего рассказа Эппл о том, что они активно используют Trainium2 и вообще живут на этом куске Амазона, — популярность этого решения будет расти и быстро.

https://semianalysis.com/2024/12/03/amazons-ai-self-sufficiency-trainium2-architecture-networking/

Aurora DSQL — мечта разработчика

Главным событием re:Invent 2024 определённо является появление Aurora DSQL — новой инкарнации Aurora, как результат её 10 лет разработки.

С появления революционной DynamoDB в 2012-м каждый первый разработчик спрашивал — а можно нам такое же, с этими фичами, только Relational и лучше Postgres?

Теперь можно: Aurora DSQL = multi-region + active-active + serverless + strong-consistency.

Под капотом Aurora DSQL в реальности целый комбайн сервисов. Представьте, что каждый ваш запрос обрабатывается отдельной Лямбдой. С великолепными возможностями скейлинга, причём крайне эффективного и отдельным сервисом для хранилища, отделяя таким образом compute от storage.

А самое офигительное, что практически удалив кэширование (сделав его динамическим) и с использованием принципиально ускорившейся за последние годы сети, удалось сделать Aurora DSQL волшебным strongly consistent даже в контексте мульти-регион конфигурации.

Ещё не до конца разобрался, как AWS удалось победить проблему скорости света. 😀 Ведь при использовании регионов на разных сторонах Земли задержка будет в секунду просто на прохождение таких расстояний. Подожду Aurora DSQL Deep Dive видео с re:Invent 2024.

Вот хорошие статьи с подкапотными деталями Aurora DSQL:

🔸 https://blog.datachef.co/aurora-dsql-a-new-boring-aws-serverless-postgres-compatible-database

🔹 https://brooker.co.za/blog/2024/12/04/inside-dsql.html

Добавляйте свои мысли/ссылки по Aurora DSQL в комментариях.

P.S. Aurora DSQL заявлена как "serverless", но не подразумевает скейла в 0. Как минимум это справедливо для текущей версии.

#Aurora

𝐁𝐞𝐜𝐨𝐦𝐞 𝐚𝐧 𝐀𝐖𝐒 𝐏𝐫𝐚𝐜𝐭𝐢𝐭𝐢𝐨𝐧𝐞𝐫 𝐢𝐧 5 𝐰𝐞𝐞𝐤𝐬 😎

Join our free online course starting on 9th December 2024!

With weekly assignments and online sessions led by RS School trainers, Anton Kustikov (Systems Engineer, AWS DevOps Engineer) and Saidazizkhon Akbarov (Solutions Architect / AWS Community Builder), you'll have the support you need to succeed.

By the end of the course, you'll have a solid foundation in AWS Basics. Plus, you'll receive an "AWS Cloud Quest: Cloud Practitioner" digital badge to showcase your achievement.

■ "AWS Cloud Quest: Cloud Practitioner" Badge
■ Free
■ Online
■ In English
■ 9th December 2024!

🔥 No previous experience is required!

Don't miss out on this opportunity to learn with our community of developers!

Find out more details and enroll by the link:
https://wearecommunity.io/events/aws-fundamentals-course-2024q4


🖤 We would really appreciate it if you could share this information with your friends.