EC2 виртуалки — выбираем регион в Европе

На текущий момент в Европе уже есть 6 действующих регионов, а вскоре прибавется ещё парочка. Когда стоит вопрос о выборе региона, где размещать окружение, то обычно выбирают тот, который привычен. Исторически первым была Ирландия, после Франкфурт. Потому многие в наших широтах используют один из этих регионов, поднимая во Франкфурте, чтобы было "географически поближе" - пинг получше.

Однако ситуация меняется. На собственном опыте могу сказать, что появившийся два года назад Стокгольм давал пинг из Минска хуже, чем до привычного Франкфурта. Однако на текущий момент положение сильно изменилась — он теперь для меня однозначно лучший по пингу (в среднем на пару десятков процентов по сравнению следующим за ним Франкфуртом).

https://www.cloudping.info/

Вот характерная картинка, сделана прямо сейчас при написании поста, отражает обычный расклад (из Минска):

Ireland   67 ms
London   49 ms
Frankfurt 46 ms
Paris    57 ms
Stockholm 34 ms

Вообще регионы по пингу подравнялись, частенько Париж и Лондон могут быть лучше Франкфурта. Потому у кого проекты локальные, т.е. не глобальные и нужно побыстрей из своей локации — стоит потестировать, прежние представления могут быть не верны.

Стоимость EC2

Однако есть ещё и стоимостной момент. Разброс цен на EC2 виртуалки есть и в купе с пингом вполне может заставить по-другому смотреть на выбор региона. Если взять Ирландию как 100% цены, то на текущий момент получается следующая картина:

Stockholm  94.7%
Ireland   100.0%
London   103.5%
Paris    103.5%
Milan    105.0%
Frankfurt 105.3%

Самый дорогой Франкфурт! Не знали, да? Я вот помнил, что он дорогой, однако уже подзабыл и считал самым дорогим недавно появившийся Милан. А вот и нет.

Однако интересно отметить относительно дешёвый Стокгольм. В случае Минска получается и дешевле и быстрей — хороший повод подумать. Особенно, если сидите во Фракфурте, то получаете при переезде в Стокгольм -10% в ценнике и при этом быстрей!

https://aws.amazon.com/ec2/pricing/on-demand/

Короче, всё течёт, всё меняется. И появляется повод сэкономить и ускориться!

#AWS_Region #cost_optimization #EC2

Весёлый ролик от Corey Quinn не всем понятен, а весьма полезен. Потому далее расшифровка каждого пункта (моя версия).

💸 Managed NAT Gateway — популярная проблема, когда кажущиеся пустыми окружения жрут деньги из-за цены за NAT GW для private subnets.

💸 Amazon EBS — забытые неиспользуемые (не примонтированные) диски в разных аккаунтах жрут деньги, а в случае, если они Provisioned IOPS, то огромные деньги.

💸 Insecure S3 buckets - 450 independent "Security" researchers — в данном случае здесь, видимо, какая-то пародия на аудит безопасности, хотя при большом количестве данных расходы на S3 могут быть огромными. В помощь S3 Intelligent-Tiering и Amazon S3 Storage Lens.

💸 The Data Science team — так понимаю, команда резвящихся датасайенсистов стоит дорого.

💸 Cross AZ Data Transfer — малоприметная проблема пожирает незаметно деньги (и может большие), прикрытая общей уверенностью, что трафик внутри одного региона бесплатен.

💸 Your AWS Account Team — видимо шарж на команду AWS, которая лениво смотрит, как вы спонсируете их коктейли.

💸 RIs in the wrong region — про то, что Reserved Instances берутся на конкретный регион, иначе они просто проедают деньги. В помощь Savings Plans!

💸 CloudWatch Metrics и DataDog polling — одни из самых дорогих источников расходов на мониторинг, соревнующиеся в первенстве, кто дороже. Настраивайте нужные метрики с нужным интервалом. Как вариант – используйте Amazon Managed Prometheus.

💸 OverProvisioned IOPS — EBS диски с IOPS-ами дорогое удовольствие, потому не стоит привычно "брать с запасом", а руководствоваться адекватными метриками.

💸 Infrastructure in us-west-1 — регион N.California географически совсем рядом с Oregon (us-west-2), однако ресурсы в N.California на 20+ процентов дороже.

💸 Deployed Amazon Macie — первая версия Macie была (есть) негуманно дорогая. Используйте вторую.

💸 Amazon Redshift — серьёзные вещи стоят серьёзные деньги и требуют серьёзного отношения.

💸 AWS Marketplace Vendors — поставленные из Marketplace продукты могут стоить (больших) денег – нужно не забывать отписываться от ставшего ненужным.

💸 Extra Snowball days — за каждый день свыше 10 включённых изначально, списываются деньги за пользование Snowball и это могут быть большие деньги (от десятков до сотен долларов в день).

💸 Business support on Developer accounts — план техподдержки Business стоит 100 долларов в месяц и привязан к конкретному аккаунту. Если это аккаунт для разработки, то по сравнению с Developer планом за 29$ в месяц в нём нет ничего, кроме дополнительных коктейлей для AWS Account Team выше.

💸 No expiry configured - CloudWatch logs everywhere — логи, которые никогда не удаляются, вечные ненужные бэкапы, ECR образы и куча всего другого ­­- всё это пожирает деньги. Даже если не самые большие, но умноженное на всегда получается бесконечно много. Настраивайте lifecycle policy для всего.

💸 Frequent Glacier Retrievals — получение данных из Glacier – дорогая операция, не нужно увлекаться, а лучше использовать S3 Intelligent Tier Archive, который теперь умеет сам складывать в Glacier и забирать оттуда бесплатно.

💸 EMR without Spot fleets — использование Spot fleets для EMR существенно экономит, стоит их использовать.

💸 Creds leaked on Github — не нужно публиковать свои ключи доступа на GitHub, это может стоить дорого.

💸 AWS Contracts Team — вот это я не расшифровал, буду признателен объяснению в комментариях. 


p.s. Хороший пост про 10 простых и очевидных способов уменьшить стоимость вашей AWS инфраструктуры есть и на русском:

https://aws.amazon.com/ru/blogs/rus/10-things-you-can-do-today-to-reduce-aws-costs/

#cost_optimization

Запись вебинара «Оптимизация затрат в Облаке AWS»:

https://www.youtube.com/watch?v=e8R1UqfMMzo

#cost_optimization #video

Cost Optimization для Serverless проектов:

https://blog.ecrazytechnologies.com/optimize-with-aws-cost-explorer

#serverless #cost_optimization

Очистка S3 multipart uploads:

https://aws.amazon.com/blogs/aws-cost-management/discovering-and-deleting-incomplete-multipart-uploads-to-lower-amazon-s3-costs/

If the complete multipart upload request isn’t sent successfully, Amazon S3 will not assemble the parts and will not create any object. The parts remain in your Amazon S3 account until the multipart upload completes or is aborted, and you pay for the parts that are stored in Amazon S3.

#S3 #cost_optimization

​​Если настраиваете S3 Lifecycle configuration rules для того, чтобы объекты переезжали в Glacier и Glacier Deep Archive, то стоит учесть допиздержки:

▪️ For each object archived to S3 Glacier or S3 Glacier Deep Archive, Amazon S3 uses 8 KB of storage for the name of the object and other metadata. Amazon S3 stores this metadata so that you can get a real-time list of your archived objects by using the Amazon S3 API. For more information, see Get Bucket (List Objects). You are charged Amazon S3 Standard rates for this additional storage.
▪️ For each object that is archived to S3 Glacier or S3 Glacier Deep Archive, Amazon S3 adds 32 KB of storage for index and related metadata. This extra data is necessary to identify and restore your object. You are charged S3 Glacier or S3 Glacier Deep Archive rates for this additional storage.

Это значит, что для мелких файлов - (меньше 10KB для Glacier Deep Archive и 16 для Glacier Deep Archive) стоимость файла на "обычном" S3 получается дешевле (и это не считая ещё траты за Lifecycle Transition requests).

В том числе поэтому S3 Intelligent-Tiering не работает с объектами меньше 128 KB:

The S3 Intelligent-Tiering storage class is suitable for objects larger than 128 KB that you plan to store for at least 30 days. If the size of an object is less than 128 KB, it is not eligible for auto-tiering.

#S3 #cost_optimization

Выбор между Aurora и Aurora Serverless v2:

https://medium.com/trackit/aurora-or-aurora-serverless-v2-which-is-more-cost-effective-bcd12e172dcf

#Aurora #cost_optimization

Всегда актуальные пояснения, как формируется (почему так много !?!😀) стоимость трафика в AWS:

https://aws.amazon.com/blogs/architecture/overview-of-data-transfer-costs-for-common-architectures/

▪️ Avoid routing traffic over the internet when connecting to AWS services from within AWS by using VPC endpoints:
▫️ VPC gateway endpoints allow communication to Amazon S3 and Amazon DynamoDB without incurring data transfer charges.
▫️ VPC interface endpoints are available for some AWS services. This type of endpoint incurs hourly service charges and data transfer charges.
▪️ Use Direct Connect instead of the internet for sending data to on-premises networks.
▪️ Traffic that crosses an Availability Zone boundary typically incurs a data transfer charge. Use resources from the local Availability Zone whenever possible.
▪️ Traffic that crosses a Regional boundary will typically incur a data transfer charge. Avoid cross-Region data transfer unless your business case requires it.

#EC2 #cost_optimization

​​Сравнение производительности Lambda-x86 vs Lambda-arm64:

https://blog.thundra.io/a-performance-perspective-for-graviton-based-lambda-functions

In conclusion, we can see the benefit of AWS Graviton2 for both price and performance. 

#Lambda #cost_optimization

Как посчитать расходы на передачу данных для RDS, DynamoDB, Redshift и DocumentDB:

https://aws.amazon.com/blogs/architecture/exploring-data-transfer-costs-for-aws-managed-databases/

This blog post is intended to help you make informed decisions for designing your workload using managed databases in AWS. Note that service charges and charges related to network topology, such as AWS Transit Gateway, VPC Peering, and AWS Direct Connect, are out of scope for this blog but should be carefully considered when designing any architecture.

#cost_optimization

DynamoDB Standard-IA:

https://aws.amazon.com/blogs/aws/new-dynamodb-table-class-save-up-to-60-in-your-dynamodb-costs/

Отличная возможность сэкономить в два с половиной раза на стоимости редко используемых объёмных таблиц DynamoDB.

Важно отметить, что данный тариф для большого объёма данных, ибо на малых и часто востребованных данных можно лишь потерять, т.к. запросы записи-чтения дороже, а первые 25 ГБ не бесплатны для нового тарифа Standard-IA.

DynamoDB Standard table class
▪️ First 25 GB stored per month is free using the DynamoDB Standard table class
▪️ $0.25 per GB-month thereafter

DynamoDB Standard-Infrequent Access (DynamoDB Standard-IA) table class
▪️ $0.10 per GB-month

#DynamoDB #cost_optimization

aws-amicleaner — a cost-saving tool for deleting unused AMIs and EBS snapshots.

https://github.com/widdix/aws-amicleaner

#EC2 #AMI #cost_optimization

​​📊 Get powerful visuals and deep insights to optimize costs on AWS with Cloud Intelligence Dashboards.

https://catalog.workshops.aws/awscid/en-US/dashboards

Foundational

▪️ CUDOS Dashboard
▪️ Cost Intelligence Dashboard
▪️ KPI Dashboard

Advanced

▪️ Compute Optimizer Dashboard
▪️ Trusted Advisor Organizational Dashboard
▪️ Cost Anomaly Dashboard
▪️ Extended Support - Cost Projection
▪️ Graviton Opportunities Dashboard

Additional

▪️ Trends Dashboard
▪️ DataTransfer Cost Analysis Dashboard
▪️ AWS Marketplace Single Pane of Glass Dashboard
▪️ Kubecost Containers Cost Allocation Dashboard
▪️ SCAD Containers Cost Allocation Dashboard

#Cost_Optimization #QuickSight

Интересные цифры по загрузке контейнеров. Получается, что в среднем контейнеры загружены чуть более, чем на половину (17/29=59%).

Однако из-за общего оверпровизионинга кластеров это даёт всего лишь 17% загрузки.

Итого.

Fargate на бумаге на 20-30% дороже EC2.
А на деле — в 2-3 раза выгоднее!

#Fargate #EC2 #cost_optimization

AWS Reserved Instances purchasing recommendations

𝗧𝗟;𝗗𝗥 Use Savings Plans unless you're running a museum of static workloads.

1️⃣ Go for no-upfront payment unless you're enjoy making your CFO cry.

2️⃣ Stick to one-year terms unless you have a crystal ball.

3️⃣ Aim for 80% RI coverage and 100% utilization in your RI utilization report unless you're a premium sponsor of Jeff Bezos' next space adventure.

4️⃣ Workload: Think in aggregates unless you have an unhealthy obsession with individual instances.

5️⃣ Choose Convertible EC2 RIs over Standard RIs unless your workload is more static than a statue.

6️⃣ Leverage RDS instance size and deployment type flexibility unless you have a phobia of change and optimization.

7️⃣ Opt for regional RIs unless you have a compelling reason to lock into a specific Availability Zone.

8️⃣ Steer clear of 3d-party RI management products unless you enjoy paying for features AWS already provides.

9️⃣ Consider RI impact on internal chargeback unless you want to create accounting chaos.

🔟 RI Marketplace: No way.

https://www.duckbillgroup.com/blog/the-duckbill-guide-to-aws-reserved-instances/

What are your best RI money-burning techniques?

#cost_optimization #ReservedInstances