При изменении #EBS с обычного на #iops, нужно учитывать, что эта операция может занять некоторое время (до 40 минут для 200ГБ), а вернуть обратно (на обычный) можно будет лишь через шесть часов, иначе #error:

Wait at least 6 hours between modifications per EBS volume.

Кроме того, операция возвращения будет ещё более длительной (раза в два дольше - до двух часов на 200ГБ).

Автоматизация преобразования #NVMe типов #EBS #volume вида /dev/nvme0n1 в обычные /dev/xvdf:

https://github.com/oogali/ebs-automatic-nvme-mapping

Проблема актуальна для новых Nitro-based виртуалок (C5/M5/T3/etc), где в качестве EBS используются NVMe block devices.

⁠Увеличение EC2 диска

Просто увеличить размер диска (#EBS #Volume) через AWS Console не составляет труда. Для пущей безопасности в любом случае лучше сделать перед этим снэпшот.

Главное не забыть, что кроме увеличения диска, после требуется ещё и увеличение раздела, иначе доступное пространство не изменится.

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/recognize-expanded-volume-linux.html

Это простая, частая и обычно хорошо запоминающаяся ошибка — будет более полезно новичкам, но также и напоминание тем, у кого в очередной раз «всё забилось логами».

⁠Выбор типа EBS

Полезная статья по выбору #EBS:

https://aws.amazon.com/blogs/storage/maximizing-microsoft-sql-server-performance-with-amazon-ebs/

#EC2

EBS Volumes + Multi-Attach

Теперь на смешной вопрос новичков, а можно ли примонтировать один EBS диск к двум инстансам, вам придётся сдержать свой сарказм и ответить - да, можно:

https://aws.amazon.com/blogs/aws/new-multi-attach-for-provisioned-iops-io1-amazon-ebs-volumes/

Nitro-based системы продолжают удивлять и даже, вот, как теперь, обескураживать. Действительно, теперь можно элементарно подцепить один диск к нескольким инстансам. Они все смогут туда и писать и читать как на обычный диск. Просто сказка!

Подводные камни EBS io1 Volumes Multi-Attach

Ох, их есть, всё не просто так во всех смыслах.

Цена

Ну, для начала, собственно, это лишь для io1 (Provisioned IOPS дисков), т.е., как минимум, банально дороже (по сравнению с gp2 General Purpose SSD). Как минимум на треть для больших объёмов и в разы для маленьких. Но тут понятно и каждый сможет выбрать и посчитать.

EFS Killer? (спойлер - нет)

Далее - консистентность. Возможность монтировать к нескольким инстансам теперь есть, но кто позаботится о том, чтобы несколько пишущих одновременно на такой диск не потёрли сделанное соседом? Ответ - вы, ваше приложение. Вам дали возможность, а вот, чтобы было всё пучком - давайте, уж, сами. А если нет - используйте EFS, где за вас такое (с)делает Амазон.

В том числе поэтому выход данной фичи не заменит (и не убьёт) EFS, которой мы пользовались раньше для реализации подобного функционала. Опять же, EFS это MultiAZ, а диск, понятно, находится в какой-то конкретной одной подзоне. И, наконец, EFS масштабируется по объёму, что не сделает EBS Multi-Attach. Так что, нет, EFS никуда не денется. Хотя, конечно, для простых случаев, его можно будет заменить.

Файловая система

В примере по ссылке выше лихо показывается, как такое делается на файловой системе XFS, которая ничего не знает про кластерность и не заботится о подобных вещах. Если вы озаботитесь - тогда это OCFS или GFS2.

Способы применения

Однако, если мы подцепим диск и настроим, чтобы каждый инстанс писал в свою директорию (например, дружно складывая на такой логи с именем хоста в пути) - получим простую (с той же XFS) и при этом рабочую конструкцию.

Или когда один пишет, а все остальные лишь читают. И куча других вариантов, где, собственно, и получается, что Вы забодитесь о консистентности (учитывая возможные проблемы чтения/записи, а потому избегая их возникновения способом взаимодействия).

Сходу видятся способы применения для Warm DR - это когда основная система трудится, а другая стоит под парами и готова сразу же подхватить знамя, как только упадёт главная (и для этого к ней примонтирован тот же диск, с которым она не работает, пока работает-жива основная).

Опять же кубернетовское общество сейчас возрадуется и наверняка что-то понапридумывает для задействования в качестве Persistent Storage. В общем, применений Multi-Attach for Provisioned IOPS (io1) EBS Volumes наверняка будет не мало - поделитесь своими вариантами в комментариях.

В любом случае - отличная фича, нужно осваивать.

#EBS

В официальном разделе FAQ для Amazon EBS был добавлен следующий пункт:

Q: Can my application use Multi-Attach?

If your application does not require storage layer coordination of write operations, such as a read-only application or it enforces application level IO fencing, then your application can use Multi-Attach.

Он касается недавно вышедшей фичи EBS Multi-Attach, дающей возможность примонтировать один и тот же диск к нескольким виртуалкам сразу и что эту действительно полезную возможность нужно применять с головой. Потому, в частности, добавлю, что у файловой системы XFS есть её кластерный вариант - CXFS:

http://csweb.cs.wfu.edu/~torgerse/Kokua/Irix_6.5.21_doc_cd/usr/share/Insight/library/SGI_bookshelves/SGI_Admin/books/CXFS_AG/sgi_html/ch01.html

#EBS

Когда нужно в каком-то аккаунте почистить орды кем-то наделанных EBS снэпшотов и AMI-образов, то вручную кликать можно устать. Для автоматизации процесса подойдёт простая утилитка:

https://github.com/bonclay7/aws-amicleaner

#EBS #AMI

⁠Увеличение EBS диска на ходу

Если когда внезапно кончается место, вы по привычке останавливаете виртуалку, чтобы докинуть ей пространства, то наверняка вы пропустили, что для всех современных виртуалок есть фича Amazon EBS Elastic Volumes:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-modify-volume.html

То есть не обязательно тормозить инстанс, чтобы докинуть места на системный диск, можно это сделать в процессе (см. картинку).

Официальная ссылка на решение такой проблемы:

https://aws.amazon.com/premiumsupport/knowledge-center/expand-root-ebs-linux/

#EBS

Best Practices для шифрования EBS дисков:

https://aws.amazon.com/blogs/compute/must-know-best-practices-for-amazon-ebs-encryption/

Некоторые всегда полезные моменты по шифрованию:

🔹Совсем старые типы виртуалок (C1, M1, M2, T1) не поддерживают EBS шифрование
🔹Зашифрованный AMI нельзя сделать публичным
🔹Зашифрованный с помощью дефолтного ключа (AWS Managed) образ нельзя расшарить — для этого нужно шифровать с помощью AWS managed CMK

#EBS #best_practices

​​Новые EBS диски io2 — стократное увеличение надёжности и 500 иопсов на гигабайт!

https://aws.amazon.com/blogs/aws/new-ebs-volume-type-io2-more-iops-gib-higher-durability/

Да, обратите внимание - io2 стоит столько же, сколько io1.

Так что при создании стоит выбирать io2, а для текущих дисков — правая клавиша, Modify Volume и получаем все преимущества io2 за те же деньги!

#EBS

У свежевышедших EBS дисков общего назначения gp3 есть следующие особенности:

😀 gp3 всегда дешевле💰 и быстрей🏃‍♂️, чем gp2. Потому нет причин не проапгрейдиться на них.👍

😐 На текущий момент нет возможности переделать загрузочные gp2 диски в gp3.

This is a known issue with the new EBS GP3 volume type. We are actively working to resolve this issue. We currently recommend using a GP2 volume for your boot volume until this issue is resolved. GP3 volumes can still be used as data volumes for EC2 instances.

😮 Есть жалобы, что людям прилетели огромные счета за модификацию в gp3:

https://www.reddit.com/r/aws/comments/k5mw6x/just_got_hit_with_a_35k_bill_after_launching_a/

Вопрос решается по обращению в поддержку и проблема однозначно временная, но, возможно, стоит чуть обождать.

#EBS

​​EBS Snapshots Archive — в 4 раза дешевле, чем обычные EBS Snapshots:

https://aws.amazon.com/blogs/aws/new-amazon-ebs-snapshots-archive/

Нужно учесть, что при архивации снэпшота, он уезжает в Glacier, поэтому для восстановления потребуется до трёх суток.

#EBS

​​⭐ Top AWS Week Updates 2023 January 22-28

1️⃣ OpenSearch Serverless GA
2️⃣ Lambda runtime management controls
3️⃣ Fault Injection Simulator Pause I/O action for EBS
4️⃣ IPAM updates
5️⃣ Porting Advisor for Graviton

➖➖➖

1️⃣ OpenSearch Serverless → GA:

https://aws.amazon.com/blogs/big-data/amazon-opensearch-serverless-is-now-generally-available/

На re:Invent 2022 появился "всего один" новый serverless сервис — OpenSearch Serverless. В отличие от пачки, что появились на re:Invent 2021.

К сожалению, в данном случае приставка "serverless" означает лишь то, что сервис автоматически масштабируется. А не то, что он масштабируется до нуля. 😐

⚠️ Минимальная стоимость OpenSearch Serverless — 700$ в месяц (т.к. минимально допустимое значение 4 OCU).

2️⃣ Lambda runtime management controls:

https://aws.amazon.com/blogs/compute/introducing-aws-lambda-runtime-management-controls/

Лямбда (как сервис) всегда обновлялась автоматически под капотом (security патчи, улучшения и т.д.), причём без оповещения об этом пользователя. Это нарушает строгие требования некоторых compliance и теперь можно не только мониторить эти обновления, но и даже отключить их.

aws lambda put-runtime-management-config --function-name function_arn --update-runtime-on Manual --runtime-version-arn runtime_version_arn

3️⃣ Fault Injection Simulator Pause I/O action for EBS:

https://docs.aws.amazon.com/fis/latest/userguide/fis-actions-reference.html#ebs-actions-reference

Теперь с помощью FIS можно моделировать тормоза EBS-дисков. Например, теперь можно будет посмотреть, как упадёт ваша self-hosted база до того, как на проде вдруг начнёт сильно тормозить диск.

4️⃣ IPAM updates.

Сразу два важных улучшения для тех, кому нужно нарезать сети для различных подразделений своей компании в AWS.

🔘 IPv6 contiguous CIDR block for IPAM pools:

https://docs.aws.amazon.com/vpc/latest/ipam/intro-create-ipv6-pools.html

При создании VPC можно самому указать IPv4 блок адресов, а вот IPv6 выдаёт AWS в случайном порядке (и забирает их после удаления VPC). Если вы хотите рулить IPv6 адресами также, то приходилось покупать адреса и заводить их в AWS как BYOIP. Теперь же можно использовать для этого IPAM, где можно получить блок IPv6 адресов /52 (по умолчанию —можно попросить до /40), который останется навсегда.

🔘 Integrate IPAM with accounts outside of an AWS Organization:

https://docs.aws.amazon.com/vpc/latest/ipam/enable-integ-ipam-outside-org.html

Другая новость — теперь IPAM работает не только для вашей AWS Organizations, что характерно для многих крупных компаний, имеющих разные организации (AWS Organizations), а при этом, понятно, общую сеть.

Нужно отметить, что IPAM — штука не бесплатная, стоит по $0.20 за каждый используемый IP в месяц (именно используемый, а не диапазон). Однако для большой компании это не актуально, в то время как удобства очевидны.

5️⃣ Porting Advisor for Graviton:

https://github.com/aws/porting-advisor-for-graviton

Вышла первая версия утилиты, которая анализирует зависимости на предмет портируемости под Graviton. Сделана на базе aarch64 Porting Advisor.

Поддерживаемые языки:
▪️ Python 3+
▪️ Java 8+
▪️ Go 1.11+
▪️ C/C++
▪️ Fortran

👇
Bonus items для тех, кто дочитал до сюда. 🙂

🔢 Aurora PostgreSQL + 14.6 version support:

https://aws.amazon.com/about-aws/whats-new/2023/01/amazon-aurora-supports-postgresql-versions/

Проходная новость, что Аврора получила поддержку 14.6 версии (и других минорных предыдущих версий), однако интересно отметить, что обычно RDS получала первой обновления, а пока на момент написания поста у RDS лишь 14.5 максимум.

🆒 720 → 730 hours per month inflation

Обнаружил в AWS Pricing Calculator прикольную фразу:

The AWS Pricing Calculator calculates using 730 hours in a month for cost calculations.

То есть у нас нонче в месяце 730 часов, а не 720, как было многие годы до этого?! 😁

☲☲☲☲☲☲☲☲☲☲☲

📌 Полный список всех AWS Updates за прошлую неделю здесь.

#AWS_week

Попросил AI агента поднять маленькую t4g.micro виртуалку для дев-сервера через AWS MCP.

Агент подошёл к задаче настолько экономно, что приятно удивил — оказалось, спустя 10+ лет, на AWS снова можно крутить виртуалки на 2GB+ диска.

https://docs.aws.amazon.com/linux/al2023/ug/AMI-minimal-and-standard-differences.html

Последний раз такое видел на Debian 6. 😀

P.S. Нужно быть осторожным такой экономности при работе через агенты — во-первых, место быстро кончается, во-вторых, многие пакеты не установлены, в то время как документация обычно подразумевает дефолтную (полную) версию.

#EC2 #EBS

gp3 прокачался:

🔸 IOPs: 3 000 (baseline) → 16 000 80 000 (max)

🔹 Throughput: 125 MB/s (baseline) → 1 2 GB/s (max)

🔸 Size: 1 GB (min) → 16 64 TB (max)

https://docs.aws.amazon.com/ebs/latest/userguide/general-purpose.html#gp3-performance

#EBS