кстати судя по всему Cloudwatch Уже починили -у меня вон данные побежали

Чтобы найти причину проблем последнего падения многочисленных сервисов в N.Virginia, ушло, как понимаю, порядка 10 часов. После ещё пару часов на устранение, однако полное выздоровление затянулось из-за того, что пострадала куча сервисов. В результате общее время проблем составило где-то часов 18.

С учётом того, что всё началось с падения Kinesis Data Streams, уронившего CloudWatch, то понятно, почему так долго — непросто найти проблему без (упавшего) мониторинга.

Итого, первый вывод из случившегося — Нетфликс был прав, будь как Нетфликс!

Пятничное чтиво о том как один стартап с DDoS'ом боролся

#aws

EC2 ­­— главные фичи 2020

EC2 Spots Instances за год неплохо прокачались:
→ споты можно стопать и стартовать как обычные инстансы 👍
→ их можно тэгировать при запросе на создание
→ изменять веса на лету
→ они умеют ребалансировку 👍
→ и поддерживают vCPU-based параметры

EC2 AutoScaling также прокачался:
→ его можно включать и выключать на ходу 🔥
→ публикует события в AWS Health Service
→ Instance Refresh - обновление инстансов в Autoscaling Group 🎉
→ несколько templates на одну Auto Scaling group 👍
→ тоже умеет ребалансировку 👍
→ поддерживают несколько сетевых интерфейсов для инстансов

EC2 Image Builder активнейше развивался:
→ поддерживает основные линуксы
→ AWS PrivateLink
→ шифрование 👍
→ CloudWatch
→ мульти-аккаунты 👍
→ и его теперь можно разрабатывать локально

Из появившихся новых типов EC2 виртуалок, без сомнения, самые востребованные, продвигаемые и популярные - на новом (прошлогоднем) Graviton 2:
→ M6g
→ C6g
→ Graviton2 с локальным NVME
→ и новая "народная" виртуалка T4g, доступная на халяву до 31 декабря 2020 ‼️ 🔥

EBS-диски современных виртуалок благодаря всемогущему Nitro стали на треть быстрей (и бесплатно!) 👈

Для суперзащищённых систем появились AWS Nitro Enclaves вместе с ACM for Nitro Enclaves. ⚠️

Наконец, NLB поддерживает IPv6. 👍

===

Предыдущие — главные EC2 фичи 2019.

===

Возможно через неделю на re:Invent 2020 появится ещё что-то (не забудьте зарегистрироваться - он бесплатный 👍 в этом году!), об этом уже будет отдельно. Кстати, про это будет на русском 🎉 в специальном стриме - не пропустите! 🔥

#итоги #EC2

​​S3game от Василия Пантюхина:

https://s3game.workshop.aws

Есть однопользовательский и многопользовательский режимы. В первом случае нужно просто пройти все 15 уровней. Во втором случае можно соревноваться с другими на скорость.

Наверное, лучшее, что пробовал, для изучения (закрепления, повторения) фич Amazon S3, особенно при использовании aws-cli. Крайне рекомендую!

#S3

AWS re:Invent 2020

До Нового Года остался месяц 🎄. А до Нового Года по версии AWS — осталось всего пару дней! Ведь re:Invent — главное событие AWS в году.

re:Invent до этого проходил в Лас Вегасе и билет туда стоил немало — порядка 2000$. А в этом году впервые re:Invent будет бесплатным 🔥 и при этом ехать никуда не нужно — он пройдёт онлайн. Потому очень стоит зарегистрироваться (считай нахаляву заработал две тысячи!):

https://reinvent.awsevents.com/

Чтобы разобраться и подобрать себе интересные сессии, очень рекомендую следующую ссылку:

https://cloudpegboard.com/reinvent2020.html

Там можно выбрать по нужному направлению, языку (русского, к сожалению, нет) или даже по кому-то из AWS Hero, если у вас есть любимые и вы за ними следите. Эту страничку сделал автор CloudPegboard, про которую я раньше здесь писал и которой сам пользуюсь.

С наступающим Новым AWS Годом — re:Invent 2020! 🎉

#reInvent

#машины_разное

https://aws.amazon.com/message/11201/

"For the latter communication, each front-end server creates operating system threads for each of the other servers in the front-end fleet."

Что может пойти не так, верно?

"Rather, the new capacity had caused all of the servers in the fleet to exceed the maximum number of threads allowed by an operating system configuration."

Это очень хороший пример, когда scale out проигрывает scale up.

Лучшие посты из AWS блога по EC2 за 2020-ый год:

• Running Web Applications on Amazon EC2 Spot Instances
• Best practices for handling EC2 Spot Instance interruptions
• Executing Ansible playbooks in your Amazon EC2 Image Builder pipeline
• Facebook uses Amazon EC2 to evaluate the Deepfake Detection Challenge
• Improving performance of PHP for Arm64 and impact on Amazon EC2 M6g instances
• Amazon EC2 instance port forwarding with AWS Systems Manager
• TensorFlow Serving on Kubernetes with Amazon EC2 Spot Instances
• AWS Compute Optimizer enhances EC2 instance type recommendations with Amazon EBS metrics
• Amazon EC2 P4d instances deep dive
• Tracking the latest server images in Amazon EC2 Image Builder pipelines
• Airnguru: Using a Multi-region Approach with Amazon EC2 Spot to Reduce Processing Costs

#EC2

Сколько новых AWS сервисов будет объявлено re:Invent 2020?

Окончательные ставки (голосование остановлено):
0️⃣ - 2
1️⃣ - 2
2️⃣ - 6
3️⃣ - 26
4️⃣ - 13
5️⃣ - 5
6️⃣ и больше - 25

#тотализатор

​​AWS re:Invent 2020 начнётся в понедельник 30 ноября 2020-го года поздно вечером по тихоокеанскому времени, потому у нас это будет уже вторник 1 декабря 7:00 по Минску/Москве и 6:00 утра по Киеву (т.к. разница с Минском/Москвой 11 часов, с Киевом 10 часов).

Это будет лишь вступительная часть, далее будет в удобное время по всему миру, полное расписание здесь:

https://reinvent.awsevents.com/agenda/

Продлится AWS re:Invent 2020 три недели (по будням) и закончится в пятницу 18 декабря.

#reInvent

Достаточно радикальный, но очень интересный и важный для обсуждения взгляд на зависимость верхнеуровневых AWS сервисов от базовых (на примере упавшего 25 ноября Kinesis Data Streams):

https://cloudirregular.substack.com/p/the-cold-reality-of-the-kinesis-incident

Детальный разбор произошедшего показал, что упавший Kinesis привёл к выходу из строя большого количества других сервисов (например, IoT линейки), причём в том числе тех, которые было заподозрить в связи не так просто (например, Cognito). И автор задаётся вопросом — хорошо бы знать зависимости по использованию AWS сервисов друг от друга (в каком какие сервисы используются), чтобы иметь хоть какое-то представление и как-то оценивать риски выхода из строя сразу группы сервисов.

Не думаю, что это корректно поставленный вопрос, но тема очень болезненная, потому требует особого внимания. Пока же единственной защитой от проблем типа проявившейся 25 ноября, является использование мульти-регионной архитектуры — когда при падении одного из регионов система продожает работать.

В дополнение хороший пост Кирилла Казарина с разбором падения 25 ноября:

https://xn--r1a.website/kazarin_online/1821

Читается как детектив.

Перевод Post Mortem-а от Фланта на русский о масштабном сбое Amazon Kinesis в US-EAST-1 (25 ноября)

https://habr.com/ru/company/flant/blog/530522/

#aws #amazon #postmortem

Маки на AWS!

https://aws.amazon.com/blogs/aws/new-use-mac-instances-to-build-test-macos-ios-ipados-tvos-and-watchos-apps/

Виртуалка mac1.metal (12 vCPU / 32 GB RAM) на базе Mac mini. На данный момент под капотом Intel Core i7 8-го поколения, системы с процессором Apple M1 будут доступны в 2021-м году.

Виртуалка "железная", потому просто поиграться не получится - потребуется Dedicated Host с тарификацией минимум за сутки, т.е. при стоимости доллар с небольшим за час - это 25$ минимум (зависит от региона и не везде пока есть). Так что пробуйте осторожно. 😀

Можно использовать как для работы в терминале через SSH, так и в качестве удалённого рабочего места через VNC:

https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-mac-instances.html

В общем, отличная штука для macOS разработчиков, но не побаловаться.

#EC2

Лямбда с миллисекундной тарификацией!

https://www.reddit.com/r/aws/comments/k48mzy/lambda_just_got_perms_billing/

До этого было 100мс минимум, что делало невыгодным многие простые вещи.

#Lambda

Новые типы EC2 виртуалок:

🔹 D3 / D3en с большим (до 336 ТБ) и дешёвым хранилищем на HDD
🔹 M5zn с быстрой сетью 100 Гбит
🔹 C6gn с быстрой сетью 100 Гбит на Graviton2
🔹 R5b с ускорившимися EBS дисками (до 60 Гбит)
🔹 G4ad с Radeon Pro V520 GPU

Цены:

https://aws.amazon.com/ec2/pricing/on-demand/

#EC2

Возмужавшая Лямбда — до 10 ГБ памяти и 6 ядер:

https://aws.amazon.com/blogs/aws/new-for-aws-lambda-functions-with-up-to-10-gb-of-memory-and-6-vcpus/

И официальное подтверждение — миллисекундная тарификация:

https://aws.amazon.com/blogs/aws/new-for-aws-lambda-1ms-billing-granularity-adds-cost-savings/

#Lambda

Публичный ECR:

https://aws.amazon.com/blogs/aws/amazon-ecr-public-a-new-public-container-registry/

Ограничения:
• Anonymous users: 500 GB в месяц
• Authenticated (AWS) users: 5 TB в месяц

p.s. Минус ещё один набор велосипедов.

#ECR

Докер на Лямбде:

https://aws.amazon.com/blogs/aws/new-for-aws-lambda-container-image-support/

Поддерживаются образы до 10 ГБ, которые должны быть собраны либо на базе образов от Амазона и поддерживаемых платформ (Python, Node.js, Java, .NET, Go, Ruby), либо можно сделать свой с помощью AWS Lambda runtime API:

https://docs.aws.amazon.com/lambda/latest/dg/runtimes-api.html

Популярные вопросы и ответы в обновлённом FAQ:

https://aws.amazon.com/lambda/faqs/#Container_Image_Support

#Lambda

AWS Proton — замена Jenkins от Амазона:

https://aws.amazon.com/blogs/aws/preview-aws-proton-automated-management-for-container-and-serverless-deployments/

Сервис предоставляет портал для разработчиков, который можно настраивать и с помощью которого можно деплоить сервисы на ECS/Fargate/Lambda.

Документация:

https://docs.aws.amazon.com/proton/latest/userguide/Welcome.html

Сразу в комплекте публичный роэдмэп!

https://github.com/aws/aws-proton-public-roadmap/projects/1

#Proton