​​wss://serverless

Полезные размышления на тему — как можно реализовать websocket-архитектуру на serverless схеме.

https://dev.to/aws-builders/serverless-websockets-on-aws-3nm9

🔹 Использовать одну Лямбду для поддержания коннекта, а другую для обработки сообщений
🔹 Использовать GraphQL подписки сервиса AWS AppSync
🔹 Использовать возможности AWS IoT Core MQTT

#serverless

​​AWS Tech Conference в прямом эфире:

https://www.youtube.com/watch?v=L2ZWho3c_tg

Добавляем WAF к EKS приложениям:

https://aws.amazon.com/blogs/containers/protecting-your-amazon-eks-web-apps-with-aws-waf/

Для WAFv2 нужно добавить в аннотацию AWS Load Balancer Controller параметр wafv2-acl-arn:

annotations:
kubernetes.io/ingress.class: alb
alb.ingress.kubernetes.io/scheme: internet-facing
alb.ingress.kubernetes.io/target-type: ip
alb.ingress.kubernetes.io/wafv2-acl-arn: "arn:aws:wafv2:us-east-1:123456789012:regional/webacl/test/a1b2c3d4-5678-90ab-cdef"

#WAF #EKS

​​Секретные регионы AWS

Слово "секретные" подразумевает не то, что они скрываются, а то, что это особо защищённые сегменты AWS облака. В этом легко убедиться, т.к. секретные регионы имеют свой раздел на сайте AWS:

https://aws.amazon.com/federal/us-intelligence-community/

Это физически другая инфраструктура с особым уровнем доступа - специальные каналы доступа к вычислительным мощностям AWS без доступа в глобальный интернет. Министерству Обороны США и спецслужбам тоже нужны мощности для своей работы, потому они взаимодействуют с AWS для выполнения всех своих специфических требований, оставляя при этом выгоды облака.

В 2014-м году появился AWS Top Secret регион, который используют разведывательные службы с уровенем Top Secret, а в 2017-м AWS Secret Region с уровнем Secret.

У секретных регионов максимальные требования по compliance CNSSI No.1253, которые дополняет требования NIST SP 800-53 (специальная версия от NIST 800-53, которая есть на AWS и на хабре).

У секретных регионов ограниченный набор сервисов (ещё меньше, чем для GovCloud), т.к. они должны пройти самую суровую сертификацию DoD SRG IL6. На текущий момент это "целых" 36 сервисов AWS:

https://aws.amazon.com/blogs/security/10-additional-aws-services-authorized-dod-impact-level-6-for-aws-secret-region/

Пишите в комментариях, если интересна эта сложноприменимая тема жёстких compliance и разделения сетей по уровням безопасности.

#security #compliance #AWS_Regions

Записи EPAM AWS RU Community Meetup от 21.10.21:

🔹 Николай Пойда @mykola7799 объявил победителей EPAM AWS WordPress Challenge.

🔹 Александр Бармин сделал доклад по теме Writing serverless app with AWS SAM.

🔹 Роман Бойко (Serverless Specialist Solution Architect, AWS) подробно рассказал про внутренности Лямбды — AWS Lambda deep dive.

#video #serverless #Lambda

​​Визуальный вариант SSE-S3 шифрования для Amazon S3.

#security #S3 #пятничное

Популярность API облачных провайдеров Azure, GCP и AWS в 1500 последних запросов на Stack Overflow за 24 часа (обновляется):

https://exploratory.io/dashboard/PQd2wHB2BZ/Multi-Cloud-EMA-Dashboard-sjX9acK2zH

Топ 10 сервисов (вопросов по API) для AWS:
1️⃣ S3
2️⃣ Lambda
3️⃣ EC2
4️⃣ CloudFormation
5️⃣ IAM
6️⃣ RDS
7️⃣ API Gateway
8️⃣ DynamoDB
9️⃣ Glue
🔟 CDK

#Azure #GCP #AWS

Итоги недели на AWS (10/17-10/23 2021)

▪️ RDS Proxy поддерживает MySQL 8.0. И при этом PostgreSQL лишь 11. То есть вот уже можно использовать RDS PostgreSQL 14 RC 1, а для RDS Proxy нет даже PostgreSQL 12! Вы серьёзно, да?!?😐

▪️ Amazon Keyspaces (Cassandra) поддерживает TTL (настраиваемый Time to Live).

▪️ AWS Data Exchange for Amazon Redshift.

▪️ KMS шифрование артефактов для CloudWatch Synthetics.

▪️ AWS Panorama Appliance теперь Generally Available. Крутая штука — коробочка, которая подключается к видеокамерам и может работать с видео локально — без отсылки данных в облако. Можно программировать на поиск нужного в видеопотоках с помощью собственных ML моделей.
Такой себе мини-Outposts для ML обработки видео. А потому и по цене нового макбука в максимальном конфиге.

▪️ Security Hub теперь умеет собирать свои результаты кросс-регионально. Что критически важно для мульти региональных проектов. Можно глянуть демо-видео, как работает кросс-регион Security Hub.

▪️ FIS (Fault Injection Simulator) теперь умеет ломать spot-виртуалки.

▪️ AWS Load Balancer Controller обновился до версии 2.3 и теперь снова придётся менять IAM права в ваших шаблонах и прочих Терраформах.😑 Добавлена поддержка IPv6, для мульти ALB теперь создаётся одна общая security group, чарт обновлён до Helm v3 - в общем, попробую обновиться и отпишусь по результатам подробней.

▪️ Amazon Chime теперь тоже умеет размывать задний фон.

Обновления Solutions:

▫️ Web Client for AWS Transfer Family 1.0.0 — создаёт сайт для доступа в окружение через SFTP.

===

⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇

Опрос — самые интересные AWS события недели 10/17-23 2021.

#AWS_week

DevOps и business playbook (или company playbook)

Тема DevOps выходит за рамки одного человека и связана с работой команд/проектов и в целом организации процессов в компании. В результате при внедрении DevOps практик/культуры всегда возникают проблемы — а что имеется в виду? А почему нужно это перестать делать, то выбросить, а такое делать именно так — кто сказал, что так правильно? А какие есть варианты, как это может быть реализовано с учётом нашей специфики — в нашей компании, нашего размера и стиля работы?

И действительно, а где посмотреть на примеры организиции процессов в IT компаниях — то, что выше и более общее, чем написание скриптов? Где взять аргументы в споре, почему неправильно не только деплоить на прод в пятницу вечером, но и вообще, как организовать эффективное взаимодействие при возникшем удалённом режиме работы?

Ответ есть — playbooks. Не которые ansible playbooks (из-за которых их так сложно нагуглить), а business (company) playbooks — открытые публичные описания, как устроены процессы внутри каких-то компаний.

Например, ваша компания перешла на удалённый режим работы и есть проблемы с выстраиванием взаимодействия (а они есть вне всяких сомнений) — обязательно почитайте GitLab playbook:

▫️ https://about.gitlab.com/company/culture/all-remote/
▫️ https://about.gitlab.com/handbook/

В свете успешно вышедшей на IPO организации, работающей на 100% удалённо не один год, у вас будут серьёзные аргументы в предложениях улучшить практики взаимодействия, в том числе пересекающиеся с DevOps.

Другой исключительно детальный и объёмный playbook от Microsoft:

▪️ https://microsoft.github.io/code-with-engineering-playbook/

Отличное чтиво, однозначно рекомендуется ознакомиться, т.к. это и есть набор best practices, что суть DevOps.

В дополнение некоторый список от других известных и не очень компаний:

🔹 https://www.atlassian.com/team-playbook
🔹 https://heap.io/resources
🔹 https://www.timble.net/playbook/
🔹 https://thoughtbot.com/playbook
🔹 https://www.kohactive.com/playbook/
🔹 https://www.fullstacklabs.co/playbook

А у вашей компании есть свой playbook? Используете ли подобные практики для улучшения DevOps в своей компании?

#devops #design

​​Как Amazon мониторит свои ветряки и солнечные электростанции:

https://aws.amazon.com/blogs/industries/amazon-achieves-near-real-time-renewable-energy-plant-monitoring-to-optimize-performance-using-aws/

Интересно отметить, что переход на возобновляемые источники идёт опережающими темпами, а для мониторинга есть даже специальная команда по "зелёной оптимизиации" - REO (renewable energy optimization) team.

В частности, REO-команда разработала свою референсную архитектуру на базе AWS IoT (на картинке). Данные складываются в AWS IoT SiteWise и Amazon Timestream, а для визуализации используются дашборды Grafana (AMG).

Интересно узнать, у кого есть IoT проекты сходного назначения - как/где/чем вы храните свои метрики? Приведенное решение от Амазон выглядит недешёвым, хоть и логичным.

Поделитесь своими подходами к архитектуре такого типа решений, пожалуйста. Т.к. вот для меня тут не видно multitenancy и как такое можно смасштабировать (особенно в сторону упрощения-удешевления).

#IoT #design

Проверка CloudFormation кода на уязвимости:

https://github.com/aquasecurity/cfsec

Ещё один статический анализатор CloudFormation шаблонов, поддерживаемые форматы — YAML, JSON.

#CloudFormation #security #devsecops

10 Trends in real-world container use

Updated October 2021.

1. Nearly 90 percent of Kubernetes users leverage cloud-managed services
2. Amazon ECS users are shifting to AWS Fargate
3. The average number of pods per organization has doubled
4. Host density is 3 times higher on Kubernetes than on Amazon ECS
5. Pod auto-scaling is becoming more popular
6. Organizations are deploying more stateful workloads on containers
7. Organizations running container environments create more monitors
8. Organizations are starting to replace Docker with containerd as their preferred runtime for Kubernetes
9. OpenShift adoption is growing rapidly
10. NGINX, Redis, and Postgres are the top three container images

https://www.datadoghq.com/container-report

​​Обучение основам (кибер)безопасного поведения работников компании:

https://learnsecurity.amazon.com/

Приставка "кибер", т.к. речь о базовых принципах обращения с данными и знаниями компании — то, что напрямую связано с поддержанием адекватного уровня безопасности внутри любой организации.

Обучающий сайт с серьёзными вложениями (ролики-актёры) сделан в рамках оглашённой программы Амазона с целью повышения общей грамотности как отдельных работников, так и работников компаний:

https://press.aboutamazon.com/news-releases/news-release-details/amazon-announces-two-new-cybersecurity-initiatives-aimed-protect

Очень полезный материал, особенно, как мне кажется, для более возрастной группы работников. Есть переводы на многие языки (в том числе русский) и даже сурдоперевод. Однако перевод русский сделан даже, видимо, не через Amazon Translate (уже на первом же экране будет кнопка "продолжать" 😄), потому лучше выбирать английский (хотя после легко поменять).

Большинство советов кажутся очевидными, однако данная очевидность как раз и проблема, т.к. очевидное очевидно не для всех. В любом случае каждому можно/стоит ознакомиться.

p.s. В догонку идея применения данного сайта для безопасников — принуждать к двухчасовому просмотру каждого в очередной раз запостившего ключи доступа в гитхаб. С учётом того, что ресурс позиционируется для постоянного пользования (а не один раз пройти), это можно будет делать на постоянной основе! 😁

#security

AWS SAM Accelerate:

https://aws.amazon.com/blogs/compute/accelerating-serverless-development-with-aws-sam-accelerate/

When testing serverless applications, developers must get to the cloud as soon as possible. AWS SAM Accelerate helps developers escape from emulating the cloud locally and move to the fidelity of testing in the cloud.
In this post, I walk through the philosophy of why the AWS SAM team built AWS SAM Accelerate. I provide an example application and demonstrate the different features designed to remove barriers from testing in the cloud.

#SAM #serverless

Другой ускоритель, AWS Secure Environment Accelerator, обновился до мажорной версии 1.5.

https://twitter.com/zoph/status/1453376021936295936

Мажорные версии нонче неотличимы от минорных, их носят не стесняясь после точки.

Сам "ускоритель безопасности" упоминался здесь год назад, однако без поддержки Control Tower выглядел крайне специфичным решением.

После появился superwerker, который позиционируется пусть не как для безопасности, но имеет много фич и для этого. Но при этом ставится (и обновляется) волшебно - полностью из консоли, просто указав ссылку на шаблон. И который изначально умеет Control Tower.

Теперь AWS Secure Environment Accelerator с поддержкой Control Tower тоже можно попробовать.

https://github.com/aws-samples/aws-secure-environment-accelerator

Как представится возможность - протестирую. Если кто пробовал - поделитесь впечатлениями.

#security

https://aws.amazon.com/blogs/aws/new-attribute-based-instance-type-selection-for-ec2-auto-scaling-and-ec2-fleet/ Теперь можно не руками типы инстансов в ASG выбирать, а автоматом по заданным критериям (min/max CPU, RAM, цена, поколение и т.д.) Бомба для спота, по-моему. Со спотом важно много разных пулов емкости (разных типов инстансов) использовать, чтобы было из чего выбрать, теперь это гораздо проще настроить

17 и 18 ноября пройдёт Serverless Summit 2021:

https://www.serverless-summit.io/

Очень крутые спикеры, самые известные по части Serverless - Yan Cui, Jeremy Daly, Marc Schröter и другие. Дискуссионные панели с участием Alex Casalboni, Darko Mesaroš, а также от AWS в команде экспертов будет в том числе Роман Бойко (Serverless Specialist Solutions Architect).

Мероприятие бесплатное (онлайн), в качестве главного спонсора AWS — точно будет интересно, присоединяйтесь!

#serverless

В дополнение по теме Serverless отмечу обязательное к просмотру видео Романа Бойко (Serverless Specialist Solutions Architect, AWS) с разбором подкапотной работы Лямбды:

https://www.youtube.com/watch?v=I0BWfDmGj0Q

Тот вариант видео, что нужно добавить в закладки и периодически пересматривать.

#Lambda

​​C6i виртуалки на Intel Ice Lake:

https://aws.amazon.com/blogs/aws/new-amazon-ec2-c6i-instances-powered-by-the-latest-generation-intel-xeon-scalable-processors/

Для c6i доступны виртуалки вплоть до 128 процессоров с пропускной способностью до 50 ГБит/с по сети и 40 ГБ/с для диска.

Новое поколение c6i как обычно стоит столько же, как и предыдущие c5 виртуалки на Intel (а при этом быстрей на ~15%), потому нет причин не обновиться!

c6i.large $0.085
c5.large $0.085
c5a.large $0.077
c6g.large $0.068

Пока доступны лишь в N.Virginia, Ohio, Oregon и Ireland регионах.

#EC2

Bottlerocket в EKS Managed Nodes:

https://aws.amazon.com/blogs/containers/amazon-eks-adds-native-support-for-bottlerocket-in-managed-node-groups/

Support for Bottlerocket managed node groups in Amazon EKS enables you to run your applications on container-optimized managed nodes with enhanced security.
Bottlerocket is image-based and does not include a package manager for customization at runtime. One of the main design goals is to keep the OS image as small as possible for security and performance reasons.

#EKS #security #Bottlerocket