AWS Notes
5.6K subscribers
447 photos
42 videos
10 files
2.8K links
AWS Notes — Amazon Web Services Educational and Information Channel

Chat: https://xn--r1a.website/aws_notes_chat

Contacts: @apple_rom, https://www.linkedin.com/in/roman-siewko/
Download Telegram
DevOps и business playbook (или company playbook)

Тема DevOps выходит за рамки одного человека и связана с работой команд/проектов и в целом организации процессов в компании. В результате при внедрении DevOps практик/культуры всегда возникают проблемы — а что имеется в виду? А почему нужно это перестать делать, то выбросить, а такое делать именно так — кто сказал, что так правильно? А какие есть варианты, как это может быть реализовано с учётом нашей специфики — в нашей компании, нашего размера и стиля работы?

И действительно, а где посмотреть на примеры организиции процессов в IT компаниях — то, что выше и более общее, чем написание скриптов? Где взять аргументы в споре, почему неправильно не только деплоить на прод в пятницу вечером, но и вообще, как организовать эффективное взаимодействие при возникшем удалённом режиме работы?

Ответ есть — playbooks. Не которые ansible playbooks (из-за которых их так сложно нагуглить), а business (company) playbooks — открытые публичные описания, как устроены процессы внутри каких-то компаний.

Например, ваша компания перешла на удалённый режим работы и есть проблемы с выстраиванием взаимодействия (а они есть вне всяких сомнений) — обязательно почитайте GitLab playbook:

▫️ https://about.gitlab.com/company/culture/all-remote/
▫️ https://about.gitlab.com/handbook/

В свете успешно вышедшей на IPO организации, работающей на 100% удалённо не один год, у вас будут серьёзные аргументы в предложениях улучшить практики взаимодействия, в том числе пересекающиеся с DevOps.

Другой исключительно детальный и объёмный playbook от Microsoft:

▪️ https://microsoft.github.io/code-with-engineering-playbook/

Отличное чтиво, однозначно рекомендуется ознакомиться, т.к. это и есть набор best practices, что суть DevOps.

В дополнение некоторый список от других известных и не очень компаний:

🔹 https://www.atlassian.com/team-playbook
🔹 https://heap.io/resources
🔹 https://www.timble.net/playbook/
🔹 https://thoughtbot.com/playbook
🔹 https://www.kohactive.com/playbook/
🔹 https://www.fullstacklabs.co/playbook

А у вашей компании есть свой playbook? Используете ли подобные практики для улучшения DevOps в своей компании?

#devops #design
​​Как Amazon мониторит свои ветряки и солнечные электростанции:

https://aws.amazon.com/blogs/industries/amazon-achieves-near-real-time-renewable-energy-plant-monitoring-to-optimize-performance-using-aws/

Интересно отметить, что переход на возобновляемые источники идёт опережающими темпами, а для мониторинга есть даже специальная команда по "зелёной оптимизиации" - REO (renewable energy optimization) team.

В частности, REO-команда разработала свою референсную архитектуру на базе AWS IoT (на картинке). Данные складываются в AWS IoT SiteWise и Amazon Timestream, а для визуализации используются дашборды Grafana (AMG).

Интересно узнать, у кого есть IoT проекты сходного назначения - как/где/чем вы храните свои метрики? Приведенное решение от Амазон выглядит недешёвым, хоть и логичным.

Поделитесь своими подходами к архитектуре такого типа решений, пожалуйста. Т.к. вот для меня тут не видно multitenancy и как такое можно смасштабировать (особенно в сторону упрощения-удешевления).

#IoT #design
Forwarded from Sebor▂▅▇█▓▒░
10 Trends in real-world container use

Updated October 2021.

1. Nearly 90 percent of Kubernetes users leverage cloud-managed services
2. Amazon ECS users are shifting to AWS Fargate
3. The average number of pods per organization has doubled
4. Host density is 3 times higher on Kubernetes than on Amazon ECS
5. Pod auto-scaling is becoming more popular
6. Organizations are deploying more stateful workloads on containers
7. Organizations running container environments create more monitors
8. Organizations are starting to replace Docker with containerd as their preferred runtime for Kubernetes
9. OpenShift adoption is growing rapidly
10. NGINX, Redis, and Postgres are the top three container images

https://www.datadoghq.com/container-report
​​Обучение основам (кибер)безопасного поведения работников компании:

https://learnsecurity.amazon.com/

Приставка "кибер", т.к. речь о базовых принципах обращения с данными и знаниями компании — то, что напрямую связано с поддержанием адекватного уровня безопасности внутри любой организации.

Обучающий сайт с серьёзными вложениями (ролики-актёры) сделан в рамках оглашённой программы Амазона с целью повышения общей грамотности как отдельных работников, так и работников компаний:

https://press.aboutamazon.com/news-releases/news-release-details/amazon-announces-two-new-cybersecurity-initiatives-aimed-protect

Очень полезный материал, особенно, как мне кажется, для более возрастной группы работников. Есть переводы на многие языки (в том числе русский) и даже сурдоперевод. Однако перевод русский сделан даже, видимо, не через Amazon Translate (уже на первом же экране будет кнопка "продолжать" 😄), потому лучше выбирать английский (хотя после легко поменять).

Большинство советов кажутся очевидными, однако данная очевидность как раз и проблема, т.к. очевидное очевидно не для всех. В любом случае каждому можно/стоит ознакомиться.

p.s. В догонку идея применения данного сайта для безопасников — принуждать к двухчасовому просмотру каждого в очередной раз запостившего ключи доступа в гитхаб. С учётом того, что ресурс позиционируется для постоянного пользования (а не один раз пройти), это можно будет делать на постоянной основе! 😁

#security
AWS SAM Accelerate:

https://aws.amazon.com/blogs/compute/accelerating-serverless-development-with-aws-sam-accelerate/

When testing serverless applications, developers must get to the cloud as soon as possible. AWS SAM Accelerate helps developers escape from emulating the cloud locally and move to the fidelity of testing in the cloud.
In this post, I walk through the philosophy of why the AWS SAM team built AWS SAM Accelerate. I provide an example application and demonstrate the different features designed to remove barriers from testing in the cloud.

#SAM #serverless
Другой ускоритель, AWS Secure Environment Accelerator, обновился до мажорной версии 1.5.

https://twitter.com/zoph/status/1453376021936295936

Мажорные версии нонче неотличимы от минорных, их носят не стесняясь после точки.

Сам "ускоритель безопасности" упоминался здесь год назад, однако без поддержки Control Tower выглядел крайне специфичным решением.

После появился superwerker, который позиционируется пусть не как для безопасности, но имеет много фич и для этого. Но при этом ставится (и обновляется) волшебно - полностью из консоли, просто указав ссылку на шаблон. И который изначально умеет Control Tower.

Теперь AWS Secure Environment Accelerator с поддержкой Control Tower тоже можно попробовать.

https://github.com/aws-samples/aws-secure-environment-accelerator

Как представится возможность - протестирую. Если кто пробовал - поделитесь впечатлениями.

#security
Forwarded from Eugene Krasikov
https://aws.amazon.com/blogs/aws/new-attribute-based-instance-type-selection-for-ec2-auto-scaling-and-ec2-fleet/ Теперь можно не руками типы инстансов в ASG выбирать, а автоматом по заданным критериям (min/max CPU, RAM, цена, поколение и т.д.) Бомба для спота, по-моему. Со спотом важно много разных пулов емкости (разных типов инстансов) использовать, чтобы было из чего выбрать, теперь это гораздо проще настроить
17 и 18 ноября пройдёт Serverless Summit 2021:

https://www.serverless-summit.io/

Очень крутые спикеры, самые известные по части Serverless - Yan Cui, Jeremy Daly, Marc Schröter и другие. Дискуссионные панели с участием Alex Casalboni, Darko Mesaroš, а также от AWS в команде экспертов будет в том числе Роман Бойко (Serverless Specialist Solutions Architect).

Мероприятие бесплатное (онлайн), в качестве главного спонсора AWS — точно будет интересно, присоединяйтесь!

#serverless
В дополнение по теме Serverless отмечу обязательное к просмотру видео Романа Бойко (Serverless Specialist Solutions Architect, AWS) с разбором подкапотной работы Лямбды:

https://www.youtube.com/watch?v=I0BWfDmGj0Q

Тот вариант видео, что нужно добавить в закладки и периодически пересматривать.

#Lambda
​​C6i виртуалки на Intel Ice Lake:

https://aws.amazon.com/blogs/aws/new-amazon-ec2-c6i-instances-powered-by-the-latest-generation-intel-xeon-scalable-processors/

Для c6i доступны виртуалки вплоть до 128 процессоров с пропускной способностью до 50 ГБит/с по сети и 40 ГБ/с для диска.

Новое поколение c6i как обычно стоит столько же, как и предыдущие c5 виртуалки на Intel (а при этом быстрей на ~15%), потому нет причин не обновиться!

c6i.large $0.085
c5.large $0.085
c5a.large $0.077
c6g.large $0.068

Пока доступны лишь в N.Virginia, Ohio, Oregon и Ireland регионах.

#EC2
Bottlerocket в EKS Managed Nodes:

https://aws.amazon.com/blogs/containers/amazon-eks-adds-native-support-for-bottlerocket-in-managed-node-groups/

Support for Bottlerocket managed node groups in Amazon EKS enables you to run your applications on container-optimized managed nodes with enhanced security.
Bottlerocket is image-based and does not include a package manager for customization at runtime. One of the main design goals is to keep the OS image as small as possible for security and performance reasons.

#EKS #security #Bottlerocket
Стоит начать изучение AWS путём подготовки и сдачи AWS Certified Cloud Practitioner?
Anonymous Poll
33%
Да
28%
Нет
38%
Посмотреть результаты
Итоги недели на AWS (24-30 октября 2021)

RDS for MySQL
▪️ Поддержка GTID (Global Transaction ID) based replication.
▪️ Задержка для реплик Delayed Replication. Актуально для некоторых DR сценариев. Например, быстрого отката после дропа главной базы - чтобы это сразу же не попадало в реплику DR окружения.

CloudFront
▪️ Header для получения клиентского IP-адреса CloudFront-Viewer-Address.

DocumentDB
▪️ User-defined roles для RBAC.
▪️ Поддержка $literal, $map и $$ROOT.
▪️ Поддержка Geospatial запросов.
▪️ Вышла первая версия JDBC Driver v1.0.0.

AWS Migration Hub
▪️ Новый раздел Strategy Recommendations для анализа on-prem железяк и приложений для выработки стратегии их миграции в AWS.

SageMaker Autopilot
▪️ Поддержка timeseries данных.

EC2
▪️ Новый тип виртуалок DL1 для ML.
▪️ Виртуалки на Intel Ice Lake - C6i.
▪️ Автоподбор типов инстансов для ASG по параметрам ABS (Attribute-Based instance type Selection). Упрощает/улучшает подбор для spot-виртуалок.
▪️ Spot placement score - новая команда get-spot-placement-scores для получения рекомендаций по размещению spot-виртуалок по нужным параметрам с учётом подзон и AWS регионов. В ответе возвращается вероятность наличия spot-ресурсов по шкале от 1 до 10.
▪️ AMI образы виртуалок наконец-то можно шарить не только по аккаунтам, а сразу на целый OU или всю организацию.

Aurora
▪️ Babelfish for Aurora PostgreSQL — надстройка над PostgreSQL для возможности работы кода под Microsoft SQL Server.
▪️ Чтобы окончательно расстроить Microsoft SQL Server, Амазон выложил Babelfish в opensource. Статья в блоге по этому поводу с издевательским названием Goodbye Microsoft SQL Server, Hello Babelfish.

EKS
▪️ Поддержка Bottlerocket для Managed Node Groups.

AWS SAM
▪️ Мгновенное (единицы секунд) обновление кода Лямбды (без передеплоя) с помощью AWS SAM Accelerate. Видео с демонстрацией.

Fargate
▪️ Windows Containers для Fargate (на ECS).

===

⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇

Опрос — самые интересные AWS события недели 24-30 октября 2021.

#AWS_week
Меньше месяца до re:Invent 2021. Можно (нужно) делать прогнозы.

Amazon S3 - прогнозы

🔸 Глобальная S3 файловая система

Тренд на "мультирегиональность всего" для S3 в этом году уже вылился в фичу Amazon S3 Multi-Region Access Points. Что круто, хотя, понятно, и за (дополнительные) деньги.

Но что дальше? Что на счёт глобальной рапределённой глобальной файловой системы на базе S3?

Есть популярная s3fs, а недавно Яндекс выкатил сильно улучшенную по производительности GeeseFS на Go, полностью совместимую с Amazon S3. Чем ответит AWS?

🔸 S3 bucket Backup

Дальше, обещали бэкап для S3 бакетов — я ведь помню (потому что записываю)! 😁 Где он, спрашивается?! Давайте уже, сколько ж можно.

🔸 S3 bucket name - проблема уникальности

В прошлом году порешали, наконец, консистентность, которая с момента создания S3 создавала столько сложных вопросов при сдаче на AWS сертификацию.

Другая такая же застарелая проблема - уникальность имени бакетов. Уже есть и средства для решения (S3 Access Points), и прямо реальная очевидность проблемы в виде S3 Bucket Namesquatting, когда команде из AWS Security пришлось просить Ian Mckay вернуть им нужные для работы имена.

Можно ожидать её решения. Нужно закрывать столь застарелый technical debt.

===

А у вас какие прогнозы на re:Invent (и просто пожелания) по фичам для Amazon S3?

#S3 #reInvent
Как раз в продолжение темы предыдущего поста - советы по мультирегиональной репликация S3:

https://aws.amazon.com/blogs/storage/ten-tips-for-multi-tenant-multi-region-object-replication-in-amazon-s3/

This blog summarized the challenges ISV customers face when building a durable, scalable, and highly available data storage layer for their multi-tenant, multi-Region applications. Examples include the need to replicate data within and between AWS Regions and to reduce undifferentiated heavy lifting. 

#S3
Как посчитать расходы на передачу данных для RDS, DynamoDB, Redshift и DocumentDB:

https://aws.amazon.com/blogs/architecture/exploring-data-transfer-costs-for-aws-managed-databases/

This blog post is intended to help you make informed decisions for designing your workload using managed databases in AWS. Note that service charges and charges related to network topology, such as AWS Transit Gateway, VPC Peering, and AWS Direct Connect, are out of scope for this blog but should be carefully considered when designing any architecture.

#cost_optimization
​​Добавление заголовков на ответы для CloudFront:

https://aws.amazon.com/blogs/networking-and-content-delivery/amazon-cloudfront-introduces-response-headers-policies/

Теперь CORS, Cache-Control и прочие STS, CSP сотоварищи можно добавлять прямо в CloudFront с помощью response headers policies:

https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/understanding-response-headers-policies.html

Можно удалять свои Edge@Lambda и прочие велосипеды, прикрученные для реализации такого очевидного функционала.

#CloudFront
This media is not supported in your browser
VIEW IN TELEGRAM
🗒️ 4 ноября пройдёт AWS Resilience and Chaos Engineering Day:

https://pages.awscloud.com/EMEA-field-OE-resilience-chaos-engineering-day-202111-reg-event.html

🕛 Начало в 12:00 GMT+3.

Доклады:
▪️ Getting started with AWS Fault Injection Simulator
▪️ Testing resiliency using chaos engineering
▪️ Achieving Continuous Resilience in DevOps through ML and AI
▪️ Improve Resilience with Controlled Chaos Engineering
▪️ Chaos Engineering for Serverless Architectures

👉 Присоединяйтесь!