Неплохой наборчик AWS-безопасностей в докере набыстропопробовать:
https://github.com/z0ph/aws-security-toolbox
Elastic #Beanstalk обзавёлся своим Roadmap:
https://github.com/aws/elastic-beanstalk-roadmap/projects/1
И плагинчик под хром для тех, кто хочет отличать регион, где он работает в консоли, по цвету:
https://chrome.google.com/webstore/detail/aws-console-regions-color/gfeaclafcmbiakopneapkbaiifnhbkng
https://github.com/z0ph/aws-security-toolbox
Elastic #Beanstalk обзавёлся своим Roadmap:
https://github.com/aws/elastic-beanstalk-roadmap/projects/1
И плагинчик под хром для тех, кто хочет отличать регион, где он работает в консоли, по цвету:
https://chrome.google.com/webstore/detail/aws-console-regions-color/gfeaclafcmbiakopneapkbaiifnhbkng
GitHub
GitHub - z0ph/aws-security-toolbox: AWS Security Tools (AST) in a simple Docker container. :package:
AWS Security Tools (AST) in a simple Docker container. :package: - z0ph/aws-security-toolbox
Приятно вот так вот, вечерком, в выходные, посидеть за чашечкой чая или кофе, почитать что-нибудь, почесывая тисипи об айпи, как где-то у кого-то на амазоне что-то не работает или глючит.
И чтобы завязка была, а потом всё в огне или детектив, и после обязательно, чтобы всех спасли, она согласилась, а саппорт ответил. Ну, а под занавес ба-бах - бестпрактисы из всех щелей и сплошной хэппи энд.
В общем, приятного чтения:
https://m.signalvnoise.com/aws-s3-youre-out-of-order/
И чтобы завязка была, а потом всё в огне или детектив, и после обязательно, чтобы всех спасли, она согласилась, а саппорт ответил. Ну, а под занавес ба-бах - бестпрактисы из всех щелей и сплошной хэппи энд.
В общем, приятного чтения:
https://m.signalvnoise.com/aws-s3-youre-out-of-order/
Signal v. Noise
AWS S3: You’re out of order.
Back in November, we noticed something odd happening with large uploads to Amazon S3. Uploads would pause for 10 seconds at a time and then resume. It had us baffled. When we started to dig, what w…
Три новых Edge locations для CloudFront открылись недавно поблизости - в Венгрии, Румынии и Болгарии.
Львовщина, Ивано-Франковщина и Одесса радуются - Амазон подобрался совсем близко. Остальные же могут покрутить следующую ссылку, надеясь, что разноцветные отметки переползут когда-то и на их территорию:
https://www.google.com/maps/d/viewer?mid=1cj0vZ2YZJNp39MHIbstZT3QKPkl3Xgw2
#CloudFront
Львовщина, Ивано-Франковщина и Одесса радуются - Амазон подобрался совсем близко. Остальные же могут покрутить следующую ссылку, надеясь, что разноцветные отметки переползут когда-то и на их территорию:
https://www.google.com/maps/d/viewer?mid=1cj0vZ2YZJNp39MHIbstZT3QKPkl3Xgw2
#CloudFront
Отличная утилитка под SSM Session Manager для борьбы с ключами SSH на ваших инстансах (чтобы их не использовать):
https://github.com/xen0l/aws-gate
#SSM
https://github.com/xen0l/aws-gate
#SSM
GitHub
GitHub - xen0l/aws-gate: Better AWS SSM Session manager CLI client
Better AWS SSM Session manager CLI client . Contribute to xen0l/aws-gate development by creating an account on GitHub.
Amazon EFS + IAM Authorization + Access Points
EFS серьёзно прокачался:
https://aws.amazon.com/blogs/aws/new-for-amazon-efs-iam-authorization-and-access-points/
Теперь, вслед за S3 Access Points у нас есть EFS Access Points и теперь можно переопределить все операции на своего юзера.
Другая фичиа - IAM Authorization, в том числе Resource-Based политики доступа для EFS, доступ к которому теперь можно рулить через IAM, аналогично с Amazon S3 bucket policies.
Но самое интересное, это что добавление доступа по IAM открывает прямую дорогу к появлению
#EFS
EFS серьёзно прокачался:
https://aws.amazon.com/blogs/aws/new-for-amazon-efs-iam-authorization-and-access-points/
Теперь, вслед за S3 Access Points у нас есть EFS Access Points и теперь можно переопределить все операции на своего юзера.
Другая фичиа - IAM Authorization, в том числе Resource-Based политики доступа для EFS, доступ к которому теперь можно рулить через IAM, аналогично с Amazon S3 bucket policies.
Но самое интересное, это что добавление доступа по IAM открывает прямую дорогу к появлению
persistent storage для Fargate. Как раз при помощи свежевышедших фич. В общем, выделяем желудочный сок и ждём.#EFS
Amazon
New for Amazon EFS – IAM Authorization and Access Points | Amazon Web Services
When building or migrating applications, we often need to share data across multiple compute nodes. Many applications use file APIs and Amazon Elastic File System (Amazon EFS) makes it easy to use those applications on AWS, providing a scalable, fully managed…
Баяны, но свежие и даже местами полезные.
101-й туториал по деплою микросервисов на ECS:
https://levelup.gitconnected.com/a-practical-guide-to-deploying-microservices-on-aws-6a8ddd298f7e
102-е сравнение Лямбды и Fargate:
https://www.trek10.com/blog/fargate-lambda-comparison/
103-я статья по S3 versioning:
https://medium.com/@pvinchon/amazon-s3-versioning-d6c57c513b04
101-й туториал по деплою микросервисов на ECS:
https://levelup.gitconnected.com/a-practical-guide-to-deploying-microservices-on-aws-6a8ddd298f7e
102-е сравнение Лямбды и Fargate:
https://www.trek10.com/blog/fargate-lambda-comparison/
103-я статья по S3 versioning:
https://medium.com/@pvinchon/amazon-s3-versioning-d6c57c513b04
Medium
A Practical Guide to Deploying Microservices on AWS
Continuous deployment of production-ready microservices on the ECS Fargate platform with Docker, CloudFormation and Bitbucket Pipelines
И снова полезное чтиво.
Serverless vs Containers:
https://www.cloudjourney.io/articles/publiccloud/cost-matters-the-serverless-edition-ls/
Миграция на Serverless:
https://iamondemand.com/blog/modernizing-a-3-tier-application-with-serverless-on-aws/
Как работает CloudFront:
https://www.contentbloom.com/blog/what-you-need-to-know-about-amazons-cdn/
Serverless vs Containers:
https://www.cloudjourney.io/articles/publiccloud/cost-matters-the-serverless-edition-ls/
Миграция на Serverless:
https://iamondemand.com/blog/modernizing-a-3-tier-application-with-serverless-on-aws/
Как работает CloudFront:
https://www.contentbloom.com/blog/what-you-need-to-know-about-amazons-cdn/
Forwarded from Человек и машина
По поводу обещанного анонса.
29 января у @AWS_ru третий день рождения. По такому прекрасному поводу москвичи и гости столицы могут лично послушать доклады от умных людей и пообщаться с коллегами по цеху. Те, кто не смогут приехать, могут расчитывать на трансляцию. Любители ставить докладчиков в неудобное положение своими каверзными вопросами могут расчитывать на призы. ^^
Регистрация: https://www.meetup.com/aws-ru/events/267985758/
Кто пойдет - обнимите от меня Стекова и Патрушева. 😉
P.S. При регистрации указывайте настоящие ФИО, чтобы безопасники Райфа лишний раз не нервничали.
29 января у @AWS_ru третий день рождения. По такому прекрасному поводу москвичи и гости столицы могут лично послушать доклады от умных людей и пообщаться с коллегами по цеху. Те, кто не смогут приехать, могут расчитывать на трансляцию. Любители ставить докладчиков в неудобное положение своими каверзными вопросами могут расчитывать на призы. ^^
Регистрация: https://www.meetup.com/aws-ru/events/267985758/
Кто пойдет - обнимите от меня Стекова и Патрушева. 😉
P.S. При регистрации указывайте настоящие ФИО, чтобы безопасники Райфа лишний раз не нервничали.
Meetup
День Рожденья @AWS_Ru нам 3 Года!
Wed, Jan 29, 2020, 7:00 PM: UPD: Ребят, так как мы идем в гости в Банк, их доброе СБ очень хочет знать ФИО и компанию - потому очень вас попрошу если вы решили придти лично - не сочтите за труд, сдела
Уважаемые коллеги. Кто не знаком, позвольте представить заслуженного мастера спорта международного класса по IAM и другим видам амазоноборства, спикера крупнейших конференций и при этом надёжного информатора о том, что происходит у них там в Европах, Карена Товмасяна.
У Карена есть отличный канал @manandthemachine, где можно прочитать не только про AWS (этого и здесь хватает), но и про тяжёлую судьбушеньку нашего простого человека, попавшего в незаморскую страну Нидерландию. Плюсы, минусы, подводные камни - всё, как вы любите, короче. Не то, чтобы сам лично согласен с излагаемым там, однако это мнение с большой буквы Мэ и кому-то может быть от интересно до помочь.
https://xn--r1a.website/manandthemachine
У Карена есть отличный канал @manandthemachine, где можно прочитать не только про AWS (этого и здесь хватает), но и про тяжёлую судьбушеньку нашего простого человека, попавшего в незаморскую страну Нидерландию. Плюсы, минусы, подводные камни - всё, как вы любите, короче. Не то, чтобы сам лично согласен с излагаемым там, однако это мнение с большой буквы Мэ и кому-то может быть от интересно до помочь.
https://xn--r1a.website/manandthemachine
CI/CD на AWS
С учётом пояснений и пожеланий сделанных в чате канала, нужно повторить голосовалку - теперь с возможностью выбрать несколько вариантов и в более очевидной постановке вопроса.
Какие инструменты вы используете для CI/CD на AWS?
(можно выбрать несколько вариантов)
Jenkins - 65
👍👍👍👍👍👍👍👍 46%
GitLab CI - 47
👍👍👍👍👍 33%
AWS CodePipeline + Code* services - 12
👍 8%
Azure DevOps (Microsoft VSTS/TFS) - 3
👍 2%
Bitbucket Pipelines - 15
👍 10%
TeamCity - 15
👍 10%
Bamboo - 5
👍 3%
CircleCI - 5
👍 3%
Drone.io - 2
👍 1%
BuildMaster - 1
👍 0%
GoCD - 3
👍 2%
Travis CI - 2
👍 1%
GitHub Actions - 4
👍 2%
Codeship - 0
▫ 0%
Buddy - 0
▫ 0%
Wercker - 0
▫ 0%
Buildbot - 0
▫ 0%
Другой - 2
👍 1%
👥 141 people voted so far.
С учётом пояснений и пожеланий сделанных в чате канала, нужно повторить голосовалку - теперь с возможностью выбрать несколько вариантов и в более очевидной постановке вопроса.
Какие инструменты вы используете для CI/CD на AWS?
(можно выбрать несколько вариантов)
Jenkins - 65
👍👍👍👍👍👍👍👍 46%
GitLab CI - 47
👍👍👍👍👍 33%
AWS CodePipeline + Code* services - 12
👍 8%
Azure DevOps (Microsoft VSTS/TFS) - 3
👍 2%
Bitbucket Pipelines - 15
👍 10%
TeamCity - 15
👍 10%
Bamboo - 5
👍 3%
CircleCI - 5
👍 3%
Drone.io - 2
👍 1%
BuildMaster - 1
👍 0%
GoCD - 3
👍 2%
Travis CI - 2
👍 1%
GitHub Actions - 4
👍 2%
Codeship - 0
▫ 0%
Buddy - 0
▫ 0%
Wercker - 0
▫ 0%
Buildbot - 0
▫ 0%
Другой - 2
👍 1%
👥 141 people voted so far.
AWS IAM поломался:
Update: AWS IAM починился.
Between 7:30 AM and 9:45 AM PST, we experienced increased error rates due to higher latency for IAM requests. The system has recovered and is operating normally.
Http request timed out enforced after 999msImpact is confirmed -- we are actively investigating.
Update: AWS IAM починился.
Between 7:30 AM and 9:45 AM PST, we experienced increased error rates due to higher latency for IAM requests. The system has recovered and is operating normally.
Действительное очень годная возможность не зря потратить какие-то выходные - удивительно качественный и при этом бесплатный контент.
https://www.youtube.com/watch?v=Ia-UEYYR44s
Ссылку на минус 10 часов личной жизни по доброте душевной презентовали в AWS User group Kazakhstan.
https://www.youtube.com/watch?v=Ia-UEYYR44s
Ссылку на минус 10 часов личной жизни по доброте душевной презентовали в AWS User group Kazakhstan.
YouTube
AWS Certified Solutions Architect - Associate 2020 (PASS THE EXAM!)
AWS Certified Solutions Architect is one of the most popular cloud computing certifications. In this full course taught by an expert trainer, you will learn the major parts of Amazon Web Services, and prepare for the associate-level AWS Certified Solutions…
AWS и доброта в (бесконечном) цикле
Такие вещи случаются:
https://twitter.com/__steele/status/1218453873834086401
Как-то писал про это в "AWS и доброта", по ссылке из твиттера можно прочитать десятки таких реальных случаях на тысячи долларов в том числе.
===
Несколько выводов оттуда.
• Настоятельно рекомендуется включить и настроить биллинг-алерты:
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/monitor_estimated_charges_with_cloudwatch.html
• Не забывайте удалять ненужные/тестовые ресурсы. (Да, Капитан!)
• Не бойтесь писать в техподдержку, даже, если вы были не правы и эта полностью ваша вина. Например, сами выложили ключ в паблик и враги намайнили ресурсов, неправильно поняли стоимостную модель или просто неочевидно накликали в конслоли (и даже много раз подряд). Всё распишите и объясните. Шансы, что спишут полностью или хотя бы часть (50-75%) очень велики.
===
Популярные скрытые угрозы незаметных расходов.
• NAT GW из примера - вы думаете, что у вас чистый аккаунт и нет виртуалок и прочих сервисов, а забываете, что он стоит денег (33$ в месяц и больше). И если вы "поигрались" с Control Tower либо Langing Zones, где насоздавали кучу "пустых" (как вы думали) аккаунтов - нужно помнить про засаду с NAT GW.
• AWS Rekognition - запросто можно распознать в цикле миллионы чего-нибудь ненужного или одного и того же.
• Route 53 Resolver endpoints - 90$ в месяц за каждый ENI.
• ACM Private CA - 400$ в месяц.
А также эти и другие в составе различных тестовых CloudFormation шаблонов, которые вы развернули и забыли удалить.
Будьте внимательны, тренируйте память, бегайте по утрам и настраивайте алерты!
#cost_optimization
Такие вещи случаются:
https://twitter.com/__steele/status/1218453873834086401
Как-то писал про это в "AWS и доброта", по ссылке из твиттера можно прочитать десятки таких реальных случаях на тысячи долларов в том числе.
===
Несколько выводов оттуда.
• Настоятельно рекомендуется включить и настроить биллинг-алерты:
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/monitor_estimated_charges_with_cloudwatch.html
• Не забывайте удалять ненужные/тестовые ресурсы. (Да, Капитан!)
• Не бойтесь писать в техподдержку, даже, если вы были не правы и эта полностью ваша вина. Например, сами выложили ключ в паблик и враги намайнили ресурсов, неправильно поняли стоимостную модель или просто неочевидно накликали в конслоли (и даже много раз подряд). Всё распишите и объясните. Шансы, что спишут полностью или хотя бы часть (50-75%) очень велики.
===
Популярные скрытые угрозы незаметных расходов.
• NAT GW из примера - вы думаете, что у вас чистый аккаунт и нет виртуалок и прочих сервисов, а забываете, что он стоит денег (33$ в месяц и больше). И если вы "поигрались" с Control Tower либо Langing Zones, где насоздавали кучу "пустых" (как вы думали) аккаунтов - нужно помнить про засаду с NAT GW.
• AWS Rekognition - запросто можно распознать в цикле миллионы чего-нибудь ненужного или одного и того же.
• Route 53 Resolver endpoints - 90$ в месяц за каждый ENI.
• ACM Private CA - 400$ в месяц.
А также эти и другие в составе различных тестовых CloudFormation шаблонов, которые вы развернули и забыли удалить.
Будьте внимательны, тренируйте память, бегайте по утрам и настраивайте алерты!
#cost_optimization
Twitter
Aidan W Steele
Oh my god. 13 years after I sign up for AWS it finally happened to me: my first terrifying bill. $1300. 😱 I’d been playing with Control Tower and set up a handful of accounts. Forgot about it for a month. Turns out it deploys a LOT of NAT gateways.
Больше для новичков в AWS, но из той же годной серии - качественные 4 часа курса для подготовки к Cloud Practitioner:
https://www.youtube.com/watch?v=3hLmDS179YE
Добавлю ещё, что если вы - руководитель компании, работающей с AWS, то очень стоит подумать о том, дабы все ваши сотрудники прошли такой курс. Самое важное, быстро учится и просто сдаётся, но главное - позволяет закрыть кучу вопросов, которые возникают в результате элементарного незнания элементарно доступного.
Повышайте эффективность своих подчинённых, уменьшая коэффициент велосипедостроительства.
#AWS_Certification
https://www.youtube.com/watch?v=3hLmDS179YE
Добавлю ещё, что если вы - руководитель компании, работающей с AWS, то очень стоит подумать о том, дабы все ваши сотрудники прошли такой курс. Самое важное, быстро учится и просто сдаётся, но главное - позволяет закрыть кучу вопросов, которые возникают в результате элементарного незнания элементарно доступного.
Повышайте эффективность своих подчинённых, уменьшая коэффициент велосипедостроительства.
#AWS_Certification
YouTube
AWS Certified Cloud Practitioner Training 2020 - Full Course
This course will help you become an AWS Certified Cloud Practitioner. You will get a complete understanding of the AWS Cloud platform and be prepared to take the certification exam.
This knowledge and certification will open up job opportunities. You will…
This knowledge and certification will open up job opportunities. You will…
Отдельные граждане тут просили не путать сервис Control Tower и Solution Landing Zone. Посмотрим, что они теперь скажут на это:
https://aws.amazon.com/solutions/customizations-for-aws-control-tower/
Краткое содержание предыдущих серий. Для помощи в реализации Multi Account Strategy Амазон выпустил в 2018-ом Solution (не путать с сервисом) AWS Landing Zone, а 2019-ом полноценный сервис (а не какое-то там решение) AWS Control Tower.
И вот теперь, чтобы жизнь мёдом не казалась, и чтобы было больше ошибок на экзаменах по сертификации, они выпустили Solution для улучшения сервиса Control Tower.
Поставить такое решение можно лишь тем, кто развернул свою организацию с помощью сервиса Control Tower. Остальные (в том числе я) ждём, пока Control Tower научится работать с существующими организациями. И выход данного решения показывает, что прогнозы на получение такого функционала летом весьма реальны.
#Control_Tower
https://aws.amazon.com/solutions/customizations-for-aws-control-tower/
Краткое содержание предыдущих серий. Для помощи в реализации Multi Account Strategy Амазон выпустил в 2018-ом Solution (не путать с сервисом) AWS Landing Zone, а 2019-ом полноценный сервис (а не какое-то там решение) AWS Control Tower.
И вот теперь, чтобы жизнь мёдом не казалась, и чтобы было больше ошибок на экзаменах по сертификации, они выпустили Solution для улучшения сервиса Control Tower.
Поставить такое решение можно лишь тем, кто развернул свою организацию с помощью сервиса Control Tower. Остальные (в том числе я) ждём, пока Control Tower научится работать с существующими организациями. И выход данного решения показывает, что прогнозы на получение такого функционала летом весьма реальны.
#Control_Tower
Amazon Web Services, Inc.
Customizations for AWS Control Tower | AWS Solutions
Продолжая серию видео, чтобы разбить многочасовые оперы по курсам, есть отличный набор коротких (5-10 минут) видео-роликов по архитектуре на амазоне:
https://aws.amazon.com/this-is-my-architecture/
Роликов много (сотни), можно поискать по нужному направлению, а можно просто смотреть подряд. Отличный и наглядный способ посмотреть, как кто что где и зачем у себя пилит.
#design #video
https://aws.amazon.com/this-is-my-architecture/
Роликов много (сотни), можно поискать по нужному направлению, а можно просто смотреть подряд. Отличный и наглядный способ посмотреть, как кто что где и зачем у себя пилит.
#design #video
Amazon
This Is My Architecture | Video Series | AWS
This is My Architecture (TMA) highlights innovative architectural solutions on the AWS Cloud by customers and partners. These 2-5 minute videos are designed for a technical audience and showcase the most interesting and technically creative elements of each…
Отличный источник примеров работы с #CloudFormation #templates (а также #Terraform и #aws_cli) плюс прямые ссылки на документацию, официальные блоги, всяческие безопасности и различные #best_practices:
https://asecure.cloud/
Однозначно в закладки.
#security #info
https://asecure.cloud/
Однозначно в закладки.
#security #info
Появился экспорт #RDS снэпшотов на S3:
https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_ExportSnapshot.html
Аналогично для #Aurora:
https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/USER_ExportSnapshot.html
Можно экспортировать не весь снэпшот, а лишь часть, сохраняется в parquet-формате.
https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_ExportSnapshot.html
Аналогично для #Aurora:
https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/USER_ExportSnapshot.html
Можно экспортировать не весь снэпшот, а лишь часть, сохраняется в parquet-формате.
Туториал использования SRR (Same-Region Replication) для сбора логов из разных аккаунтов в один бакет:
https://aws.amazon.com/blogs/storage/aggregating-logs-with-s3-same-region-replication/
Подход применим не только для логов, но и, к примеру, для автоматической синхронизации свежедобавленной информации для
#SRR
https://aws.amazon.com/blogs/storage/aggregating-logs-with-s3-same-region-replication/
Подход применим не только для логов, но и, к примеру, для автоматической синхронизации свежедобавленной информации для
dev-бакета в какой-то test-бакет, расположенный в другом аккаунте (того же региона). Кроме того реплицировать можно не весь бакет, а лишь нужную папку.#SRR