​​Установка Sentry на AWS сервисах из CloudFormation шаблона:

https://github.com/Rungutan/sentry-performance-monitoring

Для различных вариантов установки приведены рассчёты по стоимости:

Element    Cost per month in USD
RDS       65
Redis      55
Kafka      110
ClickHouse 140
VPC       30
1ELB+2ALB 90
ECS       200

#monitoring #CloudFormation

#машины_aws

Мой “контент-план” по блогам на Январь 2021 официально выполнен!

Вниманию моих читателей - финальная (на данный момент) глава по DynamoDB.
Моделирование данных, лучшие практики, Single-Table Design… И разумеется, полезные ссылки для страждущих!

​​Нажав в AWS Console для VPC кнопку See all regions можно быстро увидеть количество различных ресурсов по всем регионам в аккаунте. Что удобно для поиска, где находятся забытые VPC с NAT GW, незаметно пожирающих деньги, Elastic IP или просто быстро найти используемые регионы с поднятыми виртуалками.

p.s. Полезную кнопку подсказал вопросом Виктор, за что ему большое спасибо.

#AWS_Console #VPC

Во-первых, это красиво:

sudo yum update sudo

Во-вторых, безопасность должна быть безопасной:

https://aws.amazon.com/security/security-bulletins/AWS-2021-001/

Свежая уязвимость для всех линуксов:

Sudo before 1.9.5p2 has a Heap-based Buffer Overflow, allowing privilege escalation to root via "sudoedit -s" and a command-line argument that ends with a single backslash character.

https://cve.mitre.org/cgi-bin/cvename.cgi?name=2021-3156

#security

AWS: Re:Invent recap на русском языке (RU):

https://youtu.be/qTJ2VCV3_bU?t=242

#reinvent #video

AWS: Re: Invent recap українською мовою (UA):

https://pages.awscloud.com/EMEA-field-OE-EEMRecaps-2021-reg-event.html

Починається прямо зараз – о 17:00 (GMT+2), приєднуйтесь!

Server Side Rendering для React на Лямбде:

https://aws.amazon.com/blogs/compute/building-server-side-rendering-for-react-in-aws-lambda/

This post is courtesy of Roman Boiko, Solutions Architect.

#Lambda #React

Персонажи в команде, часть 2

Володя

Володя самый старший в команде, поэтому связь с ним через почту. Слэк, Телеграм – нет, не слышали, зачем? Ведь у Володи совершеннолетний Скайп!

К Володе обращаются, когда всё. Прилетает срочный проект, никто не знает, что делать, лишь по логам понятно, что внутри шевелится что-то старое на Джаве и уже не работает, а очень надо. В общем, это к Володе. Володя пропадает на пару месяцев и возвращается с ожившим проектом и набором патчей для использованного в нём фреймворка. Однако патчи никому не нужны, т.к. фреймворк на гитхабе заброшен уже много лет как и Володя про это не знает, потому что какой ещё git, когда у него свой насиженный svn.

Володя не следит за трендами и не знает новых веяний. Но он настолько знает старые, что может сделать что угодно, главное правильно поставить задачу и не мешать. Как-то прилетел проект, где нужно было что-то переделать под докер, про который Володя тогда узнал впервые. Он лишь интеллигентно спросил, чем же не устраивает lxd. Удовлетворившись невразумительным ответом, уже через пару месяцев весь проект у него весело крутился на Docker Swarm.

Потом был какой-то древний монолит биллинга одного банка, который стал загибаться с наплывом клиентов. Одним из требований к решению был перевод на куберы. Володя разобрался с куберами, разделил монолит на части через кафку и переписав в монолите лишь драйвер очереди, вернул ошарашенным клиентам через полгода.

В середине нулевых Володе делал проект по защите от копирования какой-то суперсекретной информации для военных под Windows. В качестве подспорья для реализации ему достались утекшие в сеть исходники Windows 2000. Он полгода их анализировал и узнал, что подсистему кэширования для Windows написал какой-то гений с итальянской фамилией ещё в лохматом 1989-м году. После 1993-го упоминания итальянца в коде пропадают и по тому, что позже его код никто не трогает и не меняет, становится ясно, что никто не понимает, как он работает, и потому с тех пор он просто перекладывался из версии в версию. Володя же разобрался и на его основе сделал свою защиту, которая обходит любые системы, не видится никакими антивирусами и которая за последние пятнадцать лет была им подправлена лишь пару раз – с переходом на 64 бит и появлением Windows 8. Самая последняя Windows 10 беззащитна против его оружия на базе кода тридцатилетней давности.

Некоторые новички не верят, что Володя существует, потому раз в год он подключается в скайпе на видеоконференцию. Однако последние пару лет не получалось, потому что вечером, когда проходят такие сеансы, его ADSL модем не тянет видео и связь рвётся.

Никто не знает, когда Володя появился в компании. Главный рассказывал, что прежний CTO завещал ему Володю со словами "Береги Володю. Будет Володя - будет проект". Поэтому когда однажды возникли проблемы с перечислением денег, он лично бегал в банк и переводил ему из своих через Western Union в Винницу.

Да, Володя тоже из Винницы. Это благодаря ему Саша вернулся обратно. Правда на другой проект, т.к. прежний закрыли. После чего Саша, как и раньше, продолжает охранять используемый стэк технологий и имеющуюся архитектуру приложения. И всей душой ненавидеть новую звезду в команде, девушку разработчика Валерию, как и до этого её тёзку противоположного пола.

Володя не пользуется смайликами, всегда спокоен, называет всех исключительно на вы, а в свободное время отдыхает, продолжая совершенствовать собственную версию любимой FoxBase.

(часть 1)

#персонажи

Serverless Stack Toolkit - расширение для AWS CDK:

https://github.com/serverless-stack/serverless-stack

#CDK #serverless

​​Пошаговое руководство для создания простого микросервисного проекта на Lambda + APIGW + DynamoDB:

https://dev.to/tiamatt/aws-project-building-a-serverless-microservice-with-lambda-1pa3

В качестве деплоя используется AWS SAM.

#Lambda #serverless

Митап AWS User Group Kazakhstan
📆 10 февраля 18:00-20:00 Нур-Султан / 15:00-17:00 Москва
📍https://www.twitch.tv/awsporusski
👉 доклады на разные темы, вопросы-ответы и возможность пообщаться
📄 программа
1. Талгат Нурлыбаев, МУИТ - Академическая программа Amazon AWS в МУИТ и Казахстане.
2. Анатолий Макеев, RedPad Games - Личный опыт практического использование AWS в GameDev. Почему был выбран AWS. Описание принципов использования AWS в разработке игр, основная структура клиент сервера. А также рекомендации начинающим разработчикам.
3. Карен Товмасян, EPAM - Going Full Compliant (Абсолютное соответствие требованиям). Как с помощью AWS Config и AWS SSM обеспечить полный контроль над состоянием своей инфраструктурой и соответствие требованиям.
4. Василий Пантюхин, AWS - Конкурентный доступ к файлам, советы по использованию Amazon EFS. Поговорим о том, как и где можно использовать Amazon Elastic File System. Обсудим best practices и способы сэкономить.

Переименование CloudFormation стэка:

https://github.com/iann0036/cfn-stack-rename

Просто так CloudFormation стэк переименовать нельзя, потому утилита делает следующее:

1. Разобирает стэк на запчасти (ресурсы), запомнив их айдишники.
2. Удаляет стэк с флажком "оставить все ресурсы".
3. Собирает из ранее запомненных (импортирует) стэк с новым именем.

Назначение утилиты больше экспериментальное, стоит учесть.

#CloudFormation

Разбор падения Slack от 4 января:

https://slack.engineering/slacks-outage-on-january-4th-2021/

Весьма полезное чтиво – хронология, детали, выводы. Кроме ставшего классическим /proc/sys/fs/file-max, есть и специфичные амазоновские причины.

Масштабирование AWS Transit GateWay (TGW)

TGW менеджится Амазоном, потому повлиять на него мы не можем. В то время, как часть проблем у Slack возникла из-за того, что резко возросший трафик через их корневой TGW, через который завязаны их окружения, давал ошибки, не успевая масштабироваться, добавляя проблем во время падения Slack. Амазоновцы вручную боролись с этой ситуацией:

However, our TGWs did not scale fast enough. During the incident, AWS engineers were alerted to our packet drops by their own internal monitoring, and increased our TGW capacity manually.

Чтобы такого избежать, нужно "прогревать" TGW, аналогично тому, как такое предусмотрено для ELB:

https://aws.amazon.com/articles/best-practices-in-evaluating-elastic-load-balancing/#pre-warming

Shared VPC vs different VPCs

Другой момент – отрицательные стороны от использования отдельных VPC. Если бы у Slack использовалась Shared VPC – и для окружения, и для мониторинга, то трафик бы не упёрся бы в узкое горлышко TGW (его скорости масштабирования), через который и соединяются отдельные VPC.

#TGW #Shared_VPC #design

Интеграция Cloud Custodian в Control Tower:

https://aws.amazon.com/blogs/opensource/continuous-deployment-of-cloud-custodian-to-aws-control-tower/

AWS Control Tower имеет ограниченный набор SCP-политик (guardrails), которые можно расширить с помощью Cloud Custodian – популярной утилиты в сфере безопасности.

#security #Control_Tower

​​Jeff Bezos уходит с поста CEO:

https://www.aboutamazon.com/news/company-news/email-from-jeff-bezos-to-employees

Перевод на русском можно прочитать здесь:

https://xn--r1a.website/addmeto/3868

p.s. Картинка шуточная из внутреннего чата AWS.

​​PrivateLink для S3:

https://aws.amazon.com/blogs/aws/aws-privatelink-for-amazon-s3-now-available/

Актуально для доступа с on-prem на S3. Раньше для этого прикручивали свои прокси, т.к. S3 был доступен лишь через Gateway VPC endpoint. Теперь же ещё и через "обычный" Interface VPC endpoint (PrivateLink).

Pricing

Стоит учесть, что в отличие от Gateway VPC endpoint для S3, трафик в случае PrivateLink тарифицируется по центу за каждый гигабайт.

https://aws.amazon.com/privatelink/pricing/

Потому при перекачке многих десятков терабайт и более, можно получить непривычный биллинг, ориентируясь, что раньше такое не увеличивало цену (трафик от прокси на EC2 к S3 бесплатен).

#PrivateLink #S3

Node.js 14.x + Lambda:

https://aws.amazon.com/blogs/compute/node-js-14-x-runtime-now-available-in-aws-lambda/

#Lambda