PHP в Docker на Лямбде:

https://aws.amazon.com/blogs/compute/building-php-lambda-functions-with-docker-container-images/

#Lambda

Читы для работы с CloudFormation в VS Code:

https://dev.to/aws-builders/level-up-cloudformation-with-vs-code-32m9

#CloudFormation

Персонажи в команде

Валера

Валера следит за трендами, профи в своей и не только области, знает про все модные фреймворки, регулярно посещает конференции и на ретроспективах периодически советует (грозит) переписать часть (всё) на Rust.

Валеру любят, над ним шутят, однако он нет. Через пару лет, задолбав тимлидов и не получив одобрения своих устремлений, Валера уходит в FAANG, где занимается тем, чем так давно хотел.

Саша

Саша не согласен, стопроцентный инженер, но не поддерживает, сомневается и против. Зачем переходить на куберы, если ещё докер не сносили? Зачем ставить t3a.medium, да, дешевле, да, совсем нет нагрузки, но ведь c5.large надёжней, а там буковки подозрительные. Какой ещё пайплайн, если нажал, загрузил, написал письмо, объяснил, в крайнем случае можно написать в скайп, и работает. Всегда так было, зачем менять? А где доказательства, что такая архитектура лучше, дешевле, надёжней и сработает? И вообще, он не Саша, а Олександр, через О, потому что из Винницы.

Сашу (Олександра) никто не любит и он отвечает взаимностью. Через пару лет от него избавляются и радостная команда спокойно пилит свою плохую, дорогую, ненадёжную и оказавшуюся через пару лет совсем невостребованной, фигню.

Виктор

Виктор задаёт вопросы. Читает, задаётся вопросом и спрашивает. Почему так сложно – не понятно. Почему написано, что правильно через CodePipeline, а у них там один баш? Почему в буфере TLB нельзя сбросить запись как в кэше? Можно ли использовать yaml-ссылки в CloudFormation шаблоне, ведь это ж yaml? Как подключить t1.micro EC2-Classiс к MSK? И вообще, на собеседовании спрашивали Питон, а тут Ruby и Java – почему?

Виктора любят, ведь посылать всем приятно. Через пару лет он задаёт неправильный вопрос в неправильном месте и увольняется.

p.s. Все совпадения имён случайны.

p.s. p.s. Это было начало текста "Какие люди ценны в команде".

#персонажи

Что там случилось с Elasticsearch?

Супер кратко:
Elastic поменял лицензию для продуктов, и они перестали быть open source. Комьюнити это не понравилось.
Теперь вышел Amazon, у которого война с Elastic, и сказал - мы форкнем, и будем дальше развивать Elasticsearch + Kibana с ALv2 лицензией.

Итого, факты:
- Elastic announced moving Apache 2.0-licensed source code to be under Server Side Public License
- Elasticsearch 7.11 будет уже под SSPL, т.е. не open-source
- Elasticsearch 7.10.x, который еще ALv2 - будет получать секьюрити апдейты до May 11th, 2022
- AWS will step up to create and maintain a ALv2-licensed fork of open source Elasticsearch and Kibana

Кто бы мог подумать 🤔

https://aws.amazon.com/blogs/opensource/stepping-up-for-a-truly-open-source-elasticsearch

Создать CloudFormation ресурс со случайным паролем, чтобы, например, после его передать для базы данных:

MySecretA:
 Type: 'AWS::SecretsManager::Secret'
 Properties:
  Name: MySecretForAppA
  Description: "This secret has a dynamically generated secret password."
  GenerateSecretString:
   SecretStringTemplate: '{"username": "test-user"}'
   GenerateStringKey: "password"
   PasswordLength: 30
   ExcludeCharacters: '"@/\'

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-secretsmanager-secret.html

#CloudFormation

Тестируй правильно.

Первоисточник.

Утилита для удаления CloudFormation стэков по TTL (expiration time) или пул реквесту:

https://github.com/lendi-au/StackJanitor

#CloudFormation

​​Managed Workflows for Apache Airflow

Пока продолжаются прения между командой Elastic (авторами ELK стека) и Amazon на тему того кто из них более open-source-friendly, расскажу про другую недавнюю интеграцию в стек AWS - управляемый вариант Airflow.

Apache Airflow - это платформа для планирования, управления и мониторинга заданий, написанная на python. Это собственно тоже промышленный стандарт в мире ETL, для организации взаимодействия между процессами (формализованными в виде DAG - однонаправленных ациклических графов). Благодаря набору плагинов в рамках Airflow можно запускать достаточно разнородные пайплайны - от простых bash-команд, до модулей со сложной логикой - поверх тоже довольно разнородной инфраструктуры. У этого продукта не так много конкурентов (вот например Luigi разработки Spotify) и поэтому интеграция в AWS - это был только вопрос времени. Тем более что в GCP, например, Cloud Composer изначально реализован как управляемый Airflow.

Есть конечно разработчики, которые и этот новый сервис (официальное название AWS MWAA) восприняли настороженно, в духе "опять Amazon зарабатывает на open-source ". Ну во-первых, я уже упомянул GCP, а во-вторых, кажется, что получился на самом деле очень удобный сервис, который ребята из AWS адаптировали к остальному стеку. В сборке настроено много плагинов к остальным элементам AWS (тут и Athena, и DynamoDB, и Redshift, EKS, ECS, Firehose, SQS и прочие), код DAG (и зависимости) хранится в s3, настроен auto-scale воркеров для запуска заданий с тремя вариантами окружения: pw1.small (1 vCPU), pw1.medium (2 vCPU) или pw1.large (4 vCPU). Мониторинг настраивается в Cloudwatch.

Другими словами, получилась сборка которая помогает построить ETL процессы на полностью управляемых компонентах и сервисах. Конечно, если выбрать такое архитектурное решение для проекта - перейти потом в другую инфраструктуру будет сложно. Но с другой стороны, если есть периодический процесс, в котором источником служат, например, файлы в s3 (пусть от стороннего провайдера), задействована их трансформация с помощью python и sql и выгрузка в data-lake или наоборот в готовую витрину для визуализации, то сервис конкурентоспособен. Стоимость складывается из использованных часов работы окружения (scheduler/worker/web server), количества и мощности воркеров. То есть выбор - поднимать Airflow самостоятельно или использовать в виде сервиса - упирается в баланс между набором своих вычислительных мощностей и арендуемых.

Сервис пока доступен не во всех регионах и дата-центрах, но в наиболее крупных (N. Virginia, Frankfurt, Ireland, Sydney, Ohio) попробовать можно.

​​Установка Sentry на AWS сервисах из CloudFormation шаблона:

https://github.com/Rungutan/sentry-performance-monitoring

Для различных вариантов установки приведены рассчёты по стоимости:

Element    Cost per month in USD
RDS       65
Redis      55
Kafka      110
ClickHouse 140
VPC       30
1ELB+2ALB 90
ECS       200

#monitoring #CloudFormation

#машины_aws

Мой “контент-план” по блогам на Январь 2021 официально выполнен!

Вниманию моих читателей - финальная (на данный момент) глава по DynamoDB.
Моделирование данных, лучшие практики, Single-Table Design… И разумеется, полезные ссылки для страждущих!

​​Нажав в AWS Console для VPC кнопку See all regions можно быстро увидеть количество различных ресурсов по всем регионам в аккаунте. Что удобно для поиска, где находятся забытые VPC с NAT GW, незаметно пожирающих деньги, Elastic IP или просто быстро найти используемые регионы с поднятыми виртуалками.

p.s. Полезную кнопку подсказал вопросом Виктор, за что ему большое спасибо.

#AWS_Console #VPC

Во-первых, это красиво:

sudo yum update sudo

Во-вторых, безопасность должна быть безопасной:

https://aws.amazon.com/security/security-bulletins/AWS-2021-001/

Свежая уязвимость для всех линуксов:

Sudo before 1.9.5p2 has a Heap-based Buffer Overflow, allowing privilege escalation to root via "sudoedit -s" and a command-line argument that ends with a single backslash character.

https://cve.mitre.org/cgi-bin/cvename.cgi?name=2021-3156

#security

AWS: Re:Invent recap на русском языке (RU):

https://youtu.be/qTJ2VCV3_bU?t=242

#reinvent #video

AWS: Re: Invent recap українською мовою (UA):

https://pages.awscloud.com/EMEA-field-OE-EEMRecaps-2021-reg-event.html

Починається прямо зараз – о 17:00 (GMT+2), приєднуйтесь!

Server Side Rendering для React на Лямбде:

https://aws.amazon.com/blogs/compute/building-server-side-rendering-for-react-in-aws-lambda/

This post is courtesy of Roman Boiko, Solutions Architect.

#Lambda #React

Персонажи в команде, часть 2

Володя

Володя самый старший в команде, поэтому связь с ним через почту. Слэк, Телеграм – нет, не слышали, зачем? Ведь у Володи совершеннолетний Скайп!

К Володе обращаются, когда всё. Прилетает срочный проект, никто не знает, что делать, лишь по логам понятно, что внутри шевелится что-то старое на Джаве и уже не работает, а очень надо. В общем, это к Володе. Володя пропадает на пару месяцев и возвращается с ожившим проектом и набором патчей для использованного в нём фреймворка. Однако патчи никому не нужны, т.к. фреймворк на гитхабе заброшен уже много лет как и Володя про это не знает, потому что какой ещё git, когда у него свой насиженный svn.

Володя не следит за трендами и не знает новых веяний. Но он настолько знает старые, что может сделать что угодно, главное правильно поставить задачу и не мешать. Как-то прилетел проект, где нужно было что-то переделать под докер, про который Володя тогда узнал впервые. Он лишь интеллигентно спросил, чем же не устраивает lxd. Удовлетворившись невразумительным ответом, уже через пару месяцев весь проект у него весело крутился на Docker Swarm.

Потом был какой-то древний монолит биллинга одного банка, который стал загибаться с наплывом клиентов. Одним из требований к решению был перевод на куберы. Володя разобрался с куберами, разделил монолит на части через кафку и переписав в монолите лишь драйвер очереди, вернул ошарашенным клиентам через полгода.

В середине нулевых Володе делал проект по защите от копирования какой-то суперсекретной информации для военных под Windows. В качестве подспорья для реализации ему достались утекшие в сеть исходники Windows 2000. Он полгода их анализировал и узнал, что подсистему кэширования для Windows написал какой-то гений с итальянской фамилией ещё в лохматом 1989-м году. После 1993-го упоминания итальянца в коде пропадают и по тому, что позже его код никто не трогает и не меняет, становится ясно, что никто не понимает, как он работает, и потому с тех пор он просто перекладывался из версии в версию. Володя же разобрался и на его основе сделал свою защиту, которая обходит любые системы, не видится никакими антивирусами и которая за последние пятнадцать лет была им подправлена лишь пару раз – с переходом на 64 бит и появлением Windows 8. Самая последняя Windows 10 беззащитна против его оружия на базе кода тридцатилетней давности.

Некоторые новички не верят, что Володя существует, потому раз в год он подключается в скайпе на видеоконференцию. Однако последние пару лет не получалось, потому что вечером, когда проходят такие сеансы, его ADSL модем не тянет видео и связь рвётся.

Никто не знает, когда Володя появился в компании. Главный рассказывал, что прежний CTO завещал ему Володю со словами "Береги Володю. Будет Володя - будет проект". Поэтому когда однажды возникли проблемы с перечислением денег, он лично бегал в банк и переводил ему из своих через Western Union в Винницу.

Да, Володя тоже из Винницы. Это благодаря ему Саша вернулся обратно. Правда на другой проект, т.к. прежний закрыли. После чего Саша, как и раньше, продолжает охранять используемый стэк технологий и имеющуюся архитектуру приложения. И всей душой ненавидеть новую звезду в команде, девушку разработчика Валерию, как и до этого её тёзку противоположного пола.

Володя не пользуется смайликами, всегда спокоен, называет всех исключительно на вы, а в свободное время отдыхает, продолжая совершенствовать собственную версию любимой FoxBase.

(часть 1)

#персонажи