Автоматизации пост

Наткнулся на штуку https://n8n.io/ — она позволяет по событию в одном сервисе делать события в других сервисах.

Это что-то вроде https://ifttt.com/, но опенсорсная и, кажется, более прокачанная по логике составляемых сценариев.
Количество триггеров пока не особенно большое, но по моему опыту их всё равно приходится дописывать. А вот возможность хостить штуку у себя бесценна.

Интересный проект от Stanford Systems and Networking Research позволяющий с помощью AWS Lambda распараллеливать задачи типа компиляции, object recognition, обработки видео, тестирования и подобных.

GitHub
https://github.com/stanfordsnr/gg

Доклад про gg на USENIX ATC 2019
From Laptop to Lambda: Outsourcing Everyday Jobs to Thousands of Transient Functional Containers
https://www.youtube.com/watch?v=VVWVN6Czji4

Paper
http://stanford.edu/~sadjad/gg-paper.pdf

gg упоминается в другом, более раннем, докладе (скриншот со временем компиляции из него)
Supercomputing as a Service: Massively-Parallel Jobs on FaaS Platforms
https://www.serverlesscomputing.org/wosc2/presentations/s2-wosc-slides.pdf

В нём рассказывается не только про указанный выше gg, но и про ExCamera (проект для быстрого процессинга видео), который использует mu
Framework to Run General-Purpose Parallel Computations on AWS Lambda
https://github.com/excamera/mu
ExCamera и mu не развиваются уже.

Вчера посмотрел вебинар по cdk8s на канале CNCF, выглядит интересно, этакий конкурент Pulumi.
Webinar: End YAML engineering with cdk8s!
https://www.youtube.com/watch?v=QcF_6ZSEd5k

cdk8s is a software development framework for defining Kubernetes applications and reusable abstractions using familiar programming languages and rich object-oriented APIs. cdk8s generates pure Kubernetes YAML - you can use cdk8s to define applications for any Kubernetes cluster running anywhere.

https://github.com/awslabs/cdk8s

​Не секрет, что я не очень люблю mogodb и троллю их при любой возможности (так же как и рубистов):
https://xn--r1a.website/nosingularity/194

Семь лет назад вышла статья, о которой я писал тут
https://xn--r1a.website/nosingularity/35

и спустя два года вышла еще одна
https://aphyr.com/posts/322-call-me-maybe-mongodb-stale-reads
где первый коммент "As a Stripe customer, I sure hope you’re not using Mongo to keep track of my transactions."
Быгыгы :)

В очередной раз напомню, что stripe с оценкой $36 ярдов написан на руби и монге.

В последнем же треде в августе 2017 автор исследования сказал, что в версии 3.4 тоже беды с башкой (зачеркнуто) все стало еще хуже.

Мне предъявили, что все это было давно, в четвертой ветке, вышедшей в авгусе 2018 все поменялось и я перегибаю палку.

Ну что, мои маленькие любители json'ов, держите:
https://twitter.com/jepsen_io/status/1261276984681754625

MongoDB 4.2.6's transactions aren't full ACID, or even snapshot isolated. We found read skew, cyclic information flow, and internal inconsistencies, including transactions which could read their own writes from the future. Ooooh, spooooky!
Also transactions are allowed to lose data & read uncommitted, possibly impossible states by default, because why would you *not* want that behavior from something called a transaction. This was already documented, but I found it surprising!

Подробнее тут:
http://jepsen.io/analyses/mongodb-4.2.6

А пока PGCon 2020 не начался предлагаю посмотреть несколько докладов по PostgreSQL со SCaLE 18X

Scaling the Wall of Text: Logging Best Practices in PostgreSQL
https://www.youtube.com/watch?v=FjksXR81hjA

Linux IO internals for PostgreSQL administrators in 2020 (неувядающая классика от Ильи Космодемьянского, аналогичный доклад на HL++2018 https://youtu.be/0o7uNUOS-Ho)
https://www.youtube.com/watch?v=3XkHGbGJ-bw

PostgreSQL worst practices (неувядающая классика [2] от Ильи Космодемьянского, аналогичный доклад на HL++2017 https://youtu.be/HxwLCyCY8ec)
https://www.youtube.com/watch?v=3yPC3vesDCs

Using PostgreSQL for Data Privacy and Security
https://www.youtube.com/watch?v=8Y6jYvd9Jgo

Declarative Caching with Postgres and Redis
https://www.youtube.com/watch?v=IID2LQVztIM

MongoDB Best Practices on Linux 2020 Edition

https://www.percona.com/blog/2020/04/17/mongodb-best-practices-2020-edition/

#mongodb #mongo #linux #nosql

Amazon представила практики безопасности для EKS
https://aws.github.io/aws-eks-best-practices/

Вместе с уже известным квадрантом по APM-решениям, Gartner также выкатил отчёт по критичным возможностям этих же решений. В этом отчёте те же самые участники квадранта APM сравниваются по следующим критериям:

⚡️ Business analysis
⚡️ IT services monitoring
⚡️ Root cause analysis
⚡️ Anomaly detection
⚡️ Distributed profiling
⚡️ Application debugging

в контексте их применения для следующих целей:

⚡️ IT operations
⚡️ DevOps release
⚡️ Application support
⚡️ Application development
⚡️ Application owner or line of business (LOB)
⚡️ CloudOps

Если вы сейчас выбираете APM-решение, это сравнение может быть полезным для формирования шорт-листа.

Compliance as Code. Emre Erkunt.

https://www.slideshare.net/EmreErkunt/compliance-as-code-with-terraformcompliance

Статья об основных моментах TCP, которые необходимо учитывать разработчику.

Ну и не только разработчику, но и любому инженеру, который работает не на изолированной машине.

Postgres.ai / Database Lab – instant clones of large PostgreSQL databases to boost development · GitLab
https://gitlab.com/postgres-ai/database-lab

Разбираемся с Threat Modelling вместе с Jim Gumbley и блогом Мартина Фаулера

#security