Интересная инфа касаемо оповещений и подтверждений входов по sms/email/push

https://www.youtube.com/watch?v=7EgqwLbC3rw

Прислали в лс ништяков для postgresql

1) http://pgconfigurator.cybertec.at/
2) https://pgtune.leopard.in.ua/#/
3) https://github.com/jfcoz/postgresqltuner

📉 Серьёзный такой, и симпатичный status page - Cachet. Вдруг, кому-то тоже пригодится в работе. Демо можно посмотреть здесь.

#statuspage #github #будничное

Закачку кэша в отдельную стадию, на неё stageDependencies в описании git. Папка с кэшем монтируется скорее для уменьшения размера образа. Была вот такая статья, про dapp правда и про maven, но идеи там можно почерпнуть: https://habr.com/ru/company/flant/blog/348436/

Неплохая статья по лучшим практикам Настройки openssh
https://www.cyberciti.biz/tips/linux-unix-bsd-openssh-server-best-practices.html

LazyDocker - консольная утилита, которая даёт новый способ просмотра информации о контейнерах/томах/изображениях в docker. Самое главное тут - элегантность решения. Всё красиво, информация полная, но не чрезмерная, при этом работает всё очень быстро, что есть большой плюс по сравнению с аналогами. Устанавливается программа локально и работает как и стандартная утилита docker - через переменную DOCKER_HOST, что позволяет подключаться и к удалённым машинам, например, через docker machine, не требуя при этом установки программы на каждый сервер.
Вообще, всё это выглядит как Portainer, который просто сделали правильно - тут убран лишний веб-интерфейс, неиспользуемые элементы скрываются, настройки делаются через конфиги, а не танцы с поиском нужной кнопки, ну и даже есть графики - никто же не мешает их рисовать в консоли. Также есть управление как мышкой, так и полностью клавиатурой - всё скрывается за одним/двумя нажатиями, но при этом многие вещи можно настроить под себя: от доп. команд до дополнительных статистик, которые по-умолчанию не выводятся.
Конечно, тут ещё есть и баги и возможности доработки, даже сам автор говорит об этом, но в целом я уже поставил lazydocker как замену команде compose logs и в общем доволен результатом - информации больше, а действий меньше. https://github.com/jesseduffield/lazydocker

Dropbox заопеснсорсили либу для golang для работы с xdp и ebfp
https://github.com/dropbox/goebpf/blob/master/README.md

Хороший доклад про принципы построения пайплайнов без привязки к каким-либо инструментам: Data Engineering Principles - Build frameworks not pipelines

Если вы пользуетесь Apache Airflow для построения batch-процессов и хотите знать тонкости его работы, то рекомендую к прочтению пост: How Apache Airflow Distributes Jobs on Celery workers

В блоге AirBnB вышла полезная статья про идемпотентный фреймворк для построения распределенных систем.

В самой статье идёт речь про кейс реализации системы предотвращающей двойное списание денег у клиентов сервиса.

Читаем: https://medium.com/airbnb-engineering/avoiding-double-payments-in-a-distributed-payments-system-2981f6b070bb

Нашел очень интересный доклад от Chief Data Engineer компании Paypal Sid Anand про data инфраструктуру компании. К слову, Paypal ежедневно обрабатывает более 1 миллиарда долларов транзакций в 200 странах. Как всё это работает и не падает смотрите в докладе

Интересный кейс про построение дата пайплайна через Python и Celery для обновления Amazon Redshift - читать. Советую изучения ради. Если же у вас стоит подобная задача, то рекомендую использовать наиболее подходящие для этого инструменты, например, Luigi или Apache Airflow.

Как сделать pipeline на Luigi я писал ещё в 2017 году в блоге. Для любителей celery тоже есть интересная статейка.

Появилось видео моей презентации на Kolesa Conf в Алматы, которая проходила 12 апреля. Тема моей презентации: ETL на Python. Видео