Неплохая статья по лучшим практикам Настройки openssh
https://www.cyberciti.biz/tips/linux-unix-bsd-openssh-server-best-practices.html

LazyDocker - консольная утилита, которая даёт новый способ просмотра информации о контейнерах/томах/изображениях в docker. Самое главное тут - элегантность решения. Всё красиво, информация полная, но не чрезмерная, при этом работает всё очень быстро, что есть большой плюс по сравнению с аналогами. Устанавливается программа локально и работает как и стандартная утилита docker - через переменную DOCKER_HOST, что позволяет подключаться и к удалённым машинам, например, через docker machine, не требуя при этом установки программы на каждый сервер.
Вообще, всё это выглядит как Portainer, который просто сделали правильно - тут убран лишний веб-интерфейс, неиспользуемые элементы скрываются, настройки делаются через конфиги, а не танцы с поиском нужной кнопки, ну и даже есть графики - никто же не мешает их рисовать в консоли. Также есть управление как мышкой, так и полностью клавиатурой - всё скрывается за одним/двумя нажатиями, но при этом многие вещи можно настроить под себя: от доп. команд до дополнительных статистик, которые по-умолчанию не выводятся.
Конечно, тут ещё есть и баги и возможности доработки, даже сам автор говорит об этом, но в целом я уже поставил lazydocker как замену команде compose logs и в общем доволен результатом - информации больше, а действий меньше. https://github.com/jesseduffield/lazydocker

Dropbox заопеснсорсили либу для golang для работы с xdp и ebfp
https://github.com/dropbox/goebpf/blob/master/README.md

Хороший доклад про принципы построения пайплайнов без привязки к каким-либо инструментам: Data Engineering Principles - Build frameworks not pipelines

Если вы пользуетесь Apache Airflow для построения batch-процессов и хотите знать тонкости его работы, то рекомендую к прочтению пост: How Apache Airflow Distributes Jobs on Celery workers

В блоге AirBnB вышла полезная статья про идемпотентный фреймворк для построения распределенных систем.

В самой статье идёт речь про кейс реализации системы предотвращающей двойное списание денег у клиентов сервиса.

Читаем: https://medium.com/airbnb-engineering/avoiding-double-payments-in-a-distributed-payments-system-2981f6b070bb

Нашел очень интересный доклад от Chief Data Engineer компании Paypal Sid Anand про data инфраструктуру компании. К слову, Paypal ежедневно обрабатывает более 1 миллиарда долларов транзакций в 200 странах. Как всё это работает и не падает смотрите в докладе

Интересный кейс про построение дата пайплайна через Python и Celery для обновления Amazon Redshift - читать. Советую изучения ради. Если же у вас стоит подобная задача, то рекомендую использовать наиболее подходящие для этого инструменты, например, Luigi или Apache Airflow.

Как сделать pipeline на Luigi я писал ещё в 2017 году в блоге. Для любителей celery тоже есть интересная статейка.

Появилось видео моей презентации на Kolesa Conf в Алматы, которая проходила 12 апреля. Тема моей презентации: ETL на Python. Видео

Сейчас идёт конференция PyCon US 2019. Один туториал был посвящен построению пайплайнов на Apache Airflow: https://youtu.be/n9_JjmHRtys

Обзор архитектуры Apache Spark с "высоты птичьего полёта": https://hackernoon.com/high-level-overview-of-apache-spark-c225a0a162e9

Обзорная презентация с Google IO про сервисы Google Cloud Platform. Будет интересно начинающим: https://www.youtube.com/watch?v=h4NJdvUcq2c

Если вы у себя используете Airflow, то эта статейка может быть весьма к стати: https://medium.com/flatiron-engineering/upgrading-airflow-with-zero-downtime-8df303760c96

​​Нашел в сети интересный чеклист для подготовки к интервью на позицию Data Engineer - The Interview Study Guide For Data EngineersThe Interview Study Guide For Data Engineers

На HighLoad++ 2018 был доклад про data engineers: Дата-инженеры и кому они нужны - www.youtube.com/watch?v=KyZYDCkNPow