Если вы пользуетесь Apache Airflow для построения batch-процессов и хотите знать тонкости его работы, то рекомендую к прочтению пост: How Apache Airflow Distributes Jobs on Celery workers

В блоге AirBnB вышла полезная статья про идемпотентный фреймворк для построения распределенных систем.

В самой статье идёт речь про кейс реализации системы предотвращающей двойное списание денег у клиентов сервиса.

Читаем: https://medium.com/airbnb-engineering/avoiding-double-payments-in-a-distributed-payments-system-2981f6b070bb

Нашел очень интересный доклад от Chief Data Engineer компании Paypal Sid Anand про data инфраструктуру компании. К слову, Paypal ежедневно обрабатывает более 1 миллиарда долларов транзакций в 200 странах. Как всё это работает и не падает смотрите в докладе

Интересный кейс про построение дата пайплайна через Python и Celery для обновления Amazon Redshift - читать. Советую изучения ради. Если же у вас стоит подобная задача, то рекомендую использовать наиболее подходящие для этого инструменты, например, Luigi или Apache Airflow.

Как сделать pipeline на Luigi я писал ещё в 2017 году в блоге. Для любителей celery тоже есть интересная статейка.

Появилось видео моей презентации на Kolesa Conf в Алматы, которая проходила 12 апреля. Тема моей презентации: ETL на Python. Видео

Сейчас идёт конференция PyCon US 2019. Один туториал был посвящен построению пайплайнов на Apache Airflow: https://youtu.be/n9_JjmHRtys

Обзор архитектуры Apache Spark с "высоты птичьего полёта": https://hackernoon.com/high-level-overview-of-apache-spark-c225a0a162e9

Обзорная презентация с Google IO про сервисы Google Cloud Platform. Будет интересно начинающим: https://www.youtube.com/watch?v=h4NJdvUcq2c

Если вы у себя используете Airflow, то эта статейка может быть весьма к стати: https://medium.com/flatiron-engineering/upgrading-airflow-with-zero-downtime-8df303760c96

​​Нашел в сети интересный чеклист для подготовки к интервью на позицию Data Engineer - The Interview Study Guide For Data EngineersThe Interview Study Guide For Data Engineers

На HighLoad++ 2018 был доклад про data engineers: Дата-инженеры и кому они нужны - www.youtube.com/watch?v=KyZYDCkNPow

Не так давно в Лондоне прошел Kafka Summit London 2019. Все видео с этого саммита уже доступны онлайн: https://www.confluent.io/resources/kafka-summit-london-2019/

Не так давно компания Lyft выпустила свой инструмент для Data Discovery - Amundsen. Задача этой тулзы - собрать в одном месте всю информацию о данных внутри компании. На Strata Data Confence разработчики выступили с рассказом о ней - Disrupting Data Discovery at Lyft (Amundsen).

Помимо доклада есть пост в техническом блоге Lyft - Amundsen — Lyft’s data discovery & metadata engine

Интересный доклад про построение дата-инжиниринг культуры: Creating a Data Engineering Culture

Стали появляться видео с прошедшей конференции Data Council (бывшая DataEng Conf)

- Running Apache Airflow Reliably with Kubernetes
- Amundsen: A Data Discovery Platform From Lyft
- Notebooks as Functions with Papermill
- Operating Multi-Tenant Kafka Services for Developers on Heroku
- How Data is Transforming Politics

трезвая статья про кафку: https://vicki.substack.com/p/you-dont-need-kafka

«Клуб скучных технологий». Классная презентация о том, что важна конечная польза технологий, а не не «красота кода». «Скучные» технологии часто полезнее, чем модные и хайповые. Внимание ограничено и тратить его на технологии вместо идеи продукта — ошибка.

Форма подачи 🔥 и на десктопе и в мобиле.

http://boringtechnology.club

☙

Прагматичные программисты — соль земли. С ними кайф работать. Они не разглагольствуют о рефакторинге, масштабируемости, паттернах программирования, процессах и микросервисах. Эти слова вместо вопросов про продукт — тревожный звоночек.

Мне посчастливилось работать с прагматичным программистом Лешей Гусевым в самом начале моей карьеры. Леша мало говорил о технологиях, но задавал трудные вопросы про продукт. Леша занимался рефакторингом, но делал так, что мобильные разработчики получали нужное апи максимально быстро. Леша не выступал на конференциях про масштабируемость, но при этом сервис не падал под нагрузкой.

Ищите таких программистов, говорите с ними на равных и будет вам счастье.

С днём рождения, Лёша!

🛠 А вот здесь доступна большая подборка консольных сервисов, которые могут упростить жизнь - быстро узнать IP, быстро отправить файл, сгенерировать qr код, сократить ссылку и всё вот это вот: https://github.com/chubin/awesome-console-services

#фидбечат #будничное #cli

🗂 Наткнулся тут на очередную разработку для бекапа данных - Shield (Github). Написано на GO, заявлена поддержка облачных сервисов, плагины для популярных БД, ну и сам по себе файловый бекап. Вряд ли это нужно тащить на прод, но присмотреться, стоит.

#backup #cloud #shield

​​Framework for an Observability Maturity Model

Observability is on the minds of just about every modern dev team running a production service, and it’s time everyone spoke the same language, so we can build something greater on the top of our shared understanding. Access to observable systems is the path toward less frustration and more happiness—both for those responsible for production, and the customers they serve.

For this propose, Honeycomb was created white paper, where they sharing own vision of observability based on goals instead of tools.

P.S. Monitoring is only little part of this Framework.
P.P.S. If you earlier skiped Achieving Observability guide, it's time to read it.

#books #observability