Хватит использовать Pandas, пора переходить на Spark + Scala!

Почему data-специалистам стоит задуматься о переходе с Pandas на Spark и Scala? В чём преимущества этого дуэта и так ли сложно в итоге на него переучиться? Разбираем по полочкам.

https://nuancesprog.ru/p/8613

@nuancesprog #статьи #Apache #Scala #Spark

Динамические ссылки довольно часто можно встретить на сайтах, на которых выходит много материалов. Называть каждую страницу отдельным заголовком довольно времязатратно. Статические ссылки имеют ряд весомых преимуществ по сравнению с динамическими. Обсудим подробнее.

https://nuancesprog.ru/p/11534

@nuancesprog #статьи #Apache #SEO

Несмотря на то, что этот инструмент все еще далек от идеала, новый релиз Airflow 2.0 достиг довольно высокого уровня, позволяющего использовать его для больших производственных нагрузок. Такие обновления, как улучшение производительности планировщика и разделение кода на подпакеты, обеспечивают большую надежность и ускоряют цикл релизов. Рассмотрим все нововведения Airflow 2.0, а также разберемся, какие недостатки еще предстоит исправить.

https://nuancesprog.ru/p/11751

@nuancesprog #статьи #Apache

Обработка пакетных данных в режиме реального времени - одна из наиболее сложных задач. Каждый этап, от доставки и обработки данных до их анализа, занимает определенное время. К счастью, для устранения этих задержек есть такие инструменты, как Apache Kafka, Flink и Druid.

https://nsprg.ru/m00ELm

VK: https://nsprg.ru/ONLV0x

Дзен: https://nsprg.ru/mrpN8v

@nuancesprog #Apache #Kafka #Flink #Druid

Раскройте потенциал Airflow, придерживайтесь рекомендаций по повышению надежности и эффективности конвейеров данных, производительности, сопровождаемости и масштабируемости. Дадим примеры, как эти рекомендации реализовать.

https://nsprg.ru/OQZqpm

VK: https://nsprg.ru/mM8zpO

@nuancesprog #Apache #Airflow #DataScience

Автономные вычисления ждут вас! А приобщиться к ним можно с помощью специального фреймворка Apache Brooklyn, способного управлять настройкой и развёртыванием приложений на основе сложных алгоритмов. Без лишних слов - это инструмент, который вас приятно удивит.

https://nsprg.ru/vq6L8O

VK: https://nsprg.ru/mYbYyx

Дзен: https://nsprg.ru/mnkoVx

@nuancesprog #Apache #Brooklyn