Apache Spark is the major talking point in Big Data pipelines, boasting performance 10-100x faster than comparable tools. But how achievable are these speeds if you use a slow Python interpreter?

https://luminousmen.com/post/spark-tips-dataframe-api

Firekube - Fast and Secure Kubernetes Clusters Using Weave Ignite
https://www.weave.works/blog/firekube-fast-and-secure-kubernetes-clusters-using-weave-ignite

Git для данных - это давняя мечта многих разработчиков и дата-инженеров. Как организовать хранение и передачу данных так чтобы было похоже на систему контроля версий и учитывало объёмы и изменения в наборах данных.

Несколько проектов существуют для решения этой задачи, например такие:
- Dolt [1] [2] - умеет многое, объединять данные, сравнивать, делать таблицы сравнения, разрешать конфликты и тд. плюс многое из возможностей git'а
- Daff [3] позволяет работать с таблицами CSV и также сравнивать их, объединять и тд. Интегрирован с git
- DVC [4] система контроля версиями для проектов по машинному обучению. Довольно популярна и умеет многое связанное с проектами именно по ML


Ссылки:
[1] https://github.com/liquidata-inc/dolt
[2] https://www.dolthub.com/
[3] https://github.com/paulfitz/daff
[4] https://dvc.org/

#opendata #data #git #datatools

Facebook рассказывают о своём сервисе стриминга логов - Scribe.

"Transporting petabytes per hour" - вам такой объём скорее всего не нужен, но почитать интересно

#observability

Еще один экспортер для сбора метрик об утилизации кластера в Kubernetes https://github.com/cloudworkz/kube-eagle выглядит интереснее чем стандартные метрики #k8s #prometheus #exporters #utilization

Cilium описывают свою multi-master фичу или как они это называют - ClusterMesh

Должно быть интересно тем, кто собирается строить файловер между разными провайдерами

#kubernetes #networking

Пилим аутентификацию для клиентов gRPC https://medium.com/utility-warehouse-technology/grpc-client-authentication-bf899ac8ada8
#grpc #authentification #security

Готовя материал для одного мероприятия, наткнулся на бриллиантовую штуку - https://github.com/awslabs/aws-config-rdk

Кто не в курсе: AWS Config это система проверок на compliance в вашем аккаунте с поддержкой самописных правил.

Поскольку писать однотипные лямбды долго и скучно, Амазон выкатил свой девкит.

Building an AWS Serverless ML Pipeline with Step Functions
https://tech.olx.com/building-an-aws-serverless-ml-pipeline-with-step-functions-b39feed12bab

​​Слышали уже про Streamlit? Это такой Jupyter для ML. Не в том смысле, что у вас мощный веб-REPL, а по сути. Пара строчек, чтобы накидать виджетов, пара чтобы выкачать сырые данные, десяток для numpy, pandas, yolo, opencv, tensorflow или что вам там надо, и у вас шикарный интерактивный плейграунд для работы с этим всем. Почитайте Turn Python Scripts into Beautiful ML Tools, чтобы проникнуться.

#eda #kafka
Ну раз уж, видимо, неделя кафки, то вот история в двух частях(раз и два) про IQ Streams, или как запускать стейтфул вычисления на стримах. Если не интересно про стейтфул, то там еще вполне годное введение в streams и сравнение с prod\cons api

Existing ML platform architectures:

Stanford’s DAWN
Uber’s Michelangelo
Facebook’s FBLearner Flow
Google’s TFX
Netflix
Airbnb's Bighead
DataBricks’ MLflow

#bigdata #ml

Сайзинг Elasticsearch / Хабр
https://m.habr.com/ru/company/galssoftware/blog/470640/

Когда хороший opensource продукт обрастает enterprise фичами за деньги, его форкают, затаскивают enterprise фичи и выпиливают прошлые недостатки. По крайней мере стараются)

Кажется именно это происходит с Redis. Новый монстр зовется KeyDB и по описаниям еще быстрее редиски, избавился от sentinel, умеет в мультимастер и кучу другого сахара

Описание - http://bit.ly/33dIQUx
Github - http://bit.ly/2nzNkpy
Новость из канала @sysadmin_tools