prymitive/karma description changed: v0.46
Link: https://github.com/prymitive/karma/releases/tag/v0.46
Release notes:

This release adds extra configuration options:

*   [karma:name](https://github.com/prymitive/karma/blob/master/docs/CONFIGURATION.md#karma) - for setting custom tab name in the browser ([#994](https://github.com/prymitive/karma/pull/994) [@nledez](h...

More

Privileged access management for elastic infrastructure
https://github.com/gravitational/teleport
#security #bastion #ssh

Если что, мы тоже хайрим :)
В Барселону: https://n26.com/en/careers/positions/1807531
и Берлин: https://n26.com/en/careers/positions/1490911

если кому интересны детали, могу в ЛС рассказать. Знать каталанский/испанский/немецкий не обязательно

DevOps дайджест #26

У нас тут вышел дайджест! Для тех, кто ценит свое время и хочет максимум информации за минимум времени.

Особенность дайджеста - мы сделали его в команде. Целых 5 человек из сообщества принимало участие, и как результат у нас есть большие разделы, качественно подобранная информация и ее больше чем обычно раза в 3 😊

Очень классно, что мы убрали bus factor в виде меня, и улучшили объёмы + качество. Спасибо, Влад, Дима, Леша и Андрей 💪💪💪

https://dou.ua/lenta/digests/devops-digest-26/

Что такое 4Т-мониторинг? Читайте в новом посте на Медиуме.

🔎 И вот ещё s3audit - утилита для быстрой проверки S3 хранилища на соответствие правилам безопасности. https://github.com/scalefactory/s3audit

#aws #security #github

A High-Performance, Logs, Metrics, & Events Router
#devops #logs #rust
https://github.com/timberio/vector

A collection of the most popular graphs and diagrams with examples on python https://python-graph-gallery.com/

Apache Spark is the major talking point in Big Data pipelines, boasting performance 10-100x faster than comparable tools. But how achievable are these speeds if you use a slow Python interpreter?

https://luminousmen.com/post/spark-tips-dataframe-api

Firekube - Fast and Secure Kubernetes Clusters Using Weave Ignite
https://www.weave.works/blog/firekube-fast-and-secure-kubernetes-clusters-using-weave-ignite

Git для данных - это давняя мечта многих разработчиков и дата-инженеров. Как организовать хранение и передачу данных так чтобы было похоже на систему контроля версий и учитывало объёмы и изменения в наборах данных.

Несколько проектов существуют для решения этой задачи, например такие:
- Dolt [1] [2] - умеет многое, объединять данные, сравнивать, делать таблицы сравнения, разрешать конфликты и тд. плюс многое из возможностей git'а
- Daff [3] позволяет работать с таблицами CSV и также сравнивать их, объединять и тд. Интегрирован с git
- DVC [4] система контроля версиями для проектов по машинному обучению. Довольно популярна и умеет многое связанное с проектами именно по ML


Ссылки:
[1] https://github.com/liquidata-inc/dolt
[2] https://www.dolthub.com/
[3] https://github.com/paulfitz/daff
[4] https://dvc.org/

#opendata #data #git #datatools

Facebook рассказывают о своём сервисе стриминга логов - Scribe.

"Transporting petabytes per hour" - вам такой объём скорее всего не нужен, но почитать интересно

#observability

Еще один экспортер для сбора метрик об утилизации кластера в Kubernetes https://github.com/cloudworkz/kube-eagle выглядит интереснее чем стандартные метрики #k8s #prometheus #exporters #utilization

Cilium описывают свою multi-master фичу или как они это называют - ClusterMesh

Должно быть интересно тем, кто собирается строить файловер между разными провайдерами

#kubernetes #networking

Пилим аутентификацию для клиентов gRPC https://medium.com/utility-warehouse-technology/grpc-client-authentication-bf899ac8ada8
#grpc #authentification #security

Готовя материал для одного мероприятия, наткнулся на бриллиантовую штуку - https://github.com/awslabs/aws-config-rdk

Кто не в курсе: AWS Config это система проверок на compliance в вашем аккаунте с поддержкой самописных правил.

Поскольку писать однотипные лямбды долго и скучно, Амазон выкатил свой девкит.

Building an AWS Serverless ML Pipeline with Step Functions
https://tech.olx.com/building-an-aws-serverless-ml-pipeline-with-step-functions-b39feed12bab

​​Слышали уже про Streamlit? Это такой Jupyter для ML. Не в том смысле, что у вас мощный веб-REPL, а по сути. Пара строчек, чтобы накидать виджетов, пара чтобы выкачать сырые данные, десяток для numpy, pandas, yolo, opencv, tensorflow или что вам там надо, и у вас шикарный интерактивный плейграунд для работы с этим всем. Почитайте Turn Python Scripts into Beautiful ML Tools, чтобы проникнуться.