Knock Knock!
Asynchronous programming.
Who's there?

Asynchronous programming. Blocking I/O and non-blocking I/O
Asynchronous programming. Cooperative multitasking
Asynchronous programming. Await the Future
Asynchronous programming. Python3.5+

Вот и подошел к концу очередной Kafka Summit San Francisco. Это получился очень большой евент - порядка 2500 участников и спонсоров!
Ключевые highlights
• Jun Rao рассказал о том, почему Kafka была создана в LinkedIn и куда движется разработка
• Jay Kreps анонсировал очень крутые фичи KSQL - встроенный Kafka Connect (чтобы одним запросом создавать external tables) и расширение языка запросов, который позволит делать point in time queries (как обычная база данных). Подробнее можно почитать тут
◦ http://cnfl.io/ksql-klip-7
◦ http://cnfl.io/ksql-klip-8
◦ видосик
•
• Мы (Confluent) так же анонсировали, что вы можете погонять Кафку в клауде почти за даром - выдаем $50 на аккаунт на первые три месяца - вполне достаточно для POC
◦ видосик
•
Так же можно почитать recap от Tim Berglund
• day 1
• day 2
Видосы всех сессий будут доступны очень скоро! Следите за анонсами в этом канале

Dodo Pizza запилили крутую статью про raft https://habr.com/ru/company/dodopizzaio/blog/469999/ картинка просто гениальная! #raft #consensus

Here is a great explanation of what is a scalar, vector, matrix, tensor https://t.co/IMYE3oeRsQ

\w+: Опять о своих регулярках думает\.
\w+: Регулярки мои регулярочки\.

О том, как писать меньше регулярок в питоне.

+ parse -- противоположность str.format. Задаёте строку форматирования, пропихиваете текст, а на выходе подстановки:

>>> parse("It's {}, I love it!", "It's spam, I love it!")
<Result ('spam',) {}>

Отлично работает в двух случаях (а когда оба одновременно, так вообще идеально):

1. Нужна обратимость. Распарсили, подправили кусок, собрали обратно. Для простых случаев есть re.sub, для сложных... Тоже он, на самом деле, туда ведь функцию можно передать. Но лучше так не делать.

2. Строка шаблона длинная и сложная, а "переменная" часть совсем небольшая. Я так из своего Go кода названия тестов достаю. Сигнатура у тестов длинная и с кучей символов, и регулярка здесь состояла бы из сплошных экранирований. А с parse получается красивый короткий шаблон.

Есть проблемы с тем, чтобы внутри шалона всё-таки задать кастомную регулярку. Там есть для этого механизм, но он очень ограниченный. Зато для простых случаев самое то.

+ cursive_re -- конструктор регулярок из конструкции человекочитаемых функций:

>>> hash = text('#')
>>> hexdigit = any_of(in_range('0', '9') + in_range('a', 'f') + in_range('A', 'F'))
>>> hexcolor = (
...     beginning_of_line() + hash +
...     group(repeated(hexdigit, exactly=6) | repeated(hexdigit, exactly=3)) +
...     end_of_line()
... )

+ expynent -- коллекция популярных регулярок, чтобы не писать самому. Ну там email, url, вот это вот всё.

Флант перевели заметку о том, для чего и как работает Kustomize, ставший частью kubectl в Kubernetes 1.14: https://habr.com/ru/company/flant/blog/469179/

prymitive/karma description changed: v0.46
Link: https://github.com/prymitive/karma/releases/tag/v0.46
Release notes:

This release adds extra configuration options:

*   [karma:name](https://github.com/prymitive/karma/blob/master/docs/CONFIGURATION.md#karma) - for setting custom tab name in the browser ([#994](https://github.com/prymitive/karma/pull/994) [@nledez](h...

More

Privileged access management for elastic infrastructure
https://github.com/gravitational/teleport
#security #bastion #ssh

Если что, мы тоже хайрим :)
В Барселону: https://n26.com/en/careers/positions/1807531
и Берлин: https://n26.com/en/careers/positions/1490911

если кому интересны детали, могу в ЛС рассказать. Знать каталанский/испанский/немецкий не обязательно

DevOps дайджест #26

У нас тут вышел дайджест! Для тех, кто ценит свое время и хочет максимум информации за минимум времени.

Особенность дайджеста - мы сделали его в команде. Целых 5 человек из сообщества принимало участие, и как результат у нас есть большие разделы, качественно подобранная информация и ее больше чем обычно раза в 3 😊

Очень классно, что мы убрали bus factor в виде меня, и улучшили объёмы + качество. Спасибо, Влад, Дима, Леша и Андрей 💪💪💪

https://dou.ua/lenta/digests/devops-digest-26/

Что такое 4Т-мониторинг? Читайте в новом посте на Медиуме.

🔎 И вот ещё s3audit - утилита для быстрой проверки S3 хранилища на соответствие правилам безопасности. https://github.com/scalefactory/s3audit

#aws #security #github

A High-Performance, Logs, Metrics, & Events Router
#devops #logs #rust
https://github.com/timberio/vector

A collection of the most popular graphs and diagrams with examples on python https://python-graph-gallery.com/

Apache Spark is the major talking point in Big Data pipelines, boasting performance 10-100x faster than comparable tools. But how achievable are these speeds if you use a slow Python interpreter?

https://luminousmen.com/post/spark-tips-dataframe-api

Firekube - Fast and Secure Kubernetes Clusters Using Weave Ignite
https://www.weave.works/blog/firekube-fast-and-secure-kubernetes-clusters-using-weave-ignite

Git для данных - это давняя мечта многих разработчиков и дата-инженеров. Как организовать хранение и передачу данных так чтобы было похоже на систему контроля версий и учитывало объёмы и изменения в наборах данных.

Несколько проектов существуют для решения этой задачи, например такие:
- Dolt [1] [2] - умеет многое, объединять данные, сравнивать, делать таблицы сравнения, разрешать конфликты и тд. плюс многое из возможностей git'а
- Daff [3] позволяет работать с таблицами CSV и также сравнивать их, объединять и тд. Интегрирован с git
- DVC [4] система контроля версиями для проектов по машинному обучению. Довольно популярна и умеет многое связанное с проектами именно по ML


Ссылки:
[1] https://github.com/liquidata-inc/dolt
[2] https://www.dolthub.com/
[3] https://github.com/paulfitz/daff
[4] https://dvc.org/

#opendata #data #git #datatools