📊 Попытка приготовить ELK стек в докере и сразу же учесть вопросы мониторинга, безопасности и сбора метрик - https://github.com/sherifabdlnaby/elastdocker Возможно, для кого-то окажется полезным, как пример реализации.

#docker #elk #github

Горизонтальное масштабирование и отказоустойчивость Redis для сервисных служб DirectumRX / Хабр
https://m.habr.com/ru/company/directum/blog/469543/

🖱 Как система работает с данными на диске - интересное чтиво для понимания происходящего: https://ownyourbits.com/2018/05/02/understanding-disk-usage-in-linux/

#напочитать #фидбечат

​​В частоупоминаемые базворды внезапно ворвался Airflow. Я не знаю кто как раньше решал схожие задачи с data processing pipeline, но теперь это или Airflow от Airbnb, или Luigi от Spotify. Обычно первое.

Нетипично для софта из Apache, но оно на Python. На нём пишется кастомная логика, шаблоны шаблонизируются через Jinja, возможностей много. Используется для автоматизации последовательностей каких-то рутин, которые можно представить в виде направленного графа. Что-то сделать, куда-то пойти, поспать денёк, сходить повторить-проверить… такой вот способ композиции логики. Есть также простой UI для мониторинга всего происходящего.

Воротят с этим всем что угодно, даже с Докером интегрируют. Посмотрите простую вводную статью, пояснительный видос Developing elegant workflows with Apache Airflow и теперь вы в теме.

Не плохо, если лень лезть в gitlab/etc, а нужна чисто доска

https://habr.com/ru/company/lanit/blog/462855/

#gitlab #vue #vuejs #frontend

Классный вебинар от OTUS
https://www.youtube.com/watch?v=-QGAeE6W884&t=
#failover #dba

Cruise продолжают расширять свой открытый kubernetes-toolset и теперь заопенсорсили тулзу для менеджмента конфигураций - Isopod

Их подход чем-то напоминает подход Pulumi, где состояние инфраструктуры описывается ЯП общего назначения. Cruise выбрали для своего Isopod Starlark - диалект Python от Google. Что ИМХО странно, но если вы работали с Bazel - проблем возникнуть не должно.

Осталось дождаться отзывов от кого-либо помимо авторов 😄

#kubernetes

​Этот файл содержит развесистое дерево систем мониторинга. Здесь собраны известные вендоры, которые специализируются на той или иной области мониторинга (приложения, сети, инфраструктура и т.д.). Каждый год этот отчёт выкладывает у себя на сайте BigPanda. Их решение — event consolidator с искусственным интеллектом (или AIOps).

​Издательство Wiley, которое выпускает серию «Для чайников» часто под этим же брендом публикует совместные издания с разными компаниями. В этой подборке три книги по теме мониторинга.

Alert Correlation for Dummies (совместно с BigPanda)

AIOps for Dummies (совместно с FixStream)

Network Monitoring for Dummies (совместно с Solarwinds)

​Видели бесплатную штуку для предиктивной аналитики в Grafana? Работает пока только с некоторыми источниками (Influxdb, Graphite, Prometheus, PostgreSQL / TimescaleDB, ElasticSearch).

Knock Knock!
Asynchronous programming.
Who's there?

Asynchronous programming. Blocking I/O and non-blocking I/O
Asynchronous programming. Cooperative multitasking
Asynchronous programming. Await the Future
Asynchronous programming. Python3.5+

Вот и подошел к концу очередной Kafka Summit San Francisco. Это получился очень большой евент - порядка 2500 участников и спонсоров!
Ключевые highlights
• Jun Rao рассказал о том, почему Kafka была создана в LinkedIn и куда движется разработка
• Jay Kreps анонсировал очень крутые фичи KSQL - встроенный Kafka Connect (чтобы одним запросом создавать external tables) и расширение языка запросов, который позволит делать point in time queries (как обычная база данных). Подробнее можно почитать тут
◦ http://cnfl.io/ksql-klip-7
◦ http://cnfl.io/ksql-klip-8
◦ видосик
•
• Мы (Confluent) так же анонсировали, что вы можете погонять Кафку в клауде почти за даром - выдаем $50 на аккаунт на первые три месяца - вполне достаточно для POC
◦ видосик
•
Так же можно почитать recap от Tim Berglund
• day 1
• day 2
Видосы всех сессий будут доступны очень скоро! Следите за анонсами в этом канале

Dodo Pizza запилили крутую статью про raft https://habr.com/ru/company/dodopizzaio/blog/469999/ картинка просто гениальная! #raft #consensus

Here is a great explanation of what is a scalar, vector, matrix, tensor https://t.co/IMYE3oeRsQ

\w+: Опять о своих регулярках думает\.
\w+: Регулярки мои регулярочки\.

О том, как писать меньше регулярок в питоне.

+ parse -- противоположность str.format. Задаёте строку форматирования, пропихиваете текст, а на выходе подстановки:

>>> parse("It's {}, I love it!", "It's spam, I love it!")
<Result ('spam',) {}>

Отлично работает в двух случаях (а когда оба одновременно, так вообще идеально):

1. Нужна обратимость. Распарсили, подправили кусок, собрали обратно. Для простых случаев есть re.sub, для сложных... Тоже он, на самом деле, туда ведь функцию можно передать. Но лучше так не делать.

2. Строка шаблона длинная и сложная, а "переменная" часть совсем небольшая. Я так из своего Go кода названия тестов достаю. Сигнатура у тестов длинная и с кучей символов, и регулярка здесь состояла бы из сплошных экранирований. А с parse получается красивый короткий шаблон.

Есть проблемы с тем, чтобы внутри шалона всё-таки задать кастомную регулярку. Там есть для этого механизм, но он очень ограниченный. Зато для простых случаев самое то.

+ cursive_re -- конструктор регулярок из конструкции человекочитаемых функций:

>>> hash = text('#')
>>> hexdigit = any_of(in_range('0', '9') + in_range('a', 'f') + in_range('A', 'F'))
>>> hexcolor = (
...     beginning_of_line() + hash +
...     group(repeated(hexdigit, exactly=6) | repeated(hexdigit, exactly=3)) +
...     end_of_line()
... )

+ expynent -- коллекция популярных регулярок, чтобы не писать самому. Ну там email, url, вот это вот всё.

Флант перевели заметку о том, для чего и как работает Kustomize, ставший частью kubectl в Kubernetes 1.14: https://habr.com/ru/company/flant/blog/469179/

prymitive/karma description changed: v0.46
Link: https://github.com/prymitive/karma/releases/tag/v0.46
Release notes:

This release adds extra configuration options:

*   [karma:name](https://github.com/prymitive/karma/blob/master/docs/CONFIGURATION.md#karma) - for setting custom tab name in the browser ([#994](https://github.com/prymitive/karma/pull/994) [@nledez](h...

More

Privileged access management for elastic infrastructure
https://github.com/gravitational/teleport
#security #bastion #ssh