Смотрю я на этот репозиторий и радуюсь — столько полезного о SRE можно узнать.

📊 Open Web Analytics.

До сегодняшнего дня, я был знаком только с одной системой аналитики - Matomo (бывший Piwik). Как-то так вышло, что проект OWA прошёл мимо меня, но вот сегодня я таки наткнулся на него.

И вы знаете, выглядит интересно - трекинг конверсий, действий, возможность интеграции с тем же Wordpress'ом и всё вот это вот. Нет, это не 100% замена Google Analitics, но если вы уверены, что базовой аналитики вам будет достаточно, и при этом вы хотите, что бы собранные вами данные оставались при вас, к Open Web Analytics стоит присмотреться.

Начать знакомство можно с сайта (там есть и демо версия) проекта. Доступна так же Wiki, и соответствующий Github репозиторий.

#analitics #selfhosted #github

🛠 Сheckup.

Интересный мониторинг доступности нашёлся. Создал его Matt Holt - это "автор" веб-сервера Caddy. Мониторинг умеет проверять HTTP, TLS, DNS, TCP. Данные, при этом, хранит на Amazon S3, Github, в локальном хранилище, sqlite3 или PostgreSQL. Управляется всё это через json конфиг, что так же весьма удобно.

Я в своей работе для этих задач обычно PHP Server Monitor использую (писал о нём здесь, в своё время), но похоже что и к Сheckup'у присмотрюсь.

#monitoring #checkup

​​Great Expectations: Always know what to expect from your data.

Great Expectations helps data teams eliminate pipeline debt, through data testing, documentation, and profiling.

Software developers have long known that testing and documentation are essential for managing complex codebases. Great Expectations brings the same confidence, integrity, and acceleration to data science and data engineering teams.

See Down with Pipeline Debt! for an introduction to the philosophy of pipeline testing: https://medium.com/@expectgreatdata/down-with-pipeline-debt-introducing-great-expectations-862ddc46782a

Key features:
- Expectations or assertions for data. They are the workhorse abstraction in Great Expectations, covering all kinds of common data issues
- Batteries-included data validation
- Tests are docs and docs are tests: many data teams struggle to maintain up-to-date data documentation. Great Expectations solves this problem by rendering Expectations directly into clean, human-readable documentation
- Automated data profiling: wouldn't it be great if your tests could write themselves? Run your data through one of Great Expectations' data profilers and it will automatically generate Expectations and data documentation
- Pluggable and extensible

https://github.com/great-expectations/great_expectations

#python #ds #docops

Apache Arrow and Java: Lightning Speed Big Data Transfer
https://xn--r1a.website/iv?url=https://www.infoq.com/articles/apache-arrow-java/&rhash=6030af2cd8fcfe

🛠 Live Patching Tools.

Сравнение livepatch-утилит, которые позволяют патчить ядро налету, уменьшая, тем самым, количество необходимых ребутов.

#livepatch #kernel #напочитать

Troubleshooting CPU spike in a Major Trading Application
https://xn--r1a.website/iv?url=https://medium.com/@RamLakshmanan/troubleshooting-cpu-spike-in-a-major-trading-application-cb7ad222ff9f?source=rss------java-5&rhash=f5b2f9872995e4

Descriptive statistics will teach you the basic concepts used to describe the data sample

https://luminousmen.com/post/descriptive-and-inferential-statistics

никто на это не напоролся ? https://www.opennet.ru/opennews/art.shtml?num=53061
проблема 2020-го года :)

​Метрики, логи и трейсы — три вещи, которые покажут всё о здоровье приложения. В этом видео разработчик Grafana Labs рассказывает как настроить корреляцию этих трёх субстанций в Grafana на основе лейлблов. Это ещё одно выступление с Fosdem 2020.