Dev0ps
40 subscribers
211 photos
3 videos
50 files
3.33K links
Download Telegram
Классная статья о том как инженер парсил 25 терабайт данных.
https://livefreeordichotomize.com/2019/06/04/using_awk_and_r_to_parse_25tb/
🔍 Как на счёт утилиты, которая сможет визуализировать, с каких доменов происходит загрузка контента на сайте? Вот здесь можно посмотреть как это работает, а здесь проект доступен на Github.

#сайты #линк #фидбечат
Forwarded from DataEng
В блоге AirBnB вышла полезная статья про идемпотентный фреймворк для построения распределенных систем.

В самой статье идёт речь про кейс реализации системы предотвращающей двойное списание денег у клиентов сервиса.

Читаем: https://medium.com/airbnb-engineering/avoiding-double-payments-in-a-distributed-payments-system-2981f6b070bb
Для смелых, ловких и умелых - лог роутинг на rust https://vector.dev/ #logs #logging
Практически все кто использует Kubernetes, рано или поздно, сталкиваются с необходимостью подсчёта потребляемых ресурсов. Следующая штука должна вам очень помочь https://github.com/rchakode/kube-opex-analytics/blob/master/README.md ну и вдогонку отличная статья на тему - https://medium.com/swlh/bringing-prometheus-metrics-and-grafana-dashboard-for-cost-allocation-on-kubernetes-clusters-1ee7f68cd677 #k8s #capacity
Ну и раз неделя ДБ плавно перетекла в неделю логов - вот вам best practices для этого самого https://hackernoon.com/writing-some-actually-decent-logs-4f547aa4f2f6 #logs
Небольшая статья о том, как впилить proemtheus метрики в ваш любимый ML, на самом деле подойдет в качестве примера для любого batch приложения на python https://medium.com/under-the-microscope/prometheus-metrics-for-batch-jobs-on-kubernetes-b06ec3b620bc #python #prometheus #k8s
Forwarded from Dmitry
Вики: https://gitlab.com/mikler/glaber/wikis/
Сайт: https://glaber.io

Всю информацию, включая ссылку на репозитории, можно найти в вики. При отсутствии таковой - смело пишите 😉