Prometheus и VictoriaMetrics: отказоустойчивая инфраструктура для хранения метрик / Miro / Хабр
https://m.habr.com/ru/company/miro/blog/531880/
https://m.habr.com/ru/company/miro/blog/531880/
Хабр
Prometheus и VictoriaMetrics: отказоустойчивая инфраструктура для хранения метрик
В статье мой коллега Luca Carboni, DevOps Engineer из амстердамского офиса Miro, рассказывает, как выглядит наша инфраструктура для хранения метрик. Все компоненты в ней соответствуют принципам...
Forwarded from Teamlead Good Reads – ежедневные советы про менеджмент людей и команд (Anton Kondrashov)
Создаем микросервисные монолиты. 10 проблем при переходе от монолита к микросервисам: догоняющий поток фич, переписывание кода и тестов и другое.
https://habr.com/ru/post/531104/
https://habr.com/ru/post/531104/
Хабр
Скрытые расходы при переходе на микросервисы
В идеальном мире можно просто взять исходный код монолита, разделить его код между микросервисами и, соединив их между собой, получить ту же систему, но на новой архитектуре. В жизни так не...
Forwarded from There will be no singularity
Прошло несколько месяцев с публикации прошлой версии подборки экзотических применений SQL, поэтому не грех опубликовать ее еще раз, добавив еще один пункт.
Не все знают, но SQL можно использовать не только для работы с данными в БД.
Есть возможность манипулировать данными из командной строки.
Зачем такое может понадобиться?
1) Парсинг JSON-логов
https://github.com/avz/jl-sql
Можно придумать много хороших usecases. Я писал про эту тулзу в статье про тестирование логов - https://xn--r1a.website/nosingularity/198
https://osquery.io/
Совершенно безумная и красивая идея. 257 источников данных!
https://github.com/escherize/img_sql/
4) SQL для MongoDB, DynamoDB, Kafka, S3
Если не хочется работать с монгой, но очень нужно, то можно выкрутиться так
https://rockset.com/solutions/mongodb/
Например, отлично зайдет для использования в тулзах для визуализации, таких как Grafana.
Насколько это имеет смысл для работы с базами из приложения, сказать сложно.
5) SQL для запросов по git репозиториям
https://github.com/augmentable-dev/gitqlite (переименовали в askgit)
https://relational-pipes.globalcode.info/v_0/examples-jack-midi-generating-1.xhtml
Не все знают, но SQL можно использовать не только для работы с данными в БД.
Есть возможность манипулировать данными из командной строки.
Зачем такое может понадобиться?
1) Парсинг JSON-логов
https://github.com/avz/jl-sql
Можно придумать много хороших usecases. Я писал про эту тулзу в статье про тестирование логов - https://xn--r1a.website/nosingularity/198
> cat data.json | jl-sql 'SELECT key, SUM(value) AS sum, COUNT(*) AS count GROUP BY key'2) Работа с параметрами операционной системы
https://osquery.io/
Совершенно безумная и красивая идея. 257 источников данных!
> osqueryi --json "SELECT * FROM mounts m, disk_encryption d WHERE m.device_alias = d.name AND d.encrypted = 0;"3) Работа с изображениями
https://github.com/escherize/img_sql/
> ./img_sql.py -i samples/matrix.jpg -o samples/matrix_out.jpg -s 'update pixels set r = g, b = r, g = b where x > 700'Осталось написать транспайлер в GLSL и будет win :)
4) SQL для MongoDB, DynamoDB, Kafka, S3
Если не хочется работать с монгой, но очень нужно, то можно выкрутиться так
https://rockset.com/solutions/mongodb/
Например, отлично зайдет для использования в тулзах для визуализации, таких как Grafana.
Насколько это имеет смысл для работы с базами из приложения, сказать сложно.
5) SQL для запросов по git репозиториям
https://github.com/augmentable-dev/gitqlite (переименовали в askgit)
> -- how many commits have been authored by user@email.com?6) Играем музыку оО
> SELECT count(*) FROM commits WHERE author_email = 'user@email.com'
https://relational-pipes.globalcode.info/v_0/examples-jack-midi-generating-1.xhtml
Forwarded from Технологический Болт Генона
How to Manage Application Secrets (7 Levels of Credential Management)
https://devopsdirective.com/posts/2020/11/credential-management/
https://devopsdirective.com/posts/2020/11/credential-management/
Forwarded from oleg_log (Oleg Kovalov)
Google совместно с Open Source Security Foundation (OpenSSF даж такое есть, да) сделали тулзу для проверки опен сурс зависимостей в вашем коде.
Анонс https://opensource.googleblog.com/2020/12/finding-critical-open-source-projects.html
Тулза https://github.com/ossf/criticality_score
CSV для C, C++, Java, JS, Python, Rust https://commondatastorage.googleapis.com/ossf-criticality-score/index.html
Какой-то пример для Kubernetes:
Анонс https://opensource.googleblog.com/2020/12/finding-critical-open-source-projects.html
Тулза https://github.com/ossf/criticality_score
CSV для C, C++, Java, JS, Python, Rust https://commondatastorage.googleapis.com/ossf-criticality-score/index.html
Какой-то пример для Kubernetes:
❯ criticality_score --repo github.com/kubernetes/kubernetes
name: kubernetes
url: https://github.com/kubernetes/kubernetes
language: Go
created_since: 79
updated_since: 0
contributor_count: 3672
org_count: 5
commit_frequency: 103.5
recent_releases_count: 79
closed_issues_count: 2912
updated_issues_count: 5131
comment_frequency: 5.7
dependents_count: 407311
criticality_score: 0.98641
Google Open Source Blog
Finding Critical Open Source Projects
Open source software (OSS) has long suffered from a "tragedy of the commons" problem.
Forwarded from CatOps
Автоматический файловер асинхронной репликации в MySQL 8.0.22.
Позволяет автоматически переключиться на файловер сорс, если основной выпал. В статье также есть гайд, как это настроить.
#databases
Позволяет автоматически переключиться на файловер сорс, если основной выпал. В статье также есть гайд, как это настроить.
#databases
Forwarded from Полезняшки от "Разбора Полетов"
Kafka as a storage system
https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/kafka-as-a-storage-system.html
https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/kafka-as-a-storage-system.html
Twitter
Kafka as a storage system
Kafka is traditionally used to power streaming infrastructures. Learn how we used Kafka as a storage system to build the Account Activity API Replay Feature.
Forwarded from Записки админа
🔩 Интересная утилита и занятный подход к работе с переменными окружения: https://direnv.net/ #фидбечат #shell
Миграция реального приложения со standalone MySQL на Percona XtraDB Cluster / Хабр
https://m.habr.com/ru/post/422347/
https://m.habr.com/ru/post/422347/
Хабр
Миграция реального приложения со standalone MySQL на Percona XtraDB Cluster
К сожалению в интернете довольно мало информации по миграции реальных приложений и продакшн эксплуатации Percona XtraDB Cluster (далее PXC). Своим рассказом я постараюсь исправить эту ситуацию...
Forwarded from Записки админа
👨🏻💻 Наверное, вы и так знаете этот ресурс, но если нет, то вот https://learnxinyminutes.com/ - короткие и доступные вводные по различным темам, языкам и утилитам. Некоторые разделы доступны и на русском. #линк #напочитать
Forwarded from CatOps
And today we have a digest of comparisons:
- Istio 1.5.0 and Linkerd 2.7.1
- Promscale vs VictoriaMetrics
- Benchmark results of Kubernetes network plugins
- Vim vs Emacs
#digest
- Istio 1.5.0 and Linkerd 2.7.1
- Promscale vs VictoriaMetrics
- Benchmark results of Kubernetes network plugins
- Vim vs Emacs
#digest
elastisys
Benchmarking Istio 1.5.0 and Linkerd 2.7.1 (Master Thesis) - elastisys
Erik Dahlberg's Master Thesis compares Istio and Linkerd: features, maturity, ease of use, and of course: performance via benchmarking.
Мы скачали 10 миллионов Jupyter-ноутбуков с Github — и вот что мы выяснили / JetBrains / Хабр
https://m.habr.com/ru/company/JetBrains/blog/533584/
https://m.habr.com/ru/company/JetBrains/blog/533584/
Хабр
Мы скачали 10 миллионов Jupyter-ноутбуков с Github — и вот что мы выяснили
Привет, Хабр! На связи команда Datalore by JetBrains. Хотим поделиться с вами результатами анализа нескольких миллионов публично доступных репозиториев Github с Jupyter-ноутбуками. Мы скачали...
Cloudflare представила сервис Pages для статичных сайтов JAMstack / Хабр
https://m.habr.com/ru/news/t/534074/
https://m.habr.com/ru/news/t/534074/
Хабр
Cloudflare представила сервис Pages для статических сайтов JAMstack
Компания Cloudflare анонсировала продукт Cloudflare Pages. Сервис помогает разработчикам создавать сайты с использованием подхода JAMstack. Сайты, созданные в Pages, будут публиковаться в...
Forwarded from Технологический Болт Генона
Use the Microsoft Application Inspector to analyze your source code
https://zimmergren.net/use-microsoft-application-inspector-to-analyze-source-code/
+
https://github.com/microsoft/ApplicationInspector
Поддерживаемые языки
https://github.com/microsoft/ApplicationInspector/wiki/3.4-Applies_to-(languages)#language-support
https://zimmergren.net/use-microsoft-application-inspector-to-analyze-source-code/
+
A source code analyzer built for surfacing features of interest and other characteristics to answer the question 'What's in the code?' quickly using static analysis with a json based rules engine.https://github.com/microsoft/ApplicationInspector
Поддерживаемые языки
https://github.com/microsoft/ApplicationInspector/wiki/3.4-Applies_to-(languages)#language-support
Forwarded from Записки админа
ModSecurity_3_NGINX_Quick_Start_Guide.pdf
5.1 MB
Forwarded from Полезняшки от "Разбора Полетов"
Why CockroachDB and PostgreSQL Are Compatible
https://www.cockroachlabs.com/blog/why-postgres/
https://www.cockroachlabs.com/blog/why-postgres/
Cockroachlabs
Why CockroachDB and PostgreSQL are compatible
CockroachDB is PostgreSQL compatible in order to be accessible to an ecosystem of drivers, existing code, and developer knowledge.