​VictoriaLogs Source Reading

В этой статье рассматривается архитектура VictoriaLogs, основные компоненты и функции, включая механизмы хранения, индексирование, запросы и визуализацию данных, а также сравнивается с другими решениями по управлению логами. Читать статью.

Пишем модули для Nginx

Nginx — это не просто веб‑сервер, а платформа, возможности которой можно расширять своими модулями. Если вам не хватает стандартного функционала и хочется больше контроля над обработкой запросов, кастомные модули могут позволить внедрять свою логику, оптимизировать маршрутизацию, фильтровать контент и реализовывать нестандартные механизмы аутентификации. Читать дальше.

FastAPI Template — лучший темплейт со всем что надо для старта на FastAPI!

Одной из самых замечательных особенностей является то, что этот проект очень легко настраивается. Вы можете выбирать между различными базами данных и даже ORM, а можете даже сгенерировать проект без базы данных! В настоящее время поддерживаются SQLAlchemy 2.0, TortoiseORM, Piccolo и Ormar.

Фичи темплейта:
- Pydantic V2 (где это возможно, некоторые либы не поддерживают)
- Вы можете выбрать между GraphQL и REST API
- uvicorn и gunicorn
- Поддержка различных баз данных и ORM
- Опциональные миграции для каждого ORM (кроме сырых драйверов)
- Различные CI\CD
- Дополнительные демонстрационные роуты и модели (это поможет вам увидеть, как устроен проект)
- Сгенерированные тесты с почти 90% покрытием
- Дополнительная поддержка Redis, RabbitMQ, Kafka и taskiq
- Опциональная интеграция с Prometheus, Sentry и Opentelemetry
- Опциональный логгер Loguru

Ссылку оставляю тут.

#python #fastapi #template

Всем DevOps! Мы уже рассказывали вам про зомби-ресурсы в облачных инфраструктурах. Вот только облака — не единственное место их обитания.

🧟 Зомби-memcg — остаточные memory cgroups в Linux, которые продолжают существовать, даже если все связанные с ними процессы завершены. Они могут нести за собой высокие нагрузки, нехватку производительности системы и памяти.

Почему это происходит?

• Баги в старых версиях ядра Linux, где очистка невозможна из-за ссылок на memcg;
• Некоторые структуры данных продолжают "удерживать" memcg, даже если сам он уже не используется (например pagecache, kernel stack, shared memory и др.).

О том, как найти и победить зомби-memcg рассказали в статье Oracle. Читаем и проверяем, не спряталась ли у вас парочка зомби!

#DevOps #Linux

https://github.com/confidential-containers/operator

Прикольный оператор, и даже работает. Регистрирует через плагин кубелета контейнер рантайм. Тестировали на kata контейнерах. Может кому пригодится)

The ZeroMQ Process: C4
https://hintjens.gitbooks.io/social-architecture/content/chapter4.html

​tailpipe

Утилита для селекта из логов. Есть готовые пресеты для обнаружения результатов, соответствующих MITRE ATT&CK. Работает локально, использует аналитику в памяти DuckDB и оптимизированное хранилище Parquet.

Репыч на Гитхабе

Why VictoriaLogs is a better alternative to Grafana Loki?

https://itnext.io/why-victorialogs-is-a-better-alternative-to-grafana-loki-7e941567c4d5

#logs #loki #victorialogs

Не часто советую учебные курсы, но тут нашел интересную возможность пройти бесплатно вводный курс по DevOps. Классно, что есть расширенный чек-лист, который поможет сориентироваться в мире DevOps и понять куда двигаться. И, похоже, на собесах может помочь.

А у самой платформы не сотни менторов, а один, он же основатель. Еще увидел у него классную программу наставничества, формат действительно эффективный.
Ну и можете заглянуть в телеграм-канал, там много, на мой взгляд, полезных публикаций.

Наслаждайтесь 😄

#реклама

Open-source инструменты для визуализации данных

В статье рассмотрены D3.js, Apache Superset, Metabase, Grafana (куда ж без нее), Redash и RAWGraphs.

На канале DevOps FM — подборка свежих статей и релизов.

🟡 Опубликована Debian 12.10

Новый релиз включает в себя улучшенный установочный носитель, 66 багфиксов и 44 обновления с устранением уязвимостей. Версия 12.10 является последней в ветке, следующий мажорный выпуск Debian 13 должен выйти во второй половине 2025 года.

Полный список фиксов — тут.

⚫️ В блоге CNCF рассказали о создании масштабируемых, гибких и безопасных API с использованием Kubernetes и микросервисов. В статье обсуждаются инструменты и практики для обеспечения высокой доступности и эффективности API, а также рекомендации по обеспечению безопасности с помощью Kubernetes.

🟡 Релизнули Git v2.49. В обновление вошли 460 функций и исправления ошибок от 89 разработчиков. Из интересного:

• Добавили новый инструмент git backfill;
• git clone научился делать shallow clone для одного коммита;
• Ускорили упаковку благодаря name‑hash v2;
• Были добавлены первые фрагменты кода Rust.

⚫️ OpenSearch поделились новой функцией векторного поиска с GPU ускорением, которая будет добавлена в предстоящем релизе OpenSearch 3.0. Функция необходима для ускорения обработки больших объёмов векторных данных. Для этого обновили архитектуру, алгоритмы взаимодействия и сделали сравнительный анализ.

Подробное описание и результаты анализа смотрим в блоге.

#Devops #Git #OpenSearch

Наш архитектурный подход к Python приложениям
https://ift.tt/GLgadCO

Мы долгие годы писали сервисы исходя из каких-то своих внутренних ощущений правильности их написания. Но синхронизироваться по хорошим практикам в разных командах бывает довольно сложно и часто хорошие практики не выходили за рамки одной команды, а такого хотелось бы избежать. Поэтому мы решили объединить все хорошие по нашему мнению практики в единый справочник. Этот справочник получил название «Архитектурный гайд». Про него и поговорим в данной статье.

Вполне годный тренажёр для осваивающих SQL-запросы. Всё обёрнуто в игрофикацию, что типа ты не просто селекты пишешь, а прям расследование расследуешь и делом занят.
При желании, код и вся требуха есть на гитхабе, так что можно улучшить и углубить.
https://www.sqlnoir.com/

P.S. Если вы вдруг не знали, то когда-то там давно язык SQL задумывался как простой и понятный инструмент для туповатого менеджерского состава. Чтобы не отвлекали от работы уважаемых программистов, а сами там себе вьюху накидали с сортировкой и были счастливы. Но, как обычно, что-то пошло не так.

Prometheus Alerting 101: Rules, Recording Rules, and Alertmanager

В статье обсуждаются особенности работы Alertmanager относительно его компонентов.

Другие статьи цикла:

Counters, Gauges, Histograms & Summaries

Instant Queries and Range Queries Explained