Как мы улучшили балансировку нагрузки ингестеров в Grafana Mimir с помощью spread-minimizing токенов

Grafana Mimir - наша открытая, горизонтально масштабируемая, мультиарендная база временных рядов, позволяющая принимать более 1 миллиарда активных серий. Ингестеры Mimir используют консистентное хеширование - распределённую технику хеширования для репликации данных. Этот подход гарантирует минимальное количество перемещений временных рядов между доступными ингестерами при добавлении или удалении узлов в системе.

Мы заметили, что ранее используемый в Mimir алгоритм консистентного хеширования приводил к неравномерному распределению временных рядов между ингестерами: разброс нагрузки доходил до 25%. В результате одни ингестеры перегружались, а другие оставались недоиспользованными. Чтобы решить эту проблему, мы разработали новый алгоритм - стратегию генерации токенов, минимизирующую разброс. Она позволяет, с одной стороны, сохранять преимущества консистентного хеширования, а с другой - достигать почти идеального распределения нагрузки.

Равномерная балансировка нагрузки оптимизирует сетевую производительность и снижает задержки, поскольку спрос равномерно распределяется между ингестерами. Это обеспечивает более эффективное использование вычислительных ресурсов и ведёт к более стабильной производительности. В этом посте мы представим наш новый алгоритм и покажем, как он улучшил балансировку нагрузки ингестеров в некоторых наших продакшн-кластерах Grafana Cloud Metrics (работающих на базе Mimir) до уровня, который теперь практически идеален.

https://grafana.com/blog/2024/03/07/how-we-improved-ingester-load-balancing-in-grafana-mimir-with-spread-minimizing-tokens/

#devops #девопс

Подпишись 👉@i_DevOps

Чем отличается Kubernetes от Openshift?

Openshift имеет более строгие политики безопасности и модели аутентификации.
Openshift поддерживает полную интеграцию CI/CD Jenkins.
Openshift имеет веб-консоль по-умолчанию. В Kubernetes консоль необходимо дополнительно устанавливать консоль.
В Kubernetes возможно устанавливать сторонние сетевые плагины. В Openshift используется собственное сетевое решение Open vSwitch, которое предоставляет 3 различный плагина.
Kubernetes может быть установлен практически на любой дистрибутив Linux. Openshift имеет ограничения на устанавливаемые дистрибутивы, преимущественно используются RH-дистрибутивы.
Kubernets доступен в большинстве облачных платформ - GCP, AWS, Azure, Yandex.Cloud. Openshift доступен на облачной платформе Azure и облаке от IBM.
По-умолчанию, в Openshift поды в кластере могут быть запущены только под обычным пользователем, чтобы запустить под под пользователем root необходимо выдать права для сервисного аккаунта. В Kubernetes по-умолчанию поды могут быть запущены по пользователем root.

#devops #девопс

Подпишись 👉@i_DevOps

Репликация базы Postgrespro на двух нодах

В данной статье описывается пошаговая настройка отказоустойчивой репликации PostgresPro-12 на двух серверах в изолированной среде без внешнего доступа и возможности развертывания третьего узла. Решение ориентировано на AstraLinux, но легко адаптируется под другие дистрибутивы. В условиях, где стандартные решения вроде Patroni с etcd или ZooKeeper неприменимы из-за требования минимум трёх нод, предлагается альтернативный подход на базе keepalived и кастомных bash-скриптов.
Ключевой особенностью является использование keepalived не только для управления виртуальным IP-адресом (VIP), но и для автоматического переключения роли PostgreSQL между мастером и репликой при отказе основного сервера.

https://habr.com/ru/articles/945716/

#devops #девопс

Подпишись 👉@i_DevOps

Docker в Mikrotik

С выходом MikroTik RouterOS версии 7 появилась поддержка контейнеров (Docker), что позволяет запускать сторонние приложения прямо на маршрутизаторе. Это открывает новые возможности как для домашних пользователей, так и для малого бизнеса.

На вебинаре подробно рассмотрим:
Обзор Docker в MikroTik RouterOS 7:назначение нового контейнерного пакета, возможности его применения и принцип работы в рамках маршрутизатора.
Типовые сценарии использования:как Docker помогает реализовать функции блокировки рекламы, хранилища данных и медиа-серверов в домашних условиях, а также расширяет возможности.
Настройка Docker-контейнеров в MikroTik: пошаговая демонстрация работы с интерфейсом RouterOS для запуска и конфигурации контейнеров, установка образов, настройка сети.
Совместимость и ограничения: технические особенности внедрения Docker на MikroTik, стабильность работы, аппаратные и программные требования.
Практика развертывания сервисов: примеры установки и настройки полезных приложений внутри MikroTik, включая Asterisk и другие сетевые инструменты.
Оценка применимости Docker в MikroTik: риски и рекомендации — когда стоит использовать контейнеры, а когда лучше воздержаться, особенности эксплуатации в домашних и производственных средах.

источник

#devops #девопс

Подпишись 👉@i_DevOps

🚀 Подборка Telegram каналов для программистов

Системное администрирование, DevOps 📌

https://xn--r1a.website/bash_srv Bash Советы
https://xn--r1a.website/win_sysadmin Системный Администратор Windows
https://xn--r1a.website/sysadmin_girl Девочка Сисадмин
https://xn--r1a.website/srv_admin_linux Админские угодья
https://xn--r1a.website/linux_srv Типичный Сисадмин
https://xn--r1a.website/devopslib Библиотека девопса | DevOps, SRE, Sysadmin
https://xn--r1a.website/linux_odmin Linux: Системный администратор
https://xn--r1a.website/devops_star DevOps Star (Звезда Девопса)
https://xn--r1a.website/i_linux Системный администратор
https://xn--r1a.website/linuxchmod Linux
https://xn--r1a.website/sys_adminos Системный Администратор
https://xn--r1a.website/tipsysdmin Типичный Сисадмин (фото железа, было/стало)
https://xn--r1a.website/sysadminof Книги для админов, полезные материалы
https://xn--r1a.website/i_odmin Все для системного администратора
https://xn--r1a.website/i_odmin_book Библиотека Системного Администратора
https://xn--r1a.website/i_odmin_chat Чат системных администраторов
https://xn--r1a.website/i_DevOps DevOps: Пишем о Docker, Kubernetes и др.
https://xn--r1a.website/sysadminoff Новости Линукс Linux

1C разработка 📌
https://xn--r1a.website/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С
https://xn--r1a.website/DevLab1C 1С:Предприятие 8
https://xn--r1a.website/razrab_1C 1C Разработчик
https://xn--r1a.website/buh1C_prog 1C Программист | Бухгалтерия и Учёт
https://xn--r1a.website/rabota1C_rus Вакансии для программистов 1С

Программирование C++📌
https://xn--r1a.website/cpp_lib Библиотека C/C++ разработчика
https://xn--r1a.website/cpp_knigi Книги для программистов C/C++
https://xn--r1a.website/cpp_geek Учим C/C++ на примерах

Программирование Python 📌
https://xn--r1a.website/pythonofff Python академия.
https://xn--r1a.website/BookPython Библиотека Python разработчика
https://xn--r1a.website/python_real Python подборки на русском и английском
https://xn--r1a.website/python_360 Книги по Python

Java разработка 📌
https://xn--r1a.website/BookJava Библиотека Java разработчика
https://xn--r1a.website/java_360 Книги по Java Rus
https://xn--r1a.website/java_geek Учим Java на примерах

GitHub Сообщество 📌
https://xn--r1a.website/Githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://xn--r1a.website/database_info Все про базы данных

Мобильная разработка: iOS, Android 📌
https://xn--r1a.website/developer_mobila Мобильная разработка
https://xn--r1a.website/kotlin_lib Подборки полезного материала по Kotlin

Фронтенд разработка 📌
https://xn--r1a.website/frontend_1 Подборки для frontend разработчиков
https://xn--r1a.website/frontend_sovet Frontend советы, примеры и практика!
https://xn--r1a.website/React_lib Подборки по React js и все что с ним связано

Разработка игр 📌
https://xn--r1a.website/game_devv Все о разработке игр

Библиотеки 📌
https://xn--r1a.website/book_for_dev Книги для программистов Rus
https://xn--r1a.website/programmist_of Книги по программированию
https://xn--r1a.website/proglb Библиотека программиста
https://xn--r1a.website/bfbook Книги для программистов

БигДата, машинное обучение 📌
https://xn--r1a.website/bigdata_1 Big Data, Machine Learning

Программирование 📌
https://xn--r1a.website/bookflow Лекции, видеоуроки, доклады с IT конференций
https://xn--r1a.website/rust_lib Полезный контент по программированию на Rust
https://xn--r1a.website/golang_lib Библиотека Go (Golang) разработчика
https://xn--r1a.website/itmozg Программисты, дизайнеры, новости из мира IT
https://xn--r1a.website/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻
https://xn--r1a.website/nodejs_lib Подборки по Node js и все что с ним связано
https://xn--r1a.website/ruby_lib Библиотека Ruby программиста
https://xn--r1a.website/lifeproger Жизнь программиста. Авторский канал.

QA, тестирование 📌
https://xn--r1a.website/testlab_qa Библиотека тестировщика

Шутки программистов 📌
https://xn--r1a.website/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://xn--r1a.website/thehaking Канал о кибербезопасности
https://xn--r1a.website/xakep_2 Хакер Free

Книги, статьи для дизайнеров 📌
https://xn--r1a.website/ux_web Статьи, книги для дизайнеров

Математика 📌
https://xn--r1a.website/Pomatematike Канал по математике
https://xn--r1a.website/phis_mat Обучающие видео, книги по Физике и Математике
https://xn--r1a.website/matgeoru Математика | Геометрия | Логика

Excel лайфхак📌
https://xn--r1a.website/Excel_lifehack

https://xn--r1a.website/mir_teh Мир технологий (Technology World)

Вакансии 📌
https://xn--r1a.website/sysadmin_rabota Системный Администратор
https://xn--r1a.website/progjob Вакансии в IT

Как мы вшили нагрузочное тестирование в CI/CD, чтобы не хоронить фичи в проде глубокой ночью

Эпик-фейлы бывают разные. Можно забыть закоммитить config.json. А можно так упаковать новый эндпоинт, что всё апи ляжет костьми в час-пик и будет тихо плакать под лавиной реквестов. Ручные нагрузочные тесты — это как проверять тормоза на уже летящем с горы автомобиле. Сегодня говорим о том, как автоматизировать эту магию — вшивать проверку производительности прямо в CI/CD, чтобы не краснеть перед продом и спокойно спать по ночам.

Запускайте свои пайплайны, щупальцы в руки — погнали!

https://habr.com/ru/articles/946304/

#devops #девопс

Подпишись 👉@i_DevOps

OpenStatus - это open-source альтернатива сервисам вроде Statuspage и Instatus.
Она позволяет создавать страницы статуса для сервисов с интеграцией в мониторинг.

Основные возможности:

- Красивые публичные статус-страницы для ваших проектов.
- Поддержка нескольких проектов и сервисов.
- Интеграция с аптайм-чекерами.
- Уведомления о сбоях и инцидентах.
- Развёртывание можно сделать у себя или использовать готовый хостинг.

https://github.com/openstatusHQ/openstatus

#devops #девопс

Подпишись 👉@i_DevOps

Unused

CLI-инструмент, экспортер для Prometheus и модуль на Go для перечисления неиспользуемых дисков во всех облачных провайдерах

Этот репозиторий содержит библиотеку на Go для поиска ваших неиспользуемых постоянных дисков у разных облачных провайдеров, а также бинарные файлы для отображения этой информации в CLI или экспорта метрик для Prometheus.

В Grafana Labs мы размещаем рабочие нагрузки у разных облачных провайдеров. Оркестрация рабочих нагрузок управляется Kubernetes, и мы обнаружили, что из-за некоторых ошибок в конфигурации системы хранения у нас накапливалось множество неиспользуемых ресурсов, особенно постоянных дисков. Эти утечки ресурсов стоят денег, и, поскольку эти ресурсы больше не используются, это приводит к финансовым потерям. Эта библиотека и сопутствующие инструменты помогут вам определить такие ресурсы и очистить их.

https://github.com/grafana/unused

#devops #девопс

Подпишись 👉@i_DevOps

SSL-сертификаты в 2025: самый прибыльный развод в истории интернета


$199 за файл.

Не за программу. Не за базу данных. Даже не за документ с полезной информацией. За файл в несколько килобайт зашифрованного текста, который говорит браузеру "этот сайт действительно тот, за кого себя выдает".

В 2005 году именно столько стоил SSL-сертификат от VeriSign. Каждый год. За каждый домен. Без исключений.

Сегодня точно такую же безопасность, идентичное шифрование, то же доверие браузеров, ту же защиту - можно получить бесплатно. Установить за 30 секунд, так еще и продлевать автоматически.

Но вот, в чем мем: хостинг-компании до сих пор берут $50, $100, а то и $200 за "премиальные" SSL-сертификаты, которые работают абсолютно так же, как бесплатные.

Как целая индустрия продолжает драть деньги за то, что стало товаром широкого потребления и полностью автоматизировано?

Добро пожаловать в историю самого прибыльного развода в истории интернета. Развода настолько элегантного, так хорошо прорекламированного и так глубоко укоренившегося в хостинг-индустрии, что он продолжает печатать деньги даже после того, как все знают, что это развод.

https://habr.com/ru/articles/947178/

original https://blog.webhostmost.com/ssl-certificate-is-scam/

#devops #девопс

Подпишись 👉@i_DevOps

Как Netflix добивается корректной атрибуции в журналах сетевых потоков eBPF

Один неправильно «пришитый» IP — и рождается фантомная зависимость. Netflix на масштабе ≈5 млн TCP-потоков/с отказался от событийного учёта адресов и построил атрибуцию на наблюдаемых таймлайнах владения IP: eBPF-сайдкар точно метит локальную нагрузку (включая Titus и связку IPv6→IPv4 по паре IP+порт), а FlowCollector держит интервалы в памяти и рассылает их через Kafka, форвардя межрегиональные кейсы по trie из VPC-CIDR.
Задержка — ~1 мин вместо 15, ложных совпадений — ноль по проверке на Zuul. В итоге flow logs стали источником истины о зависимостях и «здоровье» сети.

https://netflixtechblog.com/how-netflix-accurately-attributes-ebpf-flow-logs-afe6d644a3bc

#devops #девопс

Подпишись 👉@i_DevOps