Написал статью про настройку мониторинга Docker с помощью Zabbix и его нового агента. Всё делается штатными средствами с помощью готового шаблона. Вообще ничего колхозить не надо. Все контейнеры определяются автоматически с помощью правил автообнаружения.

В шаблоне присутствуют триггеры:
▪ Нет информации о статусе службы Docker.
▪ Служба Docker не запущена.
▪ Изменилась версия Docker.
▪ В контейнере зафиксирована ошибка в статусе.
▪ Контейнер остановлен с ошибкой в exitcode.

А так же готовые графики:
◽ Количество контейнеров с различным статусом.
◽ Размер дискового пространства, занимаемое различными сущностями (images, layers, conteiners, volumes).
◽ Docker goroutines (не знаю, что это такое).
◽ Количество Images.
◽ Суммарное потребление оперативной памяти докером.
◽ CPU, Memory usage, сетевая статистика отдельно по каждому контейнеру.
Вот только я не понял, как вычисляется метрика по CPU. Она представлена в миллисекундах. Это вычисляемое значение, которое берётся из докеровского json со статами, далее выделяется jsonpath $.cpu_stats.cpu_usage.total_usage для конкретного контейнера, переводится в изменения в секунду и в завершении используется арифметический множитель 1.0E-9. Если кто-то знает, подскажите, что это за метрика. Если я правильно понял, то это та же самая метрика, что используется в Kubernetes для лимитов CPU. 1/1000 от процессоронго ядра.

Всего собирается внушительное количество метрик. Для хоста с двумя запущенными контейнерами у меня получилось 132 метрики после отработки правил автообнаружения.

Сама статья:
https://serveradmin.ru/monitoring-docker-s-pomoshhyu-zabbix-agent-2/

#zabbix #docker #мониторинг #статья

В прошлую пятницу захотелось поэкспериментировать и установить себе систему macOS. Зачем мне это нужно - не знаю. Просто любопытство. Хотелось посмотреть на современную систему от Apple. Я ей немного пользовался несколько лет назад, но вообще не понравилось. Windows в качестве рабочей и личной системы полностью устраивает.

Тем не менее, я установил macOS на виртуальную машину Proxmox. Пришлось немного повозиться и разобраться, так как готовой рабочей инструкции не нашлось. Так как информация на текущий момент получилась уникальной и полезной, решил сразу оформить в статью, чтобы можно было повторить простым копипастом.

В общем, вот статья - https://serveradmin.ru/ustanovka-macos-v-proxmox/, пользуйтесь. Может кто-то найдет практическое применение подобной установки. Поделитесь в комментариях, если видите какую-то практическую пользу от этой системы в VM. Так как нет видеокарты, сам интерфейс очень тормозит и пользоваться некомфортно. Чтобы было нормально, надо пробрасывать в виртуалку видеокарту, но я уже не стал так заморачиваться.

#proxmox #статья #macos

Написал статью по настройке Elastic Enterprise Search. Это отдельная служба, которая работает на базе ELK Stack и может быть установлена и интегрирована в указанную инфраструктуру. Но при этом остается независимым, отдельным компонентом.

Если я не ошибаюсь, то когда-то этот продукт был только в платной версии. Почему-то отложилась информация, но нигде не нашёл подтверждения. На текущий момент денег не просит, ставится свободно. Enterprise Search часто используют для настройки продвинутого поиска на большом сайте.

Так как для подключения Enterprise Search необходимо настроить авторизацию через xpack.security, а так же TLS, вынес эти настройки в отдельные подразделы статьи. Они могут быть полезны сами по себе. Я в простых случаях закрываю доступ к ELK через Firewall, а к Kibana на nginx proxy с помощью basic_auth. Это более простое решение, но понятно, что не такое гибкое, как встроенные средства ELK. Но EES хочет видеть настроенными встроенные инструменты, так что пришлось сделать.

https://serveradmin.ru/ustanovka-elastic-enterprise-search/

#elk #devops #статья

Предлагаю к просмотру обзор программы для анализа и мониторинга сетевого трафика - Noction Flow Analyzer. Она принимает, обрабатывает данные NetFlow, sFlow, IPFIX, NetStream и BGP и визуализирует их.

Я настроил анализ трафика в своей тестовой лаборатории и разобрал основной функционал программы. Знаю, что мониторинг того, что происходит в сети - востребованный функционал. Периодически вижу вопросы на тему того, как лучше и удобнее решать эту задачу. NFA как раз делает это быстро и просто.

Для тех, кто не понимает полностью, о чем идёт речь, поясню. С помощью указанной программы можно с точностью до пакета узнать, кто, куда и что именно отправлял по сети. То есть берём какой-то конкретный ip адрес и смотрим куда и что он отправлял, какую пропускную полосу занимал. Всё это можно агрегировать по разным признакам, визуализировать, настраивать предупреждения о превышении каких-то заданных сетевых метрик.

Noction Flow Analyzer устанавливается локально с помощью deb или rpm пакетов из репозитория разработчиков. Никакой хипстоты, контейнеров, кубернетисов, облаков и saas. Программа платная с ежемесячной подпиской. Есть триал на 30 дней. Под капотом - Yandex ClickHouse. 

https://serveradmin.ru/analiz-setevogo-trafika-v-noction-flow-analyzer/

#gateway #статья #netflow

Проверил и актуализировал свою статью про настройку ELK Stack. Добавил информацию про автоматическую очистку индексов встроенными средствами стэка. А также про авторизацию с помощью паролей средствами  X-Pack Security.

Статья получилась полным и законченным руководством по внедрению системы сбора логов на базе ELK Stack для одиночного инстанса. Без встроенной авторизации она была незавершённой. Исправил это.

На текущий момент всё можно настроить копипастом из статьи. Я проверил все конфиги. Так что если есть желание познакомиться и изучить, имеет смысл сделать это сейчас. Через некоторое время, как обычно, все изменится с выходом очередной новой версии.

https://serveradmin.ru/ustanovka-i-nastroyka-elasticsearch-logstash-kibana-elk-stack/

#elk #статья

​​Я регулярно обновляю статью с мониторингом времени делегирования домена с помощью Zabbix. Всё жду, когда это будет работать из коробки. Но пока никак.

В статье уже накопилась целая куча моих костылей с реализацией проверок доменов с помощью:
- linux утилиты whois и jwhois;
- модуля python-whois
- whois клиента для Node.js
- prometheus domain_exporter

Раньше автообнаружение доменов работало через парсинг текстового файла с помощью zabbix-agent. На днях я добавил еще один способ с помощью бесплатного тарифа сервиса Whois API. Список доменов задаётся через макрос в шаблоне. Там же и парсинг результатов. То есть агент вообще не нужен. Вся логика описана в шаблоне, а проверки идут напрямую с Zabbix Server.

Ссылка на шаблон дана в статье, как и описание работы и скрины айтемов и триггеров. Ранее я уже делал заметку по этому поводу, но до написания статьи только сейчас руки дошли.

https://serveradmin.ru/monitoring-vremeni-delegirovaniya-domena-v-zabbix/

#zabbix #статья

История о том, как мне в ЦОД в сервере со сбойным диском заменили вместо сломавшегося диска, рабочий. Да и просто забавные истории о том, как работает тех. поддержка в дата центрах и мой опыт общения с ней.
https://serveradmin.ru/vosstanovlenie-raid-1/

#статья

Случайно заметил, что одна из моих старых статей имеет очень большое количество просмотров. Не обращал на это внимание. Это статья про программы, которые использую в работе. Я её первый раз написал в 2018, потом в 2020 обновил. Потом переключился на Telegram канал и практически перестал актуализировать старые материалы. Очень хлопотно и трудоёмко. Всё постоянно меняется.

И вот решил обновить в очередной раз, раз уж люди её читают:

⇨ Мои программы для системного администрирования

Не хотелось удалять старое содержимое, несмотря на то, что многие описанные ранее программы уже не использую. Адаптировал, как мог, что-то удалив, а что-то добавив. Посмотрите, может вам будет интересно.

Всё, что описано в статье, публиковалось на канале в разное время. Но тут постарался всё собрать в единый материал. Из-за большого разбега по датам написания, повествование немного рваное.

#статья

В разное время у меня на канале были обзоры программ, а точнее веб сервисов, для хранения и совместного использования паролей. Решил для удобства объединить их в одну статью-подборку для публикации на сайте. Там будут ссылки на сами проекты и на их обсуждение в канале.

⇨ ТОП бесплатных программ для совместного хранения паролей

В обзоре только программы, которые можно развернуть у себя, и у которых есть бесплатная версия. Плюс, вроде бы все они open source. Сейчас список выглядит вот так:

▪️Bitwarden
▪️Vaultwarden
▪️Bearpass
▪️Psono
▪️Passbolt
▪️KeePassXC
▪️Padloc
▪️Syspass
▪️TeamPass

Все программы обозревались на канале, так что при желании можно посмотреть и заметку, и комментарии к ней. Обращаю внимание на единственную отечественную программу Bearpass. Отдельно отмечу, что Syspass давно не развивалась, а TeamPass политизирована с призывами донатить известно куда. Не стал их убирать для полноты картины, чтобы всё в одном месте было.

#password #подборка #статья

Я написал большую и насколько смог подробную статью по настройке кластера на базе Proxmox VE. По современным требованиям законодательства я вынужден промаркировать её как реклама, так как сервера для её написания мне предоставил хостер Selectel, а я оставил на него ссылки. Никаких требований непосредственно по рекламе предъявлено не было, кроме одного – в статье должно быть показано, как я заказываю услуги через панель управления. По содержанию и тексту не было ни единой правки. Всё продумал, настроил и написал лично я от и до.

Статья получилась универсальной без привязки к конкретным услугам, так как я использую обычные арендные сервера с установленной бесплатной версией Proxmox VE, а в качестве общих хранилищ для кластера – сетевые диски, подключаемые через iSCSI интерфейс. Настройка подобных дисков плюс-минус везде одинаковая. Разница если и будет, то в типе аутентификации или её отсутствии.

В статье отражены следующие моменты:

▪️Настройка Proxmox VE на серверах с двумя NVMe M.2 дисками, объединёнными в программный RAID1 на базе mdadm для отказоустойчивости на уровне дисков.
▪️Объединение трёх идентичных серверов в обычный кластер с локальными дисками и ручной миграцией виртуальных машин без их остановки.
▪️Настройка сети виртуальных машин с VLAN с помощью встроенной Proxmox SDN.
▪️Подключение к серверам сетевых дисков по iSCSI, добавление их в Proxmox и создание на их базе общих хранилищ для дисков виртуальных машин в формате LVM.
▪️Настройка HA (High Availability) на примере виртуальной машины и LXC контейнера. Я настраиваю HA, аварийно выключаю одну из нод кластера и показываю, как с неё автоматически переезжают ресурсы на работающие ноды.

На выходе мы получаем универсальное и относительно бюджетное (в сравнении с другими кластерами) решение для размещения виртуальных машин и LXC контейнеров. Оно закрывает задачи размещения нагрузки на локальных дисках для максимальной производительности и отказоустойчивой нагрузки высокой доступности на базе сетевых дисков с общим доступом.

Остались нерассмотренными пара других полезных конфигураций:

◽️Репликация виртуальных машин в кластере на базе файловых хранилищ в формате zfs.
◽️Использование кластера Ceph для виртуальных машин, построенного на базе этих же трёх нод кластера.

Изначально хотел всё это рассмотреть, но по факту материал получился и так очень большой, потратил на него много времени и банально не осилил. Возможно получится это сделать в будущих статьях.

⇨ Установка и настройка кластера Proxmox VE

Настройка кластера высокой доступности на базе Proxmox VE представляет из себя относительно простую, рядовую задачу. При этом выполнить её можно на любом железе, от самого бюджетного десктопного оборудования до серверных платформ. Сочетание софтовых решений по отказоустойчивости дисков на базе mdadm или zfs вкупе с функциональностью HA кластера Proxmox позволяют реализовать относительно (!) высокую доступность на любом поддерживаемом этой системой оборудовании. А так как сама система на базе ОС Debian и ядра Linux, поддерживает она практически любое более-менее современное железо.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#proxmox #статья