Просматривал на днях блог Zabbix. Обратил внимание на статью про интерактивные дашборды. Они вроде бы в 7-й версии появились. Может чуть раньше, уже точно не помню. Я анонсы и картинки посмотрел, немного потыкался у себя, но настраивать ничего не стал. Нужды особой не было. А тут понравились картинки, решил всё же разобраться и настроить.

В итоге всё получилось и это действительно удобно. Сделал себе основной дашборд с тремя страницами. Расскажу про каждую.

1️⃣ Страница с проблемами. У меня она всегда основная. Все проблемы на виду. Тут никаких изменений. Это старый виджет, появившийся с незапамятных времён.

2️⃣ Навигатор хостов. С ним немного повозился, так как не сразу понял, как всё это должно работать.

▪️Первый виджет - Навигатор по узлам сети с группировкой по группам.

▪️Второй - Навигатор по элементам данных. Сначала никак не мог понять, как их связать между собой, чтобы навигатор элементов отображал элементы того хоста, который выбран в навигаторе хостов. В итоге догадался, что в виджете с элементами, там где мы выбираем хост, к которому он должен быть привязан, надо выбрать не хост, а предыдущий виджет с текущей страницы.

▪️Третий виджет - Карточка хоста. Там тоже в качестве хоста указываем виджет с навигатором хостов.

▪️Четвёртый виджет - Значение элемента данных. В качестве элемента данных выбираем виджет с навигатором элементов.

▪️Пятый виджет - Топ узлов сети, отсортированных по потреблению CPU. Он сам по себе, ни к чему не привязан.

В итоге прямо на дашборде я получил обзор всех хостов с группировкой по группам. При выборе хоста я тут же получаю основную информацию по нему со ссылками на настройки хоста, последние данные, проблемы, а также навигатор по всем его элементам данных. При выборе элемента данных я получаю информацию по нему с графиком изменений. При нажатии на этот элемент, открывается график из последних данных, где можно оценить исторические изменения.

Теперь нет необходимости через меню перемещаться к списку хостов в разделе Мониторинг ⇨ Узлы сети. Из дашборда быстрее и удобнее посмотреть всю информацию по узлу. И нет необходимости отдельно ходить в Последние данные. Опять же быстрее попасть туда из дашборда, сразу получив информацию по нужному элементу данных.

3️⃣ Третья страница у меня такая же, как вторая, но в навигаторе хостов сортировка по важности триггеров. Сразу видно все активные триггеры и их хосты. При выборе хоста в отдельном виджете отображается список активных триггеров. На этой странице удобно пробежаться по всем проблемам и оценить их.

Не зря потратил время на разбирательства. Интерактивные дашборды в Zabbix реально удобны. Мало того, что они действительно неплохо выглядят, но лично я для красоты обычно ничего не настраиваю, но и добавляют функциональность, которая упрощает эксплуатацию мониторинга. Так что ещё немного поковыряюсь с интерактивными виджетами и скорее всего распространю их на все серверы. Надо будет немного попользоваться и подумать, как их можно улучшить и сделать более удобными.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#zabbix

Насколько мне известно, у Zabbix до сих пор нет стандартного шаблона для мониторинга за временем оплаты домена. Про крайней мере мне такой неизвестен. Если он уже есть и я его упустил, прошу подсказать.

В разное время я реализовывал различные способы решения этой задачи. Все они один за одним собирались в статью на сайте:

⇨ Мониторинг времени делегирования домена в zabbix

Все способы, описанные там, актуальны и работают. Основное их неудобство - реализация через скрипты, от чего уже давно хочется уйти, потому что неудобно ходить в консоль и править там список доменов. Можно собрать простенький пайплайн для этого, но это тоже перебор для такой простой задачи.

Я её однажды реализовал полностью в шаблоне без скриптов с помощью внешнего сервиса Whois API и его бесплатного тарифа. В принципе, вариант рабочий, но не всегда удобно регистрироваться во внешнем сервисе, получать от него токен и в целом зависеть от его доступности.

Прикинул, как можно сделать так же удобно, реализовав всю логику только в шаблоне Zabbix, в том числе в нём же в макросах вести список доменов, но при этом без внешнего сервиса. Решил для этого воспользоваться готовым экспортером для Prometheus. Он удобен тем, что отдаёт метрики по HTTP, а значит их можно забирать заббиксом напрямую через его HTTP Агент.

Рассказываю по шагам, как всё настроил.

1️⃣ Поднимаю на любой своей машине в докере domain_exporter. Можно тут же на сервере Zabbix.

2️⃣ В шаблоне Zabbix создаю правило обнаружения с любым типом. Для примера взял тип Внутренний Zabbix и ключ zabbix[boottime]. Значения этого ключа нам не нужны, так как мы их сразу же будем преобразовывать.

3️⃣ В правиле обнаружения настроил предобработку типа JavaScript с таким кодом:

var domains = '{$DOMAINS}'.split(/\s+/);
var data = [];
for (var i = 0; i < domains.length; i++) {
  data.push({ "{#DOMAIN}": domains[i] });
}
return JSON.stringify({ data: data });

Берём список доменов из макроса {$DOMAINS} и преобразуем их в строку:

{
 "data": [
  { "{#DOMAIN}": "serveradmin.ru" },
  { "{#DOMAIN}": "example.com" }
 ]
}

Это формат, который принимают прототипы айтемов и триггеров.

4️⃣ Создал в шаблоне макросы:

◽️{$DOMAINS} = serveradmin.ru example.com # разделитель доменов - пробел;
◽️{$PROM_URL} = http://10.30.52.9:9222/probe # адрес экспортера;
◽️{$WARN_DAYS} = 30 # порог в днях для триггера со статусом предупреждение;
◽️{$CRIT_DAYS} = 5 # порог в днях для триггера со статусом критический.

5️⃣ Создал прототип айтема с типом HTTP Agent. В качестве урла указал {$PROM_URL}, а для передачи имени домена использовал поля запроса:

target ⇨ {#DOMAIN}

То есть итоговый урл для получения данных будет такой: http://10.30.52.9:9222/probe?target={#DOMAIN}. А если развернуть lld-макрос, то такой: http://10.30.52.9:9222/probe?target=serveradmin.ru.

6️⃣ В прототипе айтема сделал предобработку:

Шаблон Prometheus ⇨ domain_expiry_days

Так как у нас данные поступают в формате Prometheus, с помощью этой предобработки мы сразу получаем данные о времени оплаты в формате целого числа.

7️⃣ В это же правило автообнаружения добавил 2 триггера.

На выходе мы имеем шаблон для мониторинга за оплатой доменов, где все настройки можно выполнять в веб интерфейсе Zabbix Server через макросы. Не нужны никакие скрипты на хостах. Единственное, что нужно сделать на сервере - запустить экспортер от Prometheus и убедиться, что с Zabbix Server есть к нему доступ.

Решение придумал и реализовал полностью сам. Не исследовал, что уже есть готового на эту тему. Мне видится такая реализация вполне удобной и функциональной. Если кто-то знает решение удобнее без скриптов, поделитесь информацией.

Шаблон публикую отдельно следующей публикацией. Проверял на версии Zabbix 7.0. Необходимо его импортировать на сервер и заполнить макросы либо в самом шаблоне, либо переопределить их после прикрепления к любому хосту.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#zabbix

Ранее я упоминал про утилиту Lynis, а также то, как я её использую в связке с Zabbix для предупреждения о каких-то проблемах на хостах. С момента написания статьи я немного поменял подход к сбору данных. Расскажу кратко, как это у меня сейчас работает. Я с тех пор постоянно использую эту связку. Мне нравится, как она работает.

Кратко поясню суть того, что делаю и для чего. Утилита Lynis есть в стандартных репах. Она делает некоторый набор проверок системы и пишет отчёт в лог. Конкретно меня от неё интересуют две вещи:

◽️Вывод предупреждений. Например, о том, что систему надо перезагрузить после обновления ядра, либо о том, что есть уязвимые пакеты.
◽️Список пакетов с уязвимостями, для которых доступны обновления.

С помощью Zabbix я анализирую лог Lynis и прямо на почту отправляю текст замечаний и уязвимых пакетов, если они есть. Реализую это следующим образом:

1️⃣ Делаю простой скрипт, который запускает Lynis и анализирует код завершения работы. У этой программы он ненулевой, если есть какие-то замечания. Завожу эти замечания в переменную и отправляю данные с помощью zabbix_sender на Zabbix Server. Если код выхода 0, то отправляю строку All is OK.

Сам скрипт очень простой:

#!/bin/bash

/usr/sbin/lynis audit system -q
exitcode=$?
result="0"
if [ $exitcode != 0 ]; then
  result=$(/usr/bin/grep "Warning:\|Found vulnerable package" /var/log/lynis.log)
else
  result="All is OK"
fi
zabbix_sender -c /etc/zabbix/zabbix_agentd.conf -k "lynis.check" -o "$result"

Ставлю скрипт в cron или timers на выполнение раз в 2-3 часа. Чаще большого смысла нет.

2️⃣ В Zabbix Server делаю простой шаблон с одним элементом данных типа Zabbix траппер. Его настройки есть на скриншоте снизу. К айтему делаю два триггера. Один на поиск строки All is OK. Если в последнем полученном значении её нет, то срабатывает триггер. И второй - проверка, что данные приходят. Если в течении дня ничего не приходило, то он срабатывает. Настройки триггера тоже ниже.

3️⃣ В итоге если Lynis что-то находит, отправляет информацию в Zabbix Server. Срабатывает триггер, в описании которого будет текст из айтема со всеми замечаниями и списками уязвимых пакетов, которые надо обновить. Пример письма с информацией тоже есть ниже на картинке.

Всё это настраивается относительно просто. Не нужны никакие отдельные системы и сторонние пакеты. Всё ставится из базовых репозиториев, а система мониторинга скорее всего уже есть. Мне для базовых проверок такой информации достаточно.

Сам шаблон не прикрепляю, так как там всего один айтем и два триггера, содержимое которых и так есть на скринах. Воспроизвести нетрудно. Работать будет на любых версиях Zabbix сервера. Если не устанавливали на хосты zabbix_sender, то поставьте его. Он идёт в отдельном пакете:

# apt install zabbix-sender

Такая вот простая и функциональная система с предупреждениями об обновлениях и некоторых других вещах. Lynis делает много проверок, можно почитать о нём отдельно. В рамках этой заметки не стал на этом делать акцент.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#zabbix #security

Вчера решил обновить один из серверов Zabbix до свежей версии 7.4. Выбор пал на сервер версии 7.0, установленный на Oracle Linux Server 8.10. Остался с давних времён. Работает нормально, обновляется, так что я особо не тревожу его.

Обновление прошло предсказуемо, но не могу сказать, что очень просто. Конкретно я все вопросы быстро порешал, но затруднения возникли.

1️⃣ Изменился путь для веб интерфейса. Вместо /usr/share/zabbix он теперь /usr/share/zabbix/ui. Надо поменять в настройках виртуального хоста. Если этого не сделать, то увидите ошибку с инструкцией по исправлению, вместо веб интерфейса.

2️⃣ Изменилась поддерживаемая версия php с 8.0 до 8.2. В зависимости от ваших настроек и пакетов на сервере, переход на другую версию php может сопровождаться какими-то своими ошибками. У меня были пару проблем с зависимостями пакетов. Не стал особо вникать. Сделал снепшот виртуалки, удалил все проблемные пакеты и установил версии 8.2. На удивление, всё прошло успешно и больше ничего делать не пришлось.

Меня часто спрашивают, буду ли я писать статью по обновлению Zabbix Server. Я иногда делаю такие публикации, но не очень люблю именно эту тематику из-за того, что Zabbix может быть развёрнут на очень разном окружении. Это могут быть разные систем на базе Linux, разные СУБД (MySQL или PostgreSQL), разные веб сервера (Nginx + Php-Fpm или Apache + Mod_PHP). Трудно всё это учесть.

Сам сервер Zabbix обычно обновляется без проблем. Проблемы чаще всего возникают с фронтендом. Он то не обновится, то версия php не та, то настройки веб сервера слетели и т.д. Тут инструкция не поможет, надо по месту разбираться.

В общем случае обновление Zabbix выглядит очень просто. Отключаете старый репозиторий, останавливаете сервер, подключаете репозиторий с новой версией и обновляете пакеты от Zabbix. И всё. В этот раз у меня именно так и прошло обновление и кроме описанных выше двух ошибок, всё прошло штатно. Обновился с 7.0.17 до 7.4.1.

Обновился я в первую очередь для того, чтобы посмотреть на новый мастер добавления хостов. Выглядит очень удобно, особенно тем, что можно сразу получить ссылку для быстрой установки преднастроенного пакета с zabbix-agent. Не надо самому подключать репозиторий под нужную систему, устанавливать пакет и править конфигурацию агента. Адрес сервера и имя хоста можно передать сразу во время установки агента.

Но тут всё не так просто. Запускаю мастер добавления хоста и не могу сдвинуться дальше первого шага, где нужно выбрать шаблон. Я тупо не могу понять, как это сделать. Нет ни одного доступного шаблона. Потыкался немного и проигравший, но не побеждённый полез читать документацию.

☝️ Оказывается, шаблоны должны быть совместимы с мастером. Не знаю, зачем так сделали. Хорошо хоть, что все их объединили в 5 наборов, которые можно разом установить. Качаются вот тут по ссылкам. После того, как их импортировал, наконец-то заработал мастер. Я смог выбрать шаблоны.

Будьте осторожны с этим обновлением, если будете обновлять стандартные шаблоны для совместимости с мастером добавления хостов. Стандартные шаблоны обновились и полетели ко мне новые алерты от триггеров, которые добавились. Пришлось разбираться в новых шаблонах, править или отключать ненужное. На некоторых серверах это может потребовать много времени.

Я из-за этого не люблю автоматом обновлять шаблоны. Напомню, что Zabbix Server после обновления сам шаблоны не обновляет. Это надо делать вручную. С одной стороны это хлопотно, но с другой страхует от лишней работы и проблем. Можно обновить сервер, но не трогать шаблоны, если тебе не нужны обновлённые версии. Старые без проблем работают. Я некоторые очень редко обновляю, потому что и так устраивают. Я не из тех, кто считает, что чем больше метрик, тем лучше. В них обычно потом никому не хочется разбираться. Лучше меньше и только те, что реально нужны.

Забыл добавить, что интеграция с Grafana не слетела после обновления с 7.0 до 7.4. Я ничего не трогал в самой Графане.

❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.

#zabbix

Я очень давно знаю Zabbix. Впервые увидел его версию 1.8. Сам изучал, настраивал и внедрял версию 2.0. С тех пор я его активно использую уже более 13-ти лет. Для меня это образец качественного и продуманного программного обеспечения, которое на протяжении более 20-ти лет стабильно становится всё лучше и лучше. Несмотря на свой почтенный возраст, активно развивается, следует современным тенденциям и технологиям. Вот уже и облачный сервис появился. Представляю, сколько труда было потрачено, чтобы перенести в SaaS монолит с такой историей разработки.

Всё это заслуга и труд его создателя-основателя, а потом и руководителя Алексея Владышева, который в 1998 самостоятельно начал разработку, будучи кем-то вроде сисадмина или сотрудника техподдержки в банке. Он рискнул и начал развивать продукт полностью в открытом формате open source. Это сейчас уже привычная модель развития, а в то время ещё не было успешных примеров такой модели, кроме разве что RedHat. И с той поры ничего принципиально не поменялось. Zabbix по-прежнему полностью открыт и бесплатен, нет деления на версию community с ограниченными возможностями и платной с полными, как это чаще всего бывает. Вы можете взять полнофункциональный код продукта и использовать у себя. Считаю это огромным управленческим достижением Алексея, как руководителя и разработчика.

Всегда с интересом смотрю все его выступления. Он бывал на конференциях в Москве. К сожалению, последнее время на русском языке их не встречал, хотя в целом Zabbix от него не отказался. Периодически проводятся вебинары, а в августе был онлайн митап на русском языке. С Алексеем когда-то давно был интересный подкаст, который я с удовольствием слушал. Чего-то более нового мне не попадалось. Послушайте, если вам интересна история Zabbix и его основателя.

Сейчас анонсирован новый онлайн митап совместно с компанией Gals Software, рекламу курсов которой по Zabbix вы периодически видите на моём канале. Увидел новость у них на канале. Эту публикацию у меня никто не заказывал, пишу от себя. На этом митапе выступит Алексей Владышев на русском языке и расскажет о нововведениях 8-й версии. Я записался и обязательно послушаю.

Пишу эту заметку в том числе, чтобы выразить своё уважение и признательность разработчикам Zabbix за отличный продукт, которым я совершенно бесплатно много лет пользуюсь. Знаю, что мой сайт в те времена, когда я активно писал заметки про Zabbix читали, делали обратные ссылки на мои материалы на официальном сайте, реализовывали какие-то костыли, собранные в том числе с подобных сайтов энтузиастов, в основные шаблоны. Может быть и это сообщение дойдёт до адресатов.

🗓 Онлайн встреча будет 3 декабря, в часовом поясе Алматы GMT+5. После регистрации я получил уведомление, что по Москве это будет 02:00 PM. Я тут боюсь ошибиться, так как уже не раз пропускал разные мероприятия из-за того, что путал часовые пояса и приходил не в то время. Получается, что это будет 04:00 PM (16:00) по часовому поясу Алматы или в 14:00 по Москве.

———
ServerAdmin: 📱 Telegram | 🌐 Сайт | 📲 MAX

#zabbix