Из этой статьи вы узнаете, как добавить в Zabbix простую возможность удаленного управления контейнерами, чтобы запускать, останавливать или перезапускать контейнеры прямо из обнаруженного узла сети.
Возможно, вы спросите, зачем тратить силы на создание узла сети для каждого шаблона? Дело в том, что мы определяем скрипт ручного действия для управления контейнером прямо из веб-интерфейса Zabbix. Удобно, правда? И зачем на этом останавливаться? Мы также можем настроить действие триггера, которое автоматически перезапустит контейнер, если по какой-либо причине в нем произойдет сбой.
Изменения в конфигурации сервера Zabbix
Сначала нам потребуется включить выполнение глобальных скриптов в конфигурации сервера Zabbix:
# nano /etc/zabbix/zabbix_server.conf EnableGlobalScripts=1 # systemctl restart zabbix-server
Настройка скрипта в веб-интерфейсе
Скрипт можно создать в разделе Оповещения > Скрипты. В скрипте заполните указанные ниже параметры — область применения, тип и команду. Затем укажите, к каким узлам сети будет применяться эта команда, а также группу пользователей, которая сможет ее выполнять. Скрипт использует пользовательские и встроенные макросы, чтобы подставить в команду нужные данные и сформировать корректный POST-запрос.
● Script
▪ Name: Container action
▪ Scope : Manual host action
▪ Type: Script
▪ Execute on: Zabbix server
▪ Commands: curl -sS -X POST https://{$DOCKER.IP}:{$DOCKER.PORT}/containers{HOST.NAME}/{MANUALINPUT} --cert /etc/zabbix/ssl/certs/client-cert.pem --key /etc/zabbix/ssl/keys/client-key.pem --cacert /etc/zabbix/ssl/ca/ca.pem
▪ Description: Manual action to restart,stop,start container
▪ Host group: Selected: Docker
▪ User group: Zabbix administrators
▪ Req host perm: Write
● Advanced configuration
▪ Enable user input Check
▪ Input prompt Specify action for container {HOST.NAME}:
▪ Input type: Dropdown
▪ Dropdown options: restart,stop,start
▪ Enable Confirmation: Check
▪ Confirmation text: Confirm to {MANUALINPUT} container: {HOST.NAME}

Выполнение скрипта ручного действия над узлом сети
Перейдите в раздел меню Мониторинг > Узлы сети, выберите узел сети и нажмите на него. В меню для группы узлов сети Docker будет доступен дополнительный скрипт Container action. Это ручное действие доступно и в некоторых других разделах веб-интерфейса.

После нажатия на Container action станут доступны несколько вариантов. Вы можете запустить, перезапустить или остановить контейнер.

Появится окно подтверждения с вопросом, действительно ли вы хотите выполнить это действие.


Состояние также можно проверить в меню «Последние данные» узла сети, после того как метрика будет собрана (для основного элемента данных — 1 минута). Элемент данных Container /zabbix-agent2: Running показывает, что этот контейнер не запущен, а другой элемент данных отображает код выхода 0, то есть процесс остановился штатно, без каких-либо проблем.

Некоторые элементы данных сообщают состояние в числовом формате, например 0, 1, 2 и т. д. Чтобы сделать его понятным для человека, мы используем преобразование значений, которое отображает значение в осмысленном и удобном для восприятия виде. На снимке экрана ниже показано преобразование значений для состояния работоспособности контейнера. Таким образом, вместо значения 3 для работоспособности контейнера (которое нам ничего не говорит и потребует чтения документации) мы увидим значение healthy (3).

Автоматизация восстановления контейнера после сбоя
Что, если в вашем контейнере по какой-то причине произойдет сбой? В этом случае вы получите событие проблемы, которое можно использовать для получения уведомлений о проблемах с контейнерами. Также можно автоматизировать процесс восстановления контейнера. Например, создайте действие триггера, которое перезапустит контейнер 3 раза с интервалом в 2 минуты.
И только если это не устранит проблему, отправьте сообщение администратору. Нет смысла бесконечно перезапускать службу — если несколько попыток не помогли, скорее всего, для решения проблемы потребуется вмешательство человека.
Вот параметры скрипта для операции действия:
● Script
▪ Name: Restart container
▪ Scope: Action operation
▪ Type: Script
▪ Execute on: Zabbix server
▪ Commands: curl -sS -X POST https://{$DOCKER.IP}:{$DOCKER.PORT}/containers{HOST.NAME}/restart --cert /etc/zabbix/ssl/certs/client-cert.pem --key /etc/zabbix/ssl/keys/client-key.pem --cacert /etc/zabbix/ssl/ca/ca.pem
▪ Description: Restart container
▪ Host group: Selected: Docker

Теперь нужно определить действие триггера, чтобы использовать этот скрипт и отправить уведомление администратору, если это не сработает.
Создадим новое действие триггера:
● Action tab
▪ Name: Automatic container restart
▪ Type of calc: And (A and B)
▪ condition: Host group equals Docker
▪ condition: Event name contains Container has been stopped with error code
▪ Enabled: Check
● Operations tab
▪ Default operation step duration: 2m
Add operation
▪ Operation: Current host: Check
▪ Steps: 1 -3
Add operation
▪ Operation: Send message
▪ Steps: 4 – 4
▪ Custom message: Check
▪ Subject: Automated restart failed to bring container up: {HOST.NAME}
▪ Message: <b>Host: {HOST.NAME}<br>
<b>Problem started at {EVENT.TIME} on {EVENT.DATE}<br>
<b>Operational data: {EVENT.OPDATA}<br>
<b>Original problem ID: {EVENT.ID}<br>



Действие должно выглядеть как на снимке экрана ниже. Сохраните его.

Проверка автоматического восстановления контейнера после сбоя
Я остановлю контейнер командой docker kill zabbix-agent2. Контейнер остановлен с кодом выхода, отличным от 0, поэтому, когда элемент данных получает данные (в моем случае через 1 минуту), я получаю событие проблемы. Действие триггера выполняет скрипт Container restart сразу, через 2 минуты и через 4 минуты, если событие проблемы не было решено.

Скрипт успешно перезапустил контейнер. Контейнер снова запущен, а событие проблемы решено.

Посмотрим, успею ли я несколько раз подряд принудительно остановить контейнер прокси west, прежде чем элемент данных соберет данные о запущенном состоянии контейнера. Что ж, я оказался быстрее, поэтому сейчас вы увидите, что происходит, когда вернуть контейнер в запущенное состояние «не удается». Здесь, в «Действиях», видно, что Zabbix выполнил скрипт три раза (а я успел достаточно быстро остановить контейнер 3 раза!), после чего действие отправило администратору уведомление о том, что запустить контейнер с помощью перезапусков не удалось.

Я получил сообщение о том, что перезапуск не смог вернуть контейнер в запущенное состояние и для устранения проблемы требуется вмешательство человека.

Заключение
Теперь вы знаете, как заранее все спланировать и использовать встроенные возможности Zabbix, чтобы решать проблемы без вмешательства человека (там, где это возможно) и получать уведомления только тогда, когда попытка автоматического устранения проблемы не удалась.