В этой статье я покажу, как настроить Zabbix для безопасного сбора метрик Docker API с помощью элемента данных Zabbix типа «HTTP агент» с аутентификацией по сертификатам. В этом руководстве рассматривается настройка на стороне Docker API и на стороне сервера Zabbix для более безопасного сбора данных.
Получение данных из Docker API в Zabbix
По умолчанию Docker API из соображений безопасности использует несетевой сокет, и на то есть ряд веских причин. Не рекомендуется открывать доступ к вашей среде Docker по TCP на localhost и тем более в интернет. Открыть Docker API в интернет без какой-либо защиты — все равно что пригласить хакеров на бесплатный обед: любой (включая ботов), кто получит доступ к вашему Docker API, сможет выполнять с его помощью и вредоносные операции (вносить изменения, запускать вредоносные контейнеры, пытаться захватить вашу среду и в целом причинить немало вреда)!
Поэтому обязательно усильте защиту своей среды и применяйте это руководство на свое усмотрение. Кроме того, настройте брандмауэр так, чтобы доступ к порту Docker API был только у сервера Zabbix! По умолчанию проверить, активна ли служба Docker и можно ли получить ответ от Docker API, можно с помощью команды curl:
# systemctl is-active docker # curl --silent --show-error --unix-socket /var/run/docker.sock http://localhost/info |jq

Создание сертификатов для сервера Docker и сервера Zabbix
Можно использовать подходящий для этой задачи инструмент, например HTTP агент для запросов к Docker API с надлежащей аутентификацией по сертификатам. Вам потребуются закрытый ключ и сертификат центра сертификации (CA); закрытый ключ и сертификат для сервера Docker; закрытый ключ и сертификат для сервера Zabbix (для простоты все их можно сгенерировать на сервере Docker и скопировать соответствующие файлы в каталоги на сервере Docker и на сервере Zabbix).
Руководство, по которому можно сгенерировать файлы сертификатов, находится здесь: https://docs.docker.com/engine/security/protect-access/#use-tls-https-to-protect-the-docker-daemon-socket.
Развертывание файлов сертификатов и настройка служб
На сервере Docker скопируйте файлы сертификатов CA и сервера в каталог /etc/docker:
# cp -v {ca,server-cert,server-key}.pem /etc/docker
Демону Docker также требуется конфигурация JSON с дополнительными настройками (разрешение TCP / сокета UNIX-домена, параметры TLS):
# nano /etc/docker/daemon.json
{
"hosts": ["tcp://0.0.0.0:2376","unix:///var/run/docker.sock"],
"tls": true,
"tlsverify": true,
"tlscacert": "/etc/docker/ca.pem",
"tlscert": "/etc/docker/server-cert.pem",
"tlskey": "/etc/docker/server-key.pem"
}
Нам нужно добавить переопределение службы Docker, чтобы убрать сокет UNIX-домена из службы systemd для Docker, затем перезагрузить демон и перезапустить службу Docker.
# mkdir -p /etc/systemd/system/docker.service.d
# nano /etc/systemd/system/docker.service.d/override.conf
[Service] ExecStart= ExecStart=/usr/bin/dockerd
# systemctl daemon-reload # systemctl restart docker
На стороне сервера Zabbix создайте каталоги для файлов сертификатов. Затем скопируйте нужные файлы сертификатов с сервера Docker. В моем случае я сгенерировал все файлы сертификатов на узле сети Docker (замените docker в команде scp на IP-адрес/DNS-имя сервера Docker): ca.pem, client-cert.pem, client-key.pem — скопируйте их в соответствующие каталоги и измените права доступа к ним.
# mkdir -pv /etc/zabbix/ssl/{ca,certs,keys}
# scp root@docker:/root/dockercerts/ca.pem /etc/zabbix/ssl/ca/
# scp root@docker:/root/dockercerts/client-cert.pem /etc/zabbix/ssl/certs/
# scp root@docker:/root/dockercerts/client-key.pem /etc/zabbix/ssl/keys/
# chmod -v 0400 /etc/zabbix/ssl/keys/client-key.pem
# chmod -v 0444 /etc/zabbix/ssl/ca/ca.pem /etc/zabbix/ssl/certs/client-cert.pem
# chown zabbix:zabbix -R /etc/zabbix/ssl
Проверьте, можно ли получить данные на сервере Zabbix с сервера Docker с помощью HTTPS-запроса (замените $HOST адресом своего сервера Docker):
# curl -sS https://$HOST:2376/info \ --cert /etc/zabbix/ssl/certs/client-cert.pem \ --key /etc/zabbix/ssl/keys/client-key.pem \ --cacert /etc/zabbix/ssl/ca/ca.pem |jq

Если до этого момента все работает, пора изменить файл конфигурации сервера Zabbix и указать расположение каталогов с файлами сертификатов. После этого перезапустите службу сервера Zabbix.
# nano /etc/zabbix/zabbix_server.conf
SSLCertLocation=/etc/zabbix/ssl/certs SSLKeyLocation=/etc/zabbix/ssl/keys SSLCALocation=/etc/zabbix/ssl/ca
# systemctl restart zabbix-server
Также потребуется скопировать файл CA Docker в каталог доверенных CA и обновить список CA.
# cd / # cp /etc/zabbix/ssl/ca/ca.pem /etc/pki/ca-trust/source/anchors/ # update-ca-trust extract

Настройка мониторинга в веб-интерфейсе Zabbix
Если вы дочитали до этого места и решили, что это слишком много работы или что такой подход неосуществим в вашей среде (из-за политики компании или какого-либо другого технического ограничения), не спешите расстраиваться! Есть и другой способ получить метрики без изменения конфигурации Docker, создания сертификатов и настройки файла конфигурации сервера Zabbix — просто используйте для сбора данных элемент данных типа «SSH агент».
Чтобы подготовиться к обоим подходам, я создам узел сети с несколькими пользовательскими макросами, в которых будут храниться IP-адрес, порт, пользователь SSH, пароль SSH и сведения об SSL-сертификате.


Простой способ: элементы данных типа «SSH агент»
Но что делать, если политика компании запрещает устанавливать дополнительные приложения для сбора данных, например агент Zabbix (или, как в данном случае, изменять параметры конфигурации Docker)? В такой ситуации можно воспользоваться другими, на первый взгляд более простыми способами сбора метрик, например элементом данных типа «SSH агент».
Если единственный инструмент, который у вас есть, — молоток (доступ по SSH), то любая проблема кажется гвоздем. Старая поговорка «работает — не трогай» актуальна и в наше время! В таком случае создайте элемент данных типа «SSH агент». Укажите IP-адрес и порт SSH в ключе элемента данных, имя пользователя и пароль для узла сети Docker, а также команду для сбора данных. Для этих полей я буду использовать ранее определенные пользовательские макросы.
Вот пример настройки элемента данных SSH:
Host: Docker server items
Item #1
▪ Name: Get info ssh
▪ Type SSH agent
▪ Key: ssh.run[docker.infos,{$DOCKER.IP}]
▪ Type of inf: text
▪ Username: {$SSH.USER}
▪ Password: {$SSH.PASSWORD}
▪ Ex. script: curl --unix-socket /var/run/docker.sock http://localhost/info

Также можно протестировать элемент данных и получить те же данные в формате JSON, что и на рис. 1.

Правильный способ: HTTP агент
Для другого подхода мы будем использовать элемент данных типа «HTTP агент», чтобы массово собирать данные с помощью вызовов Docker API. Для этого мне не нужно устанавливать агент Zabbix на сервер Docker. Аутентификация этого элемента данных будет выполняться с помощью скопированных ранее сертификатов. Вот важные параметры элемента данных:
Host: Docker server items
Item #1
▪ Name: Get info
▪ Type SSH agent
▪ Key: docker.info
▪ Type of inf: text
▪ URL: https://{$DOCKER.IP}:{$DOCKER.PORT}/info
▪ SSL verify peer: check
▪ SSL verify host: check
▪ SSL cert. file: {$SSL.CERTIFICATE.FILE}
▪ SSL key file: {$SSL.KEY.FILE}
Не забудьте протестировать элемент данных (собранные данные должны совпадать с показанными на рис. 2) и добавить элемент данных. Если вы также зашифровали закрытый ключ клиента (client-key.pem), потребуется также указать пароль SSL-ключа в настройках элемента данных.


Извлечение данных
Теперь можно извлечь важные метрики, создав зависимые элементы данных, которые используют основной элемент данных: Get info. Добавьте несколько зависимых элементов данных для извлечения метрик, например общего количества контейнеров, а также количества запущенных, остановленных и приостановленных контейнеров. Параметры настройки элементов данных приведены ниже, под примерами зависимых элементов данных. Ниже показаны снимки экрана с параметрами элемента данных «Containers running» вместе с перечнем параметров настройки.

Тегирование элемента данных также упростит вам жизнь при фильтрации, когда у вас будет целый легион элементов данных.

На вкладке «Предобработка» можно использовать шаг предобработки JSONPath, чтобы извлечь количество запущенных контейнеров из основного элемента данных.

Docker Host items ● Item #1 ▪ Name: Containers running ▪ Type Dependent item ▪ Key: docker.containers.running ▪ Type of inf: Numeric (unsigned) ▪ Master item Docker: Get info ▪ Units: !containers ♦ Tags (name:value) ▪ component:containers ♯ Preprocessing ▪ JSONPath $.ContainersRunning ● Item #2 ▪ Name: Containers paused ▪ Type Dependent item ▪ Key: docker.containers.paused ▪ Type of inf: Numeric (unsigned) ▪ Master item Docker: Get info ▪ Units: !containers ♦ Tags (name:value) ▪ component:containers ♯ Preprocessing ▪ JSONPath $.ContainersPaused ● Item #3 ▪ Name: Containers stopped ▪ Type Dependent item ▪ Key: docker.containers.stopped ▪ Type of inf: Numeric (unsigned) ▪ Master item Docker: Get info ▪ Units: !containers ♦ Tags (name:value) ▪ component:containers ♯ Preprocessing ▪ JSONPath $.ContainersStopped ● Item #4 ▪ Name: Containers total ▪ Type Dependent item ▪ Key: docker.containers.total ▪ Type of inf: Numeric (unsigned) ▪ Master item Docker: Get info ▪ Units: !containers ♦ Tags (name:value) ▪ component:containers ♯ Preprocessing ▪ JSONPath $.Containers
Создание триггера
Я также могу настроить триггер, чтобы получать событие проблемы, если какие-то контейнеры не запущены. Ниже показан снимок экрана с настройкой триггера и его параметров.

Trigger
◘ Trigger
▪ Name: Some containers are not running
▪ Operational data: Total: {ITEM.LASTVALUE1}, Running: {ITEM.LASTVALUE2}
▪ Severity: Warning
▪ Expression: last(/Docker server/docker.containers.total)last(/Docker server/docker.containers.running)
▪ PROBLEM event generation mode: Single
▪ OK event closes: All problems
Получение дополнительных данных
Docker Engine также включает предыдущие версии API. Если версия API не указана в URL, используется последняя установленная версия (использование API без указания версии считается устаревшим и будет удалено в одном из будущих выпусков). Поэтому, даже если у вас установлена последняя версия Docker (а обновляться до последней версии нужно всегда!), вы по-прежнему можете использовать более старые вызовы API, указав версию (но, опять же, проверьте, что работает).
Docker API предлагает ряд вызовов API, с помощью которых можно собирать информацию о контейнерах, образах, статистике производительности контейнеров, сетях, томах или вносить в них изменения.
Кроме того, чтобы узнать о других вызовах API, изучите эту страницу: https://docs.docker.com/reference/api/engine/latest/.
В качестве примера я создам еще один элемент данных для сбора информации о конкретном контейнере. Настройка элемента данных будет отличаться от примера на рис. 8 следующими параметрами: другие URL, имя и ключ элемента данных.
Вот пример поля URL (замените {$CONTAINER} именем существующего контейнера):
https://{$DOCKER.IP}:{$DOCKER.PORT}/containers/{$CONTAINER}/json

С помощью другого URL можно также получать данные о производительности контейнера. Настройка элемента данных будет отличаться от примера на рис. 8 следующими параметрами: URL, имя и ключ элемента данных. Вот пример поля URL (замените {$CONTAINER} именем существующего контейнера):
https://{$DOCKER.IP}:{$DOCKER.PORT}/containers/{$CONTAINER}/stats?stream=false

Тестирование триггера
Мы ведь можем проверить, действительно ли данные, возвращаемые Docker API, такие, какими кажутся? У меня пять контейнеров, созданных командой «docker run», и один, созданный командой «docker compose». Давайте остановим контейнер, созданный командой «docker run», и проверим, отразится ли это в собранных метриках.

Как видно на рис. 13, остановленный контейнер отображается как в метриках, собранных Zabbix через Docker API, так и в Docker CLI. Элемент данных узла сети Docker показывает 1 остановленный контейнер и 5 запущенных контейнеров; общее количество контейнеров — 6.
Если же использовать команду «docker compose down», контейнер будет остановлен и полностью удален. Это означает, что общее количество контейнеров также уменьшится на один вместе с его статусом, как показано на рис. 17. Поэтому убедитесь, что понимаете, что делает каждая команда и как она повлияет на ваши данные мониторинга.

Заключение
Теперь вы знаете больше о том, как собирать данные из Docker с помощью HTTP-запросов. Аналогичные подходы можно использовать и для сбора данных из других приложений через API. Вы можете выбрать, какие метрики нужно извлекать, создать триггеры, графики или, при желании, шаблон.