Close
Log in to Zabbix Blog
Email
Password
Show password Hide password
Forgot password?
Incorrect e-mail and/or password
or
By creating an account or logging in with an existing account, you agree to our Terms of Service
Как сделатьТехнический постВойти

Zabbix и Docker API, часть 1: Inspect

В этой статье я покажу, как настроить Zabbix для безопасного сбора метрик Docker API с помощью элемента данных Zabbix типа «HTTP агент» с аутентификацией по сертификатам. В этом руководстве рассматривается настройка на стороне Docker API и на стороне сервера Zabbix для более безопасного сбора данных. Получение данных из Docker API в Zabbix По умолчанию Docker […]

В этой статье я покажу, как настроить Zabbix для безопасного сбора метрик Docker API с помощью элемента данных Zabbix типа «HTTP агент» с аутентификацией по сертификатам. В этом руководстве рассматривается настройка на стороне Docker API и на стороне сервера Zabbix для более безопасного сбора данных.

Получение данных из Docker API в Zabbix

По умолчанию Docker API из соображений безопасности использует несетевой сокет, и на то есть ряд веских причин. Не рекомендуется открывать доступ к вашей среде Docker по TCP на localhost и тем более в интернет. Открыть Docker API в интернет без какой-либо защиты — все равно что пригласить хакеров на бесплатный обед: любой (включая ботов), кто получит доступ к вашему Docker API, сможет выполнять с его помощью и вредоносные операции (вносить изменения, запускать вредоносные контейнеры, пытаться захватить вашу среду и в целом причинить немало вреда)!

Поэтому обязательно усильте защиту своей среды и применяйте это руководство на свое усмотрение. Кроме того, настройте брандмауэр так, чтобы доступ к порту Docker API был только у сервера Zabbix! По умолчанию проверить, активна ли служба Docker и можно ли получить ответ от Docker API, можно с помощью команды curl:

# systemctl is-active docker
# curl --silent --show-error --unix-socket /var/run/docker.sock http://localhost/info |jq
Рис. 1. Вывод вызова Docker API в CLI

Создание сертификатов для сервера Docker и сервера Zabbix

Можно использовать подходящий для этой задачи инструмент, например HTTP агент для запросов к Docker API с надлежащей аутентификацией по сертификатам. Вам потребуются закрытый ключ и сертификат центра сертификации (CA); закрытый ключ и сертификат для сервера Docker; закрытый ключ и сертификат для сервера Zabbix (для простоты все их можно сгенерировать на сервере Docker и скопировать соответствующие файлы в каталоги на сервере Docker и на сервере Zabbix).

Руководство, по которому можно сгенерировать файлы сертификатов, находится здесь: https://docs.docker.com/engine/security/protect-access/#use-tls-https-to-protect-the-docker-daemon-socket.

Развертывание файлов сертификатов и настройка служб

На сервере Docker скопируйте файлы сертификатов CA и сервера в каталог /etc/docker:

# cp -v {ca,server-cert,server-key}.pem /etc/docker

Демону Docker также требуется конфигурация JSON с дополнительными настройками (разрешение TCP / сокета UNIX-домена, параметры TLS):

# nano /etc/docker/daemon.json
{
  "hosts": ["tcp://0.0.0.0:2376","unix:///var/run/docker.sock"],
  "tls": true,
  "tlsverify": true,
  "tlscacert": "/etc/docker/ca.pem",
  "tlscert": "/etc/docker/server-cert.pem",
  "tlskey": "/etc/docker/server-key.pem"
}

Нам нужно добавить переопределение службы Docker, чтобы убрать сокет UNIX-домена из службы systemd для Docker, затем перезагрузить демон и перезапустить службу Docker.

# mkdir -p /etc/systemd/system/docker.service.d
# nano /etc/systemd/system/docker.service.d/override.conf
[Service]
ExecStart=
ExecStart=/usr/bin/dockerd
# systemctl daemon-reload
# systemctl restart docker

На стороне сервера Zabbix создайте каталоги для файлов сертификатов. Затем скопируйте нужные файлы сертификатов с сервера Docker. В моем случае я сгенерировал все файлы сертификатов на узле сети Docker (замените docker в команде scp на IP-адрес/DNS-имя сервера Docker): ca.pem, client-cert.pem, client-key.pem — скопируйте их в соответствующие каталоги и измените права доступа к ним.

# mkdir -pv /etc/zabbix/ssl/{ca,certs,keys}
# scp root@docker:/root/dockercerts/ca.pem /etc/zabbix/ssl/ca/
# scp root@docker:/root/dockercerts/client-cert.pem /etc/zabbix/ssl/certs/
# scp root@docker:/root/dockercerts/client-key.pem /etc/zabbix/ssl/keys/
# chmod -v 0400 /etc/zabbix/ssl/keys/client-key.pem
# chmod -v 0444 /etc/zabbix/ssl/ca/ca.pem /etc/zabbix/ssl/certs/client-cert.pem
# chown zabbix:zabbix -R /etc/zabbix/ssl

Проверьте, можно ли получить данные на сервере Zabbix с сервера Docker с помощью HTTPS-запроса (замените $HOST адресом своего сервера Docker):

# curl -sS https://$HOST:2376/info \
  --cert /etc/zabbix/ssl/certs/client-cert.pem \
  --key /etc/zabbix/ssl/keys/client-key.pem \
  --cacert /etc/zabbix/ssl/ca/ca.pem |jq
Рис. 2. Выполнение HTTPS-запроса к серверу Docker с машины сервера Zabbix

Если до этого момента все работает, пора изменить файл конфигурации сервера Zabbix и указать расположение каталогов с файлами сертификатов. После этого перезапустите службу сервера Zabbix.

# nano /etc/zabbix/zabbix_server.conf
SSLCertLocation=/etc/zabbix/ssl/certs
SSLKeyLocation=/etc/zabbix/ssl/keys
SSLCALocation=/etc/zabbix/ssl/ca
# systemctl restart zabbix-server

Также потребуется скопировать файл CA Docker в каталог доверенных CA и обновить список CA.

# cd /
# cp /etc/zabbix/ssl/ca/ca.pem /etc/pki/ca-trust/source/anchors/
# update-ca-trust extract
Рис. 3. Расположение файлов сертификатов в каталогах на каждом сервере

Настройка мониторинга в веб-интерфейсе Zabbix

Если вы дочитали до этого места и решили, что это слишком много работы или что такой подход неосуществим в вашей среде (из-за политики компании или какого-либо другого технического ограничения), не спешите расстраиваться! Есть и другой способ получить метрики без изменения конфигурации Docker, создания сертификатов и настройки файла конфигурации сервера Zabbix — просто используйте для сбора данных элемент данных типа «SSH агент».

Чтобы подготовиться к обоим подходам, я создам узел сети с несколькими пользовательскими макросами, в которых будут храниться IP-адрес, порт, пользователь SSH, пароль SSH и сведения об SSL-сертификате.

Рис. 4. Создание нового узла сети
Рис. 5. Добавление пользовательских макросов к узлу сети

Простой способ: элементы данных типа «SSH агент»

Но что делать, если политика компании запрещает устанавливать дополнительные приложения для сбора данных, например агент Zabbix (или, как в данном случае, изменять параметры конфигурации Docker)? В такой ситуации можно воспользоваться другими, на первый взгляд более простыми способами сбора метрик, например элементом данных типа «SSH агент».

Если единственный инструмент, который у вас есть, — молоток (доступ по SSH), то любая проблема кажется гвоздем. Старая поговорка «работает — не трогай» актуальна и в наше время! В таком случае создайте элемент данных типа «SSH агент». Укажите IP-адрес и порт SSH в ключе элемента данных, имя пользователя и пароль для узла сети Docker, а также команду для сбора данных. Для этих полей я буду использовать ранее определенные пользовательские макросы.

Вот пример настройки элемента данных SSH:

Host: Docker server items 
Item #1
  ▪ Name:          Get info ssh
  ▪ Type           SSH agent
  ▪ Key:           ssh.run[docker.infos,{$DOCKER.IP}]  
  ▪ Type of inf:   text
  ▪ Username:      {$SSH.USER}
  ▪ Password:      {$SSH.PASSWORD}
  ▪ Ex. script:    curl --unix-socket /var/run/docker.sock http://localhost/info
Рис. 6. Пример настройки элемента данных типа «SSH агент» для выполнения скрипта на сервере Docker

Также можно протестировать элемент данных и получить те же данные в формате JSON, что и на рис. 1.

Рис. 7. Результат тестирования элемента данных

Правильный способ: HTTP агент

Для другого подхода мы будем использовать элемент данных типа «HTTP агент», чтобы массово собирать данные с помощью вызовов Docker API. Для этого мне не нужно устанавливать агент Zabbix на сервер Docker. Аутентификация этого элемента данных будет выполняться с помощью скопированных ранее сертификатов. Вот важные параметры элемента данных:

Host: Docker server items 
Item #1
  ▪ Name:             Get info
  ▪ Type              SSH agent
  ▪ Key:              docker.info    
  ▪ Type of inf:      text
  ▪ URL:              https://{$DOCKER.IP}:{$DOCKER.PORT}/info
  ▪ SSL verify peer: check
  ▪ SSL verify host: check
  ▪ SSL cert. file:  {$SSL.CERTIFICATE.FILE}
  ▪ SSL key file:    {$SSL.KEY.FILE}

Не забудьте протестировать элемент данных (собранные данные должны совпадать с показанными на рис. 2) и добавить элемент данных. Если вы также зашифровали закрытый ключ клиента (client-key.pem), потребуется также указать пароль SSL-ключа в настройках элемента данных.

Рис. 8. Пример настроенного элемента данных типа «HTTP агент»
Рис. 9. Элемент данных типа «HTTP агент» собирает данные

Извлечение данных

Теперь можно извлечь важные метрики, создав зависимые элементы данных, которые используют основной элемент данных: Get info. Добавьте несколько зависимых элементов данных для извлечения метрик, например общего количества контейнеров, а также количества запущенных, остановленных и приостановленных контейнеров. Параметры настройки элементов данных приведены ниже, под примерами зависимых элементов данных. Ниже показаны снимки экрана с параметрами элемента данных «Containers running» вместе с перечнем параметров настройки.

Рис. 10. Вкладка зависимого элемента данных для получения количества запущенных контейнеров

Тегирование элемента данных также упростит вам жизнь при фильтрации, когда у вас будет целый легион элементов данных.

Рис. 11. Вкладка тегов зависимого элемента данных для получения количества запущенных контейнеров

На вкладке «Предобработка» можно использовать шаг предобработки JSONPath, чтобы извлечь количество запущенных контейнеров из основного элемента данных.

Рис. 12. Вкладка предобработки зависимого элемента данных для получения количества запущенных контейнеров
Docker Host items
● Item #1
  ▪ Name: 	Containers running	
  ▪ Type 		Dependent item
  ▪ Key: 		docker.containers.running	
  ▪ Type of inf: 	Numeric (unsigned)
  ▪ Master item	Docker: Get info
  ▪ Units: 	!containers
♦ Tags (name:value) 	
  ▪ component:containers	
♯ Preprocessing
  ▪ JSONPath  	$.ContainersRunning

● Item #2
  ▪ Name: 	Containers paused	
  ▪ Type 		Dependent item
  ▪ Key: 		docker.containers.paused	
  ▪ Type of inf: 	Numeric (unsigned)
  ▪ Master item	Docker: Get info
  ▪ Units: 	!containers
♦ Tags (name:value) 	
  ▪ component:containers	
♯ Preprocessing
  ▪ JSONPath  	$.ContainersPaused

● Item #3
  ▪ Name: 	Containers stopped	
  ▪ Type 		Dependent item
  ▪ Key: 		docker.containers.stopped	
  ▪ Type of inf: 	Numeric (unsigned)
  ▪ Master item	Docker: Get info
  ▪ Units: 	!containers
♦ Tags (name:value) 	
  ▪ component:containers	
♯ Preprocessing
  ▪ JSONPath  	$.ContainersStopped

● Item #4
  ▪ Name: 	Containers total	
  ▪ Type 		Dependent item
  ▪ Key: 		docker.containers.total	
  ▪ Type of inf: 	Numeric (unsigned)
  ▪ Master item	Docker: Get info
  ▪ Units: 	!containers
♦ Tags (name:value) 	
  ▪ component:containers	
♯ Preprocessing
  ▪ JSONPath  	$.Containers

Создание триггера

Я также могу настроить триггер, чтобы получать событие проблемы, если какие-то контейнеры не запущены. Ниже показан снимок экрана с настройкой триггера и его параметров.

Рис. 13. Настройка триггера
Trigger
◘ Trigger 
  ▪ Name: 		Some containers are not running
  ▪ Operational data: 	Total: {ITEM.LASTVALUE1}, Running: {ITEM.LASTVALUE2}
  ▪ Severity: 		Warning
  ▪ Expression: 		last(/Docker server/docker.containers.total)last(/Docker server/docker.containers.running)
  ▪ PROBLEM event generation mode: Single
  ▪ OK event closes: All problems

Получение дополнительных данных

Docker Engine также включает предыдущие версии API. Если версия API не указана в URL, используется последняя установленная версия (использование API без указания версии считается устаревшим и будет удалено в одном из будущих выпусков). Поэтому, даже если у вас установлена последняя версия Docker (а обновляться до последней версии нужно всегда!), вы по-прежнему можете использовать более старые вызовы API, указав версию (но, опять же, проверьте, что работает).

Docker API предлагает ряд вызовов API, с помощью которых можно собирать информацию о контейнерах, образах, статистике производительности контейнеров, сетях, томах или вносить в них изменения.

Кроме того, чтобы узнать о других вызовах API, изучите эту страницу: https://docs.docker.com/reference/api/engine/latest/.
В качестве примера я создам еще один элемент данных для сбора информации о конкретном контейнере. Настройка элемента данных будет отличаться от примера на рис. 8 следующими параметрами: другие URL, имя и ключ элемента данных.

Вот пример поля URL (замените {$CONTAINER} именем существующего контейнера):

https://{$DOCKER.IP}:{$DOCKER.PORT}/containers/{$CONTAINER}/json
Рис. 14. Элемент данных типа «HTTP агент» для получения низкоуровневой информации о конкретном контейнере: tomcat

С помощью другого URL можно также получать данные о производительности контейнера. Настройка элемента данных будет отличаться от примера на рис. 8 следующими параметрами: URL, имя и ключ элемента данных. Вот пример поля URL (замените {$CONTAINER} именем существующего контейнера):

https://{$DOCKER.IP}:{$DOCKER.PORT}/containers/{$CONTAINER}/stats?stream=false
Рис. 15. Элемент данных типа «HTTP агент» для получения информации о производительности конкретного контейнера: zabbix-server-mysql

Тестирование триггера

Мы ведь можем проверить, действительно ли данные, возвращаемые Docker API, такие, какими кажутся? У меня пять контейнеров, созданных командой «docker run», и один, созданный командой «docker compose». Давайте остановим контейнер, созданный командой «docker run», и проверим, отразится ли это в собранных метриках.

Рис. 16. Последние данные элементов данных при остановке контейнера Docker Compose

Как видно на рис. 13, остановленный контейнер отображается как в метриках, собранных Zabbix через Docker API, так и в Docker CLI. Элемент данных узла сети Docker показывает 1 остановленный контейнер и 5 запущенных контейнеров; общее количество контейнеров — 6.

Если же использовать команду «docker compose down», контейнер будет остановлен и полностью удален. Это означает, что общее количество контейнеров также уменьшится на один вместе с его статусом, как показано на рис. 17. Поэтому убедитесь, что понимаете, что делает каждая команда и как она повлияет на ваши данные мониторинга.

Рис. 17. Последние данные элементов данных при использовании Docker Compose down для контейнера

Заключение

Теперь вы знаете больше о том, как собирать данные из Docker с помощью HTTP-запросов. Аналогичные подходы можно использовать и для сбора данных из других приложений через API. Вы можете выбрать, какие метрики нужно извлекать, создать триггеры, графики или, при желании, шаблон.

 

Prev Post Prev Post Next Post Next Post
Подписаться
Уведомить о
0 Comments
Старые
Новые Популярные
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x