Close
Log in to Zabbix Blog
Email
Password
Show password Hide password
Forgot password?
Incorrect e-mail and/or password
or
By creating an account or logging in with an existing account, you agree to our Terms of Service
Как сделатьТехнический постВойти

Обнаружьте проблемы в своем экземпляре Zabbix, пока не стало слишком поздно

В этой статье я покажу, как обнаружить проблемы с производительностью в вашем экземпляре Zabbix — заранее! Возможно, вы используете Zabbix для мониторинга своей инфраструктуры, устройств и приложений, но ведете ли вы мониторинг собственного экземпляра? Это может показаться излишним — в конце концов, что там отслеживать, верно? Ваш экземпляр просто работает, значит, все в порядке. Что […]

В этой статье я покажу, как обнаружить проблемы с производительностью в вашем экземпляре Zabbix — заранее!

Возможно, вы используете Zabbix для мониторинга своей инфраструктуры, устройств и приложений, но ведете ли вы мониторинг собственного экземпляра? Это может показаться излишним — в конце концов, что там отслеживать, верно? Ваш экземпляр просто работает, значит, все в порядке. Что еще нужно?

Однако помните: если в системе базы данных Zabbix закончится место на диске, сбор данных остановится. Если сборщиков данных недостаточно, собранные данные будут несогласованными, и это также повлияет на обнаружение проблем.

Если на сервере Zabbix закончится место в кэше, то в зависимости от того, какой кэш затронут, сервер Zabbix может сразу аварийно завершить работу или его производительность снизится. Многое может пойти не так, и важно действовать на опережение! Вот как это сделать.

Настройка базы данных

Если вы используете для базы данных настройки по умолчанию, вы упускаете значительный прирост производительности, который просто остается неиспользованным! Реальная производительность вашего экземпляра зависит от производительности базы данных. Если производительность базы данных низкая, мониторинг с Zabbix тоже будет работать хуже.

Выполните хотя бы минимальную тонкую настройку и меняйте только те параметры, которые понимаете: читайте документацию, изучайте официальные статьи в блоге Zabbix и Zabbix Форум, проводите тестирование. Конечно, чтобы добиться результата, можно использовать любые доступные инструменты, например ИИ, но всегда проверяйте настройки в тестовой среде.

Настройка базы данных — сложная задача. Вот начальные параметры, которые можно настроить для базы данных MySQL:

innodb_flush_log_at_trx_commit = 0
innodb_flush_method = O_DIRECT
optimizer_switch=index_condition_pushdown=off
innodb_buffer_pool_size= ~75% of RAM if only DB engine running or less if shared with other applications

Для базы данных PostgreSQL начальную конфигурацию можно подобрать с помощью онлайн-инструмента настройки PGTUNE:

https://pgtune.leopard.in.ua/

Мониторинг базы данных Zabbix

Важно вести мониторинг базы данных. Zabbix предлагает несколько готовых вариантов мониторинга самых популярных баз данных разными способами: с помощью агента Zabbix или агента Zabbix 2, проверок ODBC, Zabbix Java gateway или HTTP-проверок. При обнаружении проблемы вы получите соответствующее событие проблемы. Не забывайте вручную обновлять старые шаблоны Zabbix до текущей версии после обновления сервера Zabbix.

Рис. 1. Некоторые из доступных готовых шаблонов для мониторинга баз данных

Конечно, в зависимости от выбранного способа мониторинга базы данных, чтобы все заработало, потребуется выполнить несколько дополнительных шагов. Подробнее о настройке см. на странице интеграций Zabbix.

Рис. 2. Пример настройки, необходимой для мониторинга базы данных MySQL с помощью агента Zabbix 2

Мониторинг сервера Zabbix

Следующее, что стоит проверить, — это панели узла сети Zabbix server. В новых экземплярах узел сети Zabbix server есть сразу после установки, и к нему уже привязаны два шаблона: Zabbix server health и Linux by Zabbix agent. Если такой узел сети по какой-то причине не сохранился, самое время создать его и начать мониторинг сервера Zabbix.

Шаблон Zabbix server health использует внутренние элементы данных Zabbix, которым не требуется интерфейс. А вот для шаблона Linux by Zabbix agent в системе сервера Zabbix должен быть запущен агент Zabbix, чтобы собирать метрики ОС.

Рис. 3. Узел сети Zabbix server с привязанными шаблонами

Проверка текущего состояния сервера Zabbix

Когда такой узел сети есть, перейдите в меню Мониторинг > Узлы сети, найдите узел сети Zabbix server с помощью основного фильтра и откройте его панели узла сети.

Рис. 4. Панели узла сети

Выберите панель Zabbix server health. Ниже вы увидите ее страницы — Performance, Processes и Statuses.

Рис. 5. Страница панели Zabbix server health: Performance

Проверка использования кэша

На странице Performance можно увидеть использование кэшей сервера Zabbix. Убедитесь, что все кэши, кроме кэша истории, свободны как минимум на ~ 50 %. Технически кэши можно сделать сколь угодно большими: в худшем случае они просто будут использоваться не полностью. Поэтому настройте размеры кэшей соответствующим образом.

Последствия нехватки кэша конфигурации

Если вы добавляете много узлов сети автоматически, а размер кэша конфигурации [configcache] относительно небольшой или задан по умолчанию, этот кэш может быстро заполниться. Последствия этого:

  • Сервер Zabbix аварийно завершит работу
  • Сервер Zabbix не сможет запуститься
  • Сервер Zabbix не будет собирать данные

Кроме того, в веб-интерфейсе Zabbix появится предупреждающее сообщение:

Рис. 6. Страница панели Zabbix server health при нехватке кэша конфигурации

Если кэш конфигурации заполняется не мгновенно, вскоре будет сгенерировано событие проблемы, и, пока сервер Zabbix еще работает, будут выполнены соответствующие операции действий, например уведомление администраторов о проблеме. На скриншоте ниже видно, что до аварийного завершения работы сервера был выполнен один шаг операции действия.

Рис. 7. Сгенерированное событие проблемы

Когда компонент Zabbix работает не так, как ожидается, лучший источник информации — файл журнала, поскольку в нем сообщается о проблемах. Ниже показано сообщение об ошибке в файле журнала сервера Zabbix.

Рис. 8. Ошибка в файле журнала сервера Zabbix: нехватка памяти для кэша конфигурации

Решение очень простое: увеличьте размер кэша конфигурации (в два раза или больше) и перезапустите сервер Zabbix. Если в ближайшее время ожидается значительный рост числа узлов сети, можно не скупиться и выделить больше памяти. Мой текущий сервер Zabbix отслеживает примерно 400 узлов сети.

Рис. 9. Информация о системе моего сервера Zabbix

Последствия нехватки кэша значений и кэша истории

Итак, что произойдет, если закончится кэш значений? Производительность сервера Zabbix снизится, а веб-интерфейс станет заметно медленнее реагировать. Почему так происходит? В кэше значений хранятся значения элементов данных, которые используются для вычисляемых элементов данных и вычисления триггеров. Теперь при каждом вычислении триггера метрики элементов данных, которых нет в кэше истории, будут извлекаться напрямую из базы данных.

Рис. 10. Страница Performance панели Zabbix server health с данными об использовании кэша

В кэше истории хранятся исторические данные, которые будут записаны в базу данных. Если он почти заполнен, это значит, что, возможно, есть проблемы с производительностью базы данных — сервер Zabbix не успевает записывать данные в базу данных. Это может запустить каскадное снижение производительности по принципу порочного круга. В моем случае:

  • Заполненный кэш значений приводит к дополнительным запросам на чтение к базе данных
  • Производительность базы данных падает, из-за чего запись исторических данных в базу данных замедляется
  • Кэш истории тоже начинает заполняться
  • Сбор данных задерживается из-за заполненного кэша истории
  • По мере сбора новых данных запросы на чтение к базе данных извлекают все больше данных, и цикл постепенно усугубляется

Технически для возникновения этой проблемы кэш значений не обязательно должен быть заполнен на 100% — если многие триггеры используют для вычисления длительный интервал времени, может возникнуть ситуация, когда кэш значений заполнен лишь на 85% или 90%, но сервер Zabbix не может разместить нужные записи истории элементов данных в доступной памяти.

Проблема нехватки кэша значений также будет записана в файл журнала сервера Zabbix.

Рис. 11. Файл журнала сервера Zabbix с ошибкой кэша значений

Решение этой проблемы простое: увеличьте размер кэша значений и перезапустите сервер Zabbix.
Если вы отслеживаете сервер Zabbix с помощью шаблона health, события проблем будут автоматически генерироваться, когда:

  • Кэш значений работает в режиме низкой памяти
  • Использование кэша истории превышает 75 %
Рис. 12. Сгенерированные события проблем, связанные с кэшем значений

Проблему с работой кэша значений в режиме низкой памяти также можно увидеть на графике ниже. Здесь видно, сколько исторических значений элементов данных было в кэше и сколько пришлось извлечь напрямую из базы данных.

Рис. 13. График эффективности кэша значений

Из-за ужасной производительности ненастроенной базы данных, когда у меня заполняется кэш записи истории, работа сборщиков данных ограничивается, что приводит к накоплению задержанных элементов данных.

Рис. 14. График производительности сервера Zabbix

В файле журнала сервера Zabbix появятся медленные запросы к базе данных.

Рис. 15. Файл журнала сервера Zabbix с ошибками медленных запросов

Результат настройки кэшей и базы данных

Увеличение кэша значений лишь частично решило одну проблему. После настройки базы данных ее производительность значительно улучшилась:

  • Кэш истории теперь пуст
  • Больше нет промахов кэша значений
  • Больше нет задержанных элементов данных
Рис. 16. Графики использования кэша, производительности сервера и эффективности кэша значений

После настройки базы данных загрузка процессов agent poller и history syncer также упала до низких значений.

Рис. 17. Графики загрузки сборщиков данных и внутренних процессов

Настройка параметров конфигурации сервера Zabbix

Проверьте страницу Processes на панели Zabbix Health и настройте параметры соответствующим образом. Изменяйте только те параметры, которые понимаете. Произвольное изменение параметров может привести к следующему:

  • Напрасная трата ресурсов без реального повышения производительности
  • Снижение производительности сервера Zabbix
  • Аварийные завершения работы сервера Zabbix

Что касается сборщиков данных, обычно требуется лишь относительно небольшое количество асинхронных сборщиков данных, поскольку они очень эффективны, и относительно большее количество синхронных сборщиков данных. Графики загрузки процессов сбора данных чрезвычайно полезны, чтобы определить, количество каких из них нужно увеличить, — если их загрузка близка к 100%, пора действовать и добавить еще.

Подводные камни неправильной настройки

Теперь о подводных камнях неправильной настройки или ее отсутствия. Рассмотрим сценарий: установлены компоненты Zabbix и база данных MySQL без какой-либо настройки конфигурации, кроме кэша конфигурации, чтобы сервер Zabbix не завершал работу аварийно сразу же. Сервер Zabbix отслеживает около 400 узлов сети. Загрузка процессов Zabbix agent poller и history syncer близка к 100%, как на рис. 17 до настройки.

Можно подумать, что увеличение количества обоих этих процессов, например вдвое, улучшит ситуацию: больше параллельных процессов опроса агентов должно собирать больше данных, а больше процессов history syncer должно записывать больше данных в базу данных.

После перезапуска сервера Zabbix и проверки графика видно, что оба процесса заняты почти на 100%, а сбор метрик значительно задерживается. Стало намного хуже.

Рис. 18. Графики загрузки асинхронных сборщиков данных и внутренних процессов

При увеличении количества обоих процессов в четыре раза результат еще хуже: сбор значений элементов данных значительно задерживается.

Рис. 19. Графики загрузки асинхронных сборщиков данных и внутренних процессов

Так что же происходит за веб-интерфейсом? Простое увеличение количества сборщиков agent poller и процессов history syncer приводит к еще более низкой производительности. Кажется нелогичным, верно: больше сборщиков данных должно означать, что будет собрано больше данных, а больше процессов history syncer — что в базу данных можно параллельно записывать больше данных.

Однако увеличение количества сборщиков данных в этой конкретной ситуации лишь сильно ухудшит положение: вы можете собирать больше данных одновременно, но все равно упретесь в то же узкое место: базу данных. Увеличение количества процессов history syncer в этом случае делает ситуацию намного хуже, поскольку из-за большего числа одновременных запросов база данных замедляется еще сильнее. Поэтому еще раз: настройте свою СУБД и получите от нее больше производительности.

Заключение

Ведите мониторинг всех компонентов Zabbix и реагируйте на возникающие проблемы. Также убедитесь, что получаете уведомления через предпочтительный тип медиа, чтобы действовать незамедлительно. Полный список того, что нужно отслеживать, гораздо шире, но эта статья должна дать вам несколько примеров и идей. Всегда лучше действовать проактивно, чем разбираться с проблемами после того, как они возникли.

 

Prev Post Prev Post Next Post Next Post
Подписаться
Уведомить о
0 Comments
Старые
Новые Популярные
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x