Close
Log in to Zabbix Blog
Email
Password
Show password Hide password
Forgot password?
Incorrect e-mail and/or password
or
By creating an account or logging in with an existing account, you agree to our Terms of Service
案例研究如何技术的社区会议登录

解码 Zabbix proxy 流量,加快故障排除

通常,只需查看 Zabbix proxy 管理页面或 proxy 健康指标,即可完成基本的 proxy 故障排 […]

通常,只需查看 Zabbix proxy 管理页面或 proxy 健康指标,即可完成基本的 proxy 故障排除。但在某些情况下,需要进行更深入的分析。

今天,我们将研究 Zabbix server ↔ proxy 之间的通信,并学习如何解读其内部通信协议。

了解协议

Zabbix 通信协议

Zabbix 组件使用 TCP 进行通信,信息以 JSON 格式编码。如何识别 Zabbix 通信数据包?您需要应用以下几个主要过滤条件:

  • 协议:TCP

  • 端口:10051 或 10050(取决于组件是主动模式还是被动模式)

  • 数据包:以 ZBXD 或 HEX 格式的 5A 42 58 44 开头

在旧版本中,以纯文本形式捕获和读取 Zabbix 数据包非常简单。从 Zabbix 4.0.0 开始,实施了强制流量压缩。这大幅减少了网络流量(大约 10 倍),而 CPU 开销几乎可以忽略不计,但也使流量无法被人直接读懂。

现代 Zabbix 通信数据包如下所示:

5a425844038200000097000000789c2dcccb0e83201085e15731b33606b90a8fe20ec631256da4056a6c9abe7be965fb7f27e709996e772a151c5c733a1edde2ab871e4ee9db661f423cba1f79ac71a786854a89696bbe7223e5b2326b75e01c199368510b42cf68f2eaf3b453fe8fcdc0063eb68497846770a3d1c25a698cea612be0b43642a9c9b2d71b6c5d2cfd

对人类来说不太友好,对吧?在接下来的部分中,我们将逐步捕获并解压缩这种通信数据包。

捕获流量

有多种工具可用于此目的,我们将使用 Wireshark,它是最流行、使用最广泛的数据包分析工具之一。它为 Windows 和 Linux 提供了友好的图形界面,但由于大多数故障排除工作都是通过 SSH 会话进行的,我们将使用其命令行版本。本示例使用的系统是 CentOS Stream 9,但这些命令只需稍作语法调整,也应适用于其他 Linux 发行版。

首先,安装该工具:

dnf install wireshark-cli

这将安装 tshark 命令行实用程序。之后,将工作目录切换到您可以写入文件的位置。在本示例中,我们将使用 /tmp:

cd /tmp

接下来,捕获 Zabbix server 与主动 proxy 之间的一些流量:

tshark -i eth0 -f "host <ZABBIX SERVER IP> and host <ZABBIX PROXY IP> \
and tcp port 10051" -w zabbix_stream.pcap

参数说明:

  • -i eth0 – 在接口 eth0 上监听(如有需要,可指定其他接口)

  • <ZABBIX SERVER IP> – 替换为 Zabbix server 的 IP 地址

  • <ZABBIX PROXY IP> – 替换为 Zabbix proxy 的 IP 地址

  • tcp port 10051 – 捕获端口 10051 上的 TCP 数据包(Zabbix trapper)

  • -w zabbix_stream.pcap – 将捕获的输出写入文件

让其运行几分钟,以收集一些原始流量数据。按 CTRL + C 停止捕获。

分析捕获文件

现在,我们已经捕获了一个 *.pcap 文件,其中包含多个 TCP 流。一个 TCP 流表示一个 TCP 连接。由于 Zabbix proxy 不保持持久连接,而是在需要时建立新连接,因此 Zabbix 主动 proxy 通常会产生以下几种流:

  • Data sender – 每秒发送一次采集到的值(默认设置)

  • Configuration syncer – 每 10 秒下载一次配置更新(默认设置)

要查看 *.pcap 文件的内容,请运行:

tshark -r zabbix_stream.pcap -q -z conv,tcp

输出示例:

TCP Conversations
Filter:<No Filter>
                                   |      <-    ||      ->    ||     Total   |Relative|
                                   |Frames Bytes||Frames Bytes||Frames Bytes |Start   |       
10.10.0.2:57850 <-> 10.20.0.5:10051 5 2,512bytes  6 547bytes    11 3,059bytes 0.0000   
10.10.0.2:57860 <-> 10.20.0.5:10051 5 399bytes    5 516bytes    10 915bytes   0.4700  
10.10.0.2:57864 <-> 10.20.0.5:10051 5 399bytes    5 521bytes    10 920bytes   1.4768  
10.10.0.2:57876 <-> 10.20.0.5:10051 5 399bytes    5 570bytes    10 969bytes   2.4829   
10.10.0.2:57878 <-> 10.20.0.5:10051 5 399bytes    5 522bytes    10 921bytes   3.4882   
10.10.0.2:46628 <-> 10.20.0.5:10051 5 399bytes    5 527bytes    10 926bytes   4.4935   
10.10.0.2:46642 <-> 10.20.0.5:10051 4 333bytes    6 590bytes    10 923bytes   5.4992   
10.10.0.2:46648 <-> 10.20.0.5:10051 5 399bytes    5 478bytes    10 877bytes   6.5047   
10.10.0.2:46662 <-> 10.20.0.5:10051 5 399bytes    5 480bytes    10 879bytes   7.5097
我们可以按时间顺序打印数据包,并显示流编号:
tshark -r zabbix_stream.pcap -T fields \
-e tcp.stream -e frame.number -e frame.time_relative -e frame.len
示例输出中各列的含义:
  1. 流编号

  2. 帧编号

  3. 从捕获开始计算的相对时间戳

  4. 帧大小(字节)

0 1  0.000000000 76
0 2  0.000005109 76
0 3  0.000078403 68
0 4  0.000079579 68
0 5  0.000280946 209
0 6  0.000283835 209
0 7  0.001188322 68
0 8  0.001189912 68
0 9  0.001421210 68
0 10 0.001422856 68
1 11 1.003582601 76
1 12 1.003588266 76
1 13 1.003646494 68
1 14 1.003647585 68
1 15 1.003741654 256
1 16 1.003758183 256
1 17 1.004531106 68
1 18 1.004532827 68
1 19 1.004973531 68
.....

要包含有效载荷(Zabbix 通信内容),请添加 -e tcp.payload 字段:

tshark -r zabbix_stream.pcap -T fields \
-e tcp.stream -e frame.number -e frame.time_relative -e frame.len -e tcp.payload

示例(为便于阅读已截断):

0 1  0.000000000 76
0 2  0.000005109 76
0 3  0.000078403 68
0 4  0.000079579 68
0 5  0.000280946 209 5a425844038000000096000000789c2dca4d0e82301040e1ab90591352fb3703477137d3d6483454692518e3dd6dd4edfbde0bd6747fa4526182db9af76717b932f470cedf76649179ef7ec4a1ce5b6a585229735e9a2bf12aa2481c89299032c2ceb21754a44fda609bb7b4fe671cece05a09d71c2e301dd05b4548daf4b014984667b52734f6fd013eac2c96
0 6  0.000283835 209 5a425844038000000096000000789c2dca4d0e82301040e1ab90591352fb3703477137d3d6483454692518e3dd6dd4edfbde0bd6747fa4526182db9af76717b932f470cedf76649179ef7ec4a1ce5b6a585229735e9a2bf12aa2481c89299032c2ceb21754a44fda609bb7b4fe671cece05a09d71c2e301dd05b4548daf4b014984667b52734f6fd013eac2c96
0 7  0.001188322 68
0 8  0.001189912 68
0 9  0.001421210 68
0 10 0.001422856 68
......

并非所有帧都包含有效载荷:空帧表示 TCP 握手和其他控制数据包。我们只关注包含有效载荷的帧,因为 Zabbix 数据就位于其中。

分析有效载荷

仔细观察可以发现,每个有效载荷都以序列 5a 42 58 44 开头,即 ASCII 中的“ZBXD”。这是 Zabbix 数据包签名,表明我们捕获的是正确的流量。

示例:

5a42584403af000000f0000000789c658ecb0e823014447f85dc3521853e6edb4fd1b868a1c646b44a0bc110fedd22ec5cce9ce4cc2c30b8f7e862020daf21cc9fa233c94009b7f0eb4ec65a3f173b326df293cb30ba187d78664eac201d5adb2969642b09b58633232c12d95c1b8a9bc9c7148643accf0bf80e34150d2bc127f7d812278cd312da3eb477d0350a4624ca2657cf081a15e74cd588254ca61f5d9ead61bde4e486e30656ace2f06f60bb417154825056af5fed34456b
完整的 Zabbix 标头是每个数据包的前 13 个字节:5a 42 58 44 03 af 00 00 00 f0 00 00 00 
  • 5a 42 58 44 – Zabbix 数据包签名 ZBXD

  • 03 – 标志(0x01 Zabbix 协议 + 0x02 压缩)

  • af 00 00 00 – 数据长度

  • f0 00 00 00 – 未压缩数据的长度

下一个标头是 78 9c,表示 zlib 压缩。其后是我们感兴趣的压缩 JSON 数据。更多信息请参阅此处的 Zabbix 文档。

使用以下命令仅提取有效载荷:

tshark -r zabbix_stream.pcap -T fields -e tcp.payload -E occurrence=f \
| grep -v '^$'
  • -T fields: 仅输出选定的字段

  • -e tcp.payload: 获取每个 TCP 帧的有效载荷

  • -E occurrence=f: 包含每个帧中的所有出现项

  • grep -v ‘^$’: 删除空行(不含有效载荷的帧)

输出示例:

5a425844038000000096000000789c2dca4d0e82301040e1ab90591352fb3703477137d3d6483454692518e3dd6dd4edfbde0bd6747fa4526182db9af76717b932f470cedf76649179ef7ec4a1ce5b6a585229735e9a2bf12aa2481c89299032c2ceb21754a44fda609bb7b4fe671cece05a09d71c2e301dd05b4548daf4b014984667b52734f6fd013eac2c96                                                                                5a425844038000000096000000789c2dca4d0e82301040e1ab90591352fb3703477137d3d6483454692518e3dd6dd4edfbde0bd6747fa4526182db9af76717b932f470cedf76649179ef7ec4a1ce5b6a585229735e9a2bf12aa2481c89299032c2ceb21754a44fda609bb7b4fe671cece05a09d71c2e301dd05b4548daf4b014984667b52734f6fd013eac2c96                                                                                5a42584403af000000f0000000789c658ecb0e823014447f85dc3521853e6edb4fd1b868a1c646b44a0bc110fedd22ec5cce9ce4cc2c30b8f7e862020daf21cc9fa233c94009b7f0eb4ec65a3f173b326df293cb30ba187d78664eac201d5adb2969642b09b58633232c12d95c1b8a9bc9c7148643a

解压缩有效载荷

首先,将有效载荷保存到文件中:

tshark -r zabbix_stream.pcap -T fields -e tcp.payload -E occurrence=f \
| grep -v '^$'  > zabbix_payload.hex

接下来,创建一个名为 decompress.py 的 Python 脚本。

#!/usr/bin/python3
import zlib

hex_file = "zabbix_payload.hex"
ZBXD_HEADER_LEN = 26 # 13 bytes * 2 hex chars per byte

with open(hex_file, "r") as f:
  for line_number, line in enumerate(f, 1):
    line = line.strip()
    if not line:
      continue

    # Remove Zabbix header
    if line.startswith("5a425844"):
      payload_hex = line[ZBXD_HEADER_LEN:]
    else:
      payload_hex = line

    # Convert hex to bytes
    try:
      payload_bytes = bytes.fromhex(payload_hex)
    except ValueError as e:
      print(f"Line {line_number}: Invalid hex, skipping ({e})")
      continue

    # Decompress using zlib
    try:
      decompressed = zlib.decompress(payload_bytes)
    except zlib.error as e:
      print(f"Line {line_number}: Decompression error ({e})")
      continue
  
    print(f"Line {line_number}: {decompressed}")

为该文件添加可执行权限:

chmod +x decompress.py

执行该文件:

./decompress.py

该脚本将输出解压后的 Zabbix 流量:

Line 59: b'{"request":"proxy data","host":"Zabbix proxy active","session":"fbdb545d8250bb4c9b2341cc8ca055f1","history data":[{"id":13,"itemid":50454,"clock":1764172374,"ns":946257883,"value":"[{\\"{#IFNAME}\\":\\"lo\\"},{\\"{#IFNAME}\\":\\"eth0\\"}]"}],"version":"7.4.5","clock":1764172375,"ns":432069960}'
Line 60: b'{"upload":"enabled","response":"success","tasks":[{"type":6,"clock":1764172373,"ttl":3600,"itemid":50454}]}'
Line 61: b'{"request":"proxy data","host":"Zabbix proxy active","session":"fbdb545d8250bb4c9b2341cc8ca055f1","version":"7.4.5","clock":1764172375,"ns":438122213}'
Line 62: b'{"upload":"enabled","response":"success"}'
Line 63: b'{"request":"proxy config","host":"Zabbix proxy active","version":"7.4.5","session":"fbdb545d8250bb4c9b2341cc8ca055f1", "config_revision":18611,"proxy_secrets_provider":0}'
Line 64: b'{"data":{},"config_revision":18613}'

这里的每一行表示来自 Zabbix 主动 proxy 的请求或 Zabbix server 的响应。可以轻松区分两种通信类型:

  • proxy data 请求 – proxy 发送采集到的值
  • proxy config 请求 – proxy 检查其配置修订版本,并在需要时下载配置更改
回顾

在此设置中,只需运行三条命令即可读取未压缩的通信内容:

tshark -i eth0 -f "host <ZABBIX SERVER IP> and host <ZABBIX PROXY IP> \
and tcp port 10051" -w zabbix_stream.pcap

tshark -r zabbix_stream.pcap -T fields -e tcp.payload -E occurrence=f \
| grep -v '^$' > zabbix_payload.hex

./decompress.py

更易读的格式

还能再改进吗?当然可以!我们将请求与对应的响应配对以便于解析,然后将数据输出为格式化的 JSON。首先,捕获数据:

tshark -i eth0 -f "host <ZABBIX SERVER IP> and host <ZABBIX PROXY IP> \
and tcp port 10051" -w zabbix_stream.pcap

接下来,将数据提取到 CSV 中,同时保留流编号:

tshark -r zabbix_stream.pcap -T fields -e tcp.stream -e tcp.payload \
-E occurrence=f -E separator=, -E quote=d, -Y 'tcp.payload && tcp.payload != ""' \
> zabbix_payload.csv

现在,CSV 中包含每个数据包的流编号和有效载荷。

"2","5a42584403aa000000dd000000789c458d410e83201444af62fe9a1814a896a3b4e9e283df9494480bd4688c772f694dba9d37336f8348af37a50c1a9e312c6b35604660700fdfec82c6b8a5fa21b4d9cd5460a2945c980a1fcd60945443df2a6e8cb467d30ad958db5be44a8d4d29bb29531cd15285333a8fc6799757d0d7ed8fdc005a080647c31368ce80620cb14860bf3198291eceae96b52ac7d607fb00dd7427d974ad506531a5f2c3c599ab9ecbfd038a0944ee" "2","5a425844033000000029000000789cab562a2dc8c94f4c51b2524acd4b4cca494d51d2512a4a2d2ec8cf2b4e050a16972627a716172bd502002b010e61" "3","5a42584403db0000003d010000789c658fdd6ac3300c855f25e8da143bb6f2e317196cecc23f0a33f3e2cd76434be9bbcf4d03bbd89584bea3a3a31b64fa3953a9a0e13ba7cbb5f3a61a60f091f6d9abb1365cba2732ae868d1a2c544a486be38bf51615faa9476ead72b3eda512ce4dce70c4453471582be5c538eacc66423436c450afa0df6e7f2878d05232381491400b069473caed08dcdf5ba0506aca47be7dd9efa250e9ebd12257c819b898dc6703e3a0c4d8cbc7682da06735e1340e02196c269e9b3fbc90ed0ae58df2eedfeaf1d378522784ff56e2692545afe6990fc3fd17684060c8" "3","5a425844033000000029000000789cab562a2dc8c94f4c51b2524acd4b4cca494d51d2512a4a2d2ec8cf2b4e050a16972627a716172bd502002b010e61"

接下来,创建一个稍作修改的 Python 脚本,按流显示条目。将其命名为 streams.py:

#!/usr/bin/python3

import csv
import zlib
import json

csv_file = "zabbix_payload.csv"
ZBXD_HEADER_LEN = 26 # 13 bytes * 2 hex chars per byte
streams = {}
with open(csv_file, "r") as f:
  reader = csv.reader(f)
  for row_number, row in enumerate(reader, 1):
    if len(row) < 2:
       continue

    stream_id = row[0].strip().strip('"')
    hexdata = row[1].strip().strip('"')

    if not hexdata:
      continue

    # Remove Zabbix header
    if hexdata.startswith("5a425844"):
      hex_payload = hexdata[ZBXD_HEADER_LEN:]
    else:
      hex_payload = hexdata

    # Convert hex to bytes
    try:
      payload_bytes = bytes.fromhex(hex_payload)
    except ValueError as e:
      print(f"[Line {row_number}] Invalid hex: {e}")
      continue

    # Decompress
    try:
      decompressed = zlib.decompress(payload_bytes)
    except zlib.error as e:
      print(f"[Line {row_number}] Decompression error: {e}")
      continue

    # Store in the stream bucket
    streams.setdefault(stream_id, []).append(decompressed)

# ---- OUTPUT SECTION ----

print("\n===== STREAM PAIRS =====\n")

for stream_id, messages in streams.items():
  print(f"=== Stream {stream_id} ===")
  for i, msg in enumerate(messages):
    label = (
      "Request:" if i == 0
      else "Response:" if i == 1
      else f"Extra message #{i+1}:"
    )
    print(label)
    text = msg.decode("utf-8")

    # Try to pretty-print JSON
    try:
      parsed = json.loads(text)
      pretty_json = json.dumps(parsed, indent=4, ensure_ascii=False)
      print(pretty_json)
    except json.JSONDecodeError:
    # fallback: print raw text
      print(text)
    print()

为该文件添加可执行权限:

chmod +x streams.py

执行该文件:

./streams.py

该脚本将以解析后的 JSON 格式输出解压后的 Zabbix 流量:

=== Stream 0 ===
Request:
{
  "request": "proxy data",
  "host": "Zabbix proxy active",
  "session": "fbdb545d8250bb4c9b2341cc8ca055f1",
  "interface availability": [
    {
      "interfaceid": 33,
      "available": 0,
      "error": ""
    }
  ],
  "version": "7.4.5",
  "clock": 1764172350,
  "ns": 303905804
}
Response:
{
  "upload": "enabled",
  "response": "success"
}

=== Stream 1 ===
Request:
.......

您会注意到,典型的通信在每个流中产生两个条目:一个来自 Zabbix proxy 的请求和一个来自 Zabbix server 的响应。采用这种方法,理解通信并进行故障排除要容易得多:所有流量现在都按请求-响应对分组,并以清晰、格式化的方式呈现。

实时数据

最后,能否让这一切实时运行?当然可以,只需借助我们的第三个 Python 脚本。前两个示例逐步演示了整个工作流:捕获 → 提取有效载荷 → 解压缩。现在,所有步骤都整合到一个脚本中,由它为您处理整个过程。

创建一个新文件,命名为 live.py:

#!/usr/bin/python3

import subprocess
import zlib
import json
from datetime import datetime

ZBXD_HEADER_LEN = 26 # 13 bytes * 2 hex chars

# === Configurable parameters ===
SRC_IP = "161.35.217.186"
DST_IP = "134.209.233.72"
TCP_PORT = "10051"
INTERFACE = "eth0"

tshark_cmd = [
  "tshark",
  "-i", INTERFACE,
  "-l",
  "-f", f"host {SRC_IP} and host {DST_IP} and tcp port {TCP_PORT}",
  "-T", "fields",
  "-e", "tcp.stream",
  "-e", "tcp.payload",
  "-E", "separator=,",
  "-E", "quote=d",
  "-E", "occurrence=f",
  "-Y", "tcp.payload && tcp.payload != \"\""
]

proc = subprocess.Popen(
  tshark_cmd,
  stdout=subprocess.PIPE,
  stderr=subprocess.DEVNULL,
  text=True
)

seen_streams = set() # track streams we've already printed

for line in proc.stdout:
  line = line.strip()
  if not line:
    continue

  # Split CSV (stream_number, payload_hex)
  try:
    stream_num, payload_hex = line.split(",", 1)
    payload_hex = payload_hex.strip('"')
  except ValueError:
    continue

  # Only print timestamp once per stream
  if stream_num not in seen_streams:
    timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3]
    print(f"\n=== [{timestamp}] Stream {stream_num} ===")
    seen_streams.add(stream_num)

  # Remove Zabbix header
  if payload_hex.startswith("5a425844"):
    payload_hex = payload_hex[ZBXD_HEADER_LEN:]

  # Convert hex to bytes
  try:
    payload_bytes = bytes.fromhex(payload_hex)
  except ValueError:
    continue

  # Decompress
  try:
    decompressed = zlib.decompress(payload_bytes)
  except zlib.error:
    continue

  # Pretty print JSON if possible
  try:
    json_obj = json.loads(decompressed)
    pretty = json.dumps(json_obj, indent=2)
    print(pretty)
  except json.JSONDecodeError:
    print(decompressed)

为该文件添加可执行权限:

chmod +x live.py

执行该文件:

./live.py

就是这样:现在,您的脚本会实时监视 proxy 流量,并以 JSON 格式流式输出结果。很酷,对吧?

=== [2025-11-27 16:59:31.593] Stream "0" ===
{
  "request": "proxy data",
  "host": "Zabbix proxy active",
  "session": "fbdb545d8250bb4c9b2341cc8ca055f1",
  "history data": [
    {
      "id": 73726,
      "itemid": 50459,
      "clock": 1764262769,
      "ns": 947018320,
      "value": "0"
    },
    {
      "id": 73727,
      "itemid": 50450,
      "clock": 1764262770,
      "ns": 947145177
    }
  ],
  "version": "7.4.5",
  "clock": 1764262770,
  "ns": 961735298
}
{
  "upload": "enabled",
"  response": "success"
}
.....

最后说明

本文提供的示例脚本仅用于演示,并已在小型演示环境中测试。虽然相同的原理也适用于更大规模的环境,但请注意,生产环境中的 proxy 可能需要处理每秒数百甚至数千个新值(NVPS),这会显著增加有效载荷的数据量。此外,所有示例都假定 Zabbix proxy 以主动模式运行;被动 proxy 的通信方式略有不同。类似的方法也可用于监控 Zabbix Agent 通信。

那么,从 Zabbix proxy ⇄ Zabbix Server 通信中,您究竟能获得哪些有价值的信息?

  • 从 proxy 发送到服务器的数据类型

  • 配置更新及其内容

  • “测试”和“立即执行”任务

  • 发现和自动注册数据

如果您有兴趣进一步了解发现、自动注册、加密或 Zabbix 内部通信的其他方面,欢迎留言!

Prev Post Prev Post Next Post Next Post
订阅评论
提醒
0 Comments
最旧
最新 最多投票
0
希望看到您的想法,请您发表评论x