SNMP 全表轮询:交换机 CPU 为何周期性飙高?

监控系统对 500 台交换机做 1 分钟全表 SNMP 轮询,接入层 CPU 周期性打满、终端短时丢包;改为 OID 白名单、分层频率并降低 GetBulk 批量后恢复。

问题背景

公司新上线一套网络监控系统,自建采集器加时序数据库,计划接管全网 500 台交换机:核心 10 台、汇聚 40 台、接入 450 台。采集模板直接套用了厂商默认配置,接口流量、接口状态、ARP 表、MAC 表全开,周期统一 1 分钟。

演练阶段只抽了 10 台设备做压测,CPU 涨幅很小,项目就按计划全量上线了。上线第一周风平浪静,大家默认这套系统已经稳定。

故障现象

第二周开始,多个楼层陆续报「网络每隔几分钟卡一下」:网页转圈几秒、视频会议声音断续、ping 丢 3 到 5 个包又恢复。运维第一反应是环路或无线干扰,查了 STP、查了 AP,都没有异常。

真正有价值的线索来自交换机自身:多台接入交换机的 CPU 利用率曲线呈周期性尖峰,每 5 分钟一次,峰值超过 90%,持续半分钟左右;同样时间点,交换机的 SSH 登录变卡,部分终端丢包。核心和汇聚交换机的 CPU 却基本平稳。

排查过程

先把 CPU 曲线和监控采集周期对齐:尖峰出现的时刻,正好是采集器轮询这些设备的时刻,周期完全一致。问题方向一下子从「网络故障」转到了「监控系统本身」。

登录一台故障接入交换机看进程占用,show processes cpu sorted 里 SNMP 相关任务占了六成以上;再查接口流量,故障时段流量并没有上涨,排除广播风暴和环路;同型号设备在不同楼层同时出现,排除单机硬件故障;抓包确认请求源全部是监控服务器,排除外部扫描。

在交换机上做镜像抓包,看清了请求形态:采集器对每台设备每秒下发几十个 GetBulk 请求,单轮 walk 覆盖接口表、ARP 表、MAC 表共数千个 OID;GetBulk 的 max-repetitions 设到了 50,单个响应包很大,还要分片重组。接入交换机是弱 CPU 平台,处理这些请求的开销全部压在管理面上。

算一笔账:450 台接入设备,每台每 5 分钟 walk 约 5000 个 OID,平均到每秒就是七千多个 OID 请求;采集器还开了 100 个并发线程,多个楼层的设备在同一时刻被扫。厂商默认模板对「小规模、低频」是合理的,放到这个规模就是灾难。

做对照实验:先停掉 ARP 表和 MAC 表的全表采集,接入层 CPU 峰值从 90% 降到 35% 左右;再把接入层的采集周期放宽到 5 分钟、max-repetitions 降到 10,峰值进一步降到 25% 以下,终端丢包消失。

解决方案

  1. 采集分层:核心和汇聚保持 1 分钟(关键链路指标),接入层放宽到 5 分钟;重要楼层可单独设 2 分钟。
  2. OID 白名单:只采接口入/出字节数、接口状态与速率、设备 CPU/内存等必要项,停掉整表 walk;拓扑发现改用 LLDP,不再依赖 ARP/MAC 表。
  3. 降低 GetBulk 批量:max-repetitions 从 50 调到 10,减小单响应包体积,避免分片与重组开销。
  4. 采集器限流:并发线程从 100 降到 30,按设备档位分别限速,接入设备每秒请求数设上限。
  5. 设备侧保护:配置 SNMP ACL 只允许采集器地址,开启 CoPP 对管理面协议限速,避免异常轮询打穿控制面。
  6. 验证:全网交换机 CPU P95 低于 40%,终端拨测零丢包,采集完整率保持在 99.9% 以上。
采集项 调整前 调整后
接口流量/状态 1 分钟 核心汇聚 1 分钟,接入 5 分钟
接口表全量 walk 1 分钟 停止,改按需
ARP/MAC 表 1 分钟 停止,拓扑用 LLDP
GetBulk 批量 50 10

根因分析

SNMP 在交换机上不是一个「免费的旁路服务」,而是运行在主 CPU 上的软件任务。GetBulk 一次请求的 OID 数量、响应包大小、以及每秒请求数,都会直接消耗管理面 CPU;接入层设备的 CPU 性能本来就只为转发优化,管理面余量很小。

厂商默认模板的采集范围与频率,是按「少量设备、适度轮询」设计的。把它原样套到 500 台设备、100 并发、1 分钟周期上,请求量放大了几十倍,超出了接入设备的处理能力。演练阶段「10 台设备没问题」的结论,恰恰掩盖了规模效应。

更隐蔽的是影响路径:SNMP 抢占了管理面 CPU,协议报文处理被延迟,终端出现短时丢包;而监控系统本身还在正常上报,看起来「监控没挂」,于是没人怀疑到它头上。监控工具把被监控设备拖垮,这类问题在容量规划缺失时几乎必然发生。

预防措施

  • 采集预算:上线前按「设备数 × OID 数 × 频率」估算每秒请求数,对照设备型号的管理面处理能力留足余量,接入层单独定档。
  • 模板评审:默认模板必须裁剪,OID 走白名单;ARP/MAC 这类大表只做按需或低频采集。
  • 规模压测:压测要用真实设备数量的 10% 以上并覆盖最弱型号,不能只测核心设备。
  • 分层与错峰:核心、汇聚、接入分级设置频率;采集任务打散到时间窗口,避免整点齐射。
  • 设备保护:SNMP ACL + CoPP 限速成为接入层标准配置,防止任何采集侧异常放大成网络故障。
  • 自身监控:采集器的请求速率、超时率、单设备耗时纳入监控;交换机 CPU 曲线也纳入同一套看板,出问题时能第一时间关联。

总结

SNMP 轮询的成本不在监控服务器上,而在每一台被轮询的设备上。设备越多、表越大、频率越高,管理面 CPU 的账就越贵,而接入交换机恰恰是最付不起这笔账的一层。

监控系统的容量规划,本质上是在「看得清」和「不打扰」之间找平衡。默认模板只是起点,规模上来之后,采集策略必须跟着设备档位重新设计。

延伸阅读

使用 Hugo 构建
主题 Stack 由 Jimmy 设计