问题背景
公司新上线一套网络监控系统,自建采集器加时序数据库,计划接管全网 500 台交换机:核心 10 台、汇聚 40 台、接入 450 台。采集模板直接套用了厂商默认配置,接口流量、接口状态、ARP 表、MAC 表全开,周期统一 1 分钟。
演练阶段只抽了 10 台设备做压测,CPU 涨幅很小,项目就按计划全量上线了。上线第一周风平浪静,大家默认这套系统已经稳定。
故障现象
第二周开始,多个楼层陆续报「网络每隔几分钟卡一下」:网页转圈几秒、视频会议声音断续、ping 丢 3 到 5 个包又恢复。运维第一反应是环路或无线干扰,查了 STP、查了 AP,都没有异常。
真正有价值的线索来自交换机自身:多台接入交换机的 CPU 利用率曲线呈周期性尖峰,每 5 分钟一次,峰值超过 90%,持续半分钟左右;同样时间点,交换机的 SSH 登录变卡,部分终端丢包。核心和汇聚交换机的 CPU 却基本平稳。
排查过程
先把 CPU 曲线和监控采集周期对齐:尖峰出现的时刻,正好是采集器轮询这些设备的时刻,周期完全一致。问题方向一下子从「网络故障」转到了「监控系统本身」。
登录一台故障接入交换机看进程占用,show processes cpu sorted 里 SNMP 相关任务占了六成以上;再查接口流量,故障时段流量并没有上涨,排除广播风暴和环路;同型号设备在不同楼层同时出现,排除单机硬件故障;抓包确认请求源全部是监控服务器,排除外部扫描。
在交换机上做镜像抓包,看清了请求形态:采集器对每台设备每秒下发几十个 GetBulk 请求,单轮 walk 覆盖接口表、ARP 表、MAC 表共数千个 OID;GetBulk 的 max-repetitions 设到了 50,单个响应包很大,还要分片重组。接入交换机是弱 CPU 平台,处理这些请求的开销全部压在管理面上。
算一笔账:450 台接入设备,每台每 5 分钟 walk 约 5000 个 OID,平均到每秒就是七千多个 OID 请求;采集器还开了 100 个并发线程,多个楼层的设备在同一时刻被扫。厂商默认模板对「小规模、低频」是合理的,放到这个规模就是灾难。
做对照实验:先停掉 ARP 表和 MAC 表的全表采集,接入层 CPU 峰值从 90% 降到 35% 左右;再把接入层的采集周期放宽到 5 分钟、max-repetitions 降到 10,峰值进一步降到 25% 以下,终端丢包消失。
解决方案
- 采集分层:核心和汇聚保持 1 分钟(关键链路指标),接入层放宽到 5 分钟;重要楼层可单独设 2 分钟。
- OID 白名单:只采接口入/出字节数、接口状态与速率、设备 CPU/内存等必要项,停掉整表 walk;拓扑发现改用 LLDP,不再依赖 ARP/MAC 表。
- 降低 GetBulk 批量:
max-repetitions从 50 调到 10,减小单响应包体积,避免分片与重组开销。 - 采集器限流:并发线程从 100 降到 30,按设备档位分别限速,接入设备每秒请求数设上限。
- 设备侧保护:配置 SNMP ACL 只允许采集器地址,开启 CoPP 对管理面协议限速,避免异常轮询打穿控制面。
- 验证:全网交换机 CPU P95 低于 40%,终端拨测零丢包,采集完整率保持在 99.9% 以上。
| 采集项 | 调整前 | 调整后 |
|---|---|---|
| 接口流量/状态 | 1 分钟 | 核心汇聚 1 分钟,接入 5 分钟 |
| 接口表全量 walk | 1 分钟 | 停止,改按需 |
| ARP/MAC 表 | 1 分钟 | 停止,拓扑用 LLDP |
| GetBulk 批量 | 50 | 10 |
根因分析
SNMP 在交换机上不是一个「免费的旁路服务」,而是运行在主 CPU 上的软件任务。GetBulk 一次请求的 OID 数量、响应包大小、以及每秒请求数,都会直接消耗管理面 CPU;接入层设备的 CPU 性能本来就只为转发优化,管理面余量很小。
厂商默认模板的采集范围与频率,是按「少量设备、适度轮询」设计的。把它原样套到 500 台设备、100 并发、1 分钟周期上,请求量放大了几十倍,超出了接入设备的处理能力。演练阶段「10 台设备没问题」的结论,恰恰掩盖了规模效应。
更隐蔽的是影响路径:SNMP 抢占了管理面 CPU,协议报文处理被延迟,终端出现短时丢包;而监控系统本身还在正常上报,看起来「监控没挂」,于是没人怀疑到它头上。监控工具把被监控设备拖垮,这类问题在容量规划缺失时几乎必然发生。
预防措施
- 采集预算:上线前按「设备数 × OID 数 × 频率」估算每秒请求数,对照设备型号的管理面处理能力留足余量,接入层单独定档。
- 模板评审:默认模板必须裁剪,OID 走白名单;ARP/MAC 这类大表只做按需或低频采集。
- 规模压测:压测要用真实设备数量的 10% 以上并覆盖最弱型号,不能只测核心设备。
- 分层与错峰:核心、汇聚、接入分级设置频率;采集任务打散到时间窗口,避免整点齐射。
- 设备保护:SNMP ACL + CoPP 限速成为接入层标准配置,防止任何采集侧异常放大成网络故障。
- 自身监控:采集器的请求速率、超时率、单设备耗时纳入监控;交换机 CPU 曲线也纳入同一套看板,出问题时能第一时间关联。
总结
SNMP 轮询的成本不在监控服务器上,而在每一台被轮询的设备上。设备越多、表越大、频率越高,管理面 CPU 的账就越贵,而接入交换机恰恰是最付不起这笔账的一层。
监控系统的容量规划,本质上是在「看得清」和「不打扰」之间找平衡。默认模板只是起点,规模上来之后,采集策略必须跟着设备档位重新设计。