<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>交换机 CPU on Zero Day Notes</title>
        <link>https://blog.5772447.xyz/tags/%E4%BA%A4%E6%8D%A2%E6%9C%BA-cpu/</link>
        <description>Recent content in 交换机 CPU on Zero Day Notes</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh</language>
        <lastBuildDate>Fri, 20 Nov 2026 09:00:00 +0800</lastBuildDate><atom:link href="https://blog.5772447.xyz/tags/%E4%BA%A4%E6%8D%A2%E6%9C%BA-cpu/index.xml" rel="self" type="application/rss+xml" /><item>
            <title>SNMP 全表轮询：交换机 CPU 为何周期性飙高？</title>
            <link>https://blog.5772447.xyz/posts/8a6b752e/</link>
            <pubDate>Fri, 20 Nov 2026 09:00:00 +0800</pubDate>
            <guid>https://blog.5772447.xyz/posts/8a6b752e/</guid>
            <description>&lt;h2 id=&#34;问题背景&#34;&gt;&lt;a href=&#34;#%e9%97%ae%e9%a2%98%e8%83%8c%e6%99%af&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;问题背景&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;公司新上线一套网络监控系统，自建采集器加时序数据库，计划接管全网 500 台交换机：核心 10 台、汇聚 40 台、接入 450 台。采集模板直接套用了厂商默认配置，接口流量、接口状态、ARP 表、MAC 表全开，周期统一 1 分钟。&lt;/p&gt;&#xA;&lt;p&gt;演练阶段只抽了 10 台设备做压测，CPU 涨幅很小，项目就按计划全量上线了。上线第一周风平浪静，大家默认这套系统已经稳定。&lt;/p&gt;&#xA;&lt;h2 id=&#34;故障现象&#34;&gt;&lt;a href=&#34;#%e6%95%85%e9%9a%9c%e7%8e%b0%e8%b1%a1&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;故障现象&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;第二周开始，多个楼层陆续报「网络每隔几分钟卡一下」：网页转圈几秒、视频会议声音断续、ping 丢 3 到 5 个包又恢复。运维第一反应是环路或无线干扰，查了 STP、查了 AP，都没有异常。&lt;/p&gt;&#xA;&lt;p&gt;真正有价值的线索来自交换机自身：多台接入交换机的 CPU 利用率曲线呈周期性尖峰，每 5 分钟一次，峰值超过 90%，持续半分钟左右；同样时间点，交换机的 SSH 登录变卡，部分终端丢包。核心和汇聚交换机的 CPU 却基本平稳。&lt;/p&gt;&#xA;&lt;h2 id=&#34;排查过程&#34;&gt;&lt;a href=&#34;#%e6%8e%92%e6%9f%a5%e8%bf%87%e7%a8%8b&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;排查过程&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;先把 CPU 曲线和监控采集周期对齐：尖峰出现的时刻，正好是采集器轮询这些设备的时刻，周期完全一致。问题方向一下子从「网络故障」转到了「监控系统本身」。&lt;/p&gt;&#xA;&lt;p&gt;登录一台故障接入交换机看进程占用，&lt;code&gt;show processes cpu sorted&lt;/code&gt; 里 SNMP 相关任务占了六成以上；再查接口流量，故障时段流量并没有上涨，排除广播风暴和环路；同型号设备在不同楼层同时出现，排除单机硬件故障；抓包确认请求源全部是监控服务器，排除外部扫描。&lt;/p&gt;&#xA;&lt;p&gt;在交换机上做镜像抓包，看清了请求形态：采集器对每台设备每秒下发几十个 GetBulk 请求，单轮 walk 覆盖接口表、ARP 表、MAC 表共数千个 OID；&lt;code&gt;GetBulk&lt;/code&gt; 的 max-repetitions 设到了 50，单个响应包很大，还要分片重组。接入交换机是弱 CPU 平台，处理这些请求的开销全部压在管理面上。&lt;/p&gt;&#xA;&lt;p&gt;算一笔账：450 台接入设备，每台每 5 分钟 walk 约 5000 个 OID，平均到每秒就是七千多个 OID 请求；采集器还开了 100 个并发线程，多个楼层的设备在同一时刻被扫。厂商默认模板对「小规模、低频」是合理的，放到这个规模就是灾难。&lt;/p&gt;&#xA;&lt;p&gt;做对照实验：先停掉 ARP 表和 MAC 表的全表采集，接入层 CPU 峰值从 90% 降到 35% 左右；再把接入层的采集周期放宽到 5 分钟、&lt;code&gt;max-repetitions&lt;/code&gt; 降到 10，峰值进一步降到 25% 以下，终端丢包消失。&lt;/p&gt;&#xA;&lt;h2 id=&#34;解决方案&#34;&gt;&lt;a href=&#34;#%e8%a7%a3%e5%86%b3%e6%96%b9%e6%a1%88&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;解决方案&#xD;&#xA;&lt;/h2&gt;&lt;ol&gt;&#xA;&lt;li&gt;&lt;strong&gt;采集分层&lt;/strong&gt;：核心和汇聚保持 1 分钟（关键链路指标），接入层放宽到 5 分钟；重要楼层可单独设 2 分钟。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;OID 白名单&lt;/strong&gt;：只采接口入/出字节数、接口状态与速率、设备 CPU/内存等必要项，停掉整表 walk；拓扑发现改用 LLDP，不再依赖 ARP/MAC 表。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;降低 GetBulk 批量&lt;/strong&gt;：&lt;code&gt;max-repetitions&lt;/code&gt; 从 50 调到 10，减小单响应包体积，避免分片与重组开销。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;采集器限流&lt;/strong&gt;：并发线程从 100 降到 30，按设备档位分别限速，接入设备每秒请求数设上限。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;设备侧保护&lt;/strong&gt;：配置 SNMP ACL 只允许采集器地址，开启 CoPP 对管理面协议限速，避免异常轮询打穿控制面。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;验证&lt;/strong&gt;：全网交换机 CPU P95 低于 40%，终端拨测零丢包，采集完整率保持在 99.9% 以上。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;table&gt;&#xA;  &lt;thead&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;th&gt;采集项&lt;/th&gt;&#xA;          &lt;th&gt;调整前&lt;/th&gt;&#xA;          &lt;th&gt;调整后&lt;/th&gt;&#xA;      &lt;/tr&gt;&#xA;  &lt;/thead&gt;&#xA;  &lt;tbody&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;接口流量/状态&lt;/td&gt;&#xA;          &lt;td&gt;1 分钟&lt;/td&gt;&#xA;          &lt;td&gt;核心汇聚 1 分钟，接入 5 分钟&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;接口表全量 walk&lt;/td&gt;&#xA;          &lt;td&gt;1 分钟&lt;/td&gt;&#xA;          &lt;td&gt;停止，改按需&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;ARP/MAC 表&lt;/td&gt;&#xA;          &lt;td&gt;1 分钟&lt;/td&gt;&#xA;          &lt;td&gt;停止，拓扑用 LLDP&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;GetBulk 批量&lt;/td&gt;&#xA;          &lt;td&gt;50&lt;/td&gt;&#xA;          &lt;td&gt;10&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;  &lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;根因分析&#34;&gt;&lt;a href=&#34;#%e6%a0%b9%e5%9b%a0%e5%88%86%e6%9e%90&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;根因分析&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;SNMP 在交换机上不是一个「免费的旁路服务」，而是运行在主 CPU 上的软件任务。GetBulk 一次请求的 OID 数量、响应包大小、以及每秒请求数，都会直接消耗管理面 CPU；接入层设备的 CPU 性能本来就只为转发优化，管理面余量很小。&lt;/p&gt;&#xA;&lt;p&gt;厂商默认模板的采集范围与频率，是按「少量设备、适度轮询」设计的。把它原样套到 500 台设备、100 并发、1 分钟周期上，请求量放大了几十倍，超出了接入设备的处理能力。演练阶段「10 台设备没问题」的结论，恰恰掩盖了规模效应。&lt;/p&gt;&#xA;&lt;p&gt;更隐蔽的是影响路径：SNMP 抢占了管理面 CPU，协议报文处理被延迟，终端出现短时丢包；而监控系统本身还在正常上报，看起来「监控没挂」，于是没人怀疑到它头上。监控工具把被监控设备拖垮，这类问题在容量规划缺失时几乎必然发生。&lt;/p&gt;&#xA;&lt;h2 id=&#34;预防措施&#34;&gt;&lt;a href=&#34;#%e9%a2%84%e9%98%b2%e6%8e%aa%e6%96%bd&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;预防措施&#xD;&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;采集预算&lt;/strong&gt;：上线前按「设备数 × OID 数 × 频率」估算每秒请求数，对照设备型号的管理面处理能力留足余量，接入层单独定档。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;模板评审&lt;/strong&gt;：默认模板必须裁剪，OID 走白名单；ARP/MAC 这类大表只做按需或低频采集。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;规模压测&lt;/strong&gt;：压测要用真实设备数量的 10% 以上并覆盖最弱型号，不能只测核心设备。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;分层与错峰&lt;/strong&gt;：核心、汇聚、接入分级设置频率；采集任务打散到时间窗口，避免整点齐射。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;设备保护&lt;/strong&gt;：SNMP ACL + CoPP 限速成为接入层标准配置，防止任何采集侧异常放大成网络故障。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;自身监控&lt;/strong&gt;：采集器的请求速率、超时率、单设备耗时纳入监控；交换机 CPU 曲线也纳入同一套看板，出问题时能第一时间关联。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;总结&#34;&gt;&lt;a href=&#34;#%e6%80%bb%e7%bb%93&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;总结&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;SNMP 轮询的成本不在监控服务器上，而在每一台被轮询的设备上。设备越多、表越大、频率越高，管理面 CPU 的账就越贵，而接入交换机恰恰是最付不起这笔账的一层。&lt;/p&gt;&#xA;&lt;p&gt;监控系统的容量规划，本质上是在「看得清」和「不打扰」之间找平衡。默认模板只是起点，规模上来之后，采集策略必须跟着设备档位重新设计。&lt;/p&gt;&#xA;&lt;h2 id=&#34;延伸阅读&#34;&gt;&lt;a href=&#34;#%e5%bb%b6%e4%bc%b8%e9%98%85%e8%af%bb&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;延伸阅读&#xD;&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/b0ab9ad7/&#34; &gt;SNMP 仍是 public：内网为何能读走配置？&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/ba7befe9/&#34; &gt;端口安全 max 2：会议室接交换机就断网&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/e0440e03/&#34; &gt;光衰超标：链路 UP 却间歇丢包&lt;/a&gt;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;</description>
        </item></channel>
</rss>
