光衰超标:链路 UP 却间歇丢包

万兆上联链路间歇丢包,接口 UP 无 flap,CRC 计数却持续攀升。根因是机柜整理时跳线被扎带勒出过小弯曲半径,宏弯损耗把收光功率压到灵敏度边缘。更换跳线并规范走线后恢复,已加光功率监控。

问题背景

7 层办公区由一台接入交换机(H3C S5130 系列)通过万兆单模光纤上联至核心交换机,承载该层约 160 名员工的有线与无线业务。月初弱电间做了一次机柜整理:重新绑扎线缆、加装理线环、整理光纤跳线走向。

整理完成后一周内,陆续有用户反馈"视频会议声音断续、网页偶尔转圈"。起初报障零星,值班同事按无线侧问题处理了两次,调了 AP 信道、重启了无线控制器,没有效果。两周后报障集中:有线台式机同样出现卡顿,运维才把注意力转回有线链路。

故障现象

  • 该层用户 ping 网关持续丢包 1%~3%,时好时坏;大流量时段(视频会议、批量传输)丢包感知更明显。
  • 交换机上联端口状态始终 UP,近 30 天无 up/down 记录;端口带宽利用率不到 10%,不存在拥塞。
  • 接口计数异常:input errors 与 CRC 统计持续增长,output 方向干净无错。
  • 同机房其他接入交换机(不同上联链路)无此现象,排除核心侧公共路径问题。
  • 业务表现分层:TCP 重传托底的普通业务基本无感,实时性要求高的视频会议明显卡顿——链路"没断",但质量已经劣化。

排查过程

第一步,确定丢包发生在哪一段。 先从终端 ping 网关,丢包;再登到接入交换机上用 Vlan-interface 地址 ping 核心网关,同样丢包;从核心侧反向 ping 该接入交换机管理地址,依然丢包。三段测试把范围收窄到"接入交换机 ↔ 核心交换机"之间的上联链路这一跳。

第二步,用端口计数判断故障层面。

1
2
3
4
5
6
[S5130-7F] display interface Ten-GigabitEthernet 1/0/49
Ten-GigabitEthernet1/0/49 current state: UP
Input (total):  2841932 packets,  ...
Input errors: 18642, CRC: 18642        # 持续增长,每 10 分钟新增数百
Output (total): 3904221 packets, ...
Output errors: 0

输出侧干净、输入侧大量 CRC:本端收到的帧 FCS 校验失败,说明对端发来的光信号到达本端时已经劣化。同时排除了双工/速率嫌疑——光口固定全双工,且速率错配不会伴随持续增长的 CRC。丢包发生在物理层。

第三步,上光层诊断读 DDM 数据。

1
2
3
4
[S5130-7F] display transceiver interface Ten-GigabitEthernet 1/0/49 verbose
Transceiver Type: 10GBASE-LR
TX Power(dBm): -5.3      # 正常范围
RX Power(dBm): -16.8     # 该模块接收灵敏度标称 -14.4 dBm,已低于灵敏度下限

本端收光 -16.8 dBm,已经低于模块灵敏度。再去核心侧看对端:TX -5.1 正常,RX 同样只有 -16.5——两端收光都低,说明问题在两端之间的光路(跳线、配线架),而不是某一端的模块。

第四步,排除端面污染。 端面污染是收光低最常见的嫌疑。两端拔下用一次性光纤清洁笔清洁后复测:RX 从 -16.8 改善到 -15.9,有轻微污染但远不足以解释全部损耗。顺着跳线摸了一遍物理路径:在机柜后侧理线区,跳线被一根尼龙扎带勒在金属立柱上,弯折处半径目测不足 1 厘米;再往上穿过理线环的位置也有个明显急弯。

第五步,验证弯折假设。 把跳线从扎带和理线环处解放出来、捋顺,复测 RX 立刻回到 -9.2 dBm;再把扎带按原样勒回去,RX 又跌回 -16 dBm 区间。宏弯损耗实锤——光在过小半径的弯曲处泄漏,弯曲越紧损耗越大,正好解释了跳线"本身没坏、一勒就衰减"的现象。

第六步,更换与验证。 换用新跳线、按规范弯曲半径重新走线(魔术贴固定、避开金属棱角),RX 稳定在 -7.1 dBm;CRC 计数停止增长,观察 30 分钟新增为 0;终端 ping 丢包消失。

解决方案

  1. 更换受损跳线并整改走线:弯曲半径不小于 30mm、用魔术贴替代尼龙扎带、金属转角处加保护、光纤与铜缆分道捆扎。
  2. 全机房同类隐患排查:其余 12 条光纤上联链路逐条测光功率,发现另有 2 条 RX 比基线低了 3~4 dB,一并做了走线整改。
  3. 监控与基线:关键链路收光功率纳入网管监控(DDM 阈值告警:RX 低于"模块灵敏度 + 3dB"即预警);建立季度光功率基线巡检,记录 RX/TX 值比对劣化趋势。
  4. 排查手册固化:把"链路间歇丢包"类故障的标准排查顺序写入手册——第一步看端口 CRC 计数与光功率,而不是先怀疑应用或"网络抖动"。

根因分析

直接根因是机柜整理时跳线被扎带勒紧并在理线环处形成小于 1 厘米的急弯,产生宏弯损耗,把收光功率从 -7 dBm 量级压到 -16.8 dBm、低于模块接收灵敏度。这不是"没有信号",而是信号处于可辨与不可辨的边缘:误码率从 10⁻¹² 量级恶化到 10⁻⁶ 量级,帧校验失败被丢弃,表现为间歇丢包,而链路始终 UP。

深层根因有两条:光层劣化不触发任何链路层告警,而监控体系只覆盖端口的 up/down 与流量,光功率、误码计数这些真正的一线健康指标无人查看;以及弱电间整理这类"非功能性操作"没有走变更评审、也没有走线规范约束——从 -7 dBm 跌到 -16.8 dBm 的全过程里,没有任何一条告警线被触发。

预防措施

  • 光纤走线规范:弯曲半径不小于 30mm、禁用尼龙扎带勒紧光纤、避开金属棱角、整理后必须复测光功率;
  • DDM 光功率监控:RX/TX 功率与温度纳入网管轮询,阈值设为"灵敏度 + 3dB"预警;
  • 物理层健康指标进监控:端口 CRC/input errors 增长率告警,而不只是 up/down 事件;
  • 弱电间任何整理、改造纳入变更流程,涉及光纤的操作在变更单中记录前后光功率值;
  • 常备光纤清洁笔与备用跳线,一线培训"先看 CRC 再看应用"的排查顺序。

总结

链路 UP 不等于链路健康。这次故障里交换机的所有"健康信号"都是绿的:端口 UP、无 flap、利用率极低——唯一说真话的是没人看的 CRC 计数和收光功率。光纤劣化是渐变过程,从 -7 dBm 到 -16.8 dBm 之间没有任何告警被触发,直到业务用卡顿把损失暴露出来。把物理层指标(光功率、误码计数)纳入监控、把走线规范写进变更流程,这两件事成本都极低,却能让下一次"间歇丢包"在用户报障之前就被看见。

延伸阅读

使用 Hugo 构建
主题 Stack 由 Jimmy 设计