万兆上联链路间歇丢包,接口 UP 无 flap,CRC 计数却持续攀升。根因是机柜整理时跳线被扎带勒出过小弯曲半径,宏弯损耗把收光功率压到灵敏度边缘。更换跳线并规范走线后恢复,已加光功率监控。
季度维护逐节点排空升级,第三个节点 drain 卡死不动。根因是 order-api 的 PDB 配成 minAvailable 100%,自愿中断额度为零,eviction 永远被拒。改为 maxUnavailable 1 后恢复,并补全 PDB 审计。
工单服务月末高峰期一批请求集体冻结,p99 从 300ms 飙至 8s,CPU 却只有 12%。根因是新增功能里同步 SDK 调用阻塞了 asyncio 事件循环,改用 to_thread 隔离并补事件循环延迟监控后恢复。
订单服务发布消息集体超时,RabbitMQ 连接全部 blocked。根因是消费者 prefetch 未限制,未确认消息在 broker 内存堆积触发内存水位告警,全局发布被阻塞。调整预取与队列模式后恢复。
300 台采集终端远程升级固件,现场供电波动致 23 台升级中断变砖。根因是单分区 OTA 直接覆写运行固件,无备份分区与回滚机制。改双分区 A/B 方案并加签名校验后恢复批量升级能力。
安全部例行改密后 17 个应用连环报数据库认证失败。根因是共享服务账号密码在 AD 中命中过期策略,而应用侧密码写死在配置里无法自动跟进;配套的变更通知也只发了两轮。修复后以 gMSA 和账号台账补上轮换断链。
行政部新批次台式机休眠后按电源键黑屏无响应,强制断电才能开机。根因是快速启动的混合休眠镜像与网卡 WoL 唤醒配置冲突,睡眠态网卡驱动提前断电。调整电源计划与驱动设置后解决。
新装 12 台无线 AP 与 8 路摄像头接入同一台 PoE 交换机后,AP 每天不定时批量重启。根因是整机功率预算按 802.3af 估算而实际 AP 以 at 级协商,叠加 LLDP-MED 请求峰值功率,预算耗尽触发供电轮换。重新核定预算并分级供电后解决。
会议室视频终端投产后整层接入交换机 CPU 飙高、终端间歇掉线。根因是视频流走未知组播,交换机无 IGMP 侦听按广播泛洪,CPU 被组播复制打满。启用 snooping 与固定 querier 后恢复。
改完 ConfigMap 应用里还是旧配置,重启 Pod 才恢复。根因是开发用 subPath 挂载单个配置文件,该方式不触发 kubelet 原地更新,叠加业务进程不重读文件。改造挂载方式并加 Reloader 后解决。