日志校验正则含嵌套量词,一条超长失配日志触发灾难性回溯,单核 CPU 被打满、解析接口超时;重写为非回溯写法并限制输入长度后恢复。
自研业务埋点上线后 Prometheus 频繁 OOM 重启、TSDB 写放大拖满磁盘。根因是新指标携带用户 ID 等高基数标签,series 数失控。治理标签并设基数上限后恢复。
两节点 Hyper-V 群集实时迁移间歇失败并回滚,虚拟机短暂卡顿。根因是巡检脚本重建 vSwitch 后仅单侧节点同步 QoS 带宽策略,迁移校验失败。统一配置并加基线核对后恢复。
ConfigMap 更新后应用仍读到旧配置,重启 Pod 才生效。根因是 subPath 挂载不跟随热更新,改挂载方式并规范发布流程后解决。
12 台无线 AP 与 8 路摄像头接入同一台 PoE 交换机后批量重启。根因是 PoE 功率预算被低估,重算功率并分级供电后恢复。
机房搬迁后跨机房 IPSec VPN 大包分片黑洞,应用小包正常但大包超时,PMTUD 黑洞 + MSS 钳制缺失导致。
etcd 定期压缩后 WAL 仍持续增长,fsync 延迟偶发飙升,导致 API Server 间歇 5xx,根因定位到 WAL 文件过大与磁盘 I/O 抖动。
服务崩溃循环与外部扫描流量两类触发都把根分区写满:默认 RateLimit 过宽、SystemMaxUse 为空、单文件无轮转。显式硬配额、收紧限速并前置日志聚合后根治。
核心服务 unit 配错端口启动秒退,Restart=always 无退避把整机 CPU 与 journal 打爆,靠 StartLimit 与降级策略止血
journald Storage=auto + SystemMaxUse 未生效,日志持续写入根分区导致 df 告警,排查发现配置被 override 覆盖。