问题背景
公司自建 Zabbix 监控,MySQL 单机存储,规模大约 800 台主机、2 万个监控项,绝大多数是 1 分钟采集一次。按这个量算,每天新增的历史数据接近三千万行,一年就是百亿级。
这套系统跑了两年多,中间换过两任负责人。交接时只传了「账号密码、模板在哪、告警怎么加」,没有人提过历史数据的清理策略。数据库磁盘从最初的 500GB 一路扩到 2TB,大家默认「监控数据本来就占地方」。
故障现象
先是前端变慢:查看最新数据要转圈十几秒,趋势图偶尔直接超时;接着告警开始延迟,明明故障已经恢复,恢复通知却晚十几分钟才发出来;最后连日常备份都出问题,MySQL 全量备份从两小时拉长到十小时,备份窗口直接压到业务高峰。
数据库磁盘使用率到了 95%,监控平台自己先告警了。值班同事上去看,/var/lib/mysql 目录 1.6TB,磁盘 IO 长期跑满。那段时间几乎每天都有「监控页面打不开」的工单,重启前端容器只能缓解几分钟,治标不治本。
排查过程
第一步看磁盘占用分布:du -sh 逐层下钻,zabbix 库的 history_uint 单个文件就超过 800GB,history、history_str、trends_uint 加起来又是几百 GB。历史系列表合计超过两百亿行。顺带发现 binlog 目录也涨到了上百 GB,清理和备份都被它一起拖累。
第二步核对清理机制。zabbix_server.conf 里 HousekeepingFrequency=0——这个值表示关闭 housekeeper,历史数据只进不出。继续翻配置备份和变更记录,发现两年前数据库压力大时,有人把它改成了 0「先缓解一下」,之后再也没有打开。
第三步算账:就算现在把 housekeeper 打开,默认 MaxHousekeeperDelete=5000、每小时执行一次,一天最多删 12 万行;而每天新写入近 3000 万行,清理能力只有写入量的千分之四,永远追不上。何况对一张几百 GB 的表做行级 DELETE,本身就会产生大量 undo 和 binlog,删除速度还会越删越慢。
第四步确认影响面:前端最新数据查询、趋势图区间查询都落在这些超大表上;Zabbix Server 写历史变慢,告警计算跟着排队;备份时间长也是因为表太大。三个症状指向同一个根因。
最后核对保留策略:监控项模板里 history 保留 90 天、trends 保留 365 天,配置本身没写错,错在没人执行。
解决方案
行级 DELETE 清理两百亿行不现实,最终采用分区表方案:
- 按时间分区:把历史系列表改为按天分区(trends 按月),建新表并导入最近 90 天数据,切换表名;旧表确认无误后删除,磁盘空间随之释放。
- 用 DROP PARTITION 代替 DELETE:每天由 MySQL 事件调度器删除过期分区,秒级完成,不产生大量 undo/binlog,也不再需要 housekeeper(分区表场景下
HousekeepingFrequency=0是官方推荐配置)。 - 调整保留策略:原始 history 保留 30 天,trends 保留 365 天;对不需要秒级精度的监控项,采集间隔从 1 分钟放宽到 5 分钟,写入量直接降到原来的五分之一。
- 重建与回收:
ibd文件在 DELETE 后不会自动缩小,删表重建后才真正释放空间;整个切换在维护窗口内完成,前端和 Server 停机约 40 分钟。 - 验证:库大小从 1.6TB 降到 240GB;前端最新数据 P95 回到 1 秒以内;备份时间从 10 小时降到 1.5 小时;磁盘使用率 12%。
根因分析
Zabbix 的 housekeeper 是后台清理进程,负责按保留期删除历史数据。HousekeepingFrequency=0 会把它整个关掉,历史数据从此只增不减。当初为了「减轻数据库压力」关掉它,短期确实少了一些删除开销,长期却把数据库推到了容量悬崖。
第二个问题是清理能力与写入量不匹配。默认每小时最多删 5000 行,是面向小规模部署的保守值;在每天三千万行的写入面前,这个速率毫无意义。即使 housekeeper 一直开着,也追不上增长。
第三个问题是监控系统自身缺少容量监控。磁盘使用率、最大表行数、清理进度这些指标一直没人看,直到平台自己告警才被发现。更隐蔽的是,housekeeper 被关闭这件事本身没有任何告警,配置项安安静静躺在 zabbix_server.conf 里,只有专门去翻才会发现。监控工具也需要被监控,这句话说起来像段子,出事时一点都不好笑。
预防措施
- 交接清单:把
HousekeepingFrequency、保留期、最大表大小写进监控平台交接文档,交接时逐项核对,不允许「口头传承」。 - 容量规划:按「监控项数 × 采集频率」估算日增量,提前设计分区方案;新建 Zabbix 一律直接上分区表,不依赖 housekeeper 行删。
- 自身监控:把数据库大小、历史表行数、分区创建/删除是否成功、备份耗时纳入监控和告警。
- 保留策略评审:按业务需要定 history/trends 保留期,定期清理无用监控项和过密采集间隔,减少源头写入。
- 变更留痕:任何「先关掉缓解一下」的临时配置,必须登记恢复时间和负责人,禁止无声消失。
- 备份演练:定期验证备份恢复时长,避免备份窗口悄悄膨胀到影响业务。
总结
监控平台是最容易被「装完即忘」的系统:它盯着全公司,却没人盯着它。housekeeper 被关掉不是一瞬间的事故,而是两年里每天三千万行的复利。
这类问题的解法不在故障现场,而在容量规划:要么让清理能力跟得上写入,要么用分区把「删除」变成「丢文件」。前者靠参数,后者靠设计,后者更可靠。