<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>历史数据膨胀 on Zero Day Notes</title>
        <link>https://blog.5772447.xyz/tags/%E5%8E%86%E5%8F%B2%E6%95%B0%E6%8D%AE%E8%86%A8%E8%83%80/</link>
        <description>Recent content in 历史数据膨胀 on Zero Day Notes</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh</language>
        <lastBuildDate>Thu, 19 Nov 2026 09:00:00 +0800</lastBuildDate><atom:link href="https://blog.5772447.xyz/tags/%E5%8E%86%E5%8F%B2%E6%95%B0%E6%8D%AE%E8%86%A8%E8%83%80/index.xml" rel="self" type="application/rss+xml" /><item>
            <title>历史表无人清理：Zabbix 库涨到 1.6TB</title>
            <link>https://blog.5772447.xyz/posts/d1547119/</link>
            <pubDate>Thu, 19 Nov 2026 09:00:00 +0800</pubDate>
            <guid>https://blog.5772447.xyz/posts/d1547119/</guid>
            <description>&lt;h2 id=&#34;问题背景&#34;&gt;&lt;a href=&#34;#%e9%97%ae%e9%a2%98%e8%83%8c%e6%99%af&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;问题背景&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;公司自建 Zabbix 监控，MySQL 单机存储，规模大约 800 台主机、2 万个监控项，绝大多数是 1 分钟采集一次。按这个量算，每天新增的历史数据接近三千万行，一年就是百亿级。&lt;/p&gt;&#xA;&lt;p&gt;这套系统跑了两年多，中间换过两任负责人。交接时只传了「账号密码、模板在哪、告警怎么加」，没有人提过历史数据的清理策略。数据库磁盘从最初的 500GB 一路扩到 2TB，大家默认「监控数据本来就占地方」。&lt;/p&gt;&#xA;&lt;h2 id=&#34;故障现象&#34;&gt;&lt;a href=&#34;#%e6%95%85%e9%9a%9c%e7%8e%b0%e8%b1%a1&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;故障现象&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;先是前端变慢：查看最新数据要转圈十几秒，趋势图偶尔直接超时；接着告警开始延迟，明明故障已经恢复，恢复通知却晚十几分钟才发出来；最后连日常备份都出问题，MySQL 全量备份从两小时拉长到十小时，备份窗口直接压到业务高峰。&lt;/p&gt;&#xA;&lt;p&gt;数据库磁盘使用率到了 95%，监控平台自己先告警了。值班同事上去看，&lt;code&gt;/var/lib/mysql&lt;/code&gt; 目录 1.6TB，磁盘 IO 长期跑满。那段时间几乎每天都有「监控页面打不开」的工单，重启前端容器只能缓解几分钟，治标不治本。&lt;/p&gt;&#xA;&lt;h2 id=&#34;排查过程&#34;&gt;&lt;a href=&#34;#%e6%8e%92%e6%9f%a5%e8%bf%87%e7%a8%8b&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;排查过程&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;第一步看磁盘占用分布：&lt;code&gt;du -sh&lt;/code&gt; 逐层下钻，&lt;code&gt;zabbix&lt;/code&gt; 库的 &lt;code&gt;history_uint&lt;/code&gt; 单个文件就超过 800GB，&lt;code&gt;history&lt;/code&gt;、&lt;code&gt;history_str&lt;/code&gt;、&lt;code&gt;trends_uint&lt;/code&gt; 加起来又是几百 GB。历史系列表合计超过两百亿行。顺带发现 binlog 目录也涨到了上百 GB，清理和备份都被它一起拖累。&lt;/p&gt;&#xA;&lt;p&gt;第二步核对清理机制。&lt;code&gt;zabbix_server.conf&lt;/code&gt; 里 &lt;code&gt;HousekeepingFrequency=0&lt;/code&gt;——这个值表示关闭 housekeeper，历史数据只进不出。继续翻配置备份和变更记录，发现两年前数据库压力大时，有人把它改成了 0「先缓解一下」，之后再也没有打开。&lt;/p&gt;&#xA;&lt;p&gt;第三步算账：就算现在把 housekeeper 打开，默认 &lt;code&gt;MaxHousekeeperDelete=5000&lt;/code&gt;、每小时执行一次，一天最多删 12 万行；而每天新写入近 3000 万行，清理能力只有写入量的千分之四，永远追不上。何况对一张几百 GB 的表做行级 DELETE，本身就会产生大量 undo 和 binlog，删除速度还会越删越慢。&lt;/p&gt;&#xA;&lt;p&gt;第四步确认影响面：前端最新数据查询、趋势图区间查询都落在这些超大表上；Zabbix Server 写历史变慢，告警计算跟着排队；备份时间长也是因为表太大。三个症状指向同一个根因。&lt;/p&gt;&#xA;&lt;p&gt;最后核对保留策略：监控项模板里 history 保留 90 天、trends 保留 365 天，配置本身没写错，错在没人执行。&lt;/p&gt;&#xA;&lt;h2 id=&#34;解决方案&#34;&gt;&lt;a href=&#34;#%e8%a7%a3%e5%86%b3%e6%96%b9%e6%a1%88&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;解决方案&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;行级 DELETE 清理两百亿行不现实，最终采用分区表方案：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;strong&gt;按时间分区&lt;/strong&gt;：把历史系列表改为按天分区（trends 按月），建新表并导入最近 90 天数据，切换表名；旧表确认无误后删除，磁盘空间随之释放。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;用 DROP PARTITION 代替 DELETE&lt;/strong&gt;：每天由 MySQL 事件调度器删除过期分区，秒级完成，不产生大量 undo/binlog，也不再需要 housekeeper（分区表场景下 &lt;code&gt;HousekeepingFrequency=0&lt;/code&gt; 是官方推荐配置）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;调整保留策略&lt;/strong&gt;：原始 history 保留 30 天，trends 保留 365 天；对不需要秒级精度的监控项，采集间隔从 1 分钟放宽到 5 分钟，写入量直接降到原来的五分之一。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;重建与回收&lt;/strong&gt;：&lt;code&gt;ibd&lt;/code&gt; 文件在 DELETE 后不会自动缩小，删表重建后才真正释放空间；整个切换在维护窗口内完成，前端和 Server 停机约 40 分钟。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;验证&lt;/strong&gt;：库大小从 1.6TB 降到 240GB；前端最新数据 P95 回到 1 秒以内；备份时间从 10 小时降到 1.5 小时；磁盘使用率 12%。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;h2 id=&#34;根因分析&#34;&gt;&lt;a href=&#34;#%e6%a0%b9%e5%9b%a0%e5%88%86%e6%9e%90&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;根因分析&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;Zabbix 的 housekeeper 是后台清理进程，负责按保留期删除历史数据。&lt;code&gt;HousekeepingFrequency=0&lt;/code&gt; 会把它整个关掉，历史数据从此只增不减。当初为了「减轻数据库压力」关掉它，短期确实少了一些删除开销，长期却把数据库推到了容量悬崖。&lt;/p&gt;&#xA;&lt;p&gt;第二个问题是清理能力与写入量不匹配。默认每小时最多删 5000 行，是面向小规模部署的保守值；在每天三千万行的写入面前，这个速率毫无意义。即使 housekeeper 一直开着，也追不上增长。&lt;/p&gt;&#xA;&lt;p&gt;第三个问题是监控系统自身缺少容量监控。磁盘使用率、最大表行数、清理进度这些指标一直没人看，直到平台自己告警才被发现。更隐蔽的是，housekeeper 被关闭这件事本身没有任何告警，配置项安安静静躺在 &lt;code&gt;zabbix_server.conf&lt;/code&gt; 里，只有专门去翻才会发现。监控工具也需要被监控，这句话说起来像段子，出事时一点都不好笑。&lt;/p&gt;&#xA;&lt;h2 id=&#34;预防措施&#34;&gt;&lt;a href=&#34;#%e9%a2%84%e9%98%b2%e6%8e%aa%e6%96%bd&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;预防措施&#xD;&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;交接清单&lt;/strong&gt;：把 &lt;code&gt;HousekeepingFrequency&lt;/code&gt;、保留期、最大表大小写进监控平台交接文档，交接时逐项核对，不允许「口头传承」。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;容量规划&lt;/strong&gt;：按「监控项数 × 采集频率」估算日增量，提前设计分区方案；新建 Zabbix 一律直接上分区表，不依赖 housekeeper 行删。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;自身监控&lt;/strong&gt;：把数据库大小、历史表行数、分区创建/删除是否成功、备份耗时纳入监控和告警。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;保留策略评审&lt;/strong&gt;：按业务需要定 history/trends 保留期，定期清理无用监控项和过密采集间隔，减少源头写入。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;变更留痕&lt;/strong&gt;：任何「先关掉缓解一下」的临时配置，必须登记恢复时间和负责人，禁止无声消失。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;备份演练&lt;/strong&gt;：定期验证备份恢复时长，避免备份窗口悄悄膨胀到影响业务。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;总结&#34;&gt;&lt;a href=&#34;#%e6%80%bb%e7%bb%93&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;总结&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;监控平台是最容易被「装完即忘」的系统：它盯着全公司，却没人盯着它。housekeeper 被关掉不是一瞬间的事故，而是两年里每天三千万行的复利。&lt;/p&gt;&#xA;&lt;p&gt;这类问题的解法不在故障现场，而在容量规划：要么让清理能力跟得上写入，要么用分区把「删除」变成「丢文件」。前者靠参数，后者靠设计，后者更可靠。&lt;/p&gt;&#xA;&lt;h2 id=&#34;延伸阅读&#34;&gt;&lt;a href=&#34;#%e5%bb%b6%e4%bc%b8%e9%98%85%e8%af%bb&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;延伸阅读&#xD;&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/5a4d227b/&#34; &gt;WSUS 数据库从未清理：客户端更新检查超时&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/54701524/&#34; &gt;Prometheus 指标基数爆炸：TSDB 内存与磁盘双满&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/231f5157/&#34; &gt;rsyslog 模板配错：日志重复写与磁盘暴涨&lt;/a&gt;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;</description>
        </item></channel>
</rss>
