Debian的 fstrim 定时任务导致周一凌晨告警
在一个类似自建集群的环境中,虚机数量扩容一倍后,随着用户增长,业务产生了大量小文件。连续几周的每周一凌晨,监控都会出现磁盘相关告警。
排查后发现,Debian 默认启用了 fstrim.timer,会定期对文件系统执行 TRIM。它严格来说不是传统意义上的磁盘碎片整理,但在虚拟机和大量小文件场景中,同样可能制造明显的存储 I/O 波动。
最后通过 systemd 的 timer 覆盖配置,把任务调整到每周一 09:30 开始,并保留最长 2 小时 的随机延迟,再用 SaltStack 同步到所有机器。修改 timer 时需要注意,enable --now 可能会因为 Persistent=true 补执行一次清理。
背景
最近给类似自建集群的环境扩容了一倍的虚机。扩容后用户数量继续增长,而业务本身又会产生大量小文件,磁盘的创建、删除和元数据更新都比较频繁。
连续几周,监控都在每周一凌晨出现磁盘 I/O 或延迟告警。告警时间非常规律,业务侧也没有固定在这个时间发布任务,所以我开始怀疑是不是 Debian 自带的定时任务在低峰时段做了某些磁盘操作。
从告警时间定位到 fstrim.timer
先查看当前机器的 systemd timer:
再查看 fstrim.timer 的完整配置:
在 Debian 中,fstrim.timer 通常会以每周执行一次的方式运行,服务本身调用 fstrim,向底层存储报告文件系统中已经空闲的块。虚拟机磁盘或 SSD 后端收到 discard/TRIM 请求后,可能会产生一段额外的存储处理时间。
因此,文章标题里说的“整理磁盘碎片”只是现象上的描述。fstrim 不是 ext4 或 XFS 的传统碎片整理工具,也不会重新排列文件;它做的是回收空闲块、帮助底层存储了解哪些空间可以释放。在小文件很多、磁盘操作本来就密集的业务中,这项操作仍然可能引起告警。
可以通过服务日志确认实际执行时间:
把告警时间和日志中的 fstrim.service 执行时间对照后,就能确认两者是否重合。我的环境中,连续几周的周一凌晨告警都与这项定时任务吻合。
把清理时间调整到业务低峰
先创建 systemd 的 drop-in 配置目录:
然后写入覆盖配置:
OnCalendar= 和 RandomizedDelaySec= 的空值用于清除发行版原来的配置,后面两行再设置新的时间。这里指定的是北京时间每周一 09:30,RandomizedDelaySec=2h 表示实际执行时间会在开始时间后随机延迟,最晚大约到 11:30,可以避免所有机器同时发起 TRIM。
重新加载 systemd 并启用 timer:
执行后立即查看下一次触发时间:
如果想单独验证日历表达式,可以执行:
这时 list-timers 显示的下一次时间就应该落在新的低峰窗口,而不是周一凌晨。
用 SaltStack 同步到所有机器
单台机器确认配置没有问题后,再通过 SaltStack 分发到所有 minion。
按现有 Salt master 的目标分组执行状态即可,例如:
onchanges 确保只有在 override.conf 内容发生变化时,才重新加载 systemd 并启用 timer。这样可以把同一份配置安全地应用到每台机器,并避免每次执行状态都重复触发后续命令。
修改时会立即清理一次
这次修改还有一个容易忽略的现象:执行
会立即启动 timer。Debian 的 fstrim.timer 通常带有 Persistent=true,如果上一次计划执行已经错过,systemd 在重新启动 timer 时可能会补执行一次 fstrim.service。所以第一次批量修改不要安排在业务高峰期,最好选择可以接受磁盘 I/O 的维护窗口。
修改后可以用下面的命令确认是否发生过立即执行:
如果只想确认 timer 配置是否生效,可以先查看 systemctl cat fstrim.timer 和 drop-in 文件,再决定什么时候执行 enable --now。不要把“下一次触发时间已经改对了”和“刚才没有立即执行过一次”混为一件事。
验证结果
所有机器应用 Salt 状态后,逐台抽查以下内容:
重点确认三件事:
/etc/systemd/system/fstrim.timer.d/override.conf已经存在,并且内容是新的OnCalendar和RandomizedDelaySec。list-timers显示的下一次清理时间落在周一白天的低峰窗口。- 之前的周一凌晨不再出现同一时间段的 fstrim 执行记录。
修改完成后,下一次清理确实在指定的低峰窗口执行,周一凌晨的规律性磁盘告警也随之消失。
经验与注意事项
- 不要把
fstrim当成传统磁盘碎片整理,也不要因为一次告警就直接禁用它。SSD、精简置备存储和部分虚拟化后端仍然需要 discard 信息来回收空间。 - 低峰时间要结合所有机器的业务负载设置。多台机器同时执行时,可以保留
RandomizedDelaySec,减少同一时刻的存储请求尖峰。 - 修改 timer 后一定要看
list-timers的NEXT,不能只看 drop-in 文件是否写入成功。 - 批量执行 Salt 状态时,先抽查一台机器,再逐步扩大目标范围,并保留
journalctl -u fstrim.service的结果用于和监控告警对照。
