For AI agents: the complete documentation index is available at https://www.tteam.icu/llms.txt, the full documentation bundle is available at https://www.tteam.icu/llms-full.txt, and this page is available as Markdown at https://www.tteam.icu/blog/ops/Debian%E7%9A%84fstrim%E5%AE%9A%E6%97%B6%E4%BB%BB%E5%8A%A1%E5%AF%BC%E8%87%B4%E5%91%A8%E4%B8%80%E5%87%8C%E6%99%A8%E5%91%8A%E8%AD%A6.md.
← Back to Blog

Debian的 fstrim 定时任务导致周一凌晨告警

AI SummaryAI Generated

在一个类似自建集群的环境中,虚机数量扩容一倍后,随着用户增长,业务产生了大量小文件。连续几周的每周一凌晨,监控都会出现磁盘相关告警。

排查后发现,Debian 默认启用了 fstrim.timer,会定期对文件系统执行 TRIM。它严格来说不是传统意义上的磁盘碎片整理,但在虚拟机和大量小文件场景中,同样可能制造明显的存储 I/O 波动。

最后通过 systemd 的 timer 覆盖配置,把任务调整到每周一 09:30 开始,并保留最长 2 小时 的随机延迟,再用 SaltStack 同步到所有机器。修改 timer 时需要注意,enable --now 可能会因为 Persistent=true 补执行一次清理。

背景

最近给类似自建集群的环境扩容了一倍的虚机。扩容后用户数量继续增长,而业务本身又会产生大量小文件,磁盘的创建、删除和元数据更新都比较频繁。

连续几周,监控都在每周一凌晨出现磁盘 I/O 或延迟告警。告警时间非常规律,业务侧也没有固定在这个时间发布任务,所以我开始怀疑是不是 Debian 自带的定时任务在低峰时段做了某些磁盘操作。

从告警时间定位到 fstrim.timer

先查看当前机器的 systemd timer:

systemctl list-timers --all | grep -E 'fstrim|NEXT'

再查看 fstrim.timer 的完整配置:

systemctl cat fstrim.timer
systemctl status fstrim.timer --no-pager

在 Debian 中,fstrim.timer 通常会以每周执行一次的方式运行,服务本身调用 fstrim,向底层存储报告文件系统中已经空闲的块。虚拟机磁盘或 SSD 后端收到 discard/TRIM 请求后,可能会产生一段额外的存储处理时间。

因此,文章标题里说的“整理磁盘碎片”只是现象上的描述。fstrim 不是 ext4 或 XFS 的传统碎片整理工具,也不会重新排列文件;它做的是回收空闲块、帮助底层存储了解哪些空间可以释放。在小文件很多、磁盘操作本来就密集的业务中,这项操作仍然可能引起告警。

可以通过服务日志确认实际执行时间:

journalctl -u fstrim.service --since '30 days ago' --no-pager

把告警时间和日志中的 fstrim.service 执行时间对照后,就能确认两者是否重合。我的环境中,连续几周的周一凌晨告警都与这项定时任务吻合。

把清理时间调整到业务低峰

先创建 systemd 的 drop-in 配置目录:

install -d -m 0755 /etc/systemd/system/fstrim.timer.d

然后写入覆盖配置:

tee /etc/systemd/system/fstrim.timer.d/override.conf >/dev/null <<'EOF'
[Timer]
OnCalendar=
RandomizedDelaySec=
OnCalendar=Mon *-*-* 09:30:00 Asia/Shanghai
RandomizedDelaySec=2h
EOF

OnCalendar= 和 RandomizedDelaySec= 的空值用于清除发行版原来的配置,后面两行再设置新的时间。这里指定的是北京时间每周一 09:30,RandomizedDelaySec=2h 表示实际执行时间会在开始时间后随机延迟,最晚大约到 11:30,可以避免所有机器同时发起 TRIM。

重新加载 systemd 并启用 timer:

systemctl daemon-reload
systemctl enable --now fstrim.timer

执行后立即查看下一次触发时间:

systemctl list-timers --all fstrim.timer

如果想单独验证日历表达式,可以执行:

systemd-analyze calendar 'Mon *-*-* 09:30:00 Asia/Shanghai'

这时 list-timers 显示的下一次时间就应该落在新的低峰窗口,而不是周一凌晨。

用 SaltStack 同步到所有机器

单台机器确认配置没有问题后,再通过 SaltStack 分发到所有 minion。

fstrim.sls
# 创建 override 配置目录
/etc/systemd/system/fstrim.timer.d:
  file.directory:
    - user: root
    - group: root
    - mode: '0755'
    - make_dirs: True

# 覆盖 fstrim.timer 配置
/etc/systemd/system/fstrim.timer.d/override.conf:
  file.managed:
    - user: root
    - group: root
    - mode: '0644'
    - contents: |
        [Timer]
        OnCalendar=
        RandomizedDelaySec=
        OnCalendar=Mon *-*-* 09:30:00 Asia/Shanghai
        RandomizedDelaySec=2h

# 重新加载 systemd 并重启/启用 timer
fstrim_timer_service:
  cmd.run:
    - name: systemctl daemon-reload && systemctl enable --now fstrim.timer
    - onchanges:
      - file: /etc/systemd/system/fstrim.timer.d/override.conf

按现有 Salt master 的目标分组执行状态即可,例如:

salt '<目标组>' state.apply fstrim

onchanges 确保只有在 override.conf 内容发生变化时,才重新加载 systemd 并启用 timer。这样可以把同一份配置安全地应用到每台机器,并避免每次执行状态都重复触发后续命令。

修改时会立即清理一次

这次修改还有一个容易忽略的现象:执行

systemctl enable --now fstrim.timer

会立即启动 timer。Debian 的 fstrim.timer 通常带有 Persistent=true,如果上一次计划执行已经错过,systemd 在重新启动 timer 时可能会补执行一次 fstrim.service。所以第一次批量修改不要安排在业务高峰期,最好选择可以接受磁盘 I/O 的维护窗口。

修改后可以用下面的命令确认是否发生过立即执行:

journalctl -u fstrim.service --since '10 minutes ago' --no-pager
systemctl list-timers --all fstrim.timer

如果只想确认 timer 配置是否生效,可以先查看 systemctl cat fstrim.timer 和 drop-in 文件,再决定什么时候执行 enable --now。不要把“下一次触发时间已经改对了”和“刚才没有立即执行过一次”混为一件事。

验证结果

所有机器应用 Salt 状态后,逐台抽查以下内容:

systemctl cat fstrim.timer
systemctl list-timers --all fstrim.timer
journalctl -u fstrim.service --since '7 days ago' --no-pager

重点确认三件事:

  1. /etc/systemd/system/fstrim.timer.d/override.conf 已经存在,并且内容是新的 OnCalendar 和 RandomizedDelaySec。
  2. list-timers 显示的下一次清理时间落在周一白天的低峰窗口。
  3. 之前的周一凌晨不再出现同一时间段的 fstrim 执行记录。

修改完成后,下一次清理确实在指定的低峰窗口执行,周一凌晨的规律性磁盘告警也随之消失。

经验与注意事项

  • 不要把 fstrim 当成传统磁盘碎片整理,也不要因为一次告警就直接禁用它。SSD、精简置备存储和部分虚拟化后端仍然需要 discard 信息来回收空间。
  • 低峰时间要结合所有机器的业务负载设置。多台机器同时执行时,可以保留 RandomizedDelaySec,减少同一时刻的存储请求尖峰。
  • 修改 timer 后一定要看 list-timers 的 NEXT,不能只看 drop-in 文件是否写入成功。
  • 批量执行 Salt 状态时,先抽查一台机器,再逐步扩大目标范围,并保留 journalctl -u fstrim.service 的结果用于和监控告警对照。