> For AI agents: the complete documentation index is available at https://www.tteam.icu/llms.txt, the full documentation bundle is available at https://www.tteam.icu/llms-full.txt.

# Debian的 fstrim 定时任务导致周一凌晨告警


AI SummaryAI Generated

在一个类似自建集群的环境中，虚机数量扩容一倍后，随着用户增长，业务产生了大量小文件。连续几周的每周一凌晨，监控都会出现磁盘相关告警。
排查后发现，Debian 默认启用了 `fstrim.timer`，会定期对文件系统执行 TRIM。它严格来说不是传统意义上的磁盘碎片整理，但在虚拟机和大量小文件场景中，同样可能制造明显的存储 I/O 波动。
最后通过 systemd 的 timer 覆盖配置，把任务调整到每周一 `09:30` 开始，并保留最长 `2 小时` 的随机延迟，再用 SaltStack 同步到所有机器。修改 timer 时需要注意，`enable --now` 可能会因为 `Persistent=true` 补执行一次清理。

## 背景

最近给类似自建集群的环境扩容了一倍的虚机。扩容后用户数量继续增长，而业务本身又会产生大量小文件，磁盘的创建、删除和元数据更新都比较频繁。

连续几周，监控都在每周一凌晨出现磁盘 I/O 或延迟告警。告警时间非常规律，业务侧也没有固定在这个时间发布任务，所以我开始怀疑是不是 Debian 自带的定时任务在低峰时段做了某些磁盘操作。

## 从告警时间定位到 fstrim.timer

先查看当前机器的 systemd timer：

```shell
systemctl list-timers --all | grep -E 'fstrim|NEXT'
```

再查看 `fstrim.timer` 的完整配置：

```shell
systemctl cat fstrim.timer
systemctl status fstrim.timer --no-pager
```

在 Debian 中，`fstrim.timer` 通常会以每周执行一次的方式运行，服务本身调用 `fstrim`，向底层存储报告文件系统中已经空闲的块。虚拟机磁盘或 SSD 后端收到 discard/TRIM 请求后，可能会产生一段额外的存储处理时间。

因此，文章标题里说的“整理磁盘碎片”只是现象上的描述。`fstrim` 不是 ext4 或 XFS 的传统碎片整理工具，也不会重新排列文件；它做的是回收空闲块、帮助底层存储了解哪些空间可以释放。在小文件很多、磁盘操作本来就密集的业务中，这项操作仍然可能引起告警。

可以通过服务日志确认实际执行时间：

```shell
journalctl -u fstrim.service --since '30 days ago' --no-pager
```

把告警时间和日志中的 `fstrim.service` 执行时间对照后，就能确认两者是否重合。我的环境中，连续几周的周一凌晨告警都与这项定时任务吻合。

## 把清理时间调整到业务低峰

先创建 systemd 的 drop-in 配置目录：

```shell
install -d -m 0755 /etc/systemd/system/fstrim.timer.d
```

然后写入覆盖配置：

```shell
tee /etc/systemd/system/fstrim.timer.d/override.conf >/dev/null <<'EOF'
[Timer]
OnCalendar=
RandomizedDelaySec=
OnCalendar=Mon *-*-* 09:30:00 Asia/Shanghai
RandomizedDelaySec=2h
EOF
```

`OnCalendar=` 和 `RandomizedDelaySec=` 的空值用于清除发行版原来的配置，后面两行再设置新的时间。这里指定的是北京时间每周一 `09:30`，`RandomizedDelaySec=2h` 表示实际执行时间会在开始时间后随机延迟，最晚大约到 `11:30`，可以避免所有机器同时发起 TRIM。

重新加载 systemd 并启用 timer：

```shell
systemctl daemon-reload
systemctl enable --now fstrim.timer
```

执行后立即查看下一次触发时间：

```shell
systemctl list-timers --all fstrim.timer
```

如果想单独验证日历表达式，可以执行：

```shell
systemd-analyze calendar 'Mon *-*-* 09:30:00 Asia/Shanghai'
```

这时 `list-timers` 显示的下一次时间就应该落在新的低峰窗口，而不是周一凌晨。

## 用 SaltStack 同步到所有机器

单台机器确认配置没有问题后，再通过 SaltStack 分发到所有 minion。

```yaml title="fstrim.sls"
# 创建 override 配置目录
/etc/systemd/system/fstrim.timer.d:
  file.directory:
    - user: root
    - group: root
    - mode: '0755'
    - make_dirs: True

# 覆盖 fstrim.timer 配置
/etc/systemd/system/fstrim.timer.d/override.conf:
  file.managed:
    - user: root
    - group: root
    - mode: '0644'
    - contents: |
        [Timer]
        OnCalendar=
        RandomizedDelaySec=
        OnCalendar=Mon *-*-* 09:30:00 Asia/Shanghai
        RandomizedDelaySec=2h

# 重新加载 systemd 并重启/启用 timer
fstrim_timer_service:
  cmd.run:
    - name: systemctl daemon-reload && systemctl enable --now fstrim.timer
    - onchanges:
      - file: /etc/systemd/system/fstrim.timer.d/override.conf
```

按现有 Salt master 的目标分组执行状态即可，例如：

```shell
salt '<目标组>' state.apply fstrim
```

`onchanges` 确保只有在 `override.conf` 内容发生变化时，才重新加载 systemd 并启用 timer。这样可以把同一份配置安全地应用到每台机器，并避免每次执行状态都重复触发后续命令。

## 修改时会立即清理一次

这次修改还有一个容易忽略的现象：执行

```shell
systemctl enable --now fstrim.timer
```

会立即启动 timer。Debian 的 `fstrim.timer` 通常带有 `Persistent=true`，如果上一次计划执行已经错过，systemd 在重新启动 timer 时可能会补执行一次 `fstrim.service`。所以第一次批量修改不要安排在业务高峰期，最好选择可以接受磁盘 I/O 的维护窗口。

修改后可以用下面的命令确认是否发生过立即执行：

```shell
journalctl -u fstrim.service --since '10 minutes ago' --no-pager
systemctl list-timers --all fstrim.timer
```

如果只想确认 timer 配置是否生效，可以先查看 `systemctl cat fstrim.timer` 和 drop-in 文件，再决定什么时候执行 `enable --now`。不要把“下一次触发时间已经改对了”和“刚才没有立即执行过一次”混为一件事。

## 验证结果

所有机器应用 Salt 状态后，逐台抽查以下内容：

```shell
systemctl cat fstrim.timer
systemctl list-timers --all fstrim.timer
journalctl -u fstrim.service --since '7 days ago' --no-pager
```

重点确认三件事：

1. `/etc/systemd/system/fstrim.timer.d/override.conf` 已经存在，并且内容是新的 `OnCalendar` 和 `RandomizedDelaySec`。
2. `list-timers` 显示的下一次清理时间落在周一白天的低峰窗口。
3. 之前的周一凌晨不再出现同一时间段的 fstrim 执行记录。

修改完成后，下一次清理确实在指定的低峰窗口执行，周一凌晨的规律性磁盘告警也随之消失。

## 经验与注意事项

- 不要把 `fstrim` 当成传统磁盘碎片整理，也不要因为一次告警就直接禁用它。SSD、精简置备存储和部分虚拟化后端仍然需要 discard 信息来回收空间。
- 低峰时间要结合所有机器的业务负载设置。多台机器同时执行时，可以保留 `RandomizedDelaySec`，减少同一时刻的存储请求尖峰。
- 修改 timer 后一定要看 `list-timers` 的 `NEXT`，不能只看 drop-in 文件是否写入成功。
- 批量执行 Salt 状态时，先抽查一台机器，再逐步扩大目标范围，并保留 `journalctl -u fstrim.service` 的结果用于和监控告警对照。
