Debian 13 教程 / 排查磁盘空间、inode和已删除但仍打开的文件

当您在 Debian 13 上无法写入文件时,您应该首先单独检查相关路径的块容量和 inode。如果删除文件后已用空间没有减少、可用空间也没有增加,检查是否有打开的已删除文件;如果是 /tmp 问题,则检查 tmpfs 限制,这与根磁盘是分开的。在本教程中,我们在一个小型专用练习空间中比较三种原因,而不删除业务文件。

从失败的路径开始

inode 是文件系统中的一个对象,用于管理文件类型、权限、所有权和数据位置等信息。即使是空文件也会使用 inode,所以即使有很大的字节级空间,您也可能无法创建新文件。相反,少量大文件也可能耗尽块。

以下命令应执行,但需将其替换为写入实际失败的路径。重要的是不要将 /var/tmp 和 /tmp 一起判断为根磁盘问题。

findmnt --target /var/tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /var/tmp
df -i /var/tmp
sudo du -x -h --max-depth=1 /var | sort -h

findmnt 显示包含该路径的实际挂载点,df 显示该文件系统的空间。df -i 检查 inode 的可用性。du 汇总可访问目录树下的文件,-x 防止跨入其他文件系统。如果出现权限错误,总计将不完整。不要隐藏这些错误然后把总计当作准确值。在大目录树上运行 du 会消耗时间并进行 I/O(输入输出操作),因此应从问题路径缩小范围。

观察结果 先检查的原因 行动决定
几乎没有块空间剩余,但 inode 仍然存在 大文件、日志、实际数据增加 检查所属服务和保留策略,并计划迁移、轮换或扩展。
块仍然存在,但没有 inode 大量小文件、缓存或队列增加 识别问题目录及创建原因,然后使用应用程序的清理功能。
df 显示高使用率,但 du 总量较小 打开的已删除文件、被挂载隐藏的文件、权限或聚合范围差异 比较相同的文件系统和权限,然后调查进程和挂载结构。
/ 有可用空间,但写入 /tmp 失败 单独的 tmpfs 或内存的大小和 inode 限制状态 检查 /tmp 的 df 和挂载选项,以及 free 信息。

Permission denied(权限被拒绝)、Read-only file system(只读文件系统)、Disk quota exceeded(磁盘配额超限)提示与空间不足不同的原因。即使有可用空间,由于所有权、访问控制列表(ACL,Access Control List)、只读挂载或配额,也可能会发生写入失败。由于 ext4 中的保留空间和元数据,df 与文件内容大小不需要完全匹配。仅凭空间差异不能确定损坏。

在 4 MiB 的 tmpfs 上比较块和 inode 耗尽情况

该实验使用 Python 3、e2fsprogs(mkfs.ext4 和 e2fsck)、util-linux(mount、findmnt 和 losetup)以及标准 GNU 文件工具。请先检查 command -v python3 mkfs.ext4 e2fsck mount findmnt losetup truncate df du。如果有缺失内容,请在安装所需的 Debian 软件包前检查软件包的更改。在专用的 Bash 会话中运行设置:在 set -euo pipefail 下的意外失败可能会结束该 shell。如有需要,请重新连接,检查实验挂载和文件,然后使用针对性的清理,而不是在其上重新创建资源。

需要一个单独的 Debian 13 练习虚拟机、一个可以使用 sudo 的普通用户,以及 Python 3。下面的示例创建了一个专用的 tmpfs,最大可达 4MiB 和 32 个 inode,而不会填满 /tmp。tmpfs 使用虚拟内存,如果启用了交换分区,某些页面可能会写入交换区。不要假设它只存储在物理内存中,并且在卸载时内容会丢失。

下一块内容应在同一个 Bash 终端中执行。如果路径已存在,请停止操作,先确认路径的用途和内容,不要为了继续而删除已有路径。在此虚拟机中,普通用户的 UID 和 GID 都是 1000,但命令使用当前账户的值。

set -euo pipefail
tm=/mnt/lf-space24-tmpfs
if test -e "$tm"; then
    echo "Path already exists: $tm" >&2
    exit 1
fi
sudo mkdir "$tm"
sudo mount -t tmpfs -o "size=4M,nr_inodes=32,uid=$(id -u),gid=$(id -g),mode=0700,nosuid,nodev" tmpfs "$tm"
findmnt --mountpoint "$tm"

在确认挂载结果为 tmpfs 且大小对应 4MiB 后,以普通用户身份运行以下完整示例。写入尝试限制为最多 8MiB,空文件的数量限制为最多 40 个。仅处理预期的 ENOSPC(No space left on device,设备上没有剩余空间)错误,其他错误将停止进程。

python3 - <<'PY'
import errno, pathlib, subprocess
p=pathlib.Path('/mnt/lf-space24-tmpfs')
try:
    with (p/'fill.bin').open('xb') as f:
        for i in range(8):
            f.write(b'x' * 1048576)
            f.flush()
except OSError as e:
    if e.errno != errno.ENOSPC: raise
    print('BLOCK_LIMIT_ENOSPC', flush=True)
else:
    raise RuntimeError('Expected bounded block exhaustion')
subprocess.run(['df','-hT',str(p)],check=True)
subprocess.run(['df','-i',str(p)],check=True)
(p/'fill.bin').unlink()
created=[]
try:
    for i in range(40):
        f=p/f'empty-{i}'
        f.touch(exist_ok=False)
        created.append(f)
except OSError as e:
    if e.errno != errno.ENOSPC: raise
    print('INODE_LIMIT_ENOSPC',len(created),flush=True)
else:
    raise RuntimeError('Expected bounded inode exhaustion')
subprocess.run(['df','-hT',str(p)],check=True)
subprocess.run(['df','-i',str(p)],check=True)
for f in created: f.unlink()
PY

在实际的内核 6.12.107 和 Python 3.13.5 环境中,获得了以下两种不同资源耗尽时的对照结果。32 个 inode 包括挂载的顶层目录,因此在创建 31 个空文件后就失败了。

实验 块使用情况 inode 使用情况
写入 fill.bin 4.0MiB / 4.0MiB,剩余 0 2 / 32,剩余 30
删除 fill.bin,然后创建空文件 已使用 0,剩余 4.0MiB 32 / 32,剩余 0

创建的文件将在示例结束时被删除。如果过程中因其他错误而中断,首先检查挂载目标和其中的文件。这个 tmpfs 仅用于一次性练习数据,所以您可以在工作目录之外使用以下命令卸载它。如果出现使用中错误,请将相关 shell 的当前目录移出该路径,并关闭实验进程持有的任何文件句柄后再尝试。

cd "$HOME"
sudo umount /mnt/lf-space24-tmpfs
sudo rmdir /mnt/lf-space24-tmpfs

观察已删除但仍被打开的文件占用的空间

使用 unlink 操作删除文件名与关闭已打开的文件是不同的。即使目录中的最后一个名字消失了,如果某个进程仍然保持该文件打开,文件的空间仍然可能被保留。如果您总是使用 rm 删除日志,就可能会产生这种情况,从而丢失您打算调查的名字。

下面是一个在新的 64MiB 常规文件中创建 ext4 的练习。这并不会初始化实际的磁盘设备。首先,检查根文件系统上是否有超过 64MiB 的可用空间,以及一些额外的工作空间。如果相同路径已经存在,请停止并检查其用途。在同一个 Bash 终端中执行下面整个准备块。

set -euo pipefail
base=/var/lib/lf-space24
em=/mnt/lf-space24-ext4
df -hT /var/lib /mnt
for p in "$base" "$em"; do
    if test -e "$p"; then
        echo "Path already exists: $p" >&2
        exit 1
    fi
done
sudo install -d -m 700 "$base"
sudo mkdir "$em"
sudo truncate -s 64M "$base/space.img"
sudo mkfs.ext4 "$base/space.img"
sudo mount -o loop,nosuid,nodev "$base/space.img" "$em"
findmnt --mountpoint "$em"
sudo install -d -o "$(id -u)" -g "$(id -g)" "$em/work"

使用 truncate 创建的文件最初是稀疏文件,因此 64MiB 的逻辑大小不会立即在物理上完全分配。文件系统元数据和随后的写入操作会使用实际空间。mkfs 的目标必须是新创建的 space.img,而不应替换为像 /dev/sda 这样的磁盘名称。

ext4 的 lost+found 可能普通用户无法读取,因此在不轻率更改所有权的情况下,仅测量单独的工作目录。以下代码打开并写入一个 8MiB 的文件,删除其名称,并在同一进程中在关闭文件前后进行比较。

python3 - <<'PY'
import os,pathlib,subprocess
p=pathlib.Path('/mnt/lf-space24-ext4/work')
def used():
    return int(subprocess.check_output(['df','--output=used','-B1',str(p)],text=True).splitlines()[1])
def show(label):
    os.sync()
    print(label,flush=True)
    subprocess.run(['df','-B1',str(p)],check=True)
    subprocess.run(['du','-B1','-s',str(p)],check=True)
baseline=used()
f=(p/'held.bin').open('xb')
for i in range(8): f.write(b'x'*1048576)
f.flush();os.fsync(f.fileno())
show('BEFORE_UNLINK');before=used()
(p/'held.bin').unlink()
print('OPEN_FD',os.readlink(f'/proc/self/fd/{f.fileno()}'),flush=True)
show('UNLINKED_OPEN');held=used()
f.close()
show('AFTER_CLOSE');released=used()
if not (before >= baseline+8388608 and held == before and released < held):
    raise RuntimeError((baseline,before,held,released))
print('DELETED_OPEN_FILE_RELEASE_PASSED',baseline,before,held,released,flush=True)
PY
时间 df 使用的字节数 du 工作目录总字节数
写入 8MiB 文件后 8,436,736 8,389,632
名字已删除,文件仍然打开 8,436,736 1,024
关闭文件后 48,128 1,024

以上数据是该实践镜像的实际测量值,可能会根据文件系统创建选项和版本有所不同。重要的结果是,在删除名字后,只有 du 下降,而 df 保持不变;关闭文件后,df 使用量也下降。/proc/self/fd 的输出显示 held.bin (deleted)。os.sync 仅同步观察前的写入操作,并不会强制关闭打开的文件。

在生产服务器上,检查打开该文件的进程和服务的日志重新打开功能。如果已安装 lsof,可以使用 sudo lsof +L1 调查链接数小于 1 的打开文件,但在结果中,设备、文件和进程应交叉参考在一起。重启会影响连接和操作,因此首先应查看服务支持的日志轮换/重新打开方法。不要随意写入其他进程的 /proc 文件描述符,也不要直接终止进程。

在卸载后检查 ext4 镜像

上述操作并未导致 ext4 损坏。仅仅因为空间已满,并不需要运行 e2fsck。Debian e2fsck 手册 警告不要在已挂载的文件系统上运行它,即便在允许只读检查的条件下,已挂载文件系统的检查结果也不能视为有效结果。

在本次操作中,我们检查 没有进程仍打开 work 目录内的文件,释放镜像,然后使用 -fn 进行只读检查。-f 强制完全检查,-n 是只读模式,拒绝更改。目标是单个练习镜像文件。

cd "$HOME"
sudo umount /mnt/lf-space24-ext4
sudo losetup -j /var/lib/lf-space24/space.img
sudo e2fsck -fn /var/lib/lf-space24/space.img

使用 losetup -j 的结果应该是空的。如果仍然有任何连接存在,不要删除镜像,而应检查是哪个挂载点或进程在使用它。在正常情况下,e2fsck 的逐步检查可以完成并以代码 0 退出。如果代码不是 0,应保留输出和退出代码,而不要立即删除文件。检查正在使用的根文件系统属于单独的恢复任务,需要准备控制台、备份或救援启动环境,并在根未挂载时重新验证目标 UUID。

检查正常完成后,仅删除练习镜像。现有的数据盘、之前课程中的 LVM 以及 /etc/fstab 不会被修改。

sudo rm -- /var/lib/lf-space24/space.img
sudo rmdir /var/lib/lf-space24 /mnt/lf-space24-ext4
findmnt --target /tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT / /tmp /var/tmp

检查 Debian 13 临时文件存储和保留

根据 Debian 13 的 /tmp 变更通知,默认的 /tmp 是 tmpfs,默认大小限制为内存的一半。这只是上限,并不表示一开始就预留了相应容量的内存。现有 fstab 中的单独 /tmp 设置可以改变结果,因此请首先检查实际的挂载情况。

findmnt --target /tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
findmnt --target /var/tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
systemctl cat tmp.mount
systemd-tmpfiles --cat-config | less
systemctl cat systemd-tmpfiles-clean.timer
systemctl list-timers systemd-tmpfiles-clean.timer --no-pager
free -h

在 less 中,您可以使用 /tmp.conf 搜索,并用 q 退出。由于 cat-config 显示多个设置,请不仅检查 /usr/lib/tmpfiles.d 中的默认值,还要检查 /etc/tmpfiles.d 中被同名文件覆盖的条目。不要为了验证而运行 systemd-tmpfiles --clean。此命令实际上可能会执行删除操作。

在本课程的新安装虚拟机上,/tmp 是一个最大约为 2GiB 的 tmpfs,而 /var/tmp 包含在根 ext4 中。应用的默认规则是 /tmp 10 天,/var/tmp 30 天,并且清理定时器配置为系统启动 15 分钟后执行,之后以前一次清理任务激活为起点,间隔一天执行。仅仅因为日期到了,并不能保证文件会立即被删除;文件时间戳、排除规则以及定时器实际执行的时间都会起作用。

关于 Debian 临时文件清理更改的指导 还解释了新安装和升级之间的差异。在从 Debian 12 升级到 Debian 13 的系统上,可能会创建 /etc/tmpfiles.d/tmp.conf 以维持之前的保留行为,因此不应假设其删除计划与新安装相同。/var/tmp 通常在重启后仍然存在,但不是永久存储位置。

对于小型和短期的临时文件,使用 /tmp,对于较大的临时工作,请选择一个具有足够空间的独立路径。在确保服务遵循 TMPDIR 设置后,相应地进行更改,并将持久数据和备份放在专用的状态保存目录和备份目录中。根据 systemd 的临时目录使用指南,在共享的临时目录中使用如 mktemp 这样的安全创建方法。tmpfs 限制和交换行为可以在 Linux 内核 tmpfs 文档 中查看,而清理规则的优先级和时间确定可以在 Debian tmpfiles.d 文档 中找到。