Debian 13 講座 / 容量・inode・tmpfsの書き込み障害を診断する

Debian 13でファイルを書き込めない場合、まず対象パスのブロック容量とinode(アイノード)を個別に確認する必要があります。ファイルを削除しても使用量が減らず、空きが増えない場合は、開いたまま削除されたファイルを確認し、/tmpの問題であれば、ルートディスクとは別のtmpfsの制限を確認してください。このチュートリアルでは、運用ファイルを削除せずに、専用の小さな練習スペースで3つの原因を比較します。

失敗したパスから始める

inode(アイノード)は、ファイルタイプ、権限、所有権、データの場所などの情報を管理するファイルシステム内のオブジェクトです。空のファイルでもinodeを使用するため、バイトレベルの空きが十分あっても新しいファイルを作成できないことがあります。逆に、いくつかの大きなファイルだけでブロックを使い果たすこともあります。

以下のコマンドは、書き込みが実際に失敗したパスに置き換えて実行する必要があります。/var/tmp と /tmp を一緒にルートディスクの問題だと判断しないことが重要です。

findmnt --target /var/tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /var/tmp
df -i /var/tmp
sudo du -x -h --max-depth=1 /var | sort -h

findmnt は、そのパスを含む実際のマウントを表示し、df はそのファイルシステムの空き容量を示します。df -i は inode の利用可能状況を確認します。du はアクセス可能なディレクトリツリー下のファイルを合計し、-x は他のファイルシステムにまたがるのを防ぎます。権限エラーが発生した場合、合計値は不完全です。これらのエラーを隠して合計値を正確だと扱わないでください。大きなツリーで du を実行すると時間がかかり、I/O(入出力)が発生するため、問題のパスから範囲を絞って実行します。

観察結果 まず確認すべき原因 対応の判断
ほとんどブロックスペースが残っていませんが、inodeは残っています 大きなファイル、ログ、実際のデータが増加しています 所有しているサービスと保持ポリシーを確認し、移動、ローテーション、または拡張の計画を立ててください。
ブロックは残っていますが、inodeがありません 非常に多くの小さなファイル、キャッシュやキューの増加 問題のあるディレクトリと作成原因を特定し、アプリケーションのクリーンアップ機能を使用してください。
dfでは使用率が高く表示されますが、du合計は小さいです 削除されたが開かれているファイル、マウントで隠されたファイル、権限や集計範囲の違い 同じファイルシステムと権限を比較し、その後プロセスとマウント構造を調査してください。
/ には空き容量がありますが、/tmp への書き込みに失敗します。 別の tmpfs のサイズおよび inode 制限、またはメモリ状況。 df と mount オプションを /tmp で確認し、free も併せて確認してください。

Permission denied(権限拒否)、Read-only file system(読み取り専用)、Disk quota exceeded(割当上限の超過)は、容量不足と異なる原因を示す手がかりです。空き容量があっても、所有権、ACL(Access Control List:アクセス制御リスト)、読み取り専用マウント、クォータのために失敗する可能性があります。ext4 では予約領域やメタデータが存在するため、df とファイル内容のサイズが正確に一致する必要はありません。空き容量の不一致だけで破損を判断することはできません。

4 MiB の tmpfs 上でのブロックと inode の枯渇を比較する

このラボでは Python 3、e2fsprogs(mkfs.ext4 と e2fsck)、util-linux(mount、findmnt、losetup)、および標準の GNU ファイルツールを使用します。まず command -v python3 mkfs.ext4 e2fsck mount findmnt losetup truncate df du を確認してください。何か不足している場合は、必要な Debian パッケージをインストールする前にパッケージの変更内容を確認してください。セットアップは専用の Bash セッションで実行してください:set -euo pipefail で予期せぬ失敗が発生すると、そのシェルが終了することがあります。必要に応じて再接続し、ラボのマウントとファイルを確認した後、リソースを再作成するのではなく、対象のクリーンアップを使用してください。

別の Debian 13 の練習用 VM、sudo を使用できる一般ユーザー、および Python 3 が必要です。以下の例では、/tmp を埋めずに最大 4MiB かつ 32 の inode を持つ専用 tmpfs を作成します。tmpfs は仮想メモリを使用し、スワップが有効な場合、一部のページはスワップに移動することがあります。物理RAMにのみ保存されていると仮定せず、アンマウント時には内容は失われます。

次のブロックは同じ Bash ターミナルで実行する必要があります。パスが既に存在する場合は停止します。続行するために既存のパスを削除せず、まず用途と内容を確認してください。この VM では、一般ユーザーの UID と GID は両方とも 1000 でしたが、コマンドは現在のアカウントの値を使用します。

set -euo pipefail
tm=/mnt/lf-space24-tmpfs
if test -e "$tm"; then
    echo "Path already exists: $tm" >&2
    exit 1
fi
sudo mkdir "$tm"
sudo mount -t tmpfs -o "size=4M,nr_inodes=32,uid=$(id -u),gid=$(id -g),mode=0700,nosuid,nodev" tmpfs "$tm"
findmnt --mountpoint "$tm"

マウント結果が tmpfs であり、サイズが 4MiB に対応していることを確認した後、通常ユーザーとして以下の完全な例を実行します。書き込み試行は最大 8MiB までに制限され、空のファイルの数は最大 40 に制限されます。期待される ENOSPC(No space left on device:デバイスに空き領域がない)エラーのみが処理され、その他のエラーが発生するとプロセスは停止します。

python3 - <<'PY'
import errno, pathlib, subprocess
p=pathlib.Path('/mnt/lf-space24-tmpfs')
try:
    with (p/'fill.bin').open('xb') as f:
        for i in range(8):
            f.write(b'x' * 1048576)
            f.flush()
except OSError as e:
    if e.errno != errno.ENOSPC: raise
    print('BLOCK_LIMIT_ENOSPC', flush=True)
else:
    raise RuntimeError('Expected bounded block exhaustion')
subprocess.run(['df','-hT',str(p)],check=True)
subprocess.run(['df','-i',str(p)],check=True)
(p/'fill.bin').unlink()
created=[]
try:
    for i in range(40):
        f=p/f'empty-{i}'
        f.touch(exist_ok=False)
        created.append(f)
except OSError as e:
    if e.errno != errno.ENOSPC: raise
    print('INODE_LIMIT_ENOSPC',len(created),flush=True)
else:
    raise RuntimeError('Expected bounded inode exhaustion')
subprocess.run(['df','-hT',str(p)],check=True)
subprocess.run(['df','-i',str(p)],check=True)
for f in created: f.unlink()
PY

実際のカーネル 6.12.107 および Python 3.13.5 の環境では、次の相反する結果が得られました。32 の inode にはマウントのトップレベルディレクトリが含まれているため、31 個の空ファイルが作成された後に失敗しました。

実験 ブロック使用量 Inode 使用量
fill.bin に書き込み 4.0MiB / 4.0MiB、空き 0 2 / 32、空き 30
fill.bin を削除してから、空のファイルを作成してください 使用済み 0、空き 4.0MiB 32 / 32、空き 0

作成されたファイルは例が終了した時に削除されます。途中で別のエラーによって中断された場合は、まずマウント対象とその中のファイルを確認してください。この tmpfs は使い捨ての練習データ用なので、作業ディレクトリ外で以下のコマンドを使ってアンマウントできます。もし「使用中」というエラーが出た場合、関連するすべてのシェルの現在のディレクトリをこのパスの外に移動し、ラボプロセスが保持しているファイルハンドルを閉じてから再試行してください。

cd "$HOME"
sudo umount /mnt/lf-space24-tmpfs
sudo rmdir /mnt/lf-space24-tmpfs

削除後も開かれたファイルが保持する容量を確認する

unlink 操作でファイル名を削除することと、開かれたファイルを閉じることは異なります。ディレクトリ内の最後の名前がなくなっても、プロセスがまだそのファイルを開いている場合、そのファイルの領域は保持されることがあります。ログを常に rm で削除すると、この状況を作り出し、調査しようとした名前を失う可能性があります。

以下は、64MiB の新しい通常ファイル内に ext4 を作成する練習です。これは実際のディスクデバイスを初期化するものではありません。まず、ルートファイルシステムに 64MiB 以上の空きスペースと少しの作業用スペースがあることを確認してください。既に同じパスが存在する場合は、停止してその使用状況を調べてください。以下の準備ブロック全体を、同じ Bash ターミナルで実行してください。

set -euo pipefail
base=/var/lib/lf-space24
em=/mnt/lf-space24-ext4
df -hT /var/lib /mnt
for p in "$base" "$em"; do
    if test -e "$p"; then
        echo "Path already exists: $p" >&2
        exit 1
    fi
done
sudo install -d -m 700 "$base"
sudo mkdir "$em"
sudo truncate -s 64M "$base/space.img"
sudo mkfs.ext4 "$base/space.img"
sudo mount -o loop,nosuid,nodev "$base/space.img" "$em"
findmnt --mountpoint "$em"
sudo install -d -o "$(id -u)" -g "$(id -g)" "$em/work"

truncateで作成されたファイルは最初はスパースファイルであるため、64MiBの論理サイズは直ちに物理的に完全には割り当てられません。ファイルシステムのメタデータや後続の書き込み操作が実際のスペースを使用します。mkfsの対象は新しく作成されたspace.imgでなければならず、/dev/sdaのようなディスク名に置き換えてはいけません。

ext4のlost+foundは通常のユーザーには読み取れない場合があるため、所有権を無謀に変更することなく、測定するのは別の作業ディレクトリのみです。以下のコードは8MiBのファイルを開いて書き込み、名前を削除し、同じプロセス内でファイルを閉じる前後を比較します。

python3 - <<'PY'
import os,pathlib,subprocess
p=pathlib.Path('/mnt/lf-space24-ext4/work')
def used():
    return int(subprocess.check_output(['df','--output=used','-B1',str(p)],text=True).splitlines()[1])
def show(label):
    os.sync()
    print(label,flush=True)
    subprocess.run(['df','-B1',str(p)],check=True)
    subprocess.run(['du','-B1','-s',str(p)],check=True)
baseline=used()
f=(p/'held.bin').open('xb')
for i in range(8): f.write(b'x'*1048576)
f.flush();os.fsync(f.fileno())
show('BEFORE_UNLINK');before=used()
(p/'held.bin').unlink()
print('OPEN_FD',os.readlink(f'/proc/self/fd/{f.fileno()}'),flush=True)
show('UNLINKED_OPEN');held=used()
f.close()
show('AFTER_CLOSE');released=used()
if not (before >= baseline+8388608 and held == before and released < held):
    raise RuntimeError((baseline,before,held,released))
print('DELETED_OPEN_FILE_RELEASE_PASSED',baseline,before,held,released,flush=True)
PY
時間 df 使用済みバイト数 du work 合計バイト数
8MiBのファイルを書き込んだ後 8,436,736 8,389,632
名前を削除したが、ファイルはまだ開いている 8,436,736 1,024
ファイルを閉じた後 48,128 1,024

上記の数値は、この練習用イメージからの実際の測定値であり、ファイルシステム作成オプションやバージョンによって異なる場合があります。重要な結果は、名前を削除した後、duだけが減少し、dfはそのまま残ったこと、そしてファイルを閉じた後にdfの使用量も減少したことです。/proc/self/fdの出力は、held.bin (deleted)を示しました。os.syncは観測前の書き込みのみを同期し、開いているファイルを強制的に閉じることはありません。

本番サーバーでは、ファイルを開いたプロセスおよびサービスのログ再オープン機能を確認してください。lsofがインストールされている場合、sudo lsof +L1を使用してリンクカウントが1未満のオープンファイルを調査できますが、結果ではデバイス、ファイル、プロセスを一緒に照合する必要があります。再起動は接続や操作に影響を与えるため、まずサービスがサポートするログローテーション/再オープン方法を確認してください。他のプロセスの/procファイルディスクリプタに任意に書き込んだり、プロセスを直接終了させたりしないでください。

マウント解除後にext4イメージを検査する

上記の操作は ext4 の破損を引き起こしませんでした。空き容量を使い切ったからといって e2fsck を実行する必要はありません。Debian の e2fsck マニュアル では、マウントされたファイルシステムでの実行を避けるよう警告しており、読み取り専用で実行できる条件でも、マウント中の検査結果は有効とは扱えません。

この操作では、work内のファイルを開いているプロセスがないことを確認し、イメージを解放してから、-fn オプションで読み取り専用のチェックを行います。-f は完全チェックを強制し、-n は変更を拒否する読み取り専用モードです。対象は単一の実習用イメージファイルです。

cd "$HOME"
sudo umount /mnt/lf-space24-ext4
sudo losetup -j /var/lib/lf-space24/space.img
sudo e2fsck -fn /var/lib/lf-space24/space.img

losetup -j の結果は空であるべきです。接続が残っている場合は、イメージを削除せず、どのマウントまたはプロセスが使用しているかを確認してください。通常の手順では、e2fsck によるステップごとのチェックが完了し、コード 0 で終了します。0 でない場合は、ファイルをすぐに削除せずに、出力と終了コードを保持してください。運用中のルートを確認することは別のリカバリ作業であり、コンソール、バックアップ、またはレスキューブート環境の準備と、ルートがアンマウントされている状態でターゲット UUID を再確認する必要があります。

チェックが正常に完了した後、練習用イメージのみが削除されます。既存のデータディスク、以前の講義で使用した LVM、および /etc/fstab は変更されません。

sudo rm -- /var/lib/lf-space24/space.img
sudo rmdir /var/lib/lf-space24 /mnt/lf-space24-ext4
findmnt --target /tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT / /tmp /var/tmp

Debian 13の一時ファイル保存先と保持条件を確認する

Debian 13 の /tmp 変更通知 によると、デフォルトの /tmp は tmpfs で、デフォルトのサイズ制限はメモリの半分です。上限に相当するメモリが最初から予約されるという意味ではありません。既存の fstab で個別に /tmp を設定すると結果が変わる可能性があるため、まず実際のマウントを確認してください。

findmnt --target /tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
findmnt --target /var/tmp -o TARGET,SOURCE,FSTYPE,OPTIONS
systemctl cat tmp.mount
systemd-tmpfiles --cat-config | less
systemctl cat systemd-tmpfiles-clean.timer
systemctl list-timers systemd-tmpfiles-clean.timer --no-pager
free -h

less では、/tmp.conf で検索し、q で終了できます。cat-config は複数の設定を表示するため、/usr/lib/tmpfiles.d のデフォルトだけでなく、/etc/tmpfiles.d に同名のファイルで上書きされているエントリも確認してください。検証目的で systemd-tmpfiles --clean を実行しないでください。このコマンドは実際に削除を行う可能性があります。

このコースの新規インストール用VMでは、/tmpは最大約2GiBのtmpfsで、/var/tmpはルートのext4に含まれていました。適用されたデフォルトのルールは、/tmpが10日、/var/tmpが30日で、クリーンアップタイマーはシステム起動から15分後、以後は前回の処理起動から1日後に実行する設定でした。日付が来たからといってファイルが即座に削除される保証はなく、ファイルのタイムスタンプ、除外ルール、タイマー実行のタイミングがすべて影響します。

Debianの一時ファイルクリーンアップ変更に関するガイドでは、新規インストールとアップグレードの違いについても説明しています。Debian 12からDebian 13にアップグレードされたシステムでは、以前の保持動作を維持するために /etc/tmpfiles.d/tmp.conf が作成される場合があるため、新規インストールと同じ削除スケジュールを仮定してはいけません。/var/tmp は通常、再起動後も残りますが、永久的な保存場所ではありません。

小さく短命の一時ファイルには /tmp を使用し、より大きな一時作業には十分なスペースのある別のパスを選択します。サービスが TMPDIR 設定に従うことを確認した後、それに応じて変更し、永続的なデータやバックアップは専用の状態保存先・バックアップ先に配置します。systemd の一時ディレクトリ使用ガイドライン に従い、共有一時ディレクトリでは mktemp のような安全な作成方法を使用してください。tmpfs の制限やスワップの動作は Linux カーネル tmpfs ドキュメント で確認でき、クリーンアップルールの優先度や時間の決定は Debian tmpfiles.d ドキュメント で確認できます。