Debian 13 講座 / サービス障害・OOM・書き込み失敗を診断する
Debian 13におけるサービス障害は、プロセス終了の原因、ポートと実際のレスポンス、メモリおよびファイルシステムの状態を個別に確認することで絞り込むことができます。対策は、終了コード42、メモリ制限によるOOM(Out of Memory:メモリ不足)による終了、プロセスは生きているが空き容量不足でHTTP 503を返す場合など、状況によって異なります。本チュートリアルでは、リソースを小さく制限した状態でこの三つの状況を再現し、証拠を記録した後、原因を取り除きます。
再起動前に証拠を記録する
まず、問題の時間、失敗したリクエスト、および対象のパスを特定してください。無条件に再起動すると症状は一時的に消える場合がありますが、原因が残っている可能性があり、終了状態やリソース情報を見逃すことがあります。調査対象の実際のサービス名に以下の nginx.service を置き換えてください。
date --iso-8601=seconds
sudo systemctl status nginx.service --no-pager
sudo systemctl show nginx.service -p ActiveState -p SubState -p Result -p ExecMainCode -p ExecMainStatus -p MainPID
sudo journalctl -b -u nginx.service -n 80 --no-pager
ss -ltn
free -h
vmstat -y 1 3
df -hT /
df -i /
status または is-active は、障害状態ではゼロ以外の終了コードを返すことがあります。収集スクリプトでは、その状態を記録する分岐を行い、後続のチェックを無条件にスキップしないでください。ログにはアドレス、アカウント、リクエスト情報が含まれる場合があるため、保存先と共有範囲を制限してください。
| 観察 | 追加のチェック | 避けるべき記述 |
|---|---|---|
| サービスが失敗しました | Result、終了コード、シグナル、直近のログ | すべての失敗がメモリ不足によるわけではありません。 |
| アクティブだがリクエスト失敗 | リスナー、HTTPステータス、およびデータの読み書き | アクティブだからといってユーザー機能が正常であるとは限りません。 |
| メモリが少ないようです | 使用可能メモリ、スワップの変化、サービス制限、およびOOMの証拠 | OOMはfree列の値一つだけで診断すべきではありません。 |
| 書き込み失敗 | 失敗したパスのマウント、ブロック、inode、および権限 | ルートディスクの空き容量だけを確認して終わらせないでください。 |
分離環境とプログラム全体を準備する
コントロールグループ(cgroup)は、リソース管理のためにプロセスをグループ化します。tmpfsはメモリに基づくファイルシステムで、サイズ制限を個別に設定できます。欠落しているツールはsudo apt install python3 curl procpsでインストールしてください。lfstudentが存在しない場合、ポート8080が使用中の場合、または任意の前提条件のチェックに失敗した場合は停止してください。衝突ガードはシェルを終了するため、専用のラボシェルを使用してください。
sudo、Python 3、curl、およびcgroup v2のメモリコントローラーを備えた専用のDebian 13 VMが必要です。検証用VMは約4GiBのメモリを持っていましたが、メモリ実習は単一サービスに64MiBの上限を設け、容量実習は新規の4MiB tmpfs内で行いました。実際の稼働中のサービスやルートディスクを消耗することはありません。
これは、通常のユーザーlfstudentがいる環境の例です。他のアカウントの場合は、User、Group、およびtmpfsの所有者UID/GIDを実際の値に調整してください。まず、名前とポートが空であることを確認してください。
id lfstudent
stat -fc %T /sys/fs/cgroup
cat /sys/fs/cgroup/cgroup.controllers
ss -ltn
for p in /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service /mnt/lf-diag31 /var/backups/lf-debian13-31; do
if test -e "$p"; then echo "Already exists: $p" >&2; exit 1; fi
done
sudo install -d -m 755 /usr/local/libexec
sudo install -d -m 700 /var/backups/lf-debian13-31
ファイルシステムは cgroup2fs である必要があり、コントローラリストには memory が含まれている必要があります。以下の完全なプログラムは、exit42、oom、serve モードに分かれています。oom モードでは、インタプリタのオーバーヘッドに加えて最大 128MiB のバイト配列ペイロードを割り当て、以降の cgroup 制限コマンドと共に実行する必要があります。serve における GET は実験的な確認リクエストで、4KiB を隔離パスに書き込むものであり、一般的なウェブアプリケーション実装の例として使用されるものではありません。
sudo tee /usr/local/libexec/lf-diag31.py > /dev/null <<'PY'
import os,sys
from http.server import BaseHTTPRequestHandler,HTTPServer
mode=sys.argv[1]
if mode=='exit42':
print('intentional exit code 42',flush=True)
raise SystemExit(42)
if mode=='oom':
chunks=[]
for i in range(8):
chunks.append(bytearray(16*1024*1024))
print(f'allocated_chunks={i+1}',flush=True)
raise SystemExit('Expected cgroup memory limit')
if mode!='serve': raise SystemExit('Unknown mode')
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
try:
with open('/mnt/lf-diag31/probe.bin','ab') as f:
f.write(b'.'*4096)
f.flush()
os.fsync(f.fileno())
status=200;body=b'write probe ok\n'
except OSError as e:
print(f'write probe errno={e.errno}: {e.strerror}',flush=True)
status=503;body=b'write probe failed\n'
self.send_response(status)
self.send_header('Content-Type','text/plain')
self.send_header('Content-Length',str(len(body)))
self.end_headers();self.wfile.write(body)
HTTPServer(('127.0.0.1',8080),Handler).serve_forever()
PY
sudo chmod 644 /usr/local/libexec/lf-diag31.py
終了コードとOOMによる強制終了を区別する
最初のテストは意図的に終了コード42を返します。--waitはこの結果を伝播させるため、コマンドの失敗が予想されます。意図的に失敗する systemd-run コマンドには、失敗時に自動終了しないインタラクティブなラボシェルを使用するか、診断クエリに進む前に明示的に非ゼロのステータスをキャプチャしてください。
sudo systemd-run --unit=lf-exit31 --wait --property=User=lfstudent --property=RuntimeMaxSec=10s /usr/bin/python3 /usr/local/libexec/lf-diag31.py exit42
sudo systemctl show lf-exit31.service -p Result -p ExecMainCode -p ExecMainStatus
sudo journalctl -b -u lf-exit31.service --no-pager
実際の結果は Result=exit-code、ExecMainCode=1、ExecMainStatus=42 でした。ExecMainCode の 1 は終了方法のコードであり、プログラムが 1 で終了したことを意味するわけではありません。statusに表示されるcode=exited を実際の終了ステータス42と共に読んでください。
次に、単一のサービスに対して、MemoryMax=64M、MemorySwapMax=0、および10秒の実行制限を指定します。この制限は専用の一時ユニットにのみ適用され、アカウントの他のジョブには影響しません。これらの制限を適用できない場合は停止してください。制限を設けたユニットの外でoomモードを実行してはいけません。
sudo systemd-run --unit=lf-oom31 --wait --property=User=lfstudent --property=MemoryMax=64M --property=MemorySwapMax=0 --property=RuntimeMaxSec=10s --property=OOMPolicy=stop /usr/bin/python3 /usr/local/libexec/lf-diag31.py oom
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemorySwapMax -p MemoryPeak
sudo journalctl -b -u lf-oom31.service --no-pager
OOM(Out of Memory、メモリ不足)とは、メモリを割り当てられない状況を指します。cgroupはプロセスのグループにリソース制限を適用するカーネル機能です。ホストに空きメモリがあっても、cgroupの制限によりプロセスが終了されることがあります。検証では、Result=oom-kill、ExecMainCode=2、ExecMainStatus=9、およびMemoryMaxとMemoryPeak=67,108,864バイト、MemorySwapMax=0が観察されました。
シグナル9だけでOOM(Out Of Memory, メモリ不足)と結論付けることはできません。管理者による強制停止でも同じシグナルが生成される可能性があるため、その時点のResultとジャーナルを確認します。状況に応じて、カーネルや systemd-oomd の介入も調査します。サービスごとの制限の意味については systemd リソース制御の説明 を参照でき、階層構造やメモリイベントについては Linux cgroup v2 ドキュメント を確認できます。
即座に制限を無制限に変更しないでください。通常のワークロードの要求、メモリリーク、同時ジョブ、およびホスト全体のメモリ配分を確認した後で調整してください。制限を解除することは、根本原因を解決することとは異なります。
書き込みができない実行中のサービスを診断する
4MiBのtmpfsとループバックサービスを別々に作成します。検証用VMのlfstudentのUID/GIDは1000で、以下でidコマンドを使って実際の値を取得します。既存のパスと8080が空いていることは事前に確認しておく必要があります。
sudo mkdir /mnt/lf-diag31
sudo mount -t tmpfs -o "size=4M,nr_inodes=64,uid=$(id -u lfstudent),gid=$(id -g lfstudent),mode=0700,nosuid,nodev" tmpfs /mnt/lf-diag31
findmnt --mountpoint /mnt/lf-diag31
sudo tee /etc/systemd/system/lf-diag31.service > /dev/null <<'UNIT'
[Unit]
Description=LF bounded write failure HTTP lab 31
[Service]
Type=exec
User=lfstudent
Group=lfstudent
ExecStart=/usr/bin/python3 /usr/local/libexec/lf-diag31.py serve
UNIT
sudo systemctl daemon-reload
sudo systemctl start lf-diag31.service
curl --noproxy '*' -fsS http://127.0.0.1:8080/
通常の応答は write probe ok です。起動直後にリクエストがすぐに失敗する場合は、ステータスとログを確認し、しばらくしてから再試行してください。次のステップに進む前に、正常なベースラインの応答を確認してください。
以下では、lfstudentとして、1MiBを書き込み、最大8回試みます。先に4MiBのマウントがいっぱいになり、ENOSPC(デバイス上に空き領域がない)が発生します。そのtmpfsのマウントを確認できない場合は、実行しないでください。
sudo -u lfstudent python3 - <<'PY'
import errno,pathlib
p=pathlib.Path('/mnt/lf-diag31/fill.bin')
try:
with p.open('xb') as f:
for i in range(8):
f.write(b'x'*1048576);f.flush()
except OSError as e:
if e.errno!=errno.ENOSPC:raise
print('BOUNDED_TMPFS_ENOSPC')
else:raise SystemExit('Expected bounded ENOSPC')
PY
curl --noproxy '*' -sS -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/
sudo systemctl is-active lf-diag31.service
ss -ltn | grep '127.0.0.1:8080'
findmnt --target /mnt/lf-diag31 -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /mnt/lf-diag31
df -i /mnt/lf-diag31
sudo journalctl -b -u lf-diag31.service -n 20 --no-pager
実際には、HTTPは503を返しましたが、サービスは稼働しており、ポートはLISTEN状態でした。tmpfsブロックは4MiB全体を使用しており、64個のinodeのうち3個しか使用されていませんでした。書き込み失敗はジャーナルに記録されたerrno=28(No space left on device)に関連していました。原因はサービスの停止やinodeの枯渇ではなく、専用tmpfsのブロック枯渇でした。
次に、既知のラボ用フィラーファイルだけを削除し、サービスに同じリクエストを再度行ってください。サービスを再起動しないでください。
sudo rm -- /mnt/lf-diag31/fill.bin
curl --noproxy '*' -fsS http://127.0.0.1:8080/
df -hT /mnt/lf-diag31
実習では、応答がwrite probe okに戻りました。運用中では、削除可能な対象が明確な場合にのみクリーンアップが実行されます。通常のログやデータは無差別に削除されません。ファイルの生成元、保管期間、ローテーション、および拡張計画を評価します。権限エラーや読み取り専用マウントの場合、空き領域を確保しても問題は解決しないため、エラーメッセージにより処理を分岐させます。
サンプリング期間内のメモリおよびI/Oメトリクスを解釈する
freeコマンドのfree列は未使用メモリを示し、available列は新しいアプリケーションがスワップせずに使用できるメモリを推定します。キャッシュされたメモリは必ずしも無駄ではありません。freeマニュアル では、各列がどのように計算されるかを説明しています。
free -h
vmstat -y 1 3
ps -eo pid,comm,rss,%mem,%cpu --sort=-rss | head
vmstat の初期のデフォルトレポートには、起動以降の平均値が含まれることがあるため、-y オプションを使用してこれを省略し、1 秒間隔で 3 回観測します。si と so はスワップの入力/出力を示し、r は実行可能なタスク、b は I/O 完了を待ってブロックされているタスクを示しており、手がかりを提供します。wa や CPU の値の単一サンプルからディスク障害や CPU ボトルネックを判断することはできません。vmstat マニュアル でサンプル範囲を確認し、インシデントの時刻と比較してください。
検証の結果、この VM にはavailable列が約3.4GiBとスワップ使用量 0 がありましたが、これは常時の空き容量や稼働能力を示すものではありません。レポートでは、観測された値、これらの値に基づく判断、未検証の仮定を分けて示します。
証拠を保存し、回復を確認し、クリーンアップする
失敗状態をクリアする前に証拠を保持します。reset-failedは失敗インジケータをクリアしますが、メモリやファイルの問題を修正するものではありません。
sudo journalctl -b -u lf-oom31.service --no-pager | sudo tee /var/backups/lf-debian13-31/oom-journal.txt > /dev/null
sudo journalctl -b -u lf-diag31.service --no-pager | sudo tee /var/backups/lf-debian13-31/write-failure-journal.txt > /dev/null
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemoryPeak | sudo tee /var/backups/lf-debian13-31/oom-state.txt
終了コード42は意図的なプログラムの終了を示し、oom-killは実際のサービスメモリ制限に関連する終了を意味し、503はアクティブ状態での書き込み失敗です。スペースを解放して応答まで再確認したため、最後のケースは機能回復を確認します。
sudo systemctl stop lf-diag31.service
sudo rm -- /mnt/lf-diag31/probe.bin
sudo umount /mnt/lf-diag31
sudo rmdir /mnt/lf-diag31
sudo rm -- /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service
sudo systemctl daemon-reload
sudo systemctl reset-failed lf-exit31.service lf-oom31.service
sudo systemctl --failed --no-pager
検証では、専用サービス、マウント、およびファイルが削除され、失敗したサービスのリストは空でした。実際のインシデントでは、証拠を収集し、原因に応じた対応を行い、応答とデータを確認し、観察範囲を記録することで最終的な処理を行います。プロセスが再起動しただけで、ユーザーの機能やデータが回復したとは見なしません。




