Debian 13 教程 / 区分服务退出、内存限制与磁盘空间不足
在 Debian 13 中,可以通过分别检查进程终止原因、端口和实际响应,以及内存和文件系统状态来缩小服务故障的排查范围。对于不同情况的处理方式有所不同,例如退出码为 42、因内存限制导致的内存不足(OOM,Out of Memory) 终止,以及进程仍在运行但由于空间不足返回 HTTP 503。本教程将在小资源限制下复现这三种情况,记录证据,然后排除原因。
重启前捕获证据
首先,确定问题发生的时间、失败的请求以及目标路径。如果无条件重启,症状可能暂时消失,但原因可能仍然存在,并且您可能会错过终止状态和资源信息。将以下 nginx.service 替换为实际需要调查的服务名称。
date --iso-8601=seconds
sudo systemctl status nginx.service --no-pager
sudo systemctl show nginx.service -p ActiveState -p SubState -p Result -p ExecMainCode -p ExecMainStatus -p MainPID
sudo journalctl -b -u nginx.service -n 80 --no-pager
ss -ltn
free -h
vmstat -y 1 3
df -hT /
df -i /
status 或 is-active 在失败状态下可能返回非零退出码。在收集脚本中,应分支记录该状态,并且不要无条件跳过后续检查。由于日志可能包含地址、账户和请求信息,应限制存储路径和共享范围。
| 观察 | 附加检查 | 应避免的语句 |
|---|---|---|
| 服务失败 | Result、退出码、信号和最近日志 | 并非所有故障都是由于内存不足引起的。 |
| 活跃但请求失败 | 监听器、HTTP状态及数据读写 | 活跃并不意味着用户功能正常。 |
| 内存似乎很低 | 可用内存、交换变化、服务限制及OOM证据 | OOM不应仅通过free列的一个值来诊断。 |
| 写入失败 | 失败路径的挂载、块、inode和权限 | 不要仅检查根磁盘的可用空间然后就结束。 |
准备隔离环境与完整程序
控制组(cgroup)用于对进程进行资源控制。tmpfs 是一种基于内存的文件系统,可以单独配置大小限制。使用 sudo apt install python3 curl procps 安装缺失的工具。如果 lfstudent 不存在、端口 8080 被占用或任何前提检查失败,则停止;资源冲突检查会退出其 shell,因此请使用专用的实训shell。
需要一个专用的 Debian 13 虚拟机,具备 sudo、Python 3、curl 和 cgroup v2 的内存控制器。验证虚拟机的内存约为 4GiB,内存实训仅对单个服务设置64MiB上限,容量实训仅使用新建的4MiB tmpfs,不会填满根磁盘或耗尽现有业务服务的资源。
这是一个具有常规用户 lfstudent 的环境示例。对于其他账户,请将User、Group以及tmpfs所有者的用户标识符(UID)与组标识符(GID) 调整为实际值。首先,检查名称和端口是否为空。
id lfstudent
stat -fc %T /sys/fs/cgroup
cat /sys/fs/cgroup/cgroup.controllers
ss -ltn
for p in /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service /mnt/lf-diag31 /var/backups/lf-debian13-31; do
if test -e "$p"; then echo "Already exists: $p" >&2; exit 1; fi
done
sudo install -d -m 755 /usr/local/libexec
sudo install -d -m 700 /var/backups/lf-debian13-31
文件系统应为 cgroup2fs,控制器列表应包括 memory。以下完整程序分为 exit42、oom 和 serve 模式。oom 模式分配最多 128MiB 的字节数组负载,此外还有解释器开销,并且必须与后续的 cgroup 限制命令一起执行。serve 中的 GET 是一个实验性确认请求,会向隔离路径写入 4KiB,并不作为通用 Web 应用实现示例。
sudo tee /usr/local/libexec/lf-diag31.py > /dev/null <<'PY'
import os,sys
from http.server import BaseHTTPRequestHandler,HTTPServer
mode=sys.argv[1]
if mode=='exit42':
print('intentional exit code 42',flush=True)
raise SystemExit(42)
if mode=='oom':
chunks=[]
for i in range(8):
chunks.append(bytearray(16*1024*1024))
print(f'allocated_chunks={i+1}',flush=True)
raise SystemExit('Expected cgroup memory limit')
if mode!='serve': raise SystemExit('Unknown mode')
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
try:
with open('/mnt/lf-diag31/probe.bin','ab') as f:
f.write(b'.'*4096)
f.flush()
os.fsync(f.fileno())
status=200;body=b'write probe ok\n'
except OSError as e:
print(f'write probe errno={e.errno}: {e.strerror}',flush=True)
status=503;body=b'write probe failed\n'
self.send_response(status)
self.send_header('Content-Type','text/plain')
self.send_header('Content-Length',str(len(body)))
self.end_headers();self.wfile.write(body)
HTTPServer(('127.0.0.1',8080),Handler).serve_forever()
PY
sudo chmod 644 /usr/local/libexec/lf-diag31.py
区分退出码与OOM强制终止
第一个测试故意返回退出代码 42。由于 --wait 会传播此结果,因此预期会出现命令失败。对于这些故意失败的 systemd-run 命令,请使用不会在失败时自动退出的交互式实训shell,或者在继续诊断查询之前明确捕获它们的非零状态。
sudo systemd-run --unit=lf-exit31 --wait --property=User=lfstudent --property=RuntimeMaxSec=10s /usr/bin/python3 /usr/local/libexec/lf-diag31.py exit42
sudo systemctl show lf-exit31.service -p Result -p ExecMainCode -p ExecMainStatus
sudo journalctl -b -u lf-exit31.service --no-pager
实际结果是 Result=exit-code, ExecMainCode=1, ExecMainStatus=42。ExecMainCode 中的 1 是终止方法的代码,并不意味着程序以 1 退出。将status显示的code=exited 与实际退出状态 42 一起读取。
接下来,对于单个服务,我们指定 MemoryMax=64M、MemorySwapMax=0,以及 10 秒的执行限制。该限制仅适用于专用的临时单元,而不会影响该帐户的其他作业。如果无法应用这些限制,则停止;切勿在其受限单元之外运行 oom 模式。
sudo systemd-run --unit=lf-oom31 --wait --property=User=lfstudent --property=MemoryMax=64M --property=MemorySwapMax=0 --property=RuntimeMaxSec=10s --property=OOMPolicy=stop /usr/bin/python3 /usr/local/libexec/lf-diag31.py oom
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemorySwapMax -p MemoryPeak
sudo journalctl -b -u lf-oom31.service --no-pager
OOM(内存不足)指的是无法分配内存的情况。cgroup 是一个内核特性,用于对一组进程应用资源限制。即使主机有空闲内存,由于 cgroup 限制,进程也可能被终止。在验证中,观察到 Result=oom-kill, ExecMainCode=2, ExecMainStatus=9 以及 MemoryMax 和 MemoryPeak=67,108,864 字节,MemorySwapMax=0。
单凭信号 9 不能断定是 OOM。管理员强制停止也可能产生相同的信号,因此我们会结合当时的Result和日志进行分析。我们还会根据情况调查内核或 systemd-oomd 的干预。每个服务的限制含义可以在 systemd 资源控制描述 中找到,层级和内存事件可以在 Linux cgroup v2 文档 中查看。
不要立即将限制改为无限。应在检查正常工作负载需求、内存泄漏、并发任务和主机整体内存分配后再进行调整。移除限制不同于解决根本原因。
诊断无法写入的运行服务
创建一个单独的 4MiB tmpfs 和回环服务。验证虚拟机的 lfstudent UID/GID 为 1000,下面我们使用 id 获取实际值。您应该提前检查现有路径和 8080 端口是否空闲。
sudo mkdir /mnt/lf-diag31
sudo mount -t tmpfs -o "size=4M,nr_inodes=64,uid=$(id -u lfstudent),gid=$(id -g lfstudent),mode=0700,nosuid,nodev" tmpfs /mnt/lf-diag31
findmnt --mountpoint /mnt/lf-diag31
sudo tee /etc/systemd/system/lf-diag31.service > /dev/null <<'UNIT'
[Unit]
Description=LF bounded write failure HTTP lab 31
[Service]
Type=exec
User=lfstudent
Group=lfstudent
ExecStart=/usr/bin/python3 /usr/local/libexec/lf-diag31.py serve
UNIT
sudo systemctl daemon-reload
sudo systemctl start lf-diag31.service
curl --noproxy '*' -fsS http://127.0.0.1:8080/
正常响应是 write probe ok。如果在启动后请求立即失败,请检查状态和日志,并稍后重试。在继续下一步之前确认基线响应成功。
下面,作为 lfstudent,我们尝试写入 1MiB,最多 8 次。4MiB 的挂载首先被填满,导致 ENOSPC(设备上没有空间)。如果无法验证该 tmpfs 的挂载,请不要运行它。
sudo -u lfstudent python3 - <<'PY'
import errno,pathlib
p=pathlib.Path('/mnt/lf-diag31/fill.bin')
try:
with p.open('xb') as f:
for i in range(8):
f.write(b'x'*1048576);f.flush()
except OSError as e:
if e.errno!=errno.ENOSPC:raise
print('BOUNDED_TMPFS_ENOSPC')
else:raise SystemExit('Expected bounded ENOSPC')
PY
curl --noproxy '*' -sS -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/
sudo systemctl is-active lf-diag31.service
ss -ltn | grep '127.0.0.1:8080'
findmnt --target /mnt/lf-diag31 -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /mnt/lf-diag31
df -i /mnt/lf-diag31
sudo journalctl -b -u lf-diag31.service -n 20 --no-pager
实际上,HTTP 返回了 503,但服务是活动的,端口处于 LISTEN 状态。tmpfs 块使用了整个 4MiB,64 个 inode 中只有 3 个被使用。写入失败与日志记录的errno=28(No space left on device)相关。原因不是服务停机或 inode 耗尽,而是专用 tmpfs 上的块耗尽。
现在,仅删除已知的实验室填充文件,然后再次向服务发出相同请求。不要重启服务。
sudo rm -- /mnt/lf-diag31/fill.bin
curl --noproxy '*' -fsS http://127.0.0.1:8080/
df -hT /mnt/lf-diag31
在验证中,响应恢复为write probe ok。在操作中,只有当可以删除的目标明确时才执行清理。常规日志或数据不会被随意删除;我们会评估文件生成来源、保留期限、轮换与扩容计划。如果是权限错误或只读挂载,释放空间不会解决问题,因此我们根据错误信息进行分支。
在采样周期内解释内存和I/O指标
free命令的free列报告未使用内存,而available列 估算新应用程序可以使用而无需交换的内存。缓存的内存不一定是浪费的。free 手册 解释了每列的计算方法。
free -h
vmstat -y 1 3
ps -eo pid,comm,rss,%mem,%cpu --sort=-rss | head
vmstat 的初始默认报告可能包括自启动以来的平均值,因此我们使用 -y 将其省略,并在 1 秒间隔观察三次。si 和 so 是交换输入/输出,r 表示可运行任务,b 表示等待 I/O 完成而阻塞的任务,提供线索。仅凭单次样本的 wa 或 CPU 值无法确定磁盘故障或 CPU 瓶颈。在 vmstat 手册 中检查样本范围,并将其与事件时间进行比较。
经验证,该虚拟机available列约为3.4GiB,交换空间使用量为0,但这并不代表任意时刻的可用内存或业务容量。在报告中,我们区分观察到的值、由这些值支持的判断以及未经验证的假设。
保留证据,确认恢复并清理
在清除失败状态之前保留证据。reset-failed 会清除失败指示,但不会修复内存或文件问题。
sudo journalctl -b -u lf-oom31.service --no-pager | sudo tee /var/backups/lf-debian13-31/oom-journal.txt > /dev/null
sudo journalctl -b -u lf-diag31.service --no-pager | sudo tee /var/backups/lf-debian13-31/write-failure-journal.txt > /dev/null
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemoryPeak | sudo tee /var/backups/lf-debian13-31/oom-state.txt
退出状态 42 表示程序的意图性终止,oom-kill 表示与实际服务内存限制相关的终止,而 503 是在活动状态下的写入失败。最后一种情况在释放空间后重新检查了实际HTTP响应,因此能够确认写入功能恢复。
sudo systemctl stop lf-diag31.service
sudo rm -- /mnt/lf-diag31/probe.bin
sudo umount /mnt/lf-diag31
sudo rmdir /mnt/lf-diag31
sudo rm -- /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service
sudo systemctl daemon-reload
sudo systemctl reset-failed lf-exit31.service lf-oom31.service
sudo systemctl --failed --no-pager
在验证过程中,已移除专用服务、挂载点和文件,并且失败的服务列表为空。在实际事件中,我们通过收集证据、针对原因采取适当行动、确认响应和数据,以及记录观察范围来完成处理。我们不会仅因为进程已重新启动就认为用户功能和数据已经恢复。




