Debian 13 강좌 / 서비스 실패·OOM·공간 부족과 HTTP 장애 진단
Debian 13의 서비스 장애는 프로세스 종료 원인, 포트와 실제 응답, 메모리·파일 시스템 상태를 나누어 확인하면 좁힐 수 있습니다. 종료 코드 42, 메모리 한도에 따른 OOM 종료, 프로세스는 살아 있지만 공간 부족으로 HTTP 503을 반환하는 경우는 조치가 다릅니다. 이 강좌는 작은 자원 한도 안에서 세 상황을 재현하고 증거를 남긴 뒤 원인을 해제합니다.
재시작 전에 남길 최소 증거
문제가 난 시각·실패한 요청·대상 경로를 먼저 정합니다. 무조건 재시작하면 일시적으로 증상이 사라져도 원인은 남을 수 있고 종료 상태와 자원 정보를 놓칠 수 있습니다. 다음 nginx.service는 조사할 실제 서비스명으로 바꿉니다.
date --iso-8601=seconds
sudo systemctl status nginx.service --no-pager
sudo systemctl show nginx.service -p ActiveState -p SubState -p Result -p ExecMainCode -p ExecMainStatus -p MainPID
sudo journalctl -b -u nginx.service -n 80 --no-pager
ss -ltn
free -h
vmstat -y 1 3
df -hT /
df -i /
status나 is-active는 실패 상태에서 0이 아닌 종료 코드를 반환할 수 있습니다. 수집 스크립트에서는 그 상태를 기록하도록 분기하고 이후 조회를 무조건 생략하지 않습니다. 로그에 주소·계정·요청 정보가 있을 수 있으므로 보관 경로와 공유 범위를 제한합니다.
| 관찰 | 추가 확인 | 피할 단정 |
|---|---|---|
| 서비스 failed | Result·종료 코드·신호·직전 로그 | 모든 실패가 메모리 부족은 아닙니다. |
| active지만 요청 실패 | 리스너·HTTP 상태·데이터 읽기/쓰기 | active가 사용자 기능 정상과 같지는 않습니다. |
| 메모리 여유가 적어 보임 | available·스왑 변화·서비스 한도·OOM 증거 | free 열 하나만으로 OOM을 판정하지 않습니다. |
| 쓰기 실패 | 실패 경로의 마운트·블록·inode·권한 | 루트 디스크 여유만 확인하고 끝내지 않습니다. |
격리 환경과 전체 프로그램 준비
sudo 가능한 전용 Debian 13 VM, Python 3·curl과 cgroup v2의 memory 컨트롤러가 필요합니다. 검증 VM은 메모리 약 4GiB였지만 실습은 서비스 하나의 64MiB 한도와 새 4MiB tmpfs 안에서만 수행했습니다. 실제 운영 서비스나 루트 디스크를 고갈시키지 않습니다.
일반 사용자 lfstudent가 있는 환경의 예제입니다. 다른 계정이면 User·Group과 tmpfs 소유 UID/GID를 실제 값으로 맞춥니다. 먼저 이름과 포트가 비어 있는지 확인합니다.
id lfstudent
stat -fc %T /sys/fs/cgroup
cat /sys/fs/cgroup/cgroup.controllers
ss -ltn
for p in /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service /mnt/lf-diag31 /var/backups/lf-debian13-31; do
if test -e "$p"; then echo "이미 존재합니다: $p" >&2; exit 1; fi
done
sudo install -d -m 755 /usr/local/libexec
sudo install -d -m 700 /var/backups/lf-debian13-31
파일 시스템은 cgroup2fs, 컨트롤러 목록에는 memory가 있어야 합니다. 다음 전체 프로그램은 exit42·oom·serve 모드로 나뉩니다. oom은 최대 128MiB만 요청하도록 제한하고 반드시 뒤의 cgroup 한도 명령으로 실행합니다. serve의 GET은 격리 경로에 4KiB를 쓰는 실험용 확인 요청이며 일반 웹 애플리케이션 구현 예제로 사용하지 않습니다.
sudo tee /usr/local/libexec/lf-diag31.py > /dev/null <<'PY'
import os,sys
from http.server import BaseHTTPRequestHandler,HTTPServer
mode=sys.argv[1]
if mode=='exit42':
print('intentional exit code 42',flush=True)
raise SystemExit(42)
if mode=='oom':
chunks=[]
for i in range(8):
chunks.append(bytearray(16*1024*1024))
print(f'allocated_chunks={i+1}',flush=True)
raise SystemExit('Expected cgroup memory limit')
if mode!='serve': raise SystemExit('Unknown mode')
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
try:
with open('/mnt/lf-diag31/probe.bin','ab') as f:
f.write(b'.'*4096)
f.flush()
os.fsync(f.fileno())
status=200;body=b'write probe ok\n'
except OSError as e:
print(f'write probe errno={e.errno}: {e.strerror}',flush=True)
status=503;body=b'write probe failed\n'
self.send_response(status)
self.send_header('Content-Type','text/plain')
self.send_header('Content-Length',str(len(body)))
self.end_headers();self.wfile.write(body)
HTTPServer(('127.0.0.1',8080),Handler).serve_forever()
PY
sudo chmod 644 /usr/local/libexec/lf-diag31.py
일반 종료 오류와 OOM 종료 구분
첫 시험은 의도적으로 종료 코드 42를 반환합니다. --wait가 이 결과를 전달하므로 명령 실패가 예상됩니다. 오류 즉시 종료하는 셸이라면 해당 명령 실패를 처리한 뒤 조회를 이어갑니다.
sudo systemd-run --unit=lf-exit31 --wait --property=User=lfstudent --property=RuntimeMaxSec=10s /usr/bin/python3 /usr/local/libexec/lf-diag31.py exit42
sudo systemctl show lf-exit31.service -p Result -p ExecMainCode -p ExecMainStatus
sudo journalctl -b -u lf-exit31.service --no-pager
실제 결과는 Result=exit-code, ExecMainCode=1, ExecMainStatus=42였습니다. ExecMainCode의 1은 종료 방식의 코드이며 프로그램이 1로 종료했다는 뜻이 아닙니다. status의 code=exited와 실제 종료 상태 42를 함께 읽습니다.
다음은 서비스 하나에 MemoryMax=64M·MemorySwapMax=0·실행 시간 10초 한도를 명시합니다. 해당 계정의 다른 작업에 한도를 적용하지 않고 전용 transient unit만 사용합니다. 한도가 설정되지 않는 환경이면 진행하지 않습니다.
sudo systemd-run --unit=lf-oom31 --wait --property=User=lfstudent --property=MemoryMax=64M --property=MemorySwapMax=0 --property=RuntimeMaxSec=10s --property=OOMPolicy=stop /usr/bin/python3 /usr/local/libexec/lf-diag31.py oom
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemorySwapMax -p MemoryPeak
sudo journalctl -b -u lf-oom31.service --no-pager
OOM(Out of Memory)은 메모리를 할당할 수 없는 상황을 뜻합니다. cgroup은 프로세스 묶음에 자원 한도를 적용하는 커널 기능입니다. 호스트에 여유가 있어도 해당 cgroup 한도 때문에 종료될 수 있습니다. 검증에서는 Result=oom-kill, ExecMainCode=2, ExecMainStatus=9와 MemoryMax·MemoryPeak=67,108,864바이트, MemorySwapMax=0이 관찰됐습니다.
신호 9만으로 OOM을 단정할 수는 없습니다. 관리자의 강제 종료도 같은 신호일 수 있어 Result와 해당 시점 journal을 함께 봅니다. 커널 또는 systemd-oomd의 개입도 상황에 따라 조사합니다. 서비스별 제한의 의미는 systemd 자원 제어 설명, 계층과 메모리 이벤트는 Linux cgroup v2 문서에서 확인할 수 있습니다.
바로 한도를 무제한으로 바꾸지 않습니다. 정상 작업 필요량·누수·동시 작업 수와 전체 호스트 예산을 확인한 뒤 조정합니다. 제한을 없애는 것과 원인을 해결하는 것은 다릅니다.
프로세스는 살아 있지만 쓰기에 실패하는 서비스
별도 4MiB tmpfs와 loopback 서비스를 만듭니다. 검증 VM의 lfstudent UID/GID는 1000이었고, 아래에서는 id로 실제 값을 가져옵니다. 기존 경로와 8080이 비어 있는지 앞에서 확인했어야 합니다.
sudo mkdir /mnt/lf-diag31
sudo mount -t tmpfs -o "size=4M,nr_inodes=64,uid=$(id -u lfstudent),gid=$(id -g lfstudent),mode=0700,nosuid,nodev" tmpfs /mnt/lf-diag31
findmnt --mountpoint /mnt/lf-diag31
sudo tee /etc/systemd/system/lf-diag31.service > /dev/null <<'UNIT'
[Unit]
Description=LF bounded write failure HTTP lab 31
[Service]
Type=exec
User=lfstudent
Group=lfstudent
ExecStart=/usr/bin/python3 /usr/local/libexec/lf-diag31.py serve
UNIT
sudo systemctl daemon-reload
sudo systemctl start lf-diag31.service
curl --noproxy '*' -fsS http://127.0.0.1:8080/
정상 응답은 write probe ok입니다. 시작 직후 요청 실패는 상태·로그를 확인하고 잠시 뒤 재시도합니다. 성공한 기준 응답을 확인한 후 다음으로 진행합니다.
아래는 lfstudent로 최대 8회만 1MiB 쓰기를 시도합니다. 4MiB 마운트가 먼저 차서 ENOSPC가 발생합니다. 해당 tmpfs의 마운트를 확인하지 못했다면 실행하지 않습니다.
sudo -u lfstudent python3 - <<'PY'
import errno,pathlib
p=pathlib.Path('/mnt/lf-diag31/fill.bin')
try:
with p.open('xb') as f:
for i in range(8):
f.write(b'x'*1048576);f.flush()
except OSError as e:
if e.errno!=errno.ENOSPC:raise
print('BOUNDED_TMPFS_ENOSPC')
else:raise SystemExit('Expected bounded ENOSPC')
PY
curl --noproxy '*' -sS -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/
sudo systemctl is-active lf-diag31.service
ss -ltn | grep '127.0.0.1:8080'
findmnt --target /mnt/lf-diag31 -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /mnt/lf-diag31
df -i /mnt/lf-diag31
sudo journalctl -b -u lf-diag31.service -n 20 --no-pager
실제로 HTTP는 503이었지만 서비스는 active이고 포트는 LISTEN이었습니다. tmpfs 블록은 4MiB 전체를 사용했고 inode는 64개 중 3개만 사용했습니다. journal의 errno=28: No space left on device가 쓰기 실패와 연결됐습니다. 원인은 서비스 미기동이나 inode 고갈이 아니라 별도 파일 시스템의 블록 부족입니다.
이제 원인 파일 하나만 제거하고 같은 서비스에 다시 요청합니다. 서비스를 재시작하지 않습니다.
sudo rm -- /mnt/lf-diag31/fill.bin
curl --noproxy '*' -fsS http://127.0.0.1:8080/
df -hT /mnt/lf-diag31
검증에서는 다시 write probe ok가 됐습니다. 운영에서는 삭제해도 되는 대상이 명확한 경우에만 정리합니다. 일반 로그·데이터를 무조건 지우지 않고 생성 주체·보관·회전·확장 계획을 판단합니다. 권한 오류나 읽기 전용 마운트라면 공간을 비워도 해결되지 않으므로 오류 문구로 분기합니다.
메모리·입출력 수치는 시간 범위와 함께 읽기
free의 free는 즉시 사용되지 않는 메모리이고 available은 스왑 없이 새 작업에 사용할 수 있을 것으로 추정한 양입니다. 캐시가 있다는 이유로 낭비라고 단정하지 않습니다. free 설명서에서 각 열의 계산 범위를 확인할 수 있습니다.
free -h
vmstat -y 1 3
ps -eo pid,comm,rss,%mem,%cpu --sort=-rss | head
vmstat의 첫 기본 보고에는 부팅 이후 평균이 섞일 수 있어 -y로 생략하고 1초 간격 3회를 관찰합니다. si·so는 스왑 입출력, r은 실행 가능 작업, b는 입출력 완료를 기다리며 막힌 작업 등을 좁히는 단서입니다. 단일 표본의 wa나 CPU 수치만으로 디스크 고장·CPU 병목을 확정하지 않습니다. vmstat 설명서의 표본 범위를 확인하고 장애 시각과 대조합니다.
검증 후 이 VM은 available 약 3.4GiB, 스왑 사용 0이었지만 모든 순간의 여유나 운영 적정 용량을 뜻하지 않습니다. 보고서에서는 관찰값·그 값으로 뒷받침되는 판단·확인하지 않은 추정을 나눕니다.
증거 보관·복구 확인·정리
실패 상태를 지우기 전에 증거를 보관합니다. reset-failed는 실패 표시를 정리하며 메모리나 파일 문제를 고치지 않습니다.
sudo journalctl -b -u lf-oom31.service --no-pager | sudo tee /var/backups/lf-debian13-31/oom-journal.txt > /dev/null
sudo journalctl -b -u lf-diag31.service --no-pager | sudo tee /var/backups/lf-debian13-31/write-failure-journal.txt > /dev/null
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemoryPeak | sudo tee /var/backups/lf-debian13-31/oom-state.txt
終了 42는 의도한 프로그램 종료, oom-kill은 실제 서비스 메모리 제한 관련 종료, 503은 active 상태의 쓰기 실패였습니다. 공간 해제 후 응답까지 다시 확인했으므로 마지막 경우는 기능 복구까지 확인한 것입니다.
sudo systemctl stop lf-diag31.service
sudo rm -- /mnt/lf-diag31/probe.bin
sudo umount /mnt/lf-diag31
sudo rmdir /mnt/lf-diag31
sudo rm -- /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service
sudo systemctl daemon-reload
sudo systemctl reset-failed lf-exit31.service lf-oom31.service
sudo systemctl --failed --no-pager
검증에서는 전용 서비스·마운트·파일이 제거되고 실패 서비스 목록은 비었습니다. 실제 장애에서도 증거 수집, 원인에 맞는 조치, 응답·데이터 확인, 관찰 범위 기록의 순서로 마무리합니다. 프로세스가 다시 뜬 것만으로 사용자 기능과 데이터까지 복구됐다고 처리하지 않습니다.




