Debian 13 강좌 / journalctl 조회와 logrotate 회전·압축·보관
Debian 13의 로그는 journalctl로 조회하는 journal과 애플리케이션이 직접 쓰는 파일 로그를 구분해 관리합니다. 장애 조사에 필요한 기록을 먼저 내보내고, 파일 로그는 프로그램의 재열기 방식에 맞춰 회전·압축·보관 수를 정해야 합니다. 이 강좌는 운영 로그를 삭제하지 않고 전용 파일과 서비스로 logrotate의 동작을 확인합니다.
journal과 파일 로그의 관리 주체
systemd-journald는 서비스 표준 출력·오류와 시스템 메시지 등을 필드가 있는 journal로 수집합니다. journalctl은 저장된 기록을 조회하는 도구입니다. 반면 /var/log/nginx 같은 애플리케이션 파일은 프로그램이 직접 열어 쓸 수 있으며, 보통 logrotate가 이름을 바꾸고 압축·보관합니다.
| 대상 | 주요 도구 | 확인할 항목 |
|---|---|---|
| systemd journal | journalctl·journald 설정 | 서비스·부팅·시간·우선순위, 저장 위치와 용량 정책 |
| 프로그램 파일 로그 | 애플리케이션 설정·logrotate | 파일 경로·소유권·열린 파일, 회전 시 재열기와 압축 시점 |
journal 파일을 일반 텍스트처럼 rm으로 지우거나 logrotate에 넣지 않습니다. 파일 로그를 지웠는데 공간이 남는 문제는 열린 삭제 파일과도 관련됩니다. 24편에서 다룬 df·du의 차이를 확인하고, 로그를 쓰는 서비스를 먼저 파악합니다.
서비스·부팅·시간으로 조회 범위 좁히기
문제가 난 시각과 서비스부터 정하고 다음처럼 조회합니다. 시간 예시는 서버의 실제 장애 시간으로 바꿉니다. 출력에는 계정·주소·토큰 같은 정보가 포함될 수 있으므로 외부 공유 전에 검토합니다.
sudo journalctl --list-boots --no-pager
sudo journalctl -b -u nginx.service -n 50 --no-pager
sudo journalctl -b -u nginx.service --since '2026-11-16 22:00:00' --until '2026-11-16 23:00:00' -o short-iso --no-pager
sudo journalctl -b -p warning --no-pager
sudo journalctl -b -k --no-pager
-b는 현재 부팅, -b -1은 저장되어 있는 이전 부팅을 선택합니다. --list-boots에서 먼저 존재 여부를 확인합니다. -u는 서비스, -k는 커널 메시지, -p warning은 경고 및 그보다 심각한 우선순위로 범위를 좁힙니다. 오류 수준을 지정하면 정보 수준의 원인 단서를 놓칠 수 있으므로 처음부터 그것만 보지 않습니다.
실습 VM은 이전 부팅 journal이 보존되어 있었고 journalctl --disk-usage는 활성·보관 파일의 사용량을 합쳐 40MiB로 보고했습니다. 이는 현재 예제의 관찰값이며 모든 Debian 서버의 기본 보관량이 아닙니다. 조회 권한과 필터는 Debian journalctl 설명서에서 확인할 수 있습니다.
일반 사용자의 서비스는 journalctl --user -u 서비스명으로 확인할 수 있습니다. 시스템 journal 접근이 제한되면 필요한 조회에 sudo를 쓰며, 읽기 편의를 위해 계정을 무조건 넓은 관리 그룹에 추가하지 않습니다.
실습용 로그 작성 서비스 전체 예제
Debian 13·systemd 257·Python 3·logrotate 3.22 환경의 전용 실습입니다. 아래는 일반 사용자 lfstudent가 존재하는 VM을 기준으로 합니다. 다른 계정이면 unit의 User·Group과 logrotate create 소유자를 같은 실제 계정으로 바꿉니다. 계정 존재는 id lfstudent로 확인합니다.
설치와 경로 확인 후 준비합니다. 전용 이름이 이미 있으면 기존 파일을 덮어쓰지 않고 중단합니다. 이 파일은 연습 데이터만 기록하며 기존 Nginx 로그와 연결하지 않습니다.
sudo apt install logrotate python3
id lfstudent
for p in /var/log/lf-log29 /var/backups/lf-debian13-29 /usr/local/libexec/lf-log29-writer.py /etc/systemd/system/lf-log29.service; do
if test -e "$p"; then echo "이미 존재합니다: $p" >&2; exit 1; fi
done
sudo install -d -m 755 /var/log/lf-log29 /usr/local/libexec
sudo install -d -m 700 /var/backups/lf-debian13-29
sudo install -m 640 -o lfstudent -g lfstudent /dev/null /var/log/lf-log29/app.log
다음 Python 프로그램 전체를 저장합니다. 파일을 계속 열어 쓰고 SIGHUP를 받으면 닫은 뒤 같은 경로로 다시 엽니다. 최대 약 10분간 기록하는 실습용 제한을 두었으며, 일반 서비스가 모두 SIGHUP 재열기를 지원하는 것은 아닙니다.
sudo tee /usr/local/libexec/lf-log29-writer.py > /dev/null <<'PY'
import os,signal,time
path='/var/log/lf-log29/app.log'
reopen=True
running=True
def hup(signum,frame):
global reopen
reopen=True
def stop(signum,frame):
global running
running=False
signal.signal(signal.SIGHUP,hup)
signal.signal(signal.SIGTERM,stop)
f=None
try:
for number in range(6000):
if not running: break
if reopen:
if f is not None: f.close()
f=open(path,'a',buffering=1)
reopen=False
print(f'<6>opened inode={os.fstat(f.fileno()).st_ino}',flush=True)
f.write(f'line={number:04d} sample log record\n')
time.sleep(.1)
finally:
if f is not None: f.close()
print('<6>writer stopped',flush=True)
PY
다음 unit 전체를 저장합니다. 표준 출력에는 열린 inode를 남기고 파일에는 번호가 있는 로그를 기록합니다. 파일 재열기는 ExecReload가 보내는 HUP로 요청합니다. 지원하지 않는 실제 프로그램에 이 방식을 그대로 적용하면 종료될 수도 있으므로 프로그램 문서를 확인해야 합니다.
sudo tee /etc/systemd/system/lf-log29.service > /dev/null <<'UNIT'
[Unit]
Description=LF log rotation lab 29
[Service]
Type=exec
User=lfstudent
Group=lfstudent
ExecStart=/usr/bin/python3 /usr/local/libexec/lf-log29-writer.py
ExecReload=/bin/kill -HUP $MAINPID
SyslogIdentifier=lf-log29
UNIT
sudo chmod 644 /usr/local/libexec/lf-log29-writer.py
sudo systemctl daemon-reload
sudo systemctl start lf-log29.service
sleep 1
sudo systemctl is-active lf-log29.service
sudo tail /var/log/lf-log29/app.log
sudo journalctl -b -u lf-log29.service -n 10 --no-pager
파일에는 line=0000 sample log record 같은 줄이 증가하고 journal에는 opened inode=숫자가 보입니다. 프로그램이 실습 중 종료됐다면 로그와 상태를 확인한 뒤 전용 서비스만 다시 시작합니다. 예제의 최대 실행 시간에 도달한 정상 종료와 권한 오류를 구분합니다.
전용 logrotate 설정과 debug 확인
실습 설정은 /etc/logrotate.d에 넣지 않고 백업 폴더의 독립 파일로 둡니다. 따라서 시스템의 일일 타이머가 이 예제를 자동 처리하지 않으며 수동 검증만 수행합니다. 별도 --state를 사용해 시스템 기본 상태 파일도 건드리지 않습니다.
sudo tee /var/backups/lf-debian13-29/logrotate.conf > /dev/null <<'CONF'
/var/log/lf-log29/app.log {
size 100
rotate 2
compress
delaycompress
missingok
notifempty
create 0640 lfstudent lfstudent
sharedscripts
postrotate
/usr/bin/systemctl reload lf-log29.service
endscript
}
CONF
sudo chmod 600 /var/backups/lf-debian13-29/logrotate.conf
sudo logrotate --debug --state /var/backups/lf-debian13-29/logrotate.state /var/backups/lf-debian13-29/logrotate.conf
sudo ls -l /var/log/lf-log29
--debug는 판단 내용을 보여 주지만 로그와 상태 파일은 변경하지 않습니다. 실행 검증에서는 작성 프로세스를 잠깐 일시 정지한 상태로 해시를 비교해, 파일 내용·회전 파일·별도 상태 파일이 바뀌지 않는 것을 확인했습니다. 독자는 이 확인을 위해 운영 프로세스를 정지시킬 필요가 없습니다. 작성 중인 파일의 해시가 달라졌다는 사실만으로 debug가 파일을 수정했다고 판단하지 않습니다.
| 지시어 | 의미와 선택 기준 |
|---|---|
| size 100 | 100바이트 기준의 작은 실습 한도입니다. 정확히 이 크기에서 실시간 회전하는 감시 기능은 아닙니다. |
| rotate 2 | 회전 보관본을 두 개 유지합니다. 이틀을 보장하는 설정은 아닙니다. |
| compress·delaycompress | 압축하되 가장 최근 보관본의 압축은 다음 회전까지 미룹니다. |
| create 0640 | 새 활성 로그의 권한·소유자를 지정합니다. |
| postrotate | 이 예제에서는 회전 후 서비스가 새 파일을 열도록 reload를 요청합니다. |
지원 옵션과 debug·state의 의미는 Debian logrotate 설명서에 따릅니다. size와 daily 등의 조건을 섞을 때는 우선순위도 확인합니다. 작은 size를 설정해도 실행 주기가 하루 한 번이면 그 사이 파일이 크게 자랄 수 있습니다.
회전·압축·재열기를 실제로 확인
다음은 전용 설정에만 --force를 적용하는 첫 회전입니다. 처음 시험할 때 조건을 명확하게 만들기 위한 강제 실행이며 운영 설정 전체에 사용하지 않습니다.
sudo logrotate --verbose --force --state /var/backups/lf-debian13-29/logrotate.state /var/backups/lf-debian13-29/logrotate.conf
sleep 1
sudo ls -li /var/log/lf-log29
sudo tail /var/log/lf-log29/app.log
sudo journalctl -b -u lf-log29.service -n 15 --no-pager
첫 회전에서는 기존 파일이 app.log.1이 되고 새 app.log의 inode가 달라졌습니다. 이 프로그램은 HUP를 받은 뒤 다음 반복에서 새 경로를 엽니다. 그 짧은 사이 이전 파일에 쓴 줄은 이전 보관본에 남을 수 있습니다. 중요한 것은 이후 기록이 새 활성 파일에 계속 들어가는지입니다. 검증에서는 /proc의 열린 파일 디스크립터 inode와 활성 파일 inode가 같은지까지 대조했습니다.
같은 logrotate 명령을 두 번 더 실행하되 각 회전 후 잠시 기다려 활성 파일에 내용이 생긴 것을 확인합니다. 새 파일이 비어 있으면 notifempty 때문에 회전을 건너뛸 수 있고, 프로그램이 종료됐다면 postrotate reload가 실패할 수 있습니다.
sudo logrotate --verbose --force --state /var/backups/lf-debian13-29/logrotate.state /var/backups/lf-debian13-29/logrotate.conf
sleep 1
sudo ls -li /var/log/lf-log29
sudo gzip -t /var/log/lf-log29/app.log.2.gz
sudo gzip -cd /var/log/lf-log29/app.log.2.gz | head
| 회전 횟수 | 활성 로그 | 보관본 |
|---|---|---|
| 첫 번째 | app.log에 기록 재개 | app.log.1, 아직 압축하지 않음 |
| 두 번째 | 새 app.log에 기록 | app.log.1과 app.log.2.gz |
| 세 번째 | 새 app.log에 기록 | 보관본 둘 유지, 가장 오래된 첫 보관 내용은 제거 |
실제 세 차례 회전에서 gzip 검사는 통과했고 app.log.3.gz는 남지 않았습니다. inode 번호는 재사용될 수 있으므로 숫자가 전역적으로 계속 증가해야 한다고 생각하지 않습니다. 재열기 없이 이름만 바꾸면 프로세스는 이전 inode에 계속 쓸 수 있습니다. copytruncate는 복사 후 잘라내는 사이에 기록이 손실될 여지가 있어 모든 프로그램의 일반 해법으로 쓰지 않습니다.
삭제보다 먼저 로그 내보내기
조사할 로그를 보존할 때는 필터·시간대·부팅 조건을 함께 기록합니다. 텍스트는 읽기 쉽고 export 형식은 journal의 필드를 함께 보관할 때 사용할 수 있습니다. export 파일이 생성됐다는 사실만으로 기본 journal에 재등록된 것은 아닙니다.
sudo systemctl stop lf-log29.service
sudo journalctl --sync
sudo journalctl -b -u lf-log29.service -o short-iso --no-pager | sudo tee /var/backups/lf-debian13-29/service-journal.txt > /dev/null
sudo journalctl -b -u lf-log29.service -o export --no-pager | sudo tee /var/backups/lf-debian13-29/service-journal.export > /dev/null
sudo cp -a /var/log/lf-log29/app.log /var/log/lf-log29/app.log.1 /var/log/lf-log29/app.log.2.gz /var/backups/lf-debian13-29/
sudo ls -lh /var/backups/lf-debian13-29
실습에서는 재열기 기록과 정상 종료 메시지가 내보낸 journal에 포함됐고, 파일 로그와 압축 보관본도 별도로 복사했습니다. 중간 회전을 건너뛰어 없는 파일이 있다면 실제 목록에 맞게 보관하며, 복사 실패를 무시하고 백업 완료로 처리하지 않습니다.
보관 정책과 실습 정리
journald 저장 정책은 다음처럼 병합 설정으로 확인합니다. Storage=auto는 영구 journal 디렉터리의 존재 등에 따라 저장 방식이 달라집니다. 이전 부팅을 보존하려면 실제 영구 저장 여부와 쓰기 가능성도 확인합니다.
systemd-analyze cat-config systemd/journald.conf
sudo journalctl --disk-usage
systemctl cat logrotate.timer
systemctl list-timers logrotate.timer --no-pager
journald의 SystemMaxUse·RuntimeMaxUse는 각각 영구·실행 중 저장소의 사용량 정책이고, MaxRetentionSec는 오래된 기록의 보관 기간을 제한하는 항목입니다. 용량 한도로 더 일찍 제거될 수도 있어 최소 보존 기간 보장이 아닙니다. Debian journald 보관 설정 설명서를 기준으로 디스크 여유·로그 발생량·필요 보존 기간을 함께 결정합니다.
정책을 실제 변경할 때는 기존 설정을 백업하고 /etc/systemd/journald.conf.d의 자신이 관리하는 별도 .conf에서 [Journal] 항목을 지정한 뒤 병합 결과를 확인합니다. 적용은 sudo systemctl restart systemd-journald로 수행하고 서비스 상태와 로그 오류를 확인합니다. 원복할 때는 자신이 만든 drop-in만 제거하고 다시 적용합니다. 이미 보관 정책에 따라 삭제된 로그가 설정 원복으로 복구되는 것은 아니므로 필요한 기록을 먼저 외부에 보관합니다.
이 실습은 기존 journald 보관 정책을 변경하거나 vacuum으로 운영 journal을 지우지 않았습니다. journalctl의 vacuum은 삭제 작업이며 활성 파일까지 포함한 사용량이 원하는 수치로 즉시 떨어진다고 보장하지 않습니다. 용량이 부족하다는 이유로 조사 전 로그를 일괄 삭제하지 않습니다.
실습 서비스를 중지하고 복사본을 확인한 뒤 전용 파일만 정리합니다. /etc/logrotate.d에 추가한 적이 없으므로 시스템 타이머의 다른 규칙은 유지됩니다.
sudo rm -- /etc/systemd/system/lf-log29.service /usr/local/libexec/lf-log29-writer.py
sudo systemctl daemon-reload
sudo rm -- /var/log/lf-log29/app.log /var/log/lf-log29/app.log.1 /var/log/lf-log29/app.log.2.gz
sudo rmdir /var/log/lf-log29
검증 후에는 전용 서비스와 로그 경로가 제거됐으며 증거와 설정·상태 파일은 /var/backups/lf-debian13-29에 보존했습니다. 운영 logrotate에는 적절한 실제 크기·실행 주기·재열기 명령을 정한 규칙만 추가하고, 이 실습의 100바이트와 강제 회전을 운영 기본값으로 사용하지 않습니다.




