Debian 13 教程 / 检查journal日志并验证logrotate轮换与重新打开

在 Debian 13 上管理日志时,应区分通过 journalctl 查询的 systemd journal,以及应用程序直接写入的文件日志。首先导出故障排除所需的记录,对于文件日志,需要根据程序的重新打开方式设置轮换、压缩和保留数量。本教程演示了在不删除业务日志的情况下,使用专用文件和服务操作 logrotate 的方法。

区分日志系统(Journal)与应用程序文件日志

systemd-journald 收集服务的标准输出和错误,以及带字段的系统消息到日志中。journalctl 是一个查看存储记录的工具。相反,例如 /var/log/nginx 目录下的应用程序日志文件可以由程序本身打开和写入,logrotate 通常会对它们进行重命名、压缩和保留。

目标 主要工具 检查项目
systemd 日志 journalctl 和 journald 设置 服务、启动、时间、优先级、存储位置和大小策略
程序文件日志 应用程序设置和 logrotate 文件路径、所有权和打开的文件、在轮转时重新打开以及压缩时机

不要像处理普通文本文件那样用 rm 删除 journal 文件,也不要把 journal 文件交给 logrotate。如果删除文件日志后可用空间仍未增加,这也可能与仍然打开的已删除文件有关。使用 磁盘空间和已删除打开文件诊断实验室 来比较 df 和 du,并首先确定写入日志的服务。

按服务、启动和时间过滤

确定问题发生的服务和时间,并按如下方式查询。将时间示例替换为实际的服务器故障时间。输出可能包含账户、地址和令牌等信息,因此在外部共享前请先审核。

sudo journalctl --list-boots --no-pager
sudo journalctl -b -u nginx.service -n 50 --no-pager
sudo journalctl -b -u nginx.service --since '2026-11-16 22:00:00' --until '2026-11-16 23:00:00' -o short-iso --no-pager
sudo journalctl -b -p warning --no-pager
sudo journalctl -b -k --no-pager

-b 选择当前启动,-b -1 选择之前保存的启动。首先使用 --list-boots 检查是否存在。-u 用于服务,-k 用于内核消息,-p warning 将范围缩小到警告及更严重的优先级。如果您指定错误级别,可能会错过信息级别的线索,所以一开始不要只看那一类。

练习虚拟机保留了之前的启动日志,并且 journalctl --disk-usage 报告活动和归档文件总计 40MiB。这是在当前示例中的观察结果,并非所有 Debian 服务器的默认保留。查询权限和过滤器可以在 Debian journalctl 手册 中查看。

对于用户服务,请使用 journalctl --user -u UNIT,并将 UNIT 替换为其实际的服务名称。如果系统日志访问受限,请在进行必要查询时使用 sudo,而不是为方便将账户添加到权限过大的组中。

创建完整的专用日志写入服务

这是一个面向 Debian 13、systemd 257、Python 3 和 logrotate 3.22 的专用练习环境。下面的示例假设 VM 具有普通用户 lfstudent。如果使用不同的账户,请将单元的 User 和 Group 以及 logrotate 的 create 指令指定的所有者更改为相同的现有账户。您可以使用 id lfstudent 检查账户是否存在。

安装和路径验证后准备。如果专用名称已存在,不要覆盖现有文件并停止。该文件仅记录练习数据,与现有 Nginx 日志无关。

sudo apt install logrotate python3
id lfstudent
for p in /var/log/lf-log29 /var/backups/lf-debian13-29 /usr/local/libexec/lf-log29-writer.py /etc/systemd/system/lf-log29.service; do
    if test -e "$p"; then echo "Already exists: $p" >&2; exit 1; fi
done
sudo install -d -m 755 /var/log/lf-log29 /usr/local/libexec
sudo install -d -m 700 /var/backups/lf-debian13-29
sudo install -m 640 -o lfstudent -g lfstudent /dev/null /var/log/lf-log29/app.log

保存以下完整的 Python 程序。在写入时会保持文件打开状态。收到 SIGHUP 信号时,处理函数设置重新打开标志,程序在下一次循环关闭旧文件并重新打开相同路径。示例最多循环 6000 次,约运行 10 分钟,为读者操作留出时间。并非所有通用服务都支持 SIGHUP 重新打开。

sudo tee /usr/local/libexec/lf-log29-writer.py > /dev/null <<'PY'
import os,signal,time
path='/var/log/lf-log29/app.log'
reopen=True
running=True
def hup(signum,frame):
    global reopen
    reopen=True
def stop(signum,frame):
    global running
    running=False
signal.signal(signal.SIGHUP,hup)
signal.signal(signal.SIGTERM,stop)
f=None
try:
    for number in range(6000):
        if not running: break
        if reopen:
            if f is not None: f.close()
            f=open(path,'a',buffering=1)
            reopen=False
            print(f'<6>opened inode={os.fstat(f.fileno()).st_ino}',flush=True)
        f.write(f'line={number:04d} sample log record\n')
        time.sleep(.1)
finally:
    if f is not None: f.close()
    print('<6>writer stopped',flush=True)
PY

在准备文件之前确认 id lfstudent 成功;如果帐户或任何安装步骤失败,则停止。在保存单元后,使用 sudo systemd-analyze verify /etc/systemd/system/lf-log29.service 进行检查,然后再进行 daemon-reload 和启动。

保存整个以下单元。标准输出记录打开文件的inode,文件记录编号条目。文件重新打开通过ExecReload发送的HUP请求。如果直接应用于不支持此功能的实际程序,可能会终止,因此应检查程序文档。

sudo tee /etc/systemd/system/lf-log29.service > /dev/null <<'UNIT'
[Unit]
Description=LF log rotation lab 29
[Service]
Type=exec
User=lfstudent
Group=lfstudent
ExecStart=/usr/bin/python3 /usr/local/libexec/lf-log29-writer.py
ExecReload=/bin/kill -HUP $MAINPID
SyslogIdentifier=lf-log29
UNIT
sudo chmod 644 /usr/local/libexec/lf-log29-writer.py
sudo systemctl daemon-reload
sudo systemctl start lf-log29.service
sleep 1
sudo systemctl is-active lf-log29.service
sudo tail /var/log/lf-log29/app.log
sudo journalctl -b -u lf-log29.service -n 10 --no-pager

在文件中,类似line=0000的行示例日志记录增加,在 journal 中可以看到 opened inode=编号。如果在实践中程序被终止,请检查日志和状态,然后仅重启专用服务。区分示例达到最大执行时间时的正常终止和权限错误。

创建独立的logrotate配置并检查调试模式

实践设置以独立文件的形式放置在备份文件夹中,而不是放在 /etc/logrotate.d 中。因此,系统的每日定时器不会自动处理此示例,只进行手动验证。使用单独的 --state 也不会影响系统默认的状态文件。

sudo tee /var/backups/lf-debian13-29/logrotate.conf > /dev/null <<'CONF'
/var/log/lf-log29/app.log {
    size 100
    rotate 2
    compress
    delaycompress
    missingok
    notifempty
    create 0640 lfstudent lfstudent
    sharedscripts
    postrotate
        /usr/bin/systemctl reload lf-log29.service
    endscript
}
CONF
sudo chmod 600 /var/backups/lf-debian13-29/logrotate.conf
sudo logrotate --debug --state /var/backups/lf-debian13-29/logrotate.state /var/backups/lf-debian13-29/logrotate.conf
sudo ls -l /var/log/lf-log29

--debug 显示原理但不会更改日志或状态文件。在执行验证时,写入过程被临时暂停以比较哈希值,确认文件内容、轮转文件和单独的状态文件没有变化。读者无需停止操作流程即可进行此验证。文件写入时哈希值的变化并不意味着 debug 修改了文件。

指令 含义和选择标准
size 100 这是一个基于 100 字节的小型练习限制。它并不是一个精确到此大小的实时轮换监控功能。
rotate 2 维持两个已轮换的备份。该设置不保证保持两天。
compress / delaycompress 进行压缩,但将最新存档的压缩推迟到下一次轮换。
create 0640 指定新活动日志的权限和所有权。
postrotate 在这个示例中,请求重新加载,以便服务在轮换后打开一个新文件。

Debian logrotate 手册 描述了支持的选项以及调试/状态行为。在结合条件(例如大小和每日)时,请检查优先级。当 logrotate 一天只运行一次时,较小的大小阈值并不能防止调用之间的显著增长。

验证轮换、压缩和文件重新打开

以下是第一次轮换,仅对专用配置应用 --force。它是一次强制执行,用于在初始测试时明确条件,而不是用于整个生产配置。

sudo logrotate --verbose --force --state /var/backups/lf-debian13-29/logrotate.state /var/backups/lf-debian13-29/logrotate.conf
sleep 1
sudo ls -li /var/log/lf-log29
sudo tail /var/log/lf-log29/app.log
sudo journalctl -b -u lf-log29.service -n 15 --no-pager

在第一次轮换期间,现有文件会变为 app.log.1,而新的 app.log 将有不同的 inode。该程序在收到 HUP 后,在下一次迭代中打开新的路径。在那短暂的时间间隔内,写入到之前文件的行可能仍然留在之前的归档中。重要的是后续记录是否继续写入新的活动文件。在验证中,我们甚至比较了 /proc 中打开的文件描述符 inode 是否与活动文件 inode 匹配。

运行如下区块两次,总共进行三次轮换。每次轮换后,稍等片刻以验证内容是否出现在活动文件中。如果新文件为空,可能会因为 notifempty 而跳过轮换;如果程序已退出,postrotate 重新加载可能会失败。

sudo logrotate --verbose --force --state /var/backups/lf-debian13-29/logrotate.state /var/backups/lf-debian13-29/logrotate.conf
sleep 1
sudo ls -li /var/log/lf-log29
sudo gzip -t /var/log/lf-log29/app.log.2.gz
sudo gzip -cd /var/log/lf-log29/app.log.2.gz | head
轮换次数 活动日志 档案
第一 继续写入 app.log app.log.1,尚未压缩
第二 记录在新的 app.log 中 app.log.1 和 app.log.2.gz
第三 记录在新的 app.log 中 保留两个备份版本,先删除最旧的第一次备份内容

在实际的三次轮换中,gzip 检查通过,app.log.3.gz 并未保留。inode 号码可以被重用,因此不要指望它们在全局上递增。如果只是重命名而不重新打开,进程可以继续写入之前的 inode。Copytruncate 并未作为所有程序的通用解决方案使用,因为在复制和截断之间可能会丢失记录。

在清理前导出日志并保留文件日志

在保留日志以供调查时,请同时记录过滤器、时区和启动条件。short-iso 便于人工阅读,export 用于同时保留 journal 字段。创建了导出文件并不意味着它已在主日志中重新注册。

sudo systemctl stop lf-log29.service
sudo journalctl --sync
sudo journalctl -b -u lf-log29.service -o short-iso --no-pager | sudo tee /var/backups/lf-debian13-29/service-journal.txt > /dev/null
sudo journalctl -b -u lf-log29.service -o export --no-pager | sudo tee /var/backups/lf-debian13-29/service-journal.export > /dev/null
sudo cp -a /var/log/lf-log29/app.log /var/log/lf-log29/app.log.1 /var/log/lf-log29/app.log.2.gz /var/backups/lf-debian13-29/
sudo ls -lh /var/backups/lf-debian13-29

在实践中,重新打开的记录和写入程序正常结束的消息会包含在导出的日志中,文件日志和压缩备份也会被单独复制。如果由于中间轮换而跳过了文件,请根据实际列表保留,并且在忽略复制失败的情况下不要视备份为完整。

审查保留策略并移除实验室

使用以下合并设置检查 journald 存储策略。Storage=auto 会根据永久日志目录的存在等情况更改存储方式。为了保留以前的启动记录,还要检查是否实际永久存储以及是否可写。

systemd-analyze cat-config systemd/journald.conf
sudo journalctl --disk-usage
systemctl cat logrotate.timer
systemctl list-timers logrotate.timer --no-pager

journald 中的 SystemMaxUse 和 RuntimeMaxUse 分别是永久存储和运行时存储的使用策略,而 MaxRetentionSec 是限制旧记录保留期限的选项。由于容量限制,数据可能会被提前删除,因此它不能保证最短保留期。根据 Debian journald 保留配置手册 ,您需要综合考虑磁盘空间可用性、日志生成量以及所需保留期限。

在实际更改策略时,先备份现有设置,并在 /etc/systemd/journald.conf.d 中由自己管理的单独 .conf 文件中指定 [Journal] 部分,然后检查合并结果。通过运行 sudo systemctl restart systemd-journald 来应用更改,并检查服务状态和日志错误。恢复时,只需删除您创建的 drop-in 文件并再次应用即可。根据保留策略已删除的日志不会因为恢复设置而恢复,因此请先在外部保存任何必要的记录。

此做法没有更改现有的 journald 保留策略,也没有使用 vacuum 删除业务日志。journalctl 的 vacuum 功能是一种删除操作,并不能保证包括活跃文件在内的使用量会立即降至期望水平。即使存储不足,也不要在调查前批量删除日志。

停止该练习服务,检查副本,然后只清理专用文件。由于 /etc/logrotate.d 中没有新增内容,系统定时器的其他规则仍然有效。

sudo rm -- /etc/systemd/system/lf-log29.service /usr/local/libexec/lf-log29-writer.py
sudo systemctl daemon-reload
sudo rm -- /var/log/lf-log29/app.log /var/log/lf-log29/app.log.1 /var/log/lf-log29/app.log.2.gz
sudo rmdir /var/log/lf-log29

经验证,专用服务和日志路径已被移除,相关证据以及配置和状态文件已保存在 /var/backups/lf-debian13-29。只有在核实实际大小阈值、执行计划和重新打开命令后,才将相应规则加入生产环境的 logrotate,而此操作中使用的 100 字节和强制轮换则不作为运行默认设置。