Tutorial de Debian 13 / Diagnosticar fallos de servicio, falta de memoria y espacio agotado
El diagnóstico de fallos de servicio en Debian 13 se puede acotar examinando por separado la causa de la terminación del proceso, los puertos y las respuestas reales, así como el estado de la memoria y del sistema de archivos. Las medidas difieren en casos como el código de salida 42, la terminación por falta de memoria (OOM, Out of Memory) debido a límites de memoria, y cuando el proceso está activo pero devuelve HTTP 503 por falta de espacio. Este tutorial reproduce las tres situaciones bajo límites de recursos pequeños, registra la evidencia y luego elimina la causa.
Capture evidencias antes de reiniciar
Primero, determine la hora del problema, la solicitud fallida y la ruta de destino. Si reinicia sin condiciones, los síntomas pueden desaparecer temporalmente, pero la causa puede permanecer y puede perder el estado de terminación y la información de recursos. Reemplace el siguiente nginx.service con el nombre real del servicio que se investigará.
date --iso-8601=seconds
sudo systemctl status nginx.service --no-pager
sudo systemctl show nginx.service -p ActiveState -p SubState -p Result -p ExecMainCode -p ExecMainStatus -p MainPID
sudo journalctl -b -u nginx.service -n 80 --no-pager
ss -ltn
free -h
vmstat -y 1 3
df -hT /
df -i /
status o is-active pueden devolver un código de salida distinto de cero en un estado de fallo. En el script de recopilación, ramifique para registrar ese estado y no omita las comprobaciones posteriores incondicionalmente. Dado que los registros pueden contener direcciones, cuentas e información de solicitudes, restrinja las rutas de almacenamiento y el alcance de uso compartido.
| Observación | Comprobaciones adicionales | Declaraciones a evitar |
|---|---|---|
| servicio fallido | Result, código de salida, señal y registro reciente | No todos los fallos se deben a falta de memoria. |
| Activo pero fallo en la solicitud | Escuchador, estado HTTP y lecturas/escrituras de datos | Activo no significa que la funcionalidad del usuario sea normal. |
| Parece que la memoria es baja | Memoria disponible, cambios de swap, límites del servicio y evidencia de OOM | El OOM no debe diagnosticarse solo con el valor de la columna free. |
| Fallo de escritura | Montaje, bloque, inode y permisos del camino que falló | No limite la comprobación al espacio libre del sistema de archivos raíz. |
Prepare el entorno aislado y el programa completo
Un grupo de control (cgroup) agrupa procesos para el control de recursos. tmpfs es un sistema de archivos respaldado en memoria con un límite de tamaño configurable por separado. Instale las herramientas faltantes con sudo apt install python3 curl procps. Deténgase si lfstudent está ausente, el puerto 8080 está ocupado, o falla cualquier verificación de requisito previo; exit en la comprobación de colisión termina el shell, así que use un shell de laboratorio dedicado.
Se requiere una VM dedicada con Debian 13 con sudo, Python 3, curl y el controlador de memoria de cgroup v2. La VM de verificación tenía aproximadamente 4GiB de memoria, pero la práctica se realizó solo dentro de un límite de 64MiB para un único servicio y un nuevo tmpfs de 4MiB. No agota los servicios operativos reales ni el disco raíz.
Este es un ejemplo de un entorno con un usuario regular lfstudent. Para otras cuentas, adapte las directivas User y Group y los identificadores numéricos de usuario (UID) y grupo (GID) propietarios del tmpfs a los valores reales. Primero, verifique que el nombre y el puerto estén vacíos.
id lfstudent
stat -fc %T /sys/fs/cgroup
cat /sys/fs/cgroup/cgroup.controllers
ss -ltn
for p in /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service /mnt/lf-diag31 /var/backups/lf-debian13-31; do
if test -e "$p"; then echo "Already exists: $p" >&2; exit 1; fi
done
sudo install -d -m 755 /usr/local/libexec
sudo install -d -m 700 /var/backups/lf-debian13-31
El sistema de archivos debe ser cgroup2fs, y la lista de controladores debe incluir memory. El programa completo siguiente se divide en los modos exit42, oom y serve. El modo oom asigna como máximo 128MiB de carga útil de bytearray, además de la sobrecarga del intérprete, y debe ejecutarse con el comando de límite de cgroup posterior. GET en serve es una solicitud de confirmación experimental que escribe 4KiB en la ruta aislada y no se utiliza como un ejemplo de implementación de aplicación web general.
sudo tee /usr/local/libexec/lf-diag31.py > /dev/null <<'PY'
import os,sys
from http.server import BaseHTTPRequestHandler,HTTPServer
mode=sys.argv[1]
if mode=='exit42':
print('intentional exit code 42',flush=True)
raise SystemExit(42)
if mode=='oom':
chunks=[]
for i in range(8):
chunks.append(bytearray(16*1024*1024))
print(f'allocated_chunks={i+1}',flush=True)
raise SystemExit('Expected cgroup memory limit')
if mode!='serve': raise SystemExit('Unknown mode')
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
try:
with open('/mnt/lf-diag31/probe.bin','ab') as f:
f.write(b'.'*4096)
f.flush()
os.fsync(f.fileno())
status=200;body=b'write probe ok\n'
except OSError as e:
print(f'write probe errno={e.errno}: {e.strerror}',flush=True)
status=503;body=b'write probe failed\n'
self.send_response(status)
self.send_header('Content-Type','text/plain')
self.send_header('Content-Length',str(len(body)))
self.end_headers();self.wfile.write(body)
HTTPServer(('127.0.0.1',8080),Handler).serve_forever()
PY
sudo chmod 644 /usr/local/libexec/lf-diag31.py
Distinga los códigos de salida de las terminaciones por OOM
La primera prueba devuelve intencionalmente el código de salida 42. Como --wait propaga este resultado, se espera un fallo del comando. Utilice un shell de laboratorio interactivo sin salida automática en caso de fallo para estos comandos systemd-run que fallan deliberadamente, o capture explícitamente su estado distinto de cero antes de continuar con las consultas de diagnóstico.
sudo systemd-run --unit=lf-exit31 --wait --property=User=lfstudent --property=RuntimeMaxSec=10s /usr/bin/python3 /usr/local/libexec/lf-diag31.py exit42
sudo systemctl show lf-exit31.service -p Result -p ExecMainCode -p ExecMainStatus
sudo journalctl -b -u lf-exit31.service --no-pager
El resultado real fue Result=exit-code, ExecMainCode=1, ExecMainStatus=42. El 1 en ExecMainCode es el código del método de terminación y no significa que el programa haya salido con 1. Lea la indicación code=exited de status junto con el estado de salida real 42.
A continuación, para un único servicio, especificamos MemoryMax=64M, MemorySwapMax=0 y un límite de ejecución de 10 segundos. El límite se aplica solo a una unidad transitoria dedicada sin afectar otros trabajos de la cuenta. Deténgase si estos límites no se pueden aplicar; nunca ejecute el modo oom fuera de su unidad limitada.
sudo systemd-run --unit=lf-oom31 --wait --property=User=lfstudent --property=MemoryMax=64M --property=MemorySwapMax=0 --property=RuntimeMaxSec=10s --property=OOMPolicy=stop /usr/bin/python3 /usr/local/libexec/lf-diag31.py oom
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemorySwapMax -p MemoryPeak
sudo journalctl -b -u lf-oom31.service --no-pager
OOM (Out of Memory, Sin memoria) se refiere a una situación en la que no se puede asignar memoria. cgroup es una función del kernel que aplica límites de recursos a grupos de procesos. Incluso si el host tiene memoria libre, el proceso puede ser terminado debido al límite de cgroup. En la verificación, se observaron Result=oom-kill, ExecMainCode=2, ExecMainStatus=9 y MemoryMax y MemoryPeak=67,108,864 bytes, MemorySwapMax=0.
No se puede concluir OOM solo con la señal 9. Una detención forzada por el administrador también podría generar la misma señal, por lo que examinamos Result junto con el registro (journal) en ese momento. También investigamos la intervención del kernel o de systemd-oomd según la situación. El significado de los límites por servicio se puede encontrar en descripción del control de recursos de systemd, y la jerarquía y los eventos de memoria se pueden consultar en documentación de Linux cgroup v2.
No cambie inmediatamente el límite a ilimitado. Ajústelo después de revisar los requisitos de carga de trabajo normal, filtraciones, trabajos concurrentes y el presupuesto total del host. Eliminar el límite es diferente de resolver la causa raíz.
Diagnostique un servicio en ejecución que no puede escribir
Cree un tmpfs separado de 4 MiB y un servicio de loopback. El UID/GID de lfstudent de la VM de verificación era 1000, y a continuación obtenemos los valores reales usando id. Debería haber comprobado antes que la ruta existente y el puerto 8080 estén libres.
sudo mkdir /mnt/lf-diag31
sudo mount -t tmpfs -o "size=4M,nr_inodes=64,uid=$(id -u lfstudent),gid=$(id -g lfstudent),mode=0700,nosuid,nodev" tmpfs /mnt/lf-diag31
findmnt --mountpoint /mnt/lf-diag31
sudo tee /etc/systemd/system/lf-diag31.service > /dev/null <<'UNIT'
[Unit]
Description=LF bounded write failure HTTP lab 31
[Service]
Type=exec
User=lfstudent
Group=lfstudent
ExecStart=/usr/bin/python3 /usr/local/libexec/lf-diag31.py serve
UNIT
sudo systemctl daemon-reload
sudo systemctl start lf-diag31.service
curl --noproxy '*' -fsS http://127.0.0.1:8080/
La respuesta normal es write probe ok. Si las solicitudes fallan inmediatamente después de iniciar, verifique el estado y los registros y vuelva a intentarlo después de un tiempo. Confirme la respuesta de referencia exitosa antes de pasar al siguiente paso.
A continuación, como lfstudent, intentamos escribir 1 MiB hasta 8 veces. El montaje de 4 MiB se llena primero, causando ENOSPC (no hay espacio disponible en el dispositivo). No lo ejecute si no puede verificar el montaje de ese tmpfs.
sudo -u lfstudent python3 - <<'PY'
import errno,pathlib
p=pathlib.Path('/mnt/lf-diag31/fill.bin')
try:
with p.open('xb') as f:
for i in range(8):
f.write(b'x'*1048576);f.flush()
except OSError as e:
if e.errno!=errno.ENOSPC:raise
print('BOUNDED_TMPFS_ENOSPC')
else:raise SystemExit('Expected bounded ENOSPC')
PY
curl --noproxy '*' -sS -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/
sudo systemctl is-active lf-diag31.service
ss -ltn | grep '127.0.0.1:8080'
findmnt --target /mnt/lf-diag31 -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /mnt/lf-diag31
df -i /mnt/lf-diag31
sudo journalctl -b -u lf-diag31.service -n 20 --no-pager
En realidad, HTTP devolvió 503, pero el servicio estaba activo y el puerto estaba en LISTEN. Los bloques del tmpfs ocuparon los 4MiB disponibles, y solo se usaron 3 de 64 inodos. Los fallos de escritura estaban vinculados al error errno=28 registrado en el journal: No space left on device. La causa no fue el tiempo de inactividad del servicio ni el agotamiento de inodos, sino el agotamiento de bloques en el tmpfs dedicado.
Ahora, elimine solo el archivo de relleno de laboratorio conocido y haga la misma solicitud al servicio nuevamente. No reinicie el servicio.
sudo rm -- /mnt/lf-diag31/fill.bin
curl --noproxy '*' -fsS http://127.0.0.1:8080/
df -hT /mnt/lf-diag31
En la verificación, la respuesta volvió a ser write probe ok. En operaciones, la limpieza se realiza solo cuando el objetivo que se puede eliminar está claro. Los registros o datos regulares no se eliminan indiscriminadamente; evaluamos el productor, la retención, la rotación y los planes de expansión. Si es un error de permisos o un montaje de solo lectura, liberar espacio no resolverá el problema, por lo que el diagnóstico debe seguir el mensaje de error.
Interprete las métricas de memoria y E/S dentro de su periodo de muestreo
En free, free reporta la memoria no utilizada, mientras que available estima la memoria que nuevas aplicaciones podrían usar sin recurrir a intercambio. La memoria en caché no necesariamente es desperdiciada. El manual free explica cómo se calcula cada columna.
free -h
vmstat -y 1 3
ps -eo pid,comm,rss,%mem,%cpu --sort=-rss | head
El informe predeterminado inicial de vmstat puede incluir promedios desde el arranque, por lo que lo omitimos con -y y observamos tres veces a intervalos de 1 segundo. si y so son la entrada/salida de swap, r indica tareas ejecutables, y b señala tareas bloqueadas esperando la finalización de E/S, proporcionando pistas. No se puede determinar una falla de disco o un cuello de botella de la CPU a partir de una sola muestra de los valores de wa o CPU. Consulte el rango de muestras en el manual de vmstat y compárelo con el tiempo del incidente.
Después de la verificación, esta VM tenía aproximadamente 3,4 GiB disponibles y 0 de uso de swap, pero esa observación no representa la memoria disponible ni la capacidad del servicio en otros momentos. En los informes, separamos los valores observados, los juicios respaldados por esos valores y las suposiciones no verificadas.
Preserve evidencia, confirme la recuperación y limpie
Conserve evidencia antes de borrar un estado fallido. reset-failed borra el indicador de fallo pero no soluciona problemas de memoria o archivos.
sudo journalctl -b -u lf-oom31.service --no-pager | sudo tee /var/backups/lf-debian13-31/oom-journal.txt > /dev/null
sudo journalctl -b -u lf-diag31.service --no-pager | sudo tee /var/backups/lf-debian13-31/write-failure-journal.txt > /dev/null
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemoryPeak | sudo tee /var/backups/lf-debian13-31/oom-state.txt
La salida 42 indica una terminación intencionada del programa, oom-kill significa terminación relacionada con los límites reales de memoria del servicio, y 503 fue un fallo de escritura mientras estaba en estado activo. En el último caso, una nueva solicitud HTTP tuvo éxito tras liberar espacio, lo que confirma la recuperación de la escritura sin reiniciar el servicio.
sudo systemctl stop lf-diag31.service
sudo rm -- /mnt/lf-diag31/probe.bin
sudo umount /mnt/lf-diag31
sudo rmdir /mnt/lf-diag31
sudo rm -- /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service
sudo systemctl daemon-reload
sudo systemctl reset-failed lf-exit31.service lf-oom31.service
sudo systemctl --failed --no-pager
En la verificación, se eliminaron servicios dedicados, montajes y archivos, y la lista de servicios fallidos estaba vacía. En incidentes reales, finalizamos recopilando evidencia, tomando acciones apropiadas según la causa, confirmando respuestas y datos, y registrando el rango de observación. No consideramos que la funcionalidad y los datos del usuario se hayan recuperado solo porque el proceso se haya reiniciado.




