Debian 13 : tutoriel / Diagnostiquer les pannes de service, les arrêts OOM et les erreurs HTTP liées au disque
Les pannes de service dans Debian 13 peuvent être diagnostiquées en vérifiant séparément la cause de la terminaison du processus, les ports et les réponses réelles, ainsi que l’état de la mémoire et du système de fichiers. Les mesures diffèrent selon les cas tels que le code de sortie 42, la terminaison par manque de mémoire (OOM) due aux limites de mémoire, et lorsque le processus est opérationnel mais retourne un HTTP 503 en raison du manque d’espace. Ce tutoriel reproduit les trois situations sous de petites limites de ressources, enregistre les preuves, puis élimine la cause.
Capturer les preuves avant de redémarrer
Tout d'abord, déterminez l'heure du problème, la requête échouée et le chemin cible. Si vous redémarrez sans condition, les symptômes peuvent disparaître temporairement, mais la cause peut persister et vous pouvez manquer le statut de terminaison et les informations sur les ressources. Remplacez le nginx.service ci-dessous par le nom réel du service à examiner.
date --iso-8601=seconds
sudo systemctl status nginx.service --no-pager
sudo systemctl show nginx.service -p ActiveState -p SubState -p Result -p ExecMainCode -p ExecMainStatus -p MainPID
sudo journalctl -b -u nginx.service -n 80 --no-pager
ss -ltn
free -h
vmstat -y 1 3
df -hT /
df -i /
status ou is-active peut renvoyer un code de sortie non nul en cas d'état d'échec. Dans le script de collecte, branchez-vous pour enregistrer cet état, et ne sautez pas les vérifications ultérieures sans condition. Puisque les journaux peuvent contenir des adresses, des comptes et des informations de requête, limitez les chemins de stockage et le périmètre de partage.
| Observation | Vérifications supplémentaires | Déclarations à éviter |
|---|---|---|
| le service a échoué | Result, code de sortie, signal et journal récent | Toutes les erreurs ne sont pas dues à un manque de mémoire. |
| Actif mais échec de la requête | Écouteur, statut HTTP et lectures/écritures de données | Actif ne signifie pas que la fonctionnalité utilisateur est normale. |
| La mémoire semble faible | Mémoire disponible, modifications du swap, limites du service et preuves de OOM | Le manque de mémoire (OOM) ne doit pas être diagnostiqué uniquement avec la seule valeur de la colonne free. |
| Échec d'écriture | Montage, bloc, inode et permission du chemin échoué | Ne vous contentez pas de vérifier l'espace libre du disque racine et de terminer. |
Préparer l’environnement isolé et le programme complet
Un groupe de contrôle (cgroup) regroupe les processus pour le contrôle des ressources. tmpfs est un système de fichiers en mémoire avec une limite de taille configurable séparément. Installez les outils manquants avec sudo apt install python3 curl procps. Arrêtez si lfstudent est absent, si le port 8080 est occupé ou si une vérification préalable échoue ; le contrôle des conflits termine le shell, donc utilisez un shell de laboratoire dédié.
Une VM Debian 13 dédiée avec sudo, Python 3, curl et le contrôleur de mémoire de cgroup v2 est requise. La VM de vérification disposait d'environ 4 GiB de mémoire, mais la pratique a été effectuée uniquement dans une limite de 64 MiB pour un seul service et un nouveau tmpfs de 4 MiB. Cela n'épuisait pas les services opérationnels réels ni le disque racine.
Ceci est un exemple d'environnement avec un utilisateur régulier lfstudent. Pour les autres comptes, adaptez les directives User et Group ainsi que les identifiants numériques de l’utilisateur (UID) et du groupe (GID) propriétaires du tmpfs. D'abord, vérifiez que le nom et le port sont vides.
id lfstudent
stat -fc %T /sys/fs/cgroup
cat /sys/fs/cgroup/cgroup.controllers
ss -ltn
for p in /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service /mnt/lf-diag31 /var/backups/lf-debian13-31; do
if test -e "$p"; then echo "Already exists: $p" >&2; exit 1; fi
done
sudo install -d -m 755 /usr/local/libexec
sudo install -d -m 700 /var/backups/lf-debian13-31
Le système de fichiers doit être cgroup2fs, et la liste des contrôleurs doit inclure memory. Le programme complet suivant est divisé en modes exit42, oom et serve. Le mode oom alloue au maximum 128 MiB de charge utile bytearray, en plus de la charge de l'interpréteur, et doit être exécuté avec la commande de limite cgroup suivante. GET dans serve est une requête de confirmation expérimentale qui écrit 4 KiB dans le chemin isolé et n'est pas utilisé comme exemple d'implémentation générale d'application web.
sudo tee /usr/local/libexec/lf-diag31.py > /dev/null <<'PY'
import os,sys
from http.server import BaseHTTPRequestHandler,HTTPServer
mode=sys.argv[1]
if mode=='exit42':
print('intentional exit code 42',flush=True)
raise SystemExit(42)
if mode=='oom':
chunks=[]
for i in range(8):
chunks.append(bytearray(16*1024*1024))
print(f'allocated_chunks={i+1}',flush=True)
raise SystemExit('Expected cgroup memory limit')
if mode!='serve': raise SystemExit('Unknown mode')
class Handler(BaseHTTPRequestHandler):
def do_GET(self):
try:
with open('/mnt/lf-diag31/probe.bin','ab') as f:
f.write(b'.'*4096)
f.flush()
os.fsync(f.fileno())
status=200;body=b'write probe ok\n'
except OSError as e:
print(f'write probe errno={e.errno}: {e.strerror}',flush=True)
status=503;body=b'write probe failed\n'
self.send_response(status)
self.send_header('Content-Type','text/plain')
self.send_header('Content-Length',str(len(body)))
self.end_headers();self.wfile.write(body)
HTTPServer(('127.0.0.1',8080),Handler).serve_forever()
PY
sudo chmod 644 /usr/local/libexec/lf-diag31.py
Distinguer les codes de sortie des arrêts OOM
Le premier test renvoie intentionnellement le code de sortie 42. Comme --wait propage ce résultat, une erreur de commande est attendue. Utilisez un shell de laboratoire interactif sans sortie automatique en cas d'échec pour ces commandes systemd-run délibérément échouées, ou capturez explicitement leur statut non nul avant de continuer avec les requêtes de diagnostic.
sudo systemd-run --unit=lf-exit31 --wait --property=User=lfstudent --property=RuntimeMaxSec=10s /usr/bin/python3 /usr/local/libexec/lf-diag31.py exit42
sudo systemctl show lf-exit31.service -p Result -p ExecMainCode -p ExecMainStatus
sudo journalctl -b -u lf-exit31.service --no-pager
Le résultat réel était Result=exit-code, ExecMainCode=1, ExecMainStatus=42. Le 1 dans ExecMainCode est le code de la méthode de terminaison et ne signifie pas que le programme s'est terminé avec 1. Lisez la mention code=exited affichée par status avec le statut de sortie réel 42.
Ensuite, pour un service unique, nous spécifions MemoryMax=64M, MemorySwapMax=0 et une limite d'exécution de 10 secondes. La limite est appliquée uniquement à une unité transitoire dédiée sans affecter les autres tâches du compte. Arrêtez si ces limites ne peuvent pas être appliquées ; ne jamais exécuter le mode oom en dehors de son unité limitée.
sudo systemd-run --unit=lf-oom31 --wait --property=User=lfstudent --property=MemoryMax=64M --property=MemorySwapMax=0 --property=RuntimeMaxSec=10s --property=OOMPolicy=stop /usr/bin/python3 /usr/local/libexec/lf-diag31.py oom
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemorySwapMax -p MemoryPeak
sudo journalctl -b -u lf-oom31.service --no-pager
OOM (Out of Memory, mémoire insuffisante) fait référence à une situation où la mémoire ne peut pas être allouée. cgroup est une fonctionnalité du noyau qui applique des limites de ressources à des groupes de processus. Même si l'hôte dispose de mémoire libre, le processus peut être terminé en raison de la limite du cgroup. Lors de la vérification, Result=oom-kill, ExecMainCode=2, ExecMainStatus=9 et MemoryMax et MemoryPeak=67,108,864 octets, MemorySwapMax=0 ont été observés.
Vous ne pouvez pas conclure à un OOM uniquement avec le signal 9. Un arrêt forcé par l'administrateur peut également générer le même signal, nous examinons donc Result ainsi que le journal à ce moment-là. Nous investiguons également l'intervention du noyau ou de systemd-oomd selon la situation. La signification des limites par service peut être trouvée dans la description du contrôle des ressources systemd, et la hiérarchie ainsi que les événements de mémoire peuvent être vérifiés dans la documentation Linux cgroup v2.
Ne changez pas immédiatement la limite à illimitée. Ajustez-la après avoir vérifié les besoins normaux de charge de travail, les fuites, les travaux concurrents et le budget global de l'hôte. Supprimer la limite est différent de résoudre la cause principale.
Diagnostiquer un service en cours d’exécution qui ne peut pas écrire
Créez un tmpfs séparé de 4 MiB et un service de loopback. L’UID/GID de lfstudent de la machine virtuelle de vérification était 1000, et ci-dessous nous obtenons les valeurs réelles avec id. Vous auriez dû vérifier plus tôt que le chemin existant et le port 8080 étaient libres.
sudo mkdir /mnt/lf-diag31
sudo mount -t tmpfs -o "size=4M,nr_inodes=64,uid=$(id -u lfstudent),gid=$(id -g lfstudent),mode=0700,nosuid,nodev" tmpfs /mnt/lf-diag31
findmnt --mountpoint /mnt/lf-diag31
sudo tee /etc/systemd/system/lf-diag31.service > /dev/null <<'UNIT'
[Unit]
Description=LF bounded write failure HTTP lab 31
[Service]
Type=exec
User=lfstudent
Group=lfstudent
ExecStart=/usr/bin/python3 /usr/local/libexec/lf-diag31.py serve
UNIT
sudo systemctl daemon-reload
sudo systemctl start lf-diag31.service
curl --noproxy '*' -fsS http://127.0.0.1:8080/
La réponse normale est write probe ok. Si les requêtes échouent immédiatement après le démarrage, vérifiez le statut et les journaux, puis réessayez après un moment. Confirmez la réponse de référence réussie avant de passer à l’étape suivante.
Ci-dessous, en tant que lfstudent, nous tentons d’écrire 1 MiB jusqu’à 8 fois. Le montage de 4 MiB se remplit en premier, provoquant ENOSPC (plus d’espace disponible sur le périphérique). Ne l’exécutez pas si vous ne pouvez pas vérifier le montage de ce tmpfs.
sudo -u lfstudent python3 - <<'PY'
import errno,pathlib
p=pathlib.Path('/mnt/lf-diag31/fill.bin')
try:
with p.open('xb') as f:
for i in range(8):
f.write(b'x'*1048576);f.flush()
except OSError as e:
if e.errno!=errno.ENOSPC:raise
print('BOUNDED_TMPFS_ENOSPC')
else:raise SystemExit('Expected bounded ENOSPC')
PY
curl --noproxy '*' -sS -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/
sudo systemctl is-active lf-diag31.service
ss -ltn | grep '127.0.0.1:8080'
findmnt --target /mnt/lf-diag31 -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /mnt/lf-diag31
df -i /mnt/lf-diag31
sudo journalctl -b -u lf-diag31.service -n 20 --no-pager
En réalité, HTTP a renvoyé 503, mais le service était actif, et le port était en LISTEN. Les blocs du tmpfs occupaient la totalité des 4 MiB, et seulement 3 inodes sur 64 étaient utilisés. Les échecs d'écriture étaient liés à l’erreur errno=28 enregistrée dans le journal : No space left on device. La cause n'était pas une interruption de service ou l'épuisement des inodes, mais plutôt l’épuisement des blocs sur le tmpfs dédié.
Maintenant, supprimez uniquement le fichier de remplissage de laboratoire connu et faites à nouveau la même requête au service. Ne redémarrez pas le service.
sudo rm -- /mnt/lf-diag31/fill.bin
curl --noproxy '*' -fsS http://127.0.0.1:8080/
df -hT /mnt/lf-diag31
Lors de la vérification, la réponse est redevenue write probe ok. Dans les opérations, le nettoyage est effectué uniquement lorsque la cible pouvant être supprimée est claire. Les journaux réguliers ou les données ne sont pas supprimés de manière indiscriminée ; nous évaluons le producteur, la rétention, la rotation et les plans d'expansion. S'il s'agit d'une erreur d'autorisation ou d'un montage en lecture seule, libérer de l'espace ne résoudra pas le problème, donc le diagnostic doit suivre le message d’erreur.
Interprétez les métriques de mémoire et d'E/S dans leur période d'échantillonnage
Dans free, free rapporte la mémoire inutilisée, tandis que available estime la mémoire que de nouvelles applications pourraient utiliser sans effectuer de swap. La mémoire mise en cache n'est pas nécessairement gaspillée. Le manuel de free explique comment chaque colonne est calculée.
free -h
vmstat -y 1 3
ps -eo pid,comm,rss,%mem,%cpu --sort=-rss | head
Le rapport initial par défaut de vmstat peut inclure des moyennes depuis le démarrage, nous l’omettons donc avec -y et observons trois fois à des intervalles d'une seconde. si et so sont l'entrée/sortie d'échange, r indique les tâches exécutables, et b pointe vers les tâches bloquées en attente de l'achèvement d'E/S, fournissant des indices. Vous ne pouvez pas déterminer une défaillance de disque ou un goulet d'étranglement du CPU à partir d'un seul échantillon de valeurs wa ou CPU. Vérifiez la plage d'échantillons dans le manuel vmstat et comparez-la avec le moment de l'incident.
Après vérification, cette VM avait approximativement 3,4 GiB dans la colonne available et aucune utilisation du swap, mais cette observation ne représente pas la mémoire disponible ni la capacité de service à tout autre instant. Dans les rapports, nous séparons les valeurs observées, les jugements soutenus par ces valeurs et les hypothèses non vérifiées.
Préserver les preuves, confirmer la récupération et nettoyer
Conserver les preuves avant de résoudre un état défaillant. reset-failed supprime l'indicateur d'échec mais ne corrige pas les problèmes de mémoire ou de fichiers.
sudo journalctl -b -u lf-oom31.service --no-pager | sudo tee /var/backups/lf-debian13-31/oom-journal.txt > /dev/null
sudo journalctl -b -u lf-diag31.service --no-pager | sudo tee /var/backups/lf-debian13-31/write-failure-journal.txt > /dev/null
sudo systemctl show lf-oom31.service -p Result -p ExecMainCode -p ExecMainStatus -p MemoryMax -p MemoryPeak | sudo tee /var/backups/lf-debian13-31/oom-state.txt
La sortie 42 indique une terminaison prévue du programme, oom-kill signifie une terminaison liée aux limites de mémoire réelles du service, et 503 était une erreur d'écriture en état actif. Dans le dernier cas, la nouvelle requête HTTP réussit après libération de l’espace, ce qui confirme le rétablissement de l’écriture sans redémarrer le service.
sudo systemctl stop lf-diag31.service
sudo rm -- /mnt/lf-diag31/probe.bin
sudo umount /mnt/lf-diag31
sudo rmdir /mnt/lf-diag31
sudo rm -- /usr/local/libexec/lf-diag31.py /etc/systemd/system/lf-diag31.service
sudo systemctl daemon-reload
sudo systemctl reset-failed lf-exit31.service lf-oom31.service
sudo systemctl --failed --no-pager
Lors de la vérification, les services dédiés, les montages et les fichiers ont été supprimés, et la liste des services échoués était vide. Dans les incidents réels, nous finalisons en collectant des preuves, en prenant des mesures appropriées à la cause, en confirmant les réponses et les données, et en enregistrant la portée de l'observation. Nous ne considérons pas que la fonctionnalité utilisateur et les données sont récupérées simplement parce que le processus a redémarré.




