[ FIELD_RUNBOOKS // #05 ]

ACİL DURUM ÜRETİM RUNBOOKLARI VE MÜDAHALE REHBERLERİ

MÜDAHALE_AKTİF // 6 STANDART OPERASYON PROSEDÜRÜ

Kritik sistem kesintilerinde hızlı müdahale kontrol listeleri, tek satırlık kurtarma komutları ve çekirdek seviyesinde hata ayıklama prosedürleri. Üretim ortamındaki Linux çekirdekleri, TrueNAS OpenZFS havuzları, Kerberos kimlik sunucuları ve GPU altyapılarında bizzat test edilmiştir.

> grep -E

P0-CRITICAL SOP-SEC-01

[CONTAINER_SECURITY]

Docker OPA Yetkilendirme Bypass (CVE-2024-41110) Acil Müdahale

Docker daemon'un Content-Length 0 isteklerini OPA yetkilendirme eklentisine iletememesi sonucu oluşan sessiz bypass açığını engeller. Daemon'ı katı fail-close moduna zorlar.

ACİL MÜDAHALE KOMUTLARI:

# 1. Audit active docker authz plugins
docker info --format '{{json .Plugins.Authorization}}'

# 2. Block direct docker socket access immediately
chmod 660 /var/run/docker.sock
systemctl restart docker-authz-opa

# 3. Patch /etc/docker/daemon.json for fail-close
cat <<'EOF' > /etc/docker/daemon.json
{
  "authorization-plugins": ["opa-docker-authz:latest"],
  "userland-proxy": false,
  "live-restore": true
}
EOF
systemctl reload docker

P1-HIGH SOP-STOR-02

[TRUENAS_NFSv4]

NFSv4.2 Bayat Dosya Tanıtıcısı (ESTALE 116) ve Kerberos Bilet Yenileme

ZFS anlık görüntü geri alımları veya süresi dolan Kerberos TGT biletleri sonucu askıda kalan NFS bağlama noktalarını istemciyi yeniden başlatmadan kurtarma prosedürü.

LAZY UNMOUNT VE BİLET YENİLEME:

# 1. Flush hung NFS client cache and unmount lazily
umount -l /mnt/datasets

# 2. Refresh machine host Kerberos keytab
kinit -k -t /etc/krb5.keytab host/$(hostname -f)

# 3. Invalidate kernel RPC idmap cache
nfsidmap -c

# 4. Remount with explicit Kerberos encryption
mount -t nfs4 -o proto=rdma,port=20049,sec=krb5p,timeo=600,retrans=2 truenas.lab:/mnt/tank/datasets /mnt/datasets

P1-HIGH SOP-AUTH-03

[ACTIVE_DIRECTORY]

SSSD / Active Directory Önbellek Sıfırlama ve Çevrimdışı Temizleme

Active Directory grup güncellemeleri sonrası oluşan bayat POSIX UID/GID eşleşmelerini ve SSSD çevrimdışı kilitlenmelerini anında temizleme adımları.

SSSD TEMİZLİK VE NSS YENİLEME:

# 1. Stop SSSD daemon cleanly
systemctl stop sssd

# 2. Invalidate memory DB caches
sss_cache -E

# 3. Purge corrupted local LDB database files
rm -f /var/lib/sss/db/* /var/lib/sss/mc/*

# 4. Restart SSSD and verify deterministic POSIX resolution
systemctl start sssd
getent passwd operator_ob
id -a operator_ob

P0-CRITICAL SOP-ZFS-04

[OPENZFS_RECOVERY]

Bozulmuş ZFS Havuzunu Salt Okunur İçe Aktarma ve Kurtarma

Güç kesintisi veya metadata hasarı nedeniyle çekirdek paniği üreten veya import edilemeyen ZFS havuzlarını güvenli bir şekilde salt okunur modda kurtarma adımları.

SALT OKUNUR KURTARMA İÇE AKTARIMI:

# 1. Search for existing pools without importing
zpool import

# 2. Force read-only import, rewinding damaged transactions
zpool import -f -F -o readonly=on tank

# 3. If standard rewind fails, perform extreme transaction rollback
zpool import -f -F -X -o readonly=on tank

# 4. Immediately stream critical datasets to remote replication target
zfs send -v tank/critical@snapshot | zfs receive backup_tank/critical

P2-OPERATIONAL SOP-EBPF-05

[LINUX_KERNEL]

Üretim Ortamında eBPF ile Çekirdek Hata Ayıklama ve Gecikme Analizi

Sıfır yük ile çalışan canlı çekirdek izleme tek satırlıkları. Kısa ömürlü kaçak süreçleri, TCP paket kayıplarını ve NVMe depolama gecikmelerini tespit edin.

EBPF BPFTRACE TEK SATIRLIKLARI:

# 1. Trace all process executions in real time with parent PID
bpftrace -e 'tracepoint:syscalls:sys_enter_execve { printf("%s (pid=%d, ppid=%d): %s\n", comm, pid, curtask->parent->pid, str(args->filename)); }'

# 2. Profile NVMe / ZFS disk I/O latency distribution (Microseconds)
biolatency-bpfcc -m 10 1

# 3. Intercept TCP retransmissions with source/dest IP and ports
tcpretrans-bpfcc -l

# 4. Detect permission denied access attempts across kernel VFS
bpftrace -e 'kretprobe:vfs_open /retval == -13/ { printf("EACCES: pid=%d comm=%s\n", pid, comm); }'

P1-HIGH SOP-GPU-06

[CUDA_ACCELERATION]

NVIDIA GPU Kilitlenmesi, Xid Hatası ve Düğüm Yeniden Başlatmadan Sıfırlama

CUDA bellek ihlali, Xid 31/79 çökmeleri veya PCIe bağlantı kopmalarında 192 çekirdekli ana sunucuyu yeniden başlatmadan GPU'yu sıfırlama yöntemi.

CERRAHİ GPU SIFIRLAMA ADIMLARI:

# 1. Identify offending process locking GPU memory
fuser -v /dev/nvidia*
kill -9 $(fuser /dev/nvidia0 2>/dev/null)

# 2. Stop NVIDIA persistence daemon & Slurm compute agent
systemctl stop slurmd
systemctl stop nvidia-persistenced

# 3. Trigger hardware PCIe secondary bus reset on GPU index 0
nvidia-smi --gpu-reset -i 0

# 4. Verify GPU responds to NVML telemetry queries
nvidia-smi -i 0 --query-gpu=temperature.gpu,utilization.gpu,memory.used --format=csv
systemctl start nvidia-persistenced
systemctl start slurmd