[ AUDIT_ARCHIVE // #06 ]

OLAY İNCELEMELERİ VE KÖK NEDEN ANALİZİ (RCA) GÜNLÜĞÜ

TÜM_OLAYLAR: ÇÖZÜLDÜ // SIFIR_VERİ_KAYBI

GPU hesaplama kümesi ve depolama havuzlarımızda yaşanan büyük kesintiler, çekirdek kilitlenmeleri ve güvenlik anomalilerine dair şeffaf kök neden analizi (RCA) raporları. Dakika dakika olay zaman çizelgesi, çekirdek seviyesi hata mekaniği ve uygulanan önleyici tedbirlerle belgelenmiştir.

> grep -i

P0-CRITICAL INC-2026-08

[STORAGE_OUTAGE]

Dağıtık PyTorch 8x A100 Model Kaydı Sırasında NFSv4.2 RPC Soket Kilitlenmesi

MTTD (Tespiti Süresi): 12 MIN

MTTR (Kurtarma Süresi): 38 MIN

IMPACT: 640GB VRAM PyTorch DDP Hang

STATUS: RESOLVED // CAPA APPLIED

[ 01 // OLAY ÖZETİ ]

8x NVIDIA A100 GPU üzerinde koşan 70B parametreli modelin ara kayıt (checkpointing) aşamasında, düğümler eşzamanlı olarak ~480 GB tensör ağırlığını TrueNAS SCALE NFSv4.2 (sec=krb5p) havuzuna yazmaya çalıştı. İstemci çekirdeğindeki TCP RPC yuvaları anında tükendi, NFS istemcileri kilitlenerek PyTorch eğitim işini askıya aldı.

[ 02 // DAKİKA DAKİKA ZAMAN ÇİZELGESİ (UTC) ]

14:02:11 Slurm job #8924 initiates epoch 14 checkpoint flush (480 GB total payload).
14:03:40 TrueNAS disk write queue depth exceeds 256; NFS RPC latency spikes from 0.8ms to 14,200ms.
14:05:12 Kernel emits sunrpc: task 40182 on broken transport on compute nodes.
14:14:00 NOC on-call engineer paged via automated Slurm GPU non-responsive watchdog.
14:26:30 Emergency sysctl socket queue expansion applied live across compute cluster.
14:40:00 NFS client RPC slots recovered; checkpoint committed safely without data corruption.

[ 03 // KÖK NEDEN VE ÖNLEYİCİ MİMARİ DEĞİŞİKLİKLERİ ]

Kök Neden: Varsayılan Linux çekirdek parametresi sunrpc.tcp_slot_table_entries 16 yuva ile sınırlıydı; yüksek paralellikteki eşzamanlı yazma işleminde hat başı tıkanması (head-of-line blocking) meydana geldi.

# Corrective Kernel Parameter applied across all cluster compute nodes:
sysctl -w sunrpc.tcp_slot_table_entries=128
sysctl -w sunrpc.tcp_max_slot_table_entries=128

# TrueNAS ZFS dirty data throttle tuned to avoid RPC burst stalls:
echo 17179869184 > /sys/module/zfs/parameters/zfs_dirty_data_max_max

P1-HIGH INC-2026-05

[IDENTITY_FABRIC]

Active Directory Kerberos Saat Kayması (KRB_AP_ERR_SKEW) Küme Erişim Kesintisi

MTTD: 5 MIN

MTTR: 18 MIN

IMPACT: SSH & Slurm Submission Lockout

STATUS: RESOLVED // CHRONY PTP ENFORCED

[ 01 // OLAY ÖZETİ ]

Sanallaştırma katmanındaki donanım saati uyumsuzluğu sonucu, ikincil hesaplama düğümleri Active Directory etki alanı denetleyicisinden 318 saniye ileri kaydı. MIT Kerberos, 300 saniyelik toleransı aştığı için tüm SSH ve Slurm kimlik doğrulamalarını reddetti.

[ 02 // KÖK NEDEN VE ÖNLEYİCİ MİMARİ DEĞİŞİKLİKLERİ ]

# Replaced standard systemd-timesyncd with Chrony PTP hardware synchronization:
chronyc makestep 1.0 3
chronyc sources -v

# Configured /etc/chrony/chrony.conf with local GPS/PTP stratum-1 boundary clock:
server time.lab.internal iburst minpoll 2 maxpoll 4 maxdelay 0.05

P0-CRITICAL INC-2026-02

[CONTAINER_SECURITY]

Docker Yetkilendirme Eklentisi Sessiz Fail-Open İhlali (CVE-2024-41110 Müdahalesi)

MTTD: 4 MIN

MTTR: 22 MIN

IMPACT: Attempted Rootless Privilege Escalation

STATUS: CONTAINED // PROXY INJECTED

[ 01 // OLAY ÖZETİ ]

Canlı eBPF denetim probu, Open Policy Agent güvenlik filtremizi atlatmak amacıyla Content-Length: 0 başlığıyla gönderilen bir konteyner oluşturma isteğini tespit etti. Docker Engine boş gövdeyi OPA'ya ilettiği için kural sessizce fail-open oldu.

[ 02 // KÖK NEDEN VE ÖNLEYİCİ MİMARİ DEĞİŞİKLİKLERİ ]

# Upgraded Docker Engine to 27.1.1+ with fail-close enforcement:
apt-get install -y docker-ce=5:27.1.1-1~ubuntu.22.04~jammy

# Verified OPA proxy interceptor blocks Content-Length 0 requests unconditionally:
iptables -A INPUT -p tcp --dport 2375 -m string --string "Content-Length: 0" --algo bm -j REJECT