[ INFRA_TOPOLOGY // #04 ]

ÇOK KULLANICILI GPU KÜMESİ VE DEPOLAMA LABORATUVARI MİMARİSİ

KABİNET: 42U // ENCL-01 AKTİF
Çok kullanıcılı derin öğrenme hesaplama kümesi, TrueNAS SCALE kurumsal ZFS depolama havuzu, Kerberos federasyonlu kimlik yönetimi ve 100GbE RoCE v2 düşük gecikmeli ağ mimarisi. Donanım telemetrisini ve topolojisini incelemek için aşağıdaki kabin ünitelerine tıklayın.
RACK_ID: TR-IST-RACK-07 42U EIA-310-D STANDARD
41-42U ARISTA 7060X 32x100GbE QSFP28 [RoCE v2 Fabric] ● 100G
39-40UAIRFLOW BAFFLE // CABLE MANAGEMENT
33-38U SUPERMICRO 4U // 2x EPYC 9654 // 8x NVIDIA A100 80GB SXM4 ● 640GB VRAM
31-32UAIRFLOW BAFFLE // THERMAL BUFFER
25-30U SUPERMICRO 4U // 2x EPYC 9354 // 4x RTX 4090 + 2x RTX 6000 Ada ● 192GB VRAM
23-24UPDU DUAL-CIRCUIT FEED // 3-PHASE 16A
17-22U TRUENAS SCALE 4U // 24x 18TB EXOS SAS [RAIDZ2] // NVMe ZIL ● 432TB RAW
15-16UAIRFLOW BAFFLE // OPTICAL PATCH PANEL
13-14U DELL R650 1U // AD/SSSD KDC // SLURM CONTROLLER // OPA ● PRIMARY
11-12U DELL R650 1U // HIGH AVAILABILITY SECONDARY REPLICA ● STANDBY
01-10UAPC SYMMETRA 16kVA ON-LINE UPS MODULES
[ UNIT_INSPECTOR // TOR-SWITCH-01 ] NETWORK_FABRIC

Arista 7060X 32-Port 100GbE QSFP28 Switch

High-performance spine-leaf switch providing RoCE v2 (RDMA over Converged Ethernet) lossless transmission for GPU inter-node communication and TrueNAS NFS-over-RDMA high-speed dataset access.
THROUGHPUT: 6.4 Tbps Wire-Speed
PORT CONFIG: 32x 100G QSFP28
LATENCY: 450ns Cut-Through
PFC / ECN: Priority Flow Control Enabled
CANLI SENSÖR TELEMETRİSİ:
ASIC TEMP:
42°C
FAN SPEED:
6,200 RPM
LOAD (PACKETS/S):
18.4 Mpps
BAĞLANTILI KATMANLAR:
RoCE v2 RDMA 100G Mellanox CX6 Jumbo Frames 9000
■ KİMLİK VE KERBEROS DEPOLAMA FEDERASYON MİMARİSİ

01 // Active Directory & SSSD Broker

Merkezi kullanıcı yaşam döngüsü yönetimi. Kullanıcılar Active Directory Kerberos V5 ile kimlik doğrular. Hesaplama düğümlerindeki SSSD, çok kullanıcılı GPU çalışma alanlarında çakışmaları engelleyen deterministik POSIX UID/GID çözümü sunar.

[domain/AD.LAB]
id_provider = ad
auth_provider = krb5
krb5_realm = AD.LAB.INTERNAL
ldap_id_mapping = False

02 // TrueNAS SCALE & NFSv4.2 krb5p

Yüksek kapasiteli paylaşımlı veri havuzları yalnızca sec=krb5p (RPC bütünlük ve paket şifreleme) ile dışa aktarılır. Rootless konteynerlerin diğer araştırmacıların UID'lerini taklit etme riskini tamamen ortadan kaldırır.

mount -t nfs4 -o proto=rdma,port=20049,sec=krb5p truenas.lab:/mnt/tank/datasets /mnt/datasets

03 // Slurm GPU Scheduler & OPA Gates

A100 SXM4 ve RTX 4090 havuzları üzerinde iş yükü orkestrasyonu. Katı cgroup v2 GPU bellek sınırları, MIG dilimleme ve kök haklarına erişimi engelleyen Open Policy Agent yetkilendirme doğrulamaları uygulanır.

srun --partition=a100 --gpus=2 --cpus-per-task=16 --mem=128G --pty bash