Senior GPU Networking Architect (w/m/d)

Arbeitsort

Zurich (Zürich)

Ihr Aufgabengebiet

• Entwicklung, Implementierung und Optimierung von GPU-Kommunikationskerneln für kollektive und Punkt-zu-Punkt-Operationen in grossskaligen KI-Systemen
• Einsatz vertiefter Kenntnisse der GPU-Architektur (Thread-Scheduling, Speicherhierarchie, Ausführungspipelines) zur Verbesserung der Kerneleffizienz und Minimierung der Latenz
• Entwicklung GPU-residenter Kommunikationsprimitiven und Device-seitiger APIs für feingranulare, kernel-initiierte Datenbewegung über Knoten und Beschleuniger hinweg
• Durchgängiges Profiling und Tuning von GPU-Kerneln zur Identifikation von Engpässen an der Schnittstelle von Rechenleistung, Speicher und Netzwerk
• Zusammenarbeit mit Teams aus Netzwerksoftware, Hardware und KI-Frameworks zur Mitgestaltung von Kommunikationsstrategien passend zu GPU-Ausführungsmustern
• Erstellung von Proof-of-Concepts, Durchführung von Experimenten und quantitativer Modellierung zur Validierung neuer Kommunikationsstrategien
• Mitgestaltung der Weiterentwicklung von Programmiermodellen, die GPU-bewusste Netzwerkfähigkeiten für Anwendungsentwickler zugänglich machen

Was Sie mitbringen

• Mindestens 5 Jahre praktische Erfahrung in der CUDA-Programmierung, einschliesslich des Schreibens und Optimierens komplexer GPU-Kernel
• M.Sc. oder gleichwertige Erfahrung in Informatik, Computer Engineering oder einem verwandten Fachgebiet
• Fundiertes Verständnis der GPU-Architektur: Warp-Scheduling, Shared Memory, L2-Cache, Memory Coalescing, Occupancy-Tuning und asynchrone Ausführung
• Erfahrung in systemnaher C/C++-Entwicklung in performancekritischen Umgebungen
• Vertrautheit mit GPU-Datenbewegungsmechanismen wie GPUDirect RDMA und GPU-initiierter Kommunikation
• Fähigkeit, GPU-Performanceprofile zu analysieren (z. B. Nsight Compute, Nsight Systems) und daraus konkrete Optimierungen abzuleiten
• Starke Zusammenarbeitsfähigkeiten in einem multinationalen, interdisziplinären Umfeld
• Von Vorteil: Erfahrung mit Kommunikationsbibliotheken wie NCCL, NVSHMEM oder ähnlichen GPU-bewussten Frameworks
• Von Vorteil: Kenntnisse verteilter Deep-Learning-Parallelisierungstechniken (Data-, Tensor-, Pipeline-, Expert-Parallelism, Mixture-of-Experts)
• Von Vorteil: Hintergrund in RDMA, InfiniBand, Hochgeschwindigkeitsnetzwerken und GPU-Systemtopologien wie NVLink, NVSwitch, PCIe
• Von Vorteil: Erfahrung mit Overlap-Techniken wie Kernel-Pipelining, Persistent Kernels oder Cooperative Groups
• Von Vorteil: Erfahrung in der Optimierung von LLM-Training oder -Inferenz mit Frameworks wie PyTorch, TensorRT-LLM oder vLLM

Was Sie erwartet

• Attraktive Vergütung
• Umfassendes Benefits-Paket
• Arbeit in einem international anerkannten Technologieunternehmen an der Spitze der KI-Entwicklung

Zum Klienten

Weitere Informationen zum Klienten und laufend neue Jobchancen erhalten Sie nach Ihrer Anmeldung und dem Onboarding per Mail oder online. Wir freuen uns, Sie persönlich bei unserem Klienten vorstellen zu dürfen!