Empfohlene Workloads:
- NVIDIA H100 NVL
- Modelle kleiner 175B Parameter
- Inference
- Datenanalyse
- NVIDIA H100 HGX
- Modelle über 175B Parameter
- Inference
- High Performance Computing
- Deep Learning Training
Die GPU-Modelle von NVIDIA bieten alle leistungsstarke Optionen. Die passende Wahl hängt stark von den spezifischen Workload-Anforderungen des Projektes ab.
Für die Inference großer Sprachmodelle mit bis zu 175B Parametern bietet NVIDIA die H100 NVL GPU an, eine erweiterte, PCIe-basierte H100 GPU mit NVLink Bridge. Die H100 NVL ist für KI-Tests, Training und Inference und insbesondere für Aufgaben im Bereich Deep Learning und große Sprachmodelle optimiert.
Um Aufgaben mit sehr hoher Komplexität effizient zu bearbeiten, kombiniert NVIDIA HGX H100 in Form von integrierten Basisplatinen acht H100-GPUs. Die acht GPU-HGX H100 bietet vollständig vernetzte Punkt-zu-Punkt-NVLink-Verbindungen zwischen den GPUs. Durch die Nutzung der Leistung der H100-Multi-Präzisions-Tensor-Kerne bietet eine 8-fache HGX H100 über 32 PetaFLOPS FP8-Deep-Learning-Rechenleistung.
Die NVIDIA A100 Tensor Core GPU wurde für rechenintensive KI-, HPC- und Datenanalyse-Anwendungen entwickelt. Sie bietet eine beschleunigte Leistung für KI-gesteuerte Aufgaben. Sie ist besonders für Umgebungen geeignet, in denen mehrere Anwendungen gleichzeitig laufen müssen.
Der NVIDIA L40S GPU, der auf der Ada Lovelace Architektur basiert, ist der leistungsstärkste universelle Grafikprozessor für Rechenzentren und bietet eine bahnbrechende Multi-Workload-Beschleunigung für Large Language Models (LLM), Inference und Training, Grafik- und Videoanwendungen. Als führende Plattform für multimodale generative KI bietet die L40S GPU End-to-End-Beschleunigung für Inference-, Trainings-, Grafik- und Video-Workflows, um die nächste Generation von KI-fähigen Audio-, Sprach-, 2D-, Video- und 3D-Anwendungen zu unterstützen.
1 Alle Tensor Core Zahlen mit Sparsity. Ohne Sparsity handelt es sich um den ½ Wert.
Quelle: NVIDIA
HGX H100 | H100 NVL | A100 | L40S | |
STACKIT Machine Types | n3.104d.g8 Machine type with 8x HGX H100 GPUs | n3.14d.g1 n3.28d.g2 n3.56d.g4 Machine types with 1 up to 4 H100 NVL GPUs | n1.14d.g1 n1.28d.g2 n1.56d.g4 Machine types with 1 up to 4 A100 PCIe GPUs. | n2.14d.g1 n2.28d.g2 n2.56d.g4 Machine types with 1 up to 4 L40s GPUs |
FP64 TC | FP32 TFLOPS1 | 67 | 67 | 60 | 60 | 19.5 | 19.5 | NA | 91.6 |
TF32 TC | FP16 TC TFLOPS1 | 989 | 1979 | 835 | 1671 | 312 | 624 | 366 | 733 |
FP8 TC | INT8 TC TFLOPS/TOPS1 | 3958 | 3958 | 3341 | 3341 | NA | 1248 | 1466 | 1466 |
GPU Memory | 80GB HBM3 | 94GB HBM3 | 80GB HBM2e | 48GB GDDR6 |
Media Acceleration | 7 JPEG Decoder 7 Video Decoder | 7 JPEG Decoder 7 Video Decoder | 1 JPEG Decoder 5 Video Decoder | 3 Video Encoder 3 Video Decoder 4 JPEG Decoder |