Supermicro bringt drei NVIDIA-basierte, sofort einsatzbereite generative KI-Supercluster auf den Markt, die von Enterprise- bis zu großen LLM-Infrastrukturen skalieren
San Jose, Kalifornien, 20. März 2024 (ots/PRNewswire)
Die Full-Stack SuperClusters umfassen luft- und flüssigkeitsgekühlte Trainings- und Cloud-skalierte Inferenz-Rack-Konfigurationen mit den neuesten NVIDIA Tensor Core GPUs, Netzwerken und NVIDIA AI Enterprise Software
Supermicro, Inc. (NASDAQ: SMCI), ein Anbieter von IT-Gesamtlösungen für KI, Cloud, Storage und 5G/Edge, kündigt sein neuestes Portfolio an, um den Einsatz von generativer KI zu beschleunigen. Die Supermicro SuperCluster-Lösungen bieten grundlegende Bausteine für die Gegenwart und die Zukunft der Infrastruktur für große Sprachmodelle (LLM).
Die drei leistungsstarken Supermicro SuperCluster-Lösungen sind jetzt für generative KI-Workloads verfügbar. Die flüssigkeitsgekühlten 4U-Systeme oder die luftgekühlten 8U-Systeme sind speziell für leistungsstarke LLM-Trainingsleistungen sowie für große Batchgrößen und LLM-Inferenzen mit hohem Volumen ausgelegt. Ein dritter SuperCluster mit 1U luftgekühlten Supermicro NVIDIA MGX™ Systemen ist für Cloud-Scale-Inferenz optimiert.
„In der KI-Ära wird die Recheneinheit jetzt an Clustern gemessen, nicht nur an der Anzahl der Server. Mit unserer erweiterten globalen Fertigungskapazität von 5.000 Racks/Monat können wir unseren Kunden komplette generative KI-Cluster schneller als je zuvor liefern", sagte Charles Liang, President und CEO von Supermicro. „Ein 64-Knoten-Cluster ermöglicht 512 NVIDIA HGX H200 GPUs mit 72 TB HBM3e durch einige unserer skalierbaren Cluster-Bausteine mit 400 Gb/s NVIDIA Quantum-2 InfiniBand und Spectrum-X Ethernet-Netzwerken. Die SuperCluster-Lösungen von Supermicro in Kombination mit der NVIDIA AI Enterprise Software sind ideal für Unternehmens- und Cloud-Infrastrukturen, um die heutigen LLMs mit bis zu Billionen von Parametern zu trainieren. Die miteinander verbundenen GPUs, CPUs, Speicher, Storage und Netzwerke bilden, wenn sie über mehrere Knoten in Racks eingesetzt werden, die Grundlage der heutigen KI. Die SuperCluster-Lösungen von Supermicro bieten grundlegende Bausteine für die sich schnell entwickelnde generative KI und LLMs."
Um mehr über die Supermicro AI SuperClusters zu erfahren, besuchen Sie uns: www.supermicro.com/ai-supercluster
„NVIDIAs neueste GPU-, CPU-, Netzwerk- und Software-Technologien ermöglichen es Systemherstellern, eine Reihe von KI-Workloads der nächsten Generation für globale Märkte zu beschleunigen", sagt Kaustubh Sanghani, Vice President of GPU Product Management bei NVIDIA. „Durch die Nutzung der NVIDIA Accelerated Computing-Plattform mit Produkten auf Basis der Blackwell-Architektur bietet Supermicro seinen Kunden hochmoderne Serversysteme, die problemlos in Rechenzentren eingesetzt werden können."
Supermicro 4U NVIDIA HGX H100/H200 8-GPU Systeme verdoppeln die Dichte des 8U luftgekühlten Systems durch den Einsatz von Flüssigkeitskühlung, reduzieren den Energieverbrauch und senken die TCO des Rechenzentrums. Diese Systeme sind für die nächste Generation der auf der NVIDIA Blackwell-Architektur basierenden Grafikprozessoren ausgelegt. Die Supermicro Cooling Distribution Unit (CDU) und Manifold (CDM) sind die Hauptadern für die Verteilung der gekühlten Flüssigkeit an die kundenspezifischen Direct-to-Chip (D2C) Cold Plates von Supermicro, die die GPUs und CPUs auf optimaler Temperatur halten, was zu einer maximalen Leistung führt. Diese Kühltechnologie ermöglicht eine Senkung der Stromkosten für das gesamte Rechenzentrum um bis zu 40 % und spart Platz in den Räumlichkeiten des Rechenzentrums. Erfahren Sie mehr über die Supermicro Liquid Cooling Technologie: https://www.supermicro.com/en/solutions/liquid-cooling
Die mit 8-GPUs ausgestatteten NVIDIA HGX H100/H200-Systeme sind ideal für das Training von generativer KI. Die Hochgeschwindigkeits-GPUs, die über NVIDIA® NVLink® miteinander verbunden sind, sowie die hohe GPU-Speicherbandbreite und -kapazität sind der Schlüssel zur kosteneffizienten Ausführung von LLM-Modellen. Der Supermicro SuperCluster schafft einen massiven Pool von GPU-Ressourcen, die wie ein einziger KI-Supercomputer funktionieren.
Ob es sich um die Anpassung eines enormen Basismodells handelt, das auf einem Datensatz mit Billionen von Token von Grund auf trainiert wurde, oder um den Aufbau einer LLM-Inferenzinfrastruktur im Cloud-Maßstab, die Spine- und Leaf-Netzwerktopologie mit nicht blockierenden 400-Gb/s-Fabrics ermöglicht eine nahtlose Skalierung von 32 Knoten auf Tausende von Knoten. Bei der vollständig integrierten Flüssigkeitskühlung werden die betriebliche Effektivität und Effizienz vor der Auslieferung durch die bewährten Testverfahren von Supermicro gründlich überprüft.
Supermicros NVIDIA MGX™ Systemdesigns mit den NVIDIA GH200 Grace Hopper Superchips werden eine Blaupause für zukünftige KI-Cluster schaffen, die einen entscheidenden Engpass in der generativen KI beheben: die GPU-Speicherbandbreite und -kapazität zur Ausführung großer Sprachmodelle (LLM) mit hohen Inferenzstapelgrößen, um die Betriebskosten zu senken. Der Cluster mit 256 Knoten ermöglicht eine Cloud-Skala mit hohem Datenaufkommen, die sich leicht implementieren und skalieren lässt.
SuperCluster mit 4U flüssigkeitsgekühltem System in 5 Racks oder 8U luftgekühltem System in 9 Racks
- 256 NVIDIA H100/H200 Tensor Core GPUs in einer skalierbaren Einheit
- Die Flüssigkeitskühlung ermöglicht 512 GPUs, 64 Knoten, auf der gleichen Grundfläche wie die luftgekühlte Lösung mit 256 GPUs und 32 Knoten
- 20TB HBM3 mit NVIDIA H100 oder 36TB HBM3e mit NVIDIA H200 in einer skalierbaren Einheit
- 1:1-Netzwerke liefern bis zu 400 Gbit/s an jede GPU, um GPUDirect RDMA und Storage für das Training großer Sprachmodelle mit bis zu Billionen von Parametern zu ermöglichen
- 400G InfiniBand oder 400GbE Ethernet Switch Fabrics mit hoch skalierbarer Spine-Leaf-Netzwerktopologie, einschließlich NVIDIA Quantum-2 InfiniBand und NVIDIA Spectrum-X Ethernet Platform.
- Anpassbare AI Data Pipeline Storage Fabric mit branchenführenden Optionen für parallele Dateisysteme
- NVIDIA AI Enterprise 5.0 Software mit Unterstützung für die neuen NVIDIA NIM Inferenz-Microservices, die die Bereitstellung von KI-Modellen im großen Maßstab beschleunigen
SuperCluster mit 1U luftgekühltem NVIDIA MGX System in 9 Racks
- 256 GH200 Grace Hopper Superchips in einer skalierbaren Einheit
- Bis zu 144 GB HBM3e + 480 GB LPDDR5X-Unified-Memory, geeignet für Cloud-Scale, hohe Volumina, niedrige Latenzzeiten und hohe Stapelgrößen, die ein Modell mit mehr als 70 B Parametern in einen Knoten integrieren können.
- 400G InfiniBand- oder 400GbE-Ethernet-Switch-Fabrics mit hoch skalierbarer Spine-Leaf-Netzwerktopologie
- Bis zu 8 integrierte E1.S NVMe-Speichergeräte pro Knoten
- Anpassbare KI-Datenpipeline-Speicherstruktur mit NVIDIA BlueField®-3 DPUs und branchenführenden parallelen Dateisystemoptionen für hohen Durchsatz und latenzarmen Speicherzugriff auf jede GPU
- NVIDIA AI Enterprise 5.0 Software
Mit der höchsten erreichbaren Netzwerkleistung für GPU-GPU-Konnektivität sind die SuperCluster-Lösungen von Supermicro für LLM-Training, Deep Learning und Inferenzen mit hohem Volumen und hoher Stapelgröße optimiert. Supermicros L11- und L12-Validierungstests in Kombination mit seinem Vor-Ort-Bereitstellungsservice bieten den Kunden eine nahtlose Erfahrung. Kunden erhalten skalierbare Plug-and-Play-Einheiten für eine einfache Bereitstellung in einem Rechenzentrum und schnellere Ergebnisse.
Informationen zu Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) ist ein weltweit führender Anbieter anwendungsoptimierter IT-Gesamtlösungen. Supermicro wurde in San Jose, Kalifornien, gegründet und ist dort tätig. Das Unternehmen hat sich zum Ziel gesetzt, Innovationen für Unternehmens-, Cloud-, KI- und 5G-Telco/Edge-IT-Infrastrukturen als Erstes auf den Markt zu bringen. Wir sind ein Hersteller umfassender IT-Lösungen mit Servern, KI, Speicher, IoT, Switch-Systemen, Software und Support-Services. Die Expertise von Supermicro im Design von Motherboards, Stromversorgungen und Gehäusen stellt eine zusätzliche Unterstützung für unsere Entwicklung und Produktion dar und ermöglicht unseren globalen Kunden, Innovationen der nächsten Generation von der Cloud bis zur Edge durchzuführen. Unsere Produkte werden im eigenen Haus (in den USA, Taiwan und den Niederlanden) entwickelt und hergestellt. Dabei werden globale Betriebe für Skalierbarkeit und Effizienz genutzt, und optimiert, um die Gesamtbetriebskosten zu senken und die Umweltbelastung zu reduzieren (Green Computing). Das preisgekrönte Portfolio von Server Building Block Solutions® ermöglicht Kunden, ihre Produkte genau für ihre Arbeitslast und Anwendung zu optimieren, indem sie aus einer umfangreichen Familie von Systemen auswählen. Diese bestehen aus unseren flexiblen und wiederverwendbaren Bausteinen und unterstützen einen umfassenden Satz an Formfaktoren, Prozessoren, Arbeits- und Datenspeichern, GPUs sowie Netzwerk-, Stromversorgungs- und Kühllösungen (klimatisiert, freie Luftkühlung oder Flüssigkühlung).
Supermicro, Server Building Block Solutions und We Keep IT Green sind Marken oder auch eingetragene Marken von Super Micro Computer, Inc.
Alle anderen Marken, Namen und Warenzeichen sind Eigentum ihrer jeweiligen Inhaber.
Foto - https://mma.prnewswire.com/media/2365342/Super_Micro_Computer_Inc.jpg
Logo - https://mma.prnewswire.com/media/1443241/Supermicro_Logo.jpg
Pressekontakt:
Greg Kaufman,
Super Micro Computer,
Inc.,
PR@supermicro.com
Original-Content von: Super Micro Computer, Inc., übermittelt durch news aktuell