Mehr Infos und Konfiguration unter https://gptshop.ai/indexde.html
Warum sollten Sie Ihre eigene Hardware kaufen?„Du wirst nichts besitzen und glücklich sein?“ NEIN!!! Niemals sollten Sie vor Satan niederknien und Dinge mieten, die Sie besitzen können. In anderen Bereichen ist es sehr uncool und unüblich, Sachen zu mieten, die man besitzen kann. Oder möchten Sie „Ihr“ Auto lieber mieten, statt es zu besitzen? Die meisten Menschen ziehen es vor, ihr Auto zu besitzen, weil es viel billiger ist, ein wertvolles Gut darstellt und den Besitzer stolz und glücklich macht. Das Gleiche gilt auch für die Recheninfrastruktur. Dies gilt umso mehr, da Daten- und Recheninfrastruktur von großem Wert und Bedeutung ist und vorzugsweise vor Ort aufbewahrt wird, nicht nur aus Datenschutzgründen, sondern auch, um die Kontrolle zu behalten und Risiken zu mindern. Wenn jemand anderes über Ihre Daten und Ihre Recheninfrastruktur verfügt, sind Sie in großen Schwierigkeiten. Auch Geschwindigkeit, Latenz und Benutzerfreundlichkeit sind viel besser, wenn Sie direkten physischen Zugriff auf Ihre Sachen haben. Im Hinblick auf KI und insbesondere LLMs gibt es noch einen weiteren sehr wichtigen Aspekt. Das erste, was große Technologieunternehmen ihren Closed-Source-LLMs beigebracht haben, war, „politisch korrekt“ zu sein (zu lügen) und Leitplanken, „Sicherheit“ und Zensur in einem solchen Ausmaß einzuführen, dass der Nutzen dieser LLMs stark eingeschränkt wird. Glücklicherweise gibt es (Open-Source-)Tools zum Erstellen und Optimieren einer KI, die wirklich intelligent und wirklich nützlich ist. Zunächst benötigen Sie jedoch Ihre eigene Hardware, auf der es ausgeführt werden kann.
Was sind die Hauptvorteile?Die Leistung ist von einem anderen Stern (bis zu 284-mal schneller als x86). Sehr viel billiger als alternative Systeme mit derselben Menge an Speicher. Sowohl als Server als auch als Desktop/Workstation verwendbar. Genügend Speicher für die größten aktuell verfügbaren LLMs. Optimiert für speicherintensive Inferenz- und HPC-Leistung. Ideal für KI, besonders für Inferenz und Feintuning von LLMs. Ideal für HPC Applikationen, wie z.B. Genomsequenzierung. Privatsphäre und Unabhängigkeit von Cloudanbietern. Leicht zu modifizieren, zu erweitern und zu reparieren. Monitor und Tastatur anschließen und loslegen. Flexibilität und Möglichkeit zur Offlinenutzung. Gigantische Menge an kohärentem Speicher. Billiger und viel schneller als Cloudanbieter. Perfekt für edge AI ML GPT LLM und HPC. Keine besondere Infrastruktur nötig. Die niedrigste mögliche Latenz. Sehr gute Energieeffizienz. Leicht zu transportieren. Läuft mit Linux. Wunderschön. Sehr leise. 
Was ist der Unterschied zu alternativen Systemen mit der gleichen Menge an Speicher?Verglichen mit einem 8x Nvidia H100 System kostet GH200 5x weniger, verbraucht 10x weniger Strom und hat ungefähr dieselbe Leistung. Verglichen mit einem 8x Nvidia A100 System kostet GH200 3x weniger, verbraucht 5x weniger Strom und hat eine höhere Leistung. Verglichen mit einem 4x AMD Mi300X System kostet GH200 2x weniger, verbraucht 4x weniger Strom und ungefähr die gleiche Leistung. Verglichen mit einem 4x AMD Mi300A System (nur 512 GB Speicher, maximum scale-up) kostet GH200 signifikant weniger, verbraucht 3x weniger Strom und hat eine höhere Leistung. Verglichen mit einem 8x Nvidia RTX A6000 Ada System, welches signifikant weniger Speicher hat (nur 384 GB) kostet GH200 signifikant weniger, verbraucht 3x weniger Strom und hat eine höhere Leistung. Verglichen mit einem 8x AMD Radeon PRO W7900 System, welches signifikant weniger Speicher hat (nur 384 GB) kostet GH200 dasselbe, verbraucht 3x weniger Strom und hat eine höhere Leistung.
Der Hauptunterschied zwischen GH200 und alternativen Systemen besteht darin, dass bei GH200 die GPU über einen 900 GB/s NVLink mit der CPU verbunden ist, im Gegensatz zu 128 GB/s PCIe gen5, das bei herkömmlichen Systemen verwendet wird. Darüber hinaus können mehrere Superchips über 900 GB/s NVLink verbunden werden, im Gegensatz zu um Größenordnungen langsameren Netzwerkverbindungen, die bei herkömmlichen Systemen verwendet werden. Da dies die Hauptengpässe sind, führen die Hochgeschwindigkeitsverbindungen des GH200 im Vergleich zu herkömmlichen Architekturen direkt zu einer viel höheren Leistung.
Die oben genannten Alternativsysteme haben außerdem eines gemeinsam: Sie sind nicht wie unsere GH200-Systeme in Standard-Desktop-Formfaktoren erhältlich.
PS: Bitte beachten Sie, dass es sich bei den oben genannten Annahmen mangels Benchmark-Daten um sehr grobe Schätzungen handelt, die auf öffentlich verfügbaren Informationen und internem Benchmarking basieren. Wir arbeiten mit Phoronix zusammen um so viele Benchmarks wie möglich durchzuführen und werden hoffentlich bald über solide Daten in Form öffentlich verfügbarer Benchmarks verfügen, um zu sehen, wie sich die verschiedenen Lösungen bei unterschiedlichen Anwendungen vergleichen. Es ist zu erwarten, dass die Vergleiche je nach Anwendung stark variieren. Wenn Sie wissen wollen, wie gut Ihre Anwendung auf GH200 funktioniert, können Sie sich hier für einen Remote-Bare-Metal-Test bewerben: Testen Was ist der Unterschied zu 19-Zoll-Servermodellen?Formfaktor: 19-Zoll-Server haben einen ganz besonderen Formfaktor. Sie haben eine geringe Höhe und sind sehr lang, z.B. 438 x 87,5 x 900 mm (17,24" x 3,44" x 35,43"). Daher eignen sie sich nicht wirklich für die Unterbringung an einem anderen Ort als in einem 19-Zoll-Rack. Unsere GH200-Tower-Modelle haben Desktop-Formfaktoren: 244 x 567 x 523 mm oder 255 x 565 x 530 mm oder 250 x 404 x 359 mm. Dadurch ist es möglich, sie nahezu überall zu platzieren. Lautstärke: 19-Zoll-Server sind extrem laut. Der durchschnittliche Lärmpegel liegt typischerweise bei etwa 90 Dezibel – das ist so laut wie eine U-Bahn und übersteigt den Lärmpegel, der für Arbeitnehmer, die einer langfristigen Belastung ausgesetzt sind, als sicher gilt. Im Gegensatz dazu sind unsere GH200-Tower-Modelle sehr leise (Werkseinstellung ist 25 Dezibel) und können problemlos auf noch niedrigere oder höhere Geräuschpegel durch individuelle, manuelle Regelung zwischen 0 und 100% des PWM Signals jedes einzelnen Lüfters eingestellt werden. Für eine effiziente Kühlung ist gesorgt, denn unsere GH200-Tower-Modelle verfügen über eine höhere Anzahl an Lüftern und die niedrigtourigen Noctua-Lüfter haben im Vergleich zu ihren 19-Zoll-Pendants einen deutlich größeren Durchmesser und bewegen je nach spezifischer Konfiguration und PWM Einstellung etwa die gleiche oder sogar eine noch deutlich höhere Luftmenge. Transport: 19-Zoll-Server sind nicht für den Transport geeignet und verfügen daher nicht über alle diesbezüglichen Funktionen. Darüber hinaus sind sie aufgrund ihres Formfaktors für den Transport eher ungeeignet. Unsere GH200-Tower-Modelle hingegen lassen sich sehr einfach transportieren. Unsere Metall- und Minigehäuse verfügen sogar über zwei Tragegriffe, was das Transportieren sehr einfach macht. Infrastruktur: 19-Zoll-Server benötigen in der Regel einiges an Infrastruktur, um eingesetzt werden zu können. Mindestens ein 19-Zoll-Montagegestell ist unbedingt erforderlich. Unsere GH200-Modelle benötigen keinerlei spezielle Infrastruktur. Sie sind nahezu überall schnell und einfach einsetzbar. Latenz: Der Zugriff auf 19-Zoll-Server erfolgt typischerweise über das Netzwerk. Aus diesem Grund gibt es immer zumindest eine gewisse Latenz. Unsere GH200-Tower-Modelle können als Desktops/Workstations verwendet werden. In diesem Anwendungsfall ist die Latenz praktisch nicht vorhanden. Optik: 19-Zoll-Servermodelle sind optisch nicht besonders ansprechend. Im Gegensatz dazu sind unsere verfügbaren Gehäuseoptionen unserer bescheidenen Meinung nach recht schön.
Technische Details (Basiskonfiguration)Metallgehäuse mit zwei Farben zur Auswahl: Titan grau oder Champagner gold Glasgehäuse mit vier Farben zur Auswahl: weiß, schwarz, grün und türkis Minigehäuse mit zwei Farben zur Auswahl: weiß und schwarz Als luft- oder flüssig-gekühlte Variante erhältlich Nvidia GH200 Grace Hopper Superchip 72-Kern Nvidia Grace CPU Nvidia H100 Tensor Kern GPU 480GB LPDDR5X Speicher mit Fehlerkorrektur (ECC) 96GB HBM3 oder 144GB HBM3e Speicher 576GB oder 624GB Schnellzugriffsspeicher NVLink-C2C: 900 GB/s kohärente Speicherverbindung TDP programmierbar von 450W bis 1000W (CPU + GPU + Speicher) 2x Hocheffizientes Netzteil 2000W 2x PCIe gen4/5 M.2 22110/228 Laufwerke 2x/4x/8x PCIe gen4/5 Laufwerke (NVMe) 2x/3x FHFL PCIe Gen5 x16 1x/3x/4x USB 3.0 Buchsen 2x RJ45 10GbE Netzwerk 1x RJ45 IPMI Netzwerk 1x Mini Display Buchse Halogenfreie Stromkabel Edelstahlschrauben Sehr leise, Werkseinstellung ist 25 Dezibel (die Lüftergeschwindigkeit und damit der Geräuschpegel sind individuell und manuell von 0 bis 100 % PWM-Arbeitszyklus konfigurierbar) 244 x 567 x 523 mm oder 255 x 565 x 530 mm oder 250 x 404 x 359 mm 30 kg oder 20 kg Optionale KomponentenNIC Nvidia Bluefield-3 400Gb NIC Nvidia ConnectX-7 200Gb NIC Intel 100Gb WLAN + Bluetooth-Karte Bis zu 2x 8TB M.2 SSD Bis zu 8x 8TB E1.S SSD Bis zu 10x 60TB U.3 SSD Speicher-Controller Raid-Controller Zusätzliche USB Buchsen Multi-Monitor-Grafikkarte Zusätzliche Tensor-Core-GPUs Soundkarte Maus Tastatur Monitor Verbraucher- oder Industrielüfter Einbruchserkennung Betriebssystem vorinstalliert Alles was technisch möglich ist auf Anfrage Was sind die Hauptunterschiede zwischen den Modellen?GH200: Metallgehäuse, luft-gekühlt, kommt mit 1 von 2 M.2 und 1 von 4 E1.S Festplatten, 3x USB GH200 Special Edition: Metallgehäuse, luft-gekühlt, ohne M.2 (0 von 2) und 2.5" (0 von 4) Festplatte, 1x USB (Mini USB-Hub inklusive: 1x USB 3.0, 2x USB 2.0) GH200 Super: Metallgehäuse, luft-gekühlt, mit einer M.2 (1 of 2) und keiner E1.S (0 of 8) Festplatte, 1x USB (Mini USB-Hub inklusive: 3x USB) GH200 Giga: Metallgehäuse, luft-gekühlt, mit einer M.2 (1 of 2) und keiner 2.5" (0 of 4) Festplatte, 2x USB 3.2 GH200 Liquid: Metallgehäuse, flüssig-gekühlt, kommt mit 1 von 2 M.2 und 1 von 8 E1.S Festplatten, 4x USB GH200 Glas: Glasgehäuse, luft-gekühlt, kommt mit 1 von 2 M.2 und 1 von 4 E1.S Festplatten, 3x USB GH200 Glas Special Edition: Glasgehäuse, luft-gekühlt, ohne M.2 (0 von 2) und 2.5" (0 von 4) Festplatten, 1x USB (Mini USB-Hub inklusive: 1x USB 3.0, 2x USB 2.0) GH200 Glas Super: Glasgehäuse, luft-gekühlt, mit einer M.2 (1 of 2) und keiner E1.S (0 of 8) Festplatte, 1x USB (Mini USB-Hub inklusive: 3x USB) GH200 Glas Giga: Glasgehäuse, luft-gekühlt, mit einer M.2 (1 of 2) und keiner 2.5" (0 of 4) Festplatte, 2x USB 3.2 GH200 Glas Liquid: Glasgehäuse, flüssig-gekühlt, kommt mit 1 von 2 M.2 und 1 von 8 E1.S Festplatten, 4x USB GH200 Mini: Minigehäuse, luft-gekühlt, momentan noch unbekannte Anzahl an Festplatten und USB
Vergleichstabelle: GH200 Vergleichstabelle.pdfRechenleistung67 teraFLOPS FP64 989 teraFLOPS TF32 1,979 teraFLOPS FP16 3,958 teraFLOPS FP8 3,958 TOPS INT8 Benchmarks:Phoronix benchmarkt zur Zeit unseren GH200 576GB Prototypen. Erste Ergebnisse sind hier zu finden:
https://www.phoronix.com/review/nvidia-gh200-gptshop-benchmark https://www.phoronix.com/review/nvidia-gh200-amd-threadripper https://www.phoronix.com/review/aarch64-64k-kernel-perf https://www.phoronix.com/review/nvidia-gh200-compilers Anwendungsbeispiel: Inferenz von Falcon-180B LLMDownload: https://huggingface.co/tiiuae/falcon-180B Falcon-180B ist ein 180 Milliarden Parameter Kausaldekoder-Model welches mit 3,500 Milliarden Token kurierten Daten trainiert wurde. Warum Falcon-180B? Es ist eines der besten momentan erhältlichen open-access Modelle und eins der besten Modelle überhaupt. Falcon-180B übertrifft LLaMA-2, StableLM, etc. Es wird unter einer freizügigen Lizenz zur Verfügung gestellt, die eine kommerzielle Nutzung ermöglicht. Falcon-180B braucht mindestens 400GB Speicher für eine schnelle Inferenz! Glücklicherweise hat GH200 ein Minimum von 576GB. Weißbuch: Nvidia GH200 Grace Hopper Weißbuch
Was sind die Hauptvorteile?
Was ist der Unterschied zu alternativen Systemen mit der gleichen Menge an Speicher?Der Hauptunterschied zwischen GH200 und alternativen Systemen besteht darin, dass bei GH200 die GPU über einen 900 GB/s NVLink mit der CPU verbunden ist, im Gegensatz zu 128 GB/s PCIe gen5, das bei herkömmlichen Systemen verwendet wird. Darüber hinaus können mehrere Superchips über 900 GB/s NVLink verbunden werden, im Gegensatz zu um Größenordnungen langsameren Netzwerkverbindungen, die bei herkömmlichen Systemen verwendet werden. Da dies die Hauptengpässe sind, führen die Hochgeschwindigkeitsverbindungen des GH200 im Vergleich zu herkömmlichen Architekturen direkt zu einer viel höheren Leistung.
Die oben genannten Alternativsysteme haben außerdem eines gemeinsam: Sie sind nicht wie unsere GH200-Systeme in Standard-Desktop-Formfaktoren erhältlich.
PS: Bitte beachten Sie, dass es sich bei den oben genannten Annahmen mangels Benchmark-Daten um sehr grobe Schätzungen handelt, die auf öffentlich verfügbaren Informationen und internem Benchmarking basieren. Wir arbeiten mit Phoronix zusammen um so viele Benchmarks wie möglich durchzuführen und werden hoffentlich bald über solide Daten in Form öffentlich verfügbarer Benchmarks verfügen, um zu sehen, wie sich die verschiedenen Lösungen bei unterschiedlichen Anwendungen vergleichen. Es ist zu erwarten, dass die Vergleiche je nach Anwendung stark variieren. Wenn Sie wissen wollen, wie gut Ihre Anwendung auf GH200 funktioniert, können Sie sich hier für einen Remote-Bare-Metal-Test bewerben: Testen
Technische Details (Basiskonfiguration)
Vergleichstabelle: GH200 Vergleichstabelle.pdfRechenleistung
Mehr Infos und Konfiguration unter https://gptshop.ai/indexde.html