@Andreas_Kunar hat gesagt er ist gut im Geld ausgeben.
Andi hat sich ein neues Spielzeug gekauft. Nein - zwei.
NVIDIA NGX Spark.
A Supercomputer on your Desktop nennt ihn DGX. Da einer nicht leistungsfähig genug ist, hat Andi jetzt 2 Stück zusammengeschaltet. Wozu? Um Large Language Models nicht aus der Cloud nutzen zu müssen, sondern um sie lokal zu betreiben.
Cooles Spielzeug.
Kleine Korrektur -wie immer bei NVIDIA gibt’s die teurere “Founder’s Edition” selber von NVIDIA. Und dann von ASUS, Dell, HP,… eben billigere OEM-Produkte. Die ASUS Ascent GX10 hat eine leicht andere Kühlung/Gehäusedetailform (ist trotzdem gleich groß), war aber drastisch billiger (Preise gibts aktuell auf geizhals zum Nachlesen).
Übrigens war die 1. ein Schnäppchen, die 2. einige Wochen danach schon 10% teurer, und aktuell, nach weiteren 2 Wochen, ist sie bereits 26% teurer. Eigentlich eine gute Verzinsung für eine Elektronikteil-Investition. Natürlich immer bezogen auf auch lieferbare Ware - wenn ich’s nicht liefern kann, wäre sie bei mir auch billiger!
Damit Du die beiden zusammenhängen kannst, brauchst ein etwas exotisches 200GBit QSFP56 Netzwerkkabel, weil der “normale” 10GBit Ethernetanschluss der Box für einen scale-up Cluster nicht schnell genug ist. Jede DGX-Spark hat übrigens 2x 200GBit Anschlüsse. Damit könntest auch einen “Ring” aus 3 Rechnern zum schnellen Cluster machen - ohne sündteurem 200GB Ethernet Switch, der teurer als eine DGX Spark ist.
Ein Scale-Up Cluster verbindet den RAM der Rechner automatisch und “unsichtbar” im Hintergrund, über “remote-DMA” mit voller Kohärenz. D.h. für die Software sieht die aus wie ein Doppelprozessor System mit je 20 CPU-Kernen, sehr schnellen GPUs und insgesamt 256GB RAM @ 273GB/s (relativ schnell).
P.S. Ein 256GB Apple M3 Ultra Mac Studio wäre (wenn er überhaupt lieferbar wäre) sogar 40% teurer als der Cluster, hat schnelleren RAM (800GB/s), aber etwas weniger Rechenleistung. Dafür läuft die Software darauf einfacher und stabiler. Software für NVIDIA benötigt (entgegen der weiterverbreiteten Meinung) fast schwarze Magie Kenntnisse, die bei Apple läuft vergleichsweise einfach.
