NVIDIA GB300-platform: AI-supercomputer in een towerbehuizing

De GIGABYTE W775 is een AI-supercomputer in een towerbehuizing, voorzien van de NVIDIA GB300 Grace Blackwell Ultra Desktop-superchip. Diens baanbrekende architectuur levert een ongekende rekenkracht waarmee teams grootschalige AI-training- en inferentiewerkzaamheden rechtstreeks vanaf hun bureau kunnen ontwikkelen en uitvoeren.

De mogelijkheden van AI en de brede adoptie ervan hebben niet alleen de manier waarop wij werken grondig veranderd, maar hebben ook een grote impact achter de schermen. Datacenters hebben hun infrastructuur moeten aanpassen om de groeiende behoefte aan rekenkracht te voldoen. Het betekent echter niet alleen een uitbreiding, maar ook een aanpassing in de manier hoe data wordt verwerkt. Want de AI-ontwikkeling speelde aanvankelijk met name in de cloud af. Inmiddels is er echter een trend zichtbaar dat er een groeiende behoefte is aan lokale servers waarop AI wordt ingezet.

Generatieve AI-modellen moeten in eerste instantie getraind worden en daar zijn krachtige servers op grote schaal voor nodig die gigantische datasets over een lange periode moeten verwerken.

Na deze fase van trainen kan de AI door eindgebruikers worden ingezet, de zogenaamde inferentie, ofwel de praktijk hoe gebruikers AI ervaren via chatbots en tools. Daar is in principe minder rekenkracht voor nodig. Alleen speelt hier weer de brede adoptie en rol: omdat zoveel mensen dagelijks AI voor allerlei doeleinden inzetten, groeien ook de benodigde hardware-eisen exponentieel.

Organisaties die AI-toepassingen willen implementeren, moeten een belangrijke keuze maken: vertrouwen op de cloudomgeving van een externe aanbieder of investeren in een eigen IT-infrastructuur.

Een belangrijk voordeel van cloudproviders is de grote mate van flexibiliteit. Dankzij pay-as-you-go-modellen kunnen organisaties hun capaciteit eenvoudig uitbreiden wanneer de vraag toeneemt. Hierdoor blijven de initiële investeringen beperkt en wordt de toegang tot AI-technologie laagdrempeliger.

Voor tijdelijke of incidentele AI-toepassingen is de cloud vaak een aantrekkelijke oplossing. Bij langdurig en intensief gebruik kunnen de kosten echter snel oplopen. Wat aanvankelijk een voordelige optie lijkt, kan op de langere termijn daardoor aanzienlijk duurder uitvallen.

Een eigen infrastructuur vraagt daarentegen om een aanzienlijke investering vooraf. Organisaties moeten onder meer investeren in servers, GPU’s, opslagcapaciteit en fysieke voorzieningen, zoals voldoende ruimte en koeling. Daarnaast zijn er terugkerende kosten voor bijvoorbeeld energieverbruik en onderhoud, die samen onderdeel vormen van de totale eigendomskosten.

Tegenover deze hogere initiële uitgaven staat dat de kosten op langere termijn beter voorspelbaar kunnen zijn, zeker wanneer AI-workloads structureel en continu draaien.

Een on-premisesomgeving biedt bovendien meer zeggenschap over gevoelige data. Omdat gegevens lokaal binnen het eigen netwerk worden opgeslagen en verwerkt, behouden organisaties meer controle over hun informatie. In een geopolitiek klimaat dat steeds complexer en onvoorspelbaarder wordt, neemt de behoefte aan digitale autonomie toe. Dit geldt in het bijzonder voor infrastructuur die een belangrijke rol speelt bij AI-toepassingen.

Zowel voor het trainen van AI-modellen als voor inferentie kan een eigen infrastructuur daarom aanzienlijke voordelen bieden. Wanneer gespecialiseerde hardware efficiënt wordt ingezet, kan een on-premisesomgeving op de lange termijn bovendien een financieel aantrekkelijkere en kostenefficiëntere oplossing vormen.

Om te voldoen aan de eisen van grootschalige AI-modellen introduceert GIGABYTE de W775-V10-L01, een AI-supercomputer in een towerbehuizing, voorzien van de NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip met tot wel 748 GB coherent geheugen en 20 petaFLOPS aan FP4 AI-rekenkracht. Deze baanbrekende architectuur levert een ongekende rekenkracht, waarmee teams grootschalige AI-training- en inferentiewerkzaamheden rechtstreeks vanaf hun bureau kunnen ontwikkelen en uitvoeren.

Geoptimaliseerd voor de NVIDIA AI-softwarestack kunnen cloud-native en AI-native ontwikkelaars, onderzoekers en datawetenschappers direct vanaf hun desktop prototypes maken van grote AI-modellen, deze verfijnen en er inferenties mee uitvoeren, en deze vervolgens naadloos implementeren in het datacenter of de cloud.

NVIDIA GB 300 Grace Blackwell Ultra Desktop Superchip

Aangedreven door een NVIDIA Blackwell Ultra GPU en NVIDIA Grace™ CPU die via NVLink™-C2C met elkaar zijn verbonden, levert dit platform systeemcommunicatie en prestaties van topklasse met CUDA- en Tensor-kernen van de volgende generatie. Met deze nieuwste NVIDIA Blackwell Tensor-kernen kan het systeem FP4 AI realiseren om de modelcapaciteit en prestaties te verhogen met behoud van een hoge nauwkeurigheid.

De NVIDIA ConnectX-8 SuperNIC is geoptimaliseerd om hyperscale AI-computing-workloads een enorme boost te geven en levert netwerksnelheden tot 800 gigabit per seconde. Hij biedt bovendien supersnelle connectiviteit tussen meerdere DGX Station-systemen voor nog grotere workloads.

NVIDIA’s DGX OS biedt een stabiele, volledig gekwalificeerde besturingssysteemomgeving met ingebouwde configuraties, stuurprogramma’s en diagnostische tools, waardoor naadloze schaalbaarheid mogelijk is binnen lokale, cloud- en versnelde datacenterinfrastructuren.

NVIDIA NVLink™-C2C breidt de NVIDIA NVLink™-technologie uit naar een chip-to-chip-verbinding, waardoor coherente gegevensoverdracht met hoge bandbreedte tussen de CPU en GPU mogelijk wordt.

NVIDIA Grace Blackwell Ultra gebruikt deze C2C-verbinding om een grote coherente geheugenpool te creëren, waardoor traditionele knelpunten kunnen worden omzeild die optreden naarmate AI-modellen in omvang en complexiteit toenemen. Zo kunnen enorme modellen efficiënt worden getraind en uitgevoerd.

De AI-softwarestack van NVIDIA is een volledige AI-oplossing voor fine-tuning, inferentie en datawetenschap. Hiermee kunnen gebruikers lokaal ontwikkelen en naadloos implementeren in de cloud of het datacenter met behulp van uniforme tools, frameworks en modellen.

Het systeem maakt gebruik van AI-gestuurde optimalisatie om het rekenvermogen dynamisch aan te passen op basis van actieve workloads, waardoor de prestaties en energie-efficiëntie continu worden gemaximaliseerd.

De GIGABYTE W775-V10-L01 haal je uit de doos, zet hem bij je bureau en plugt hem in het stopcontact – klaar. Hij hoeft niet in een speciale ruimte te staan, en dankzij de waterkoeling blijft hij altijd stil, ook bij zware belasting. En het NVIDIA GB300-platform is gemaakt om naar wens eenvoudig uit te breiden, met meerdere W775-machines voor verschillende teams, tot aan een GIGAPOD-serveromgeving aan toe.