HPE lanceert Helios als eerste AI-turnkey met AMD

HPE introduceert Helios, een turnkey-AI-systeem op basis van de AI-rack-scale-architectuur van AMD, met per rack 72 Instinct MI455X-gpu’s.

HPE presenteerde het systeem tijdens zijn eigen Discover-event in Barcelona. Het betreft het eerste turnkey-systeem van het bedrijf dat is gebaseerd op de AI-rack-scale-architectuur Helios van AMD en gebruikmaakt van een Ethernet-scale-up-netwerk. Voor de netwerklaag combineert HPE speciaal ontwikkelde hardware en software van Juniper Networking met de Tomahawk-6-netwerkchip van Broadcom.

De architectuur is gebaseerd op de open UALoE-standaard (Ultra Accelerator Link over Ethernet) en volgt de ORW-specificaties (Open Rack Wide) van het Open Compute Project. Daarmee is de rack-scale-oplossing ontworpen voor een geoptimaliseerd energieverbruik, moderne vloeistofkoeling en eenvoudig onderhoud en positioneert zij zich als alternatief voor proprietaire gpu-interconnects zoals NVLink van Nvidia.

Met 72 Instinct MI455X-gpu’s van AMD per rack komt het systeem volgens HPE uit op een geaggregeerde scale-up-bandbreedte van 260 TByte/s en maximaal 2,9 AI-exaflops FP4-rekenvermogen. Daarbovenop noemt HPE 31 terabyte HBM4-geheugen en een totale geheugenbandbreedte van 1,4 PByte/s.

Voor de koppeling levert HPE een nieuwe scale-up-Ethernet-switch, ontwikkeld in samenwerking met Broadcom, die AI-workloads over standaard-Ethernet moet afhandelen met geoptimaliseerde prestaties. De switch benut AI-native automatiserings- en kwaliteitsborgingsfuncties van HPE om het netwerkbeheer te vereenvoudigen en mikt op snellere uitrol en lagere kosten. De softwarestack bestaat uit ROCm van AMD, aangevuld met de netwerktechnologie Pensando van AMD.

Volgens HPE is het systeem primair bedoeld voor dataverkeer bij het trainen van extreem grote modellen met biljoenen parameters en een hoge inferentiedoorvoer. Ondanks het turnkey-karakter richt het zich daarmee niet op het gros van de AI-gebruikers – integendeel.

‘De instapprijs voor Rack-Scale Helios ligt momenteel nog vrij hoog, waardoor ik verwacht dat de acceptatie vooral bij model- en serviceproviders zal liggen’, zegt Chris Davidson, vicepresident HPC en AI bij HPE. Hij positioneert de rack-scale-oplossing als aanvulling op supercomputing. ‘Het Helios-rack zou binnen HPC een belangrijke rol als frontend-systeem kunnen vervullen’, aldus zijn inschatting van het toepassingsbereik.

Daarnaast is het nieuwe rack onderdeel van wat HPE aanduidt als zijn AI-fabriek. Het gaat daarbij om datacenters van de volgende generatie die specifiek zijn ontworpen voor AI-toepassingen.

Ze fungeren als centrale AI-knooppunten met geïntegreerde reken-, opslag- en netwerkbronnen om schaalbare topprestaties voor complexe AI-taken te leveren. Wereldwijd zijn deze faciliteiten onderling gekoppeld tot een groot AI-fabrieksrooster en bieden ze een uniforme applicatieomgeving.

Terwijl het trainen van AI-modellen in dergelijke AI-fabrieken of op supercomputers wordt gecentraliseerd, verschuift inferentie steeds verder richting de data – naar de edge.

HPE speelt in op die ontwikkeling met nieuwe edge-toegangspunten binnen de AI-fabriek en met de NX 301 Multiservice Edge Router. Doel is om meer inferentie van de cloud naar de edge te verplaatsen en zo latency, bandbreedtegebruik en kosten te beperken.

Met Helios zet HPE in op een open, op Ethernet gebaseerde rack-scale-architectuur voor AI, bedoeld voor gebruik op de hoogste schaalniveaus. De combinatie van hoge vermogensdichtheid, open standaarden en nauwe integratie binnen de AI-fabriek maakt het systeem technisch ambitieus, maar voorlopig vooral relevant voor grote modelbouwers en serviceproviders.