Dit artikel is tot stand gekomen in samenwerking met onze partner GIGABYTE.
De explosieve groei van AI-toepassingen stelt datacenters wereldwijd voor stevige uitdagingen. Om hindernissen op het gebied van schaalbaarheid, prestaties en energieverbruik te overwinnen, biedt GIGABYTE oplossingen met de nieuwe Intel Gaudi 3-accelerators.
De Gaudi 3-accelerators onderscheiden zich onder meer door een open softwarestack en onderlinge verbindingen op basis van gangbare Ethernet-infrastructuur. Daarmee bieden ze een eenvoudig schaalbaar en toekomstbestendig alternatief voor de inzet van AI in datacenters.
Met speciaal ontworpen GIGABYTE-servers en de GIGAPOD-oplossing voor datacenters wordt de uitrol nog beter ondersteund.
Intel Gaudi 3
Gaudi 3 is Intels nieuwste AI-versneller, ontworpen om grote AI-workloads efficiënt en schaalbaar te verwerken. De chip komt in verschillende uitvoeringen beschikbaar, waaronder een PCIe-kaart en een Open Accelerator Module (OAM). Afhankelijk van de uitvoering bedraagt het energieverbruik tot 600 watt voor de PCIe-versie en maximaal 900 watt voor de OAM-variant tijdens intensieve AI-trainingstaken.
Een onderscheidend kenmerk van Gaudi 3 is het gebruik van standaard ethernetverbindingen, wat schaalbare netwerkinfrastructuren mogelijk maakt zonder afhankelijk te zijn van propriëtaire oplossingen. Dit biedt datacenters veel flexibiliteit, zodat kosten en leveringsrisico’s verminderd kunnen worden.
Intel richt zich met Gaudi 3 op grootschalige installaties met duizenden versnellers die onderling zijn verbonden via open standaarden. De chip wordt geproduceerd op 5nm-technologie bij TSMC.
Belangrijke voordelen van Intel Gaudi 3.
Voordelen van Intel Gaudi 3
- Geoptimaliseerd voor zowel AI-training als inferentie
- Voorzien van 64 vijfde generatie tensor-cores en 8 matrix math-engines (MME)
- Tot 128 GB HBM-geheugen met een bandbreedte van 3,7 TB/s
- 96 MB on-chip SRAM met 12,8 TB/s SRAM-bandbreedte
- Ondersteuning voor 24 ethernetpoorten van 200 Gb/s (RoCE-standaard)
- Netwerkinfrastructuur op basis van open standaarden, geen afhankelijkheid van propriëtaire protocollen
- Flexibele integratie via PCIe 5.0 x16-interface
Deze kenmerken maken Gaudi 3 geschikt voor efficiënt werken met grootschalige AI-modellen, zoals large language models (LLM’s). Ten opzichte van Gaudi 2 maakt Gaudi 3 een grote sprong voorwaarts qua prestaties.
GIGABYTE-servers met Intel Gaudi 3
Voor high-performance AI-omgevingen heeft GIGABYTE een nieuwe generatie servers ontwikkeld die optimaal gebruikmaken van Intel Gaudi 3-accelerators. Deze systemen zijn ontworpen met het oog op een gebalanceerde mix van prestaties, energie-efficiëntie, stabiliteit en schaalbaarheid. Het hart van deze nieuwe lijn is een robuuste 8U-behuizing, specifiek ontwikkeld voor luchtkoeling en volledig compatibel met bestaande datacenterinfrastructuren. Het is bovendien de eerste GIGABYTE-server in dit formaat die standaard luchtkoeling combineert met ondersteuning voor krachtige AI-versnellers.
De systemen zijn geoptimaliseerd voor workloads waarbij AI-training, inferentie, data-analyse en opslagintensieve toepassingen samenkomen. Dankzij de inzet van 4e en 5e generatie Intel Xeon Scalable en Intel Xeon CPU Max-processors met PCIe 5.0-ondersteuning en snelle toegang tot DDR5-geheugen of optioneel HBM, kunnen gebruikers profiteren van maximale doorvoer en minimale bottlenecks tussen CPU, geheugen en accelerators. Zo vormen deze servers, zoals de GIGABYTE G893-SG1-AAX1 een solide basis voor grootschalige AI-toepassingen.
De GIGABYTE G893-SG1-AAX1-server met bovenin acht stuks Intel Gaudi 3-accelerators.
GIGABYTE G893-SG1-AAX1
De GIGABYTE G893-SG1-AAX1 is een 8U-server die onder meer standaard plaats biedt aan acht Intel Gaudi 3-accelerators, volledig luchtgekoeld. Deze configuratie maakt de server geschikt voor AI-training op schaal, zonder dat vloeistofkoeling nodig is. Dankzij het open ethernetsysteem en de geoptimaliseerde luchtstroming levert de server hoge prestaties met behoud van energie-efficiëntie.
De combinatie van Gaudi 3 en luchtkoeling maakt deze server aantrekkelijk voor datacenters met een standaard infrastructuur. Alle voordelen van GIGABYTE-servers, zoals de GIGABYTE Management Console en GIGABYTE Server Management (GSM) zijn ook inbegrepen bij deze server. Specificaties en uitgebreide informatie zijn beschikbaar bij GIGABYTE.
GIGAPOD voor snelle uitrol
GIGAPOD is GIGABYTE’s modulaire rackoplossing die speciaal is ontwikkeld voor grootschalige AI- en machine learning-workloads. Het platform combineert hoge rekendichtheid met flexibiliteit en efficiënt ruimtegebruik, dankzij ondersteuning voor 8-GPU servers en geoptimaliseerde koeling.
GIGAPOD is schaalbaar, snel inzetbaar en geschikt voor uiteenlopende AI-infrastructuren. Door de modulaire opbouw en ondersteuning voor verschillende acceleratorplatforms zoals Gaudi 3 kunnen organisaties eenvoudig inspelen op veranderende eisen in prestaties, kosten en beschikbaarheid.
GIGAPOD biedt een totaaloplossing voor het implementeren van een AI-infrastructuur.
GIGAPOD en Intel Gaudi 3
GIGAPOD biedt een schaalbare en direct inzetbare oplossing voor de uitrol van Intel Gaudi 3. Door gebruik te maken van standaard ethernettechnologie en een geoptimaliseerd rackdesign met vier G893-SG1-AAX1-servers per unit, inclusief een Rear Door Heat Exchanger (RDHx), wordt een hoge rekendichtheid gerealiseerd zonder aanpassingen aan bestaande infrastructuur.
Hiermee maakt GIGAPOD een snelle implementatie mogelijk, met minimale verificatie en optimale benutting van beschikbare datacenterruimte. GIGAPOD is daarmee ideaal voor grootschalige AI-deployments met Intel Gaudi 3.
GIGABYTE en Intel Gaudi 3
Met de introductie van Intel Gaudi 3-accelerators en de bijbehorende serveroplossingen biedt GIGABYTE een schaalbaar en efficiënt platform voor AI-toepassingen van nu én morgen. Door de keuze voor open standaarden en luchtgekoelde systemen zoals de G893-SG1-AAX1, maken organisaties optimaal gebruik van bestaande infrastructuur zonder in te leveren op prestaties.
In combinatie met het modulaire GIGAPOD-concept kunnen datacenters snel en flexibel uitbreiden. Samen leveren GIGABYTE en Intel zo een toekomstbestendig fundament voor grootschalige AI-implementaties.
Ga voor meer informatie over GIGABYTE, Intel Gaudi 3 en GIGAPOD naar de GIGABYTE-website.
