De GIGABYTE MZ72-HB2 in revisie 3.0 is een van de eerste dualsocket-moederborden voor towerbehuizingen die plaats biedt aan twee AMD’s Epyc 7773X, en zo extreem krachtige systemen mogelijk maakt. De AMD’s Epyc 7773X is het neusje van de zalm op het gebied van x86-serverprocessors: 64 snelle cores, 128 PCIe 4.0-lanes, tot twee terabyte RAM en een enorme level 3-cache van 768 MB.
Ontvang informatie en tips over pc-componenten, abonneer op ons tijdschrift of schrijf je in voor de gratis nieuwsbrief:
AMD Epyc 7773X
AMD heeft zijn serverprocessors van de Epyc-serie voor het laatst in maart geüpdatet met de MilanX-varianten. Net als hun voorgangers, zijn zij grotendeels vervaardigd in 7-nanometer technologie en maken ze gebruik van chiplet-technologie: acht rekenkernen zijn, samen met elk 32 MB normaal level 3-cachegeheugen, ondergebracht op de zogenaamde compute-cache dies (CCD’s) [1]. Bovendien is er een 3D-stacking chip met 64 MB aan extra cache, die met de besturingslogica in de CCD verbonden is door middel van verticale directe verbindingen door het silicium (Through-Silicon-Vias). AMD noemt dat 3D VCache. Aangezien de besturingslogica in de cachechip is weggelaten, nemen de 64 MB ervan hetzelfde oppervlak in als de 32 MB van de CCD.
AMD Epyc 7773X cache
Tot acht van die CCD’s worden in een Epyc-serverpakket gesoldeerd. Dat resulteert in een enorme 768 MB L3-cache per Epyc 7773X en een bijna gigantische 1,5 GB voor een dual-socket systeem. Een IO-die completeert het serverpakket, die alles omvat van de achtkanaals geheugencontroller tot de HyperTransport-links en de PCI Express 4.0-roothubs – alle verbindingen met de buitenwereld die je van moderne cpu’s mag verwachten. Reeds bekend van eerdere Epyc 7003-processors zijn 64 cores plus Simultaneous Multithreading, ondersteuning tot 2 TB DDR4-3200 RAM en 128 lanes PCIe 4.0 per processorsocket, alsmede beveiligingsfuncties à la Secure Nested Pages (SEV-SNP) om virtuele machines beter te beschermen. Vergeleken met zijn voorganger, de Epyc 7763, kost de 7773X volgens de lijst ongeveer duizend dollar meer, namelijk $ 8800 (ex btw). Hij haalt dezelfde maximale kloksnelheid van 3,5 GHz met eveneens een nominaal energieverbruik van 280 watt. De basisfrequentie, die wordt toegepast wanneer de meeste of alle 64 kernen bezig zijn, ligt echter 250 MHz lager op 2,2 GHz. In grensgevallen kan de nieuwe zelfs trager zijn dan de oude.
Geen Zen4 maar Zen3
Een overstap naar AMD’s nieuwe Zen 4-architectuur is echter aanstaande. Dat zal DDR5 geheugen, PCI Express 5.0 en nog meer kernen brengen, maar vereist ook nieuwe moederborden. Dat stelt 96 kernen per socket en in de speciale Zen 4e-versie met de codenaam Genoa zelfs 128 kernen in het vooruitzicht, 3D VCache zou ook weer beschikbaar moeten zijn.
GIGABYTE MZ72-HB2 (rev3.0)
Voor deze test hebben we onze toevlucht genomen tot de GIGABYTE MZ72-HB2 rev3.0 als een van de eerste conventionele moederborden die ook twee Milan-X-processors ondersteunt. Een van de redenen is dat ons AMD-referentieplatform Daytona de grens van zijn capaciteit heeft bereikt als gevolg van de vele cpu-veranderingen tijdens eerdere tests. Eigenlijk zou het de drie nieuwste Epyc-7000 versies 7002, 7003 en 7003X hebben ondersteund met een BIOS-update.
Een voordeel: met een ruime behuizing kun je zo’n server ook op kantoor of in een kleine serverruimte zonder rack plaatsen. De behuizing moet dan wel geschikt zijn voor de Server System Infrastructure Enterprise Electronics Bay (SSI-EEB) en voorbereid zijn op de speciale indeling van de bevestigingsschroeven. Het GIGABYTE-moederbord meet 305 × 330 millimeter. Dat maakt hem beduidend groter dan een full-size ATX-moederbord met een maximum van 305 × 244 millimeter. Het ATX-aansluitpaneel komt overeen met de standaard positie, en de aansluitingen voor de voeding zijn ook niet ongebruikelijk met een 24-pins ATX-connector en EPS12V. Bij zulke behuizingen moet je dan afzien van rackserver-standaarden zoals redundante voedingen en backplanes voor massaopslag, maar in plaats daarvan is het wel mogelijk conventionele processorkoelers en maximaal vijf PCIe-insteekkaarten te gebruiken.
GIGABYTE MZ72-HB2 (rev3.0) aansluitingen
Vier SATA-poorten en een M.2-aansluiting voor een 80 of 110 millimeter lange ssd-kaart zijn beschikbaar voor massaopslag. Daarnaast zijn er vijf SlimSAS-poorten, drie waarvan er elk vier extra SATApoorten bieden. Bovendien is de Aspeed AST2600 een Baseboard Management Controller met een eigen Gigabit-ethernetpoort. Het normale netwerkverkeer wordt afgehandeld door een Broadcom BCM57416, die twee 10 GbE-poorten bedient en wordt geleverd met de juiste drivers voor Ubuntu 22.04 LTS, maar niet voor Windows Server 2022.
GIGABYTE MZ72-HB2 (rev3.0) DDR4 geheugen
De acht geheugenkanalen zijn elk verbonden met twee DIMM-sockets. Ze kunnen theoretisch tot 4 TB DDR4-3200R geheugen met ECC-beveiliging aan. De Qualified Vendor List vermeldt momenteel echter maximaal Samsung RDIMM’s met elk 128 GB, wat voldoende is voor maximaal van 2 TB. Bij onze test hebben we alle geheugenkanalen bezet, maar slechts met 512 GB in totaal omdat de zestien RDIMM’s die we in huis hebben elk slechts 32 GB bevatten.
GIGABYTE MZ72-HB2 (rev3.0) PCI Express-verbindingen
Van de 128 snelle SERDES-datalinks van elke Epyc-processor dienen er 64 voor de chip-naar-chipverbinding, de overige 2 × 64 links zijn beschikbaar voor bijvoorbeeld PCI Express-verbindingen: drie Gen4 x16-sockets en twee x8-varianten voor insteekkaarten zoals reken- of grafische versnellers, of snelle ssd-RAID-kaarten, met elk een x4-link voor het M.2 NVMe-slot en de Broadcom-netwerkchip, zeven x4- links voor SlimSAS-massaopslagpoorten. De BMC is ook verbonden via PCIe en biedt naast dedicated ethernet ook de zowel verplichte als oude VGA-aansluiting, hoewel de AST2600 ook DVI ondersteunt. De Epyc-servers hebben geen extra chipset nodig.
GIGABYTE MZ72-HB2 (rev3.0) niet op de Microsoft whitelist
Het moederbord heeft ook standaard 19-pins aansluitingen voor front-USB 3.0-poorten en een SPI-pinheader voor een TPM 2.0, die je apart moet aanschaffen in de vorm van een CTM010. Onze poging om Windows 11 te installeren mislukte, ongeacht de TPM, omdat AMD volgens eigen informatie de nieuwe Epycs niet op de whitelist van Microsoft heeft laten zetten en dat ook niet van plan is vanwege de enterprise-doelgroep. Zoals verwacht waren er geen problemen met Windows Server 2022 en Ubuntu 22.04 LTS.
GIGABYTE MEGARAC SP-X
De hardware kan op afstand worden benaderd via de moderne IPMI 2.0-interface (bij Gigabyte MEGARAC SP-X genoemd). Voor het inloggen gebruikt Gigabyte standaard nog steeds de goede oude gebruiker Admin, maar als wachtwoord moet je het serienummer gebruiken dat op een sticker op de printplaat staat.
Voordelen van serverhardware in een desktopkast
Serverhardware in een desktopkast heeft een paar voordelen. Hierbij moet je moet ook op een paar dingen letten. Een groot voordeel is dat je ook grotere processorkoelers kunt monteren. Je hebt namelijk niet te maken met de gebruikelijke hoogtebeperkingen van rackservers (1U). Op het Epyc-platform passen bijvoorbeeld zelfs koelers die bedoeld zijn voor de nieuwe Threadripper-workstationprocessors. Een voorbeeld is de NH-U14S van Noctua in de TR4-SP3-versie. Deze uitvoering zorgt er tevens voor dat niet alleen de posities van de montageschroeven, maar ook de grootte van de bodemplaat bij de processor past.
Het resultaat van de dicht op elkaar staande koelreuzen: tijdens bedrijf is het systeem nauwelijks hoorbaar, ondanks een stationair energieverbruik van 115 watt met Windows Server 2022 (Ubuntu 22.04 LTS: 132 watt) – mits je via BMC een verstandige ventilatorcurve instelt. Dat lukt overigens niet via de BIOSinstellingen van het moederbord zelf. Onder volle belasting blazen de ventilatoren de in totaal maximaal 931 watt (printplaat, cpu’s, geheugen, primaire zijde) aan afvalwarmte duidelijk hoorbaar uit de kast.
Hoewel dat een stuk minder storend is dan het irritante gehuil van conventionele rackservers, zijn er nog wel meerdere extra ventilatoren in de bovenzijde van de behuizing nodig om voldoende luchtstroom te genereren zodat de andere componenten koel blijven – dat geldt met name voor de spanningsconverters op het moederbord. Zonder die extra hulp bereikten ze al snel temperatuur van 100 graden Celsius, waardoor het systeem zijn prestaties afremt, wat leidde tot merkbaar prestatieverlies en wat op lange termijn niet gezond is voor de hardware. De beter gerichte en meestal sterkere luchtstroom in rackservers met hun turbine-achtige ventilatoren is in dat opzicht superieur aan towergebruik.
De juiste psu uitkiezen voor deze setup
Ook bij de keuze van een voedingseenheid moet zorgvuldig te werk worden gegaan. Vooral de 12V-rail moet gezien de hoge belasting tegen een stootje kunnen. Sommige normale multi-rail voedingen leveren de 12V-lijn voor de achtpins en EPS-connectors met minder stroom dan de PCIe-connectors. Met een van onze 1000W-eenheden waren de nominale 22 ampère niet genoeg voor volledige belasting en schakelde het systeem zichzelf hard uit – een andere voeding met ook 1000 watt maar 25 ampères op de 12V-rail werkte zonder problemen. Als je echter nog versnellingskaarten of veel ssd’s gebruikt, heb je een voeding met meer reserves nodig.
Zoals gebruikelijk is voor servers, controleert het moederbord bij het opstarten eerst alle componenten, wat enige tijd in beslag neemt. Het duurt bijna twee minuten vanaf een koude start tot we het besturingssysteem in het opstartmenu konden selecteren, waarna het bijvoorbeeld bij het laden van Windows Server 2022 nog eens 20 seconden duurt voordat we het inlogscherm zagen.
Speciale toepassingen voor de enorme cache van de Epyc 7773X
Zoals gezegd helpen de enorme caches van de Epyc 7773X niet in alle scenario’s. Bij de integer-tests van de sterk geoptimaliseerde SPEC CPU2017 presteerden de nieuwe cpu’s bijvoorbeeld nog geen 5 procent hoger, in het floatingpoint-gedeelte is het bij de Milan-X echter ongeveer 10 procent meer. De Epyc 7773X renderden de scène in het klaslokaal met de huidige Blender 3.2.1 in een record brekende 38,1 seconden onder Windows Server 2022, in Ubuntu 2204 was het, zoals gewoonlijk, iets sneller met 33,1 seconden. Daarnaast hebben we de nog uitgebreidere Lone Monk-scène gemeten. Ook daarmee vestigt de Epyc 7773X-combi nieuwe records met 352 (Windows Server) en 298 seconden (Ubuntu), maar komt des ondanks niet in de buurt van de snelste gpu-versnellers.
Zoals verwacht blinken ze vooral uit in geheugenintensieve toepassingen. AMD zelf onderscheidt programma’s voor Electronic Design Automation (EDA), Computational Fluid Dynamics (CFD), Finite Element Analysis (FEA) en Structural Analysis – alles bij elkaar intensieve technische berekeningen met grote maar nog steeds hanteerbare datasets. Databaseservers moeten daarentegen zeer speciaal zijn ontworpen om te kunnen profiteren van de cachegrootte van de Milan-X.
AMD Epyc 7773X laat voorgangers achter zich bij 7-Zip
We hebben de sterkste groei gemeten bij de – verrassing – geheugenintensieve compressiebenchmark met 7-Zip, waar de Epyc 7773X duidelijk beter presteerden dan hun voorgangers met bijna 590 MB per seconde (611.000 tegen 418.000 MIPS voor de Epyc 7763). Intels Xeon Platinum 8380 blijft daar duidelijk bij achter, niet alleen vanwege het kleinere aantal kernen, maar vooral vanwege het kleinere aantal geheugenkanalen, en haalde slechts iets minder dan 300.000 MIPS.
Als je de serverprocessors als supersnelle workstation-vervanging wilt gebruiken, moet je opletten: zelfs zeer parallelle compileertaken, zoals bij Visual Studio 2022 met Unreal Engine 5 als voorbeeld, schalen niet optimaal ten opzichte van een 64-core workstationprocessor zoals AMD’s eigen Threadripper Pro 5995WX. Bij de test deed deze weliswaar 713 seconden over de gehele taak vergeleken met de 566 seconden van de Epycs, maar zelfs bij de afzonderlijk getimede ‘parallel executor’ presteerde hij slechts 30 procent slechter.
Performancemetingen serverprocessors
Conclusie: GIGABYTE MZ72-HB2 (rev3.0) met 2 × AMD Epyc 7773X in de test
Serverhardware in een towerbehuizing is een ambivalente zaak, vooral als je er zelf mee aan de slag gaat. Er zijn enkele valkuilen die moeten worden vermeden en vooral de temperaturen, niet alleen van de processors, moeten goed in de gaten worden gehouden. Anderzijds kan de towerbehuizing worden gekoeld zonder het typische luide servergejank, en zelfs bij kleinere bedrijven dreunt de serverruimte niet door tot in de gang of de naburige kantoren.
Als je de snelste serverprocessor voor een dualsocket-systeem nodig hebt, kun je met AMD’s Epyc 77×3 serie niet in de fout gaan. Je moet echter wel goed kijken of je het volledige aantal kernen en de enorme cache ook echt nodig hebt – sommige toepassingen schalen gewoon niet zo goed en hebben dus meer baat bij de hogere kloksnelheid van de 16- of 32-core cpu’s. Als je de 128 kernen echter bezig kunt houden, zal de Epyc 7773X je bij sommige toepassingen een aanzienlijke, maar ook flink dure, extra performanceboost geven.
(Deze informatie is afkomstig uit het artikel in c’t 11, 2022, pagina 94-97 en is geschreven door Carsten Spille en Noud van Kruysbergen.)
