De Europese Organisatie voor Nucleair Onderzoek, beter bekend als CERN, maakt gebruik van de high-density gpu-servers van Gigabyte die voorzien zijn van 2e generatie AMD Epyc-processors. Het doel: de enorme hoeveelheid gegevens die door subatomaire deeltjesexperimenten met de Large Hadron Collider (LHC) worden gegenereerd te verwerken. De indrukwekkende rekenkracht van Gigabyte’s multicore-ontwerp van de gpu-servers op basis van AMD Epyc-cpu’s, biedt nieuwe mogelijkheden voor de hoge-energiefysica. Gigabyte heeft een whitepaper over High Performance Computing beschikbaar gesteld dat u kunt downloaden via het formulier aan het einde van dit artikel.
(Bron: Gigabyte)
CERN, opgericht in 1954, is het grootste laboratorium voor deeltjesfysica ter wereld. Een gerenommeerd team van wetenschappers beschikt over geavanceerde wetenschappelijke instrumenten om natuurkundige experimenten uit te voeren. Het doel is om nieuwe kennis te vergaren die verder reikt dan ons huidige begrip van het standaardmodel van deeltjesfysica.
Van de vele projecten waar CERN zich mee bezig houdt, is de Large Hadron Collider (LHC) deeltjesversneller het grootste project, dat ook de meeste energie vereist. Om de zoektocht naar het subatomaire deeltje dat bekend staat als de ‘beauty’ (of bodem) quark te versnellen, heeft CERN besloten om te investeren in extra computerapparatuur om de enorme hoeveelheden ruwe data die de LHC genereert te analyseren.
Zoeken naar rekenkracht
Toen men bij CERN op zoek ging naar manieren om de bestaande apparatuur uit te breiden, had het verwerven van High Performance Computing (HPC) mogelijkheden de hoogste prioriteit. Ze waren specifiek op zoek naar servers die over snelle multi-core-processors en meerdere grafische versnellers beschikten. Bovendien moesten de servers ook PCIe Gen 4.0 uitbreidingskaarten ondersteunen.
Gigabyte heeft ruime ervaring in HPC-toepassingen. Toen AMD de PCIe Gen 4.0-technologie op hun x86-platforms introduceerde, is Gigabyte daar direct op ingesprongen en heeft in samenwerking met AMD de eerste gpu-servers ontworpen die PCIe Gen 4.0 ondersteunen. Gigabyte heeft aan CERN de Gigabyte G482-Z51 geleverd, een model op basis van de AMD Epyc 7002-serie cpu’s in een 4U-chassis waarin ruimte is voor maximaal acht PCIe Gen 4.0 GPGPU-uitbreidingskaarten.
Gigabyte heeft voor CERN het geïntegreerde hardware-ontwerp van de server geoptimaliseerd, van de elektronische componenten en de printplaat tot aan het stroomvoorzieningssysteem toe. De signaalintegriteit werd gemaximaliseerd door het signaalverlies bij hogesnelheidstransmissies tussen cpu en gpu en tussen gpu’s onderling te minimaliseren. Dit resulteerde in een gpu-server met een lagere latentie, een hogere bandbreedte en een hoge mate van betrouwbaarheid.
De Gigabyte G48-Z51 is ‘s werelds eerste server die PCIe 4.0 ondersteunt en kan tot 8 PCIe 4.0 GPU-kaarten onderbrengen. (Bron: Gigabyte)
Groter dan de som…
Om grote hoeveelheden data effectief te verwerken met HPC-technologie, is er meer van belang dan de gecombineerde rekenkracht van de cpu en gpu alleen. Een hoge snelheidsoverdracht is daarbij cruciaal; of het nu gaat om het verwerken en opslaan van gegevens tussen meerdere serverclusters, of om het versneld verwerken en communiceren van gegevens tussen apparaten die via het internet met elkaar verbonden zijn. De Gigabyte G482-Z51 kan deze snelheden realiseren dankzij de PCIe Gen 4.0-interface, die hoogwaardige netwerkkaarten ondersteunt. De ruimere bandbreedte maakt een snelle datatransmissie mogelijk, wat op zijn beurt de prestaties van het hele HPC-systeem verbetert en het mogelijk maakt om de 40 terabytes aan ruwe data te verwerken die de deeltjesversneller elke seconde genereert.
Om de enorme hoeveelheden gegevens die bij experimenten met de LHC worden gegenereerd snel te kunnen analyseren, heeft CERN zijn eigen krachtige computerkaarten ontwikkeld om alle berekeningen uit te voeren. Ze hebben deze kaarten gekoppeld aan grafische kaarten die ontworpen zijn voor de beeldverwerking.
Gigabyte heeft de uitbreidingsslots van de G48-Z51 aangepast voor de door CERN ontwikkelde kaarten. Ook werd het bios getweakt om de verbinding tussen de kaarten en het moederbord te optimaliseren, zodat elke kaart de maximale PCIe Gen 4.0-snelheid kon bereiken.
Maatwerk
CERN had allerlei speciale specificaties aangeleverd, van de voeding tot de netwerkinterfacekaarten en de manier waarop de acht GPGPU-kaarten aangebracht moesten worden. Ook moest er extra gelet worden op de warmteproductie van deze I/O-apparaten. Gigabyte heeft ook daar rekening mee gehouden door het ontwerp aan te passen en de luchtstroom dermate te optimaliseren zodat de warmte efficiënt kan worden afgevoerd om te vermijden dat er delen binnen de servers overmatig zouden verhitten.
Een van de grootste voordelen van de AMD Epyc-cpu is het multicore-ontwerp. Gigabyte heeft op basis van de AMD Epyc 7002 een reeks hoogwaardige servers weten te creëren die hoge prestaties en betrouwbare stabiliteit bieden. Daarmee kon Gigabyte voldoen aan de vereisten van CERN en een oplossing bieden die in staat is om grote hoeveelheden gegevens te analyseren en HPC-workloads snel te verwerken. Door de ervaringen die bij het project voor CERN zijn opgedaan, heeft Gigabyte zijn technologische kennis weten uit te breiden en vooruitstrevende stappen gezet in de toepassing van HPC-oplossingen voor academisch onderzoek en wetenschappelijke ontdekkingen.
