Datacenters vergelijken op basis van elektrisch vermogen

Het aansluitvermogen en de koeling van een datacenter staan daarentegen al in de vroege planningsfase vast, mogelijk jaren voor de bouw. Het uitbreiden van de stroomvoorziening en koeling is erg ingewikkeld: je hebt een sterkere stroomaansluiting via de netbeheerder nodig, dikkere kabels, nieuwe transformators en noodstroomgeneratoren, grotere en zwaardere koelsystemen, luchtkanalen en waterleidingen met een grotere doorsnede en nog veel meer.

Voor ingrijpende veranderingen zijn vaak vergunningen van de overheid en nieuwe stroomtrajecten nodig.

Geen regel zonder uitzondering: bij datacenters die speciaal voor grote supercomputers worden gebouwd, is de rekenkracht al bekend. Omdat veel supercomputers dure prestigeprojecten zijn die grotendeels met belastinggeld worden betaald, publiceren de betreffende exploitanten zo indrukwekkend mogelijke cijfers.

De Top500-lijst vergelijkt die aan de hand van de Linpack-benchmark. Die meet onder nauwkeurig vastgelegde omstandigheden de rekenkracht van de systemen bij het oplossen van complexe lineaire vergelijkingen. Daarbij verwerken de machines floatingpoint-getallen met een lengte van 64 bit (Floating Point 64, FP64).

De huidige koploper van de Top500, El Capitan, staat in de VS en voert meer dan 1,8 biljoen FP64-berekeningen per seconde uit: 1,8 exaflops (EFlops). Maar de Linpack zegt niets over de prestaties bij andere rekenopgaven.

Veel beheerders van Top500-computers laten ook de High Performance Conjugate Gradients (HPCG)-benchmark draaien. Daarbij presteren de systemen, afhankelijk van hun architectuur, heel verschillend; zo staat de huidige nummer 7 (Fugaku) van de Top500-lijst in de HPCG op de tweede plaats.

Als je de theoretische maximale rekenkracht van alle rekenversnellers van de genoemde El Capitan bij elkaar optelt, kom je uit op 2,82 EFlops. De gestandaardiseerde Linpack-benchmark kan dus maar zo’n 64 procent van de theoretisch beschikbare kracht benutten. Daar kun je echter geen vuistregel uit afleiden, want sommige Top500-systemen komen bij Linpack dichter bij het theoretische maximum.

En in de genoemde HPCG-test haalt El Capitan met 17,4 PFlops maar zo’n 9 procent meer dan de Fugaku, waarvan de theoretische rekenkracht echter 81 procent lager ligt. Fabrikanten maken gretig misbruik van het simpelweg optellen van de theoretisch maximale rekenkracht van alle ingebouwde processors en versnellers.

Vaak verzwijgen ze bij dergelijke opgaven belangrijke details, zoals de rekennauwkeurigheid. Nvidia is daar een meester in. Want grote AI-taalmodellen (Large Language Models, LLM’s) leveren ook goede resultaten als ze met compacte gegevensformaten rekenen. Daarvoor zet je bijvoorbeeld FP32-waarden om naar formaten als BFloat 16 (BF16), FP8 of zelfs FP4 (kwantisering).

En veel moderne AI-versnellers kunnen in plaats van bijvoorbeeld twee FP64-waarden per klokcyclus ook acht BF16-, 16 FP8- of 32 FP4-gegevens verwerken. Zo wordt 1 PFlops aan FP64-rekenkracht in een mum van tijd 16 PFlops. En dat kun je nog eens verdubbelen, want sommige AI-versnellers verwerken zogeheten sparse matrices in het ideale geval twee keer zo snel (sparsity).

Die toverkracht verandert de supercomputer met 1 PFlops bij FP64, die niet eens meer op de Top500-lijst zou staan, in een 32 keer krachtiger AI-monster: indrukwekkend.

Van alle EU-landen heeft Duitsland de grootste capaciteit aan datacenters. Eind 2025 was dat in totaal zo’n 3 gigawatt (GW). In andere Europese landen zijn het ook grote steden zoals Londen, Amsterdam en Parijs. Daar hoort ook Dublin bij, omdat in Ierland veel onderzeese kabels uit de VS aankomen.

Volgens schattingen zijn er in Duitsland zo’n 50.000 datacenters – veel meer dan de 200 in Nederland en 60 in België. Daarvan hebben er echter maar zo’n 2000 een aangesloten vermogen van meer dan 100 kilowatt (kW) per stuk. Ter vergelijking: één enkele kast van het Nvidia DGX GB200 NVL72 AI-systeem verbruikt met 130 kW aanzienlijk meer dan het overgrote deel van alle datacenters. Slechts een paar honderd datacenters hebben een aansluitvermogen van meer dan één megawatt (1 MW).

Het aantal kleinere datacenters neemt steeds verder af omdat steeds meer bedrijven overstappen op clouddiensten of hun eigen servers in externe colocatie-datacenters laten draaien. De groei van datacenters concentreert zich op colocatie, cloud en AI.

Een typische eengezinswoning heeft een stroomaansluiting met een vermogen van 22 kW (230 volt, driefasig, elk 32 ampère). Tot de grootste verbruikers in huishoudens behoren boilers met 18 kW. De gasverwarming in een redelijk goed geïsoleerde eengezinswoning heeft vaak een vermogen van zo’n 20 kW, een gasboiler voor een huurwoning zo’n 6 kW.

Je zou met een aansluitvermogen van 10 MW dus zo’n 500 rijtjeshuizen of 1600 appartementen kunnen verwarmen. In de VS worden datacenters van de 1GW-klasse gebouwd en zijn er plannen voor een aantal met tot wel 10 GW. Dat laatste is meer dan de ongeveer 7 GW die bijvoorbeeld een land als Oostenrijk gemiddeld per jaar verbruikt.

Er staan voor Nederland de komende periode zeven nieuwe datacenters gepland (hyperscales) waarvoor de vergunningen al eerder afgegeven waren. Nu het stroomnet op bepaalde locaties zo overvol is dat er voor nieuwe woningaansluitingen geen ruimte meer op het net beschikbaar is en/of er geen ruimte is voor het verzwaren van bestaande aansluitingen, levert dat uiteraard de nodige aversie op.  

De grootste datacenters die tot nu toe zijn gepland, zijn ontworpen voor 0,5 GW. Dat komt overeen met het vermogen van een zeer krachtige eenheid van een gas- of bruinkoolcentrale. De eenheden van grote kerncentrales hebben een vermogen van zo’n 1,4 GW. Meer vergelijkingscijfers staan in de tabel.

Daaruit blijkt ook duidelijk dat veel van de AI-datacenters die nu in aanbouw zijn, een aansluitvermogen hebben dat 10 tot 100 keer hoger ligt dan dat van de tot nu toe krachtigste Top500-supercomputers.

Het vermogen dat de apparatuur in een datacenter maximaal kan gebruiken, heeft niet alleen betrekking op de stroomvoorziening, maar ook op de koeling. De geïnstalleerde hardware verbruikt namelijk letterlijk bijna alle energie en dat vermogen moet in de vorm van afvalwarmte weer uit het gebouw afgevoerd worden.

Laten we beginnen met de stroomvoorziening: grotere datacenters zijn via eigen transformatoren aangesloten op het lokale elektriciteitsnet, meestal redundant. Er staan dus niet alleen minstens twee transformatoren op het terrein, maar die zijn ook zo veel mogelijk gekoppeld aan twee verschillende stroomtrajecten.

De betreffende netbeheerder moet het benodigde vermogen ook kunnen leveren, waarvoor soms aanpassingen aan de stroomtrajecten nodig zijn. In sommige stedelijke gebieden stellen netbeheerders pas na een wachttijd van enkele jaren een aansluiting voor meerdere megawatt vermogen beschikbaar.

Na de transformatoren volgt een schakelinstallatie die tussen beide kan omschakelen en dieselgeneratoren aansluit, die het bij langdurige uitval van de externe stroomvoorziening overnemen. De stroomgeneratoren moeten het volledige vermogen van het datacenter aankunnen en hebben grote brandstoftanks nodig.

Daarvoor gelden op hun beurt strenge eisen op het gebied van milieubescherming en brandveiligheid, wat de kosten flink opdrijft. Uninterruptible Power Supplies (UPS-systemen) met bufferbatterijen vangen kortstondige storingen in de stroomvoorziening op en regelen ook de bedrijfsspanning van de servers, opslag- en netwerkapparatuur.

Vroeger waren centrale UPS-systemen gebruikelijk, maar in veel moderne hyperscale-datacenters staan modulaire UPS-systemen naast de serverkasten. Je spreekt ook wel van in-row power omdat de UPS-racks in dezelfde rijen (rows) staan als de serverracks. Die opstelling is makkelijker uit te breiden en aan te passen aan de specifieke behoeften van de computers.

De meeste grotere datacenters zijn intern onderverdeeld in talrijke serverruimtes om risico’s te minimaliseren. Het gaat daarbij om toegang door onbevoegden, de gevolgen van verbouwingswerkzaamheden en van stroomstoringen of brand. De kabelverdelingen naar de afzonderlijke serverruimtes zijn ontworpen voor een bepaald vermogen, dus voor een bepaalde stroomsterkte.

Voor hogere vermogens moeten de beheerders extra kabels leggen of kabels met een grotere aderdiameter. Daardoor zijn ook grotere kabelgoten of kabelbakken nodig, evenals grotere doorvoeren in muren en plafonds.

De bekabeling in de afzonderlijke serverruimtes is ontworpen voor een bepaald maximaal energieverbruik per rack. Een standaard rack heeft 42 tot 48 zogenaamde hoogte-eenheden (HE) voor apparaten in insteekbehuizingen met gestandaardiseerde afmetingen.

De meest gangbare servers met twee processors hebben behuizingen van twee HE. Daarvan passen er mechanisch gezien 20 tot 23 in elk rack. De resterende ruimte wordt vaak ingenomen door netwerkswitches (Top-of-Rack-switch, ToR-switch).

Afhankelijk van het energieverbruik en het gewicht van de afzonderlijke servers kun je niet elk rack volledig vullen om binnen de limieten te blijven voor stroomvoorziening en koeling, en voor het draagvermogen van de vloer.

De servers, netwerkapparatuur, harde schijven en opslagsystemen in een datacenter zetten het opgenomen elektrische vermogen grotendeels om in afvalwarmte. In elke serverruimte van het datacenter staan recirculatiekoelers met warmtewisselaars (Computer Room Air Conditioning, CRAC), waar koelwater doorheen stroomt.

Dat koelwater voert de afvalwarmte van de servers het gebouw uit, bijvoorbeeld naar terugkoelers op het dak of naast het gebouw. Door de warmtewisselaars van die terugkoelers blazen grote ventilatoren op zijn beurt omgevingslucht. Bij een voldoende lage buitentemperatuur is dat genoeg om de servers te koelen.

In het hoogseizoen wordt er echter extra water op de lamellen van de warmtewisselaars gespoten omdat verdampingskoeling de koeling aanzienlijk verbetert (adiabatische koeling). Dat verbruikt echter relatief veel water, dat in sommige gebieden juist in de zomer schaars is.

Een aantal datacenters werkt daarom met gesloten watercircuits, gebruikt de restwarmte voor andere doeleinden of loost die in rivieren, meren of de zee. De koeling van het hele datacenter en de afzonderlijke serverruimtes kent grenzen: de stroomsnelheid van de koellucht, het oppervlak van de warmtewisselaars, de diameter van de waterleidingen, het vermogen van de pompen en ventilatoren, en de grootte en het gewicht van de externe terugkoelers.

Het verhogen van het koelvermogen is minstens net zo ingewikkeld als het uitbreiden van de stroomvoorziening. Uiteindelijk bepaalt de opzet van de koeling van een datacenter het maximale vermogen dat elk afzonderlijk rack mag opnemen of afgeven.

Servers met twee processors en klassieke luchtkoeling in een 2HE-behuizing verbruiken tot ongeveer 2,5 kW. Een rack met 20 van die servers moet bij volledige belasting in totaal 50 kW afvoeren. Nog maar zo’n tien jaar geleden was ruim minder dan 20 kW per rack gebruikelijk.

Zoals hierboven al gezegd, komt dat overeen met het vermogen van de verwarming van een doorsnee eengezinswoning. Maar in een serverruimte staan er meteen een paar dozijn van dergelijke racks. In een open serverruimte vermengen koude toevoerlucht en warme afvoerlucht zich. Optimalisaties zoals een zogeheten cold aisle containment scheiden de luchtstromen, waardoor het koelvermogen toeneemt.

Nog beter is het als een rack zijn afvalwarmte helemaal niet in de ruimte blaast. Daarvoor plaatsen beheerders lucht-water-warmtewisselaars dichter bij de servers, bijvoorbeeld direct in de achterwand van elk rack (Rear Door Heat Exchanger).

Daarvoor zijn echter ook waterleidingen naar elk afzonderlijk rack nodig. Een tussenstap is in-row-koeling: daarbij staan lucht-water-warmtewisselaars tussen de racks waarin de servers draaien. Om ervoor te zorgen dat de lucht zoals bedoeld circuleert, moeten de racks dan echter samen met de koelapparatuur in gesloten behuizingen staan.

Voor de huidige AI-systemen is zelfs dat niet meer genoeg omdat ze meer dan 130 kW per rack verbruiken. Dan worden lucht-water-warmtewisselaars in elke serverbehuizing geïntegreerd of gaat het koelwater rechtstreeks door de koelers van elke afzonderlijke processor. Maar dan heeft elke afzonderlijke server minstens één paar wateraansluitingen nodig (aanvoer en retour), en bij een redundante opstelling zelfs twee paar. Experts verwachten dat het vermogen per rack tegen 2030 zou kunnen stijgen tot een megawatt.

De huidige AI-boom is mogelijk geworden omdat de rekenkracht van processors (CPU’s), grafische processors (GPU’s) en AI-versnellers met elke nieuwe generatie flink toeneemt. Er komen wel steeds weer nieuwe chips op de markt die veel meer energie verbruiken dan hun voorgangers, maar in het algemeen neemt ook de efficiëntie flink toe – oftewel de rekenkracht per watt.

Dat blijkt op indrukwekkende wijze uit de zogenaamde Green500-lijst, die al geruime tijd twee keer per jaar samen met de Top500-lijst van ’s werelds snelste supercomputers verschijnt. De meest efficiënte Green500-systemen leveren per watt verbruikt vermogen meer dan 70 miljard floatingpoint-berekeningen per seconde, oftewel meer dan 70 GFlops/W.

Vier jaar oude supercomputerhardware haalde slechts zo’n 40 GFlops/W. Omgekeerd betekent dat voorbeeld: als je na vier jaar alle servers in een datacenter zou vervangen, zou het bij hetzelfde energieverbruik zo’n 75 procent meer rekenkracht kunnen leveren. Na zestien jaar gebruik en vier van dergelijke generatiewisselingen zal dan bijna tien keer zoveel rekenkracht bereikt zijn.

Tegen die achtergrond is het vermelden van de rekenkracht voor een nieuw datacenter ronduit misleidend. En voor specifieke toepassingen van servers speelt de rekenkracht geen wezenlijke rol, bijvoorbeeld bij opslagsystemen. Uit het aansluitvermogen van een datacenter alleen kun je niet direct afleiden wat het jaarlijkse energieverbruik is.

Vooral bij colocatie-datacenters bepaalt de exploitant niet welke hardware er wordt geïnstalleerd en ook niet hoe die wordt gebruikt. Bij sommige datacenters duurt het jaren voordat ze volledig bezet zijn. En veel servers doen het grootste deel van de tijd niets en verbruiken dan ook maar een fractie van hun nominale elektrisch vermogen.

Hoeveel elektrische energie een datacenter dus concreet per jaar verbruikt, weet alleen de betreffende exploitant. De meesten maken dat niet bekend.

Het elektrisch aansluitvermogen van een datacenter is een concreet getal waarmee je vergelijkingen kunt maken tussen verschillende soorten datacenters en zelfs tussen datacenters en andere industriële installaties. Daarvoor is wat achtergrondkennis nodig. Bovendien blijft het aansluitvermogen van de meeste datacenters jarenlang hetzelfde, terwijl de rekenkracht van de computers die erin draaien vele malen groter kan worden.

De rekenkracht van totaal verschillende servers kun je sowieso nauwelijks zinvol vergelijken. In het ideale geval leveren benchmarks wel duidelijke cijfers op, maar die zijn niet te vertalen naar de prestaties bij het verwerken van andere taken.

Als je vertrouwt op de gegevens van fabrikanten over de rekenkracht van hun systemen, raak je helemaal de weg kwijt: die vergelijken appels met peren, precies zoals het hen het beste uitkomt.

(Christof Windeck en Alieke van Sommeren)