(Bron: Gigabyte)
Naarmate cpu’s en gpu’s zich blijven ontwikkelen, verbruiken ze meer stroom en genereren ze meer warmte. Het is van essentieel belang om bij de aanschaf van een server te kiezen voor een juiste koeloplossing.
Een goede koeloplossing zorgt ervoor dat alles soepel blijft draaien zonder dat de energierekening omhoog gaat of er voortdurend onderhoud nodig is. We analyseren drie populaire opties – lucht-, water- en dompelkoeling – en laten zien wat GIGABYTE voor je kan betekenen.
Luchtkoeling
Lucht is het primaire medium voor het overbrengen van warmte, en daarom is de vuistregel in een luchtgebaseerd koelsysteem het verbeteren van de luchtstroom. Dit is van toepassing op zowel een compleet datacenter of een enkele server.
In een datacenter volgt de luchtstroom een specifiek pad dat is ontworpen om de warmte efficiënt af te voeren. Eerst wordt koele lucht door ventilatieopeningen in de vloer in de ‘cold aisle’ van het datacenter gepompt. Vervolgens wordt de koele lucht door de serverracks geleid, waarbij warmte wordt overgebracht naar de ‘hot aisle’. Tot slot wordt de stijgende warme lucht via plafondventilatieopeningen aangezogen en gekoeld door de computerruimte-airconditioningunit (CRAC), waarna de cyclus zich herhaalt.
Het is ook belangrijk dat de luchtstroom in de server zelf optimaal is. Langs elk belangrijk onderdeel moet er koele lucht stromen om de thermische energie af te voeren voor een goede serverkoeling. GIGABYTE biedt diverse innovatieve hardwareontwerpen om de luchtstroom te verbeteren en tegelijkertijd het binnendringen van verontreinigende stoffen in de lucht te voorkomen, zodat het koelen van de serverkast een koud kunstje wordt.
Voor elke server evalueert GIGABYTE de algehele luchtstroomrichting binnen een serverkast met simulatiesoftware, en stelt vervolgens de ventilatie nauwkeurig af. Krachtige ventilatoren, hoogwaardige koellichamen, speciale luchtkanalen en hittebestendige materialen zorgen voor een optimale koeloplossing, zelfs bij zware werkbelastingen.
Dit schema toont hoe warmte wordt afgevoerd in een luchtgekoeld datacenter. Servers worden ontworpen om de luchtstroom te optimaliseren en worden aangepast voor een betere bescherming tegen verontreinigende stoffen in de lucht die storingen in de apparatuur kunnen veroorzaken. (Bron: Gigabyte)
Waterkoeling
Waterkoeling voor servers, ook bekend als direct liquid cooling (DLC) of direct-to-chip (D2C) waterkoeling, maakt gebruik van afgesloten buizen (‘cooling loops’ genoemd) gevuld met koelvloeistof om de warmte af te voeren. De thermische energie wordt via koelplaten van de componenten naar de koelvloeistof overgedragen; vervolgens onttrekt een warmtewisselaar de warmte aan de koelvloeistof, zodat deze weer in de server kan circuleren en de cyclus zich kan herhalen.
Een op vloeistof gebaseerde koeloplossing is niet alleen doeltreffender in het afvoeren van de warmte, het maakt ook op lucht gebaseerde koelcomponenten zoals koellichamen of ventilatoren overbodig. De extra ruimte kan worden gebruikt om meer cpu’s of gpu’s toe te voegen. Daarom wordt voor high density servers en HPC-oplossingen (High Performance Computing) vaak een vorm van waterkoeling gebruikt. Daarbij wordt een ‘vloeistof-naar-lucht’-systeem of een pure ‘vloeistof-naar-vloeistof’-warmtewisselaar gebruikt als koeloplossing.
Een watergekoelde server maakt gebruik van afgesloten koelcircuits gevuld met koelvloeistof om de warmte af te voeren. De thermische energie wordt via koelplaten van de componenten naar het koelmiddel overgedragen; vervolgens onttrekt een warmtewisselaar de warmte en wordt de cyclus herhaald. (Bron: Gigabyte)
Vloeistof-naar-lucht koeling
Deze hybride koeloplossing is ideaal voor luchtgekoelde datacenters die een duik willen nemen in vloeistofkoeling zonder de infrastructuur volledig te herzien. Vloeistofgekoelde servers worden geïnstalleerd in standaard serverracks; de koelcircuits zijn verbonden met warmtewisselaars die in hetzelfde rack zijn gemonteerd. De warmte wordt afgevoerd naar de ‘hot aisle’ van het datacenter, vergelijkbaar met de manier waarop een luchtgekoelde server warmte afvoert. Dit maakt het mogelijk om een mix van luchtgekoelde en vloeistofgekoelde servers in dezelfde faciliteit te gebruiken. Hoewel warmtewisselaars enige rackruimte in beslag nemen, kunnen in vloeistofgekoelde servers meer processoren worden ondergebracht, zodat de totale rekenkracht toeneemt.
Vloeistof-naar-vloeistof koeling
Een vloeistof-naar-vloeistof koeloplossing kan meer warmte verwijderen dan vloeistof-naar-lucht, maar het komt met een voorbehoud: het kan alleen worden gebruikt in datacenters met een bestaande infrastructuur voor vloeistofkoeling. In plaats van warmte af te voeren naar de ‘hot aisle’, dragen de in de racks gemonteerde warmtewisselaars energie over aan het vloeistof-gebaseerde koelcircuit van de faciliteit. Dit voert warmte efficiënter af dan een standaard CRAC, waardoor de serverdichtheid exponentieel kan worden verhoogd, wat resulteert in nog meer rekenkracht.
GIGABYTE is een samenwerking aangegaan met twee toonaangevende leveranciers van koeloplossingen – Asetek en CoolIT Systems – om verschillende keuzes te bieden voor vloeistof-luchtkoeling en vloeistof-vloeistofkoeling. De oplossingen zijn er in vele maten: van de plaatselijke vloeistofkoeling van slechts één serverrack tot een volledig vloeistofgekoeld datacenter (ongeveer 750kW aan warmteafvoer).
Vloeistofgekoelde servers bieden meer rekenkracht, een grotere betrouwbaarheid, en ze kunnen worden geïnstalleerd waar de ruimte beperkt is. Daarom zijn ze populair in een groot aantal sectoren. Zo kunnen edge-datacenters vloeistofgekoelde servers met hoge dichtheid gebruiken om meer rekenkracht in een kleinere ruimte te persen.
Een andere sector waar vloeistofkoeling populair is, is ‘groen computergebruik’. Een van GIGABYTE’s klanten is het Duitse Lucht- en Ruimtevaartcentrum (Deutsches Zentrum für Luft- und Raumfahrt, DLR). Het team bij DLR nam het op zich een groen datacenter te bouwen. Ze wilden specifiek servers gebruiken die kunnen werken in een datacenter met een omgevingstemperatuur van 40°C, en zonder airconditioningapparatuur.
De GIGABYTE H261-Z60 High Density Server en andere modellen, zoals de G481-S80 en de R161-R12, kunnen worden aangepast voor waterkoeling. (Bron: Gigabyte)
GIGABYTE raadde de vloeistofgekoelde versie van de H261-Z60 High Density Server aan. In combinatie met geoptimaliseerde voedingen kon de oplossing het stroomverbruik met 15% verlagen in vergelijking met concurrerende producten. Aangezien er meer processors in een vloeistofgekoelde server kunnen worden ondergebracht, kon de CO2-voetafdruk met 50% worden gereduceerd, terwijl de rekenkracht kon worden verdubbeld. De vloeistofgekoelde serveroplossing voldeed aan de doelstelling van het DLR om milieuvriendelijke, snelle computers te implementeren in een beperkte ruimte.
De H261-Z60 is niet de enige server die in aanmerking komt voor vloeistofkoeling. Andere modellen zoals de G481-S80 en de R161-R12 kunnen worden aangepast. Om de G481-S80 als voorbeeld te nemen: door deze uit te rusten met een vloeistof-naar-lucht-warmtewisselaar kan tot 70% energie worden bespaard.
Dompelkoeling
Dompelkoeling is het toppunt van vloeistofkoeling. Door de servers rechtstreeks in een bad van niet-geleidende vloeistoffen onder te dompelen, kan warmte worden verwijderd zonder koelmechanismen zoals koellichamen of koude platen. De thermische energie wordt op een van de volgende twee manieren uit de vloeistof overgedragen: via een warmtewisselaar, waarbij er sprake is van eenfasige dompelkoeling; of via een cyclus van verdamping en condensatie, waarbij er over tweefasige dompelkoeling wordt gesproken.
GIGABYTE heeft de krachten gebundeld met LiquidStack en 3M om een tweefasige dompelkoeling oplossing te bieden. De servers worden in een afgesloten tank geplaatst die gedeeltelijk is gevuld met een ‘open bad’ van 3M Fluorinert Electronic Liquid FC72, een transparante, diëlektrische chemische stof die niet-geleidend en niet-corrosief is.
Bij dompelkoeling worden servers rechtstreeks in een bad van niet-geleidende vloeistof met een zeer laag kookpunt geplaatst. De warmte van de componenten zorgt ervoor dat de vloeistof verdampt en de warmte zich verspreidt. De condens wordt vervolgens afgekoeld door een condensatiespoel en keert terug naar een vloeibare staat. (Bron: LiquidStack)
Deze thermisch geleidende vloeistof heeft een ultralaag kookpunt van slechts 56°C. De warmte van de componenten zorgen ervoor dat er op natuurlijke wijze een verdampingsproces van de vloeistof bij lage temperatuur optreedt, waardoor de warmte uit de vloeistof wordt afgevoerd. De condensatie stijgt naar de bovenkant van de tank, waar de condens wordt afgekoeld door een warmtewisselaar (in dit geval een condensatiespoel) die de hem weer vloeibaar maakt. De vloeistof stroomt terug in het bad om opnieuw te worden gebruikt.
Tweefasige dompelkoeling heeft veel voordelen. Zo vindt de circulatie in de tank op natuurlijke wijze plaats zonder extra energie te verbruiken, waardoor de efficiëntie van het stroomverbruik (PUE) toeneemt. Volgens sommige schattingen kan het vervangen van luchtkoeling door tweefasige dompelkoeling leiden tot energiebesparingen tot 90%.
Bovendien betekent het verwijderen van onderdelen zoals pompen en jets minder onderhoud en een kleinere kans op apparatuurstoringen. De stabiliteit van het systeem wordt verbeterd terwijl de bedrijfskosten omlaag gaan.
Het grote aantal processoren dat met dompelkoeling in een kleine ruimte kan worden verpakt, maakt het ideaal voor het 5G-tijdperk. Telecombedrijven moeten edge-datacenters opzetten om snelle verwerkingsmogelijkheden te bieden en de latentie voor gegevensoverdracht te verminderen.
GIGABYTE heeft een Immersion Cooling Proof of Concept (POC) Unit gebouwd voor testen en validatie. Deze is volledig compatibel met 2U-vormfactoren en kan op verzoek worden aangepast voor 1U- of 4U-modellen. Veel servers in de GPU Server-productlijn van GIGABYTE zijn compatibel met de POC-eenheid: zoals G291-281, een model met hoge dichtheid dat een ongeëvenaarde acht double-slot gpgpu’s of co-processorkaarten kan huisvesten binnen een 2U-chassis; of G481-HA0, een 4U dual root server die 5G-netwerkinfrastructuur ondersteunt.
De juiste keuze
Uiteindelijk roept dit de vraag op welke van de drie hier genoemde koelsystemen geschikt is voor jou. Het is een feit dat geen twee klanten gelijk zijn. GIGABYTE raadt dan ook sterk aan om contact op te nemen met hun vertegenwoordigers, die deskundig advies en oplossingen op maat kunnen bieden voor jouw specifieke vereisten. Indien geïnteresseerd kan je mailen naar [email protected].
