Betrouwbaarheid multi-terabyte-schijven in een NAS-RAID

Opslagsystemen met terabyte schijven in een NAS RAID met de beste kenmerken zijn niet alleen te duur, groot, energieverslindend en lawaaierig voor particuliere huishoudens, ze zijn ook ontworpen voor datacenters met airconditioning en een redundante en fail-safe voedingssysteem. In dit artikel gaan we in op de ‘industriële’ opslag. In het artikel Betrouwbaarheid terabyte schijven NAS bij thuis gebruik worden de goedkope NAS mogelijkheden behandeld.

Harde schijven blijven groeien – niet de buitenmaten, waar het 3,5-inch formaat populair blijft, maar in termen van opslagcapaciteit. Schijven met 18 TB zijn in de detailhandel verkrijgbaar voor minder dan 400 euro en modellen met 20 TB worden binnenkort verwacht. Seagate heeft er onlangs een gepresenteerd.

Voorzichtig met capaciteit in NAS-behuizing

Het gevolg is dat je een RAID-­array kunt opzetten met een enorme bruto capaciteit in een eenvoudige NAS-behuizing van zo’n 350 euro. Maar daarmee moet je voorzichtig zijn, want je kunt makkelijk in de problemen komen. In het ergste geval worden daarbij gegevens vernietigd.

Er zijn drie belangrijke bronnen van problemen:

Uiteindelijk is er maar één zekere manier om op dergelijke problemen voorbereid te zijn: regel­matig ­back-ups maken op verschillende andere schijven, waarvan je er één zo mogelijk op een andere plaats bewaart. Maar ook daar komt het eerste probleem om de hoek kijken: een volledige back-up van een volume van 50 TB naar usb-schijven duurt drie dagen.

Efficiëntere strategieën

Efficiëntere strategieën, zoals incrementele back-ups of het back-uppen van snapshots naar een tweede NAS, helpen, maar vergen planning en onderhoud. Hoe dan ook, back-ups kosten geld, zowel voor extra hardware als voor de elektriciteit die nodig is om ze te maken.

Met andere woorden: als je bestanden op betrouwbare wijze wilt opslaan, moet je verder denken dan alleen de kosten en het onderhoud van het eigenlijke opslagsysteem.

Een blik op professionele opslagsystemen helpt om te begrijpen waar de pijnpunten liggen bij kleine servers en NAS-systemen. Die laatste zijn immers geen verkleinde of afgeslankte versies van datacenter-opslagsystemen, die vaak meerdere petabytes aan gegevens bevatten.

Dergelijke professionele opslagsystemen werken in verschillende cruciale opzichten fundamenteel anders en veel van die functies kunnen nog niet worden gerealiseerd met de betaalbare, energiebesparende, compacte en stille hardware voor thuisgebruik.

Hoge overdracht, veel stroom, veel PCIe-lanes

Professionele opslagsystemen halen veel hogere overdrachtssnelheden, waardoor niet alleen de normale toegang tot die systemen wordt versneld, maar ook de onderhouds- en reparatiefuncties.

Om dat te bereiken worden bijvoorbeeld bijzonder schrijfveilige NVMe-ssd’s gebruikt, evenals netwerkadapters met 10 Gbit/s Ethernet (10GE) of zelfs 25GE en hoger. Dat vereist op zijn beurt processors met veel snelle PCIe-lanes. Dat alles is duur, verbruikt makkelijk enkele honderden ­watts aan energie, zelfs in de ruststand, en werkt met goed koelende ventilatoren die een hoop herrie maken.

Maar het echte verschil bij moderne opslagsystemen zit in hun concept en de gebruikte software. Zogenaamde scale-out-systemen bestaan uit meerdere servers met ingebouwde opslagmedia en snelle netwerk­kaarten.

Blijf op de hoogte van de nieuwste informatie en tips! Schrijf je in voor de nieuwsbrief:

Klassieke RAID is al verlaten

Door verschillende van die modules met elkaar te verbinden, kunnen drie factoren tegelijk worden uitgebreid: opslagcapaciteit, overdrachtssnelheid en redundantie. Wat dat betreft is de klassieke RAID allang ver­laten en wordt bijvoorbeeld gebruik gemaakt van Erasure Coding om gegevens flexibel te verdelen over meerdere opslagmedia in verschillende systemen – in blokken, en niet zoals bij RAID afhankelijk van de individuele capaciteit van de betrokken gegevensdragers.

Daardoor zijn de gegevens beter beschermd tegen storingen van afzonderlijke componenten.

Moderne opslagsystemen met terabyte schijven in NAS RAID genereren controlecodes

Moderne opslagsystemen genereren controlecodes vóór het schrijven en vergelijken die tijdens het lezen om de integriteit van afzonderlijke gegevensblokken te beschermen. Aanvullende functies zoals deduplicatie en compressie zijn gebruikelijk om ruimte te besparen, evenals snapshots voor versiebeheer, back-ups, archivering en onderhoud.

Vaak gelezen bestanden op ssd

De huidige opslagsoftware beheerst ook tiering (van het Engelse tier voor laag of niveau) om gericht gebruik te maken van speciale eigenschappen van ­verschillende gegevensdragers in het systeem. Bestanden die vaak worden gelezen, worden bijvoorbeeld opgeslagen op snelle ssd’s, terwijl data die minder vaak wordt gebruikt op harde schijven blijven staan.

Veel RAM en processorkernen

Om honderden of zelfs duizenden gebruikers tegelijk van dienst te kunnen zijn, beschikken moderne opslagservers over enkele honderden gigabytes RAM en enkele tientallen processorkernen. Sommige algoritmen, zoals caching en deduplicatie, vergen veel RAM, dat bovendien tegen de meest voorkomende bitfouten moet worden beschermd door middel van Error Correction Code (ECC). Sommige geheugen­systemen maken zelfs gebruik van geheugenmodules die tegen stroomuitval zijn beveiligd (Non-­Volatile DIMM, NVDIMM) voor belangrijke indexen.

Te duur voor thuisgebruik

Opslagsystemen met de bovengenoemde kenmerken zijn niet alleen te duur, groot, energieverslindend en lawaaierig voor particuliere huishoudens, ze zijn ook ontworpen voor datacenters met airconditioning en een redundante en fail-safe voedingssysteem.

Om het risico op problemen te beperken, worden bij dergelijke systemen alleen door de fabrikant goedgekeurde (dat wil zeggen gevalideerde, gecertificeerde of geteste) onderdelen gebruikt, tot en met de gespecificeerde versies van drivers en firmware. Onderhouds- en servicecontracten zijn ook gebruikelijk, evenals scholing voor beheerders.

(Deze informatie is afkomstig uit het artikel van Christof Windeck en Marco den Teuling, en verscheen eerder in c’t 6, 2021, p114)