Confidential computing beschermt gegevens wanneer er in externe clouds mee gerekend wordt. We laten zien hoe de uitbreiding naar GPU’s die techniek ook bruikbaar maakt voor AI-toepassingen.
Confidential AI beschermt gevoelige gegevens in de cloud
AI is bij veel bedrijven al een alledaags hulpmiddel. Ontwikkelaars werken ermee aan hun code, afdelingen doorzoeken er documenten mee, supportteams automatiseren er antwoorden mee en analisten vatten er grote hoeveelheden data mee samen. Daardoor komt er echter ook allerlei informatie in AI-systemen terecht die voorheen vaak binnen je eigen netwerk zou zijn gebleven: broncode, klantgegevens en wellicht ook dingen als bedrijfsgeheimen.
Dat levert een probleem op met gegevensbescherming. Je moet de AI-beheerders vertrouwen. Dat verandert ook niet als je contractueel vastlegt wat een aanbieder wel en niet met de gegevens mag doen en bijvoorbeeld de instellingen van het systeem zo zet dat AI-training op eigen gegevens verboden is.
In principe kunnen servicebeheerders en cloudproviders prompts, dus vragen aan de AI inclusief alle context, en ook de antwoorden inzien – bijvoorbeeld omdat hun nationale wetgeving hen daartoe verplicht.
Met de term confidential AI, oftewel vertrouwelijke AI, wordt AI-verwerking in de cloud bedoeld die gevoelige gegevens niet alleen tegen externen moet beschermen, maar ook tegen de serviceprovider en de cloudbeheerder. De basis daarvoor is confidential computing, een techniek die gegevens niet alleen tijdens opslag en overdracht beschermt, maar ook tijdens de verwerking.
Apple gaat met Private Cloud Compute, kortweg PCC, bijvoorbeeld precies die weg in (zie de link bij dit artikel). PCC moet AI-verzoeken die te groot of te complex zijn voor een lokaal apparaat in de cloud verwerken zonder dat je daarvoor volledig moet vertrouwen op de cloudbeheerder.
Een lek in de verwerking
In moderne cloudomgevingen draaien echter veel bevoorrechte componenten die – in principe – inzicht kunnen krijgen in de verwerking van niet-versleutelde gegevens, zoals hypervisors, host-besturingssystemen, beheersoftware en monitoring- en beheertools.
Daarbij komen nog juridische en organisatorische risico’s. De Amerikaanse CLOUD Act staat bijvoorbeeld toegang tot elektronische informatie toe bij in de VS gevestigde dienstverleners. Dat is een voorbeeld van waarom het opslaan van gegevens binnen je eigen rechtsgebied niet hetzelfde is als technische gegevenssoevereiniteit.
Lokale modellen en filters
Voor veel toepassingen zijn die risico’s acceptabel, voor andere niet. De voor de hand liggende oplossing is lokale inferentie. Het AI-model draait dan op je eigen apparaat of in je eigen datacenter en de gegevens verlaten die eigen omgeving niet.
Het nadeel is de schaalbaarheid. Grote taalmodellen hebben veel opslagruimte, snelle rekenversnellers en een geavanceerde bedrijfsomgeving nodig.
Ook brengt het opzetten en onderhouden van moderne AI-systemen hoge kosten met zich mee en vereist dat veel expertise. Als je hoge kwaliteit, schaalbaarheid, lage latentie en grote contextvensters nodig hebt, kom je al snel weer in de cloud terecht.
Filters en anonimisering helpen maar tot op zekere hoogte. Vertrouwelijkheid zit vaak in de context. Zelfs een geanonimiseerd strategiedocument kan door de rest van de inhoud nog steeds aanwijzingen geven over een bepaald bedrijf, een persoon of een proces.
Cryptografische methoden zoals Fully Homomorphic Encryption en Secure Multi-Party Computation lijken op het eerste gezicht ideaal. Die methoden zijn gebaseerd op cryptografische protocollen die vertrouwelijkheid niet garanderen op basis van correct werkende hardware of software, maar door grondig onderzochte wiskundige principes. Ze worden al gebruikt bij de eerste toepassingen met een groot gebruikersbestand, maar zijn voor grote taalmodellen nog te traag of te complex.
Voor de interactieve cloud-AI van vandaag is confidential computing daarom een praktischer manier.
Confidential computing voor AI
Confidential computing beschermt gegevens tijdens de verwerking in een op hardware gebaseerde Trusted Execution Environment, kortweg TEE. We gaan hier maar even kort in op de CPU-kant, omdat die al aan bod is gekomen in een eerder artikel over confidential computing [1].
Systemen zoals AMD SEV-SNP en Intel TDX maken extra beveiligde en geïsoleerde virtuele machines mogelijk. Het werkgeheugen van zo’n vertrouwelijke virtuele machine wordt versleuteld, zodat zelfs de VM-hypervisor en andere bevoorrechte systeemlagen de inhoud niet kunnen lezen of wijzigen.
Daarnaast maakt de zogeheten Remote Attestation het mogelijk om via cryptografische methoden de status van die beveiligde omgeving te controleren, voordat je er gevoelige gegevens aan toevertrouwt.
Voor veel klassieke servertoepassingen is zo’n geïsoleerde omgeving, die berekeningen op de CPU beschermt, voldoende. Maar voor AI is dat niet genoeg, omdat grote AI-modellen niet in de eerste plaats op CPU’s draaien. Ze hebben GPU’s of gespecialiseerde rekenversnellers nodig die heel veel rekenoperaties tegelijk uitvoeren en extreem snel RAM aansturen.
Daardoor ontstaat er een technisch probleem. Een vertrouwelijke virtuele machine beschermt in eerste instantie de CPU-kant en het werkgeheugen van de virtuele machine. De daadwerkelijke AI-workload draait echter op de GPU. Prompts, modelgewichten, activeringen en tussenresultaten moeten dus van de CPU naar de GPU worden gestuurd en de bescherming door confidential computing moet ook die versneller omvatten.
Op de GPU
Verschillende bedrijven, zoals AMD, werken aan technische oplossingen daarvoor, maar op dit moment domineert de hardware van Nvidia de markt. Nvidia heeft met zijn Hopper-architectuurgeneratie, en met name de H100-chips, confidential computing uitgebreid naar GPU’s.
H100-GPU’s kun je in een vertrouwelijke modus gebruiken. Daarbij start de versneller op met Secure Boot en Measured Boot, heeft hij een hardware-Root of Trust en genereert hij een Attestation Report, oftewel een cryptografische vingerafdruk van de veilige configuratie.
Gebruikers van de cloudomgeving kunnen daarmee controleren of de GPU-hardware en -software niet gecompromitteerd zijn.
Bovendien maakt de GPU volgens Nvidia gebruik van SPDM, oftewel het Security Protocol and Data Model, om een beveiligde verbinding met het GPU-stuurprogramma tot stand te brengen.
Belangrijk is de samenwerking tussen CPU en GPU om effectief een gezamenlijke TEE te vormen. De vertrouwelijke virtuele machine draait nog steeds aan de CPU-kant, bijvoorbeeld met Intel TDX of AMD SEVSNP. Het GPU-stuurprogramma werkt binnen die beveiligde virtuele machine.
Eerst worden de CPU en GPU geverifieerd. Pas als beide kanten in de verwachte toestand zijn, worden vertrouwelijke invoer, modelgewichten of sleutels naar het geheel verzonden.
Cruciaal daarbij is de overdracht via PCI Express (PCIe). Via die verbinding communiceert de CPU met uitbreidingskaarten zoals GPU’s. De GPU kan daarbij via DMA (Direct Memory Access) gegevens uit het werkgeheugen lezen of ernaar schrijven zonder de CPU daarmee te belasten.
Geheugenbuffer
Om te voorkomen dat iemand op die manier gegevens tussen CPU en GPU kan onderscheppen of manipuleren, gebruikt de H100 geen buffergeheugen dat in leesbare tekst te lezen is. In plaats daarvan werkt de driver binnen de vertrouwelijke virtuele machine samen met de GPU-hardware via een versleutelde bounce buffer.
Die bounce-buffer bevindt zich in gedeeld systeemgeheugen, waar ook de GPU bij kan, maar bevat alleen versleutelde gegevens. De CPU en GPU wisselen de sleutel uit via een Diffie-Hellman-sleuteluitwisseling. Nvidia legt ook uit dat het systeem de command-buffers en CUDA-kernels versleutelt en met handtekeningen beveiligt voordat ze de PCIe-bus passeren.
Simpel gezegd werkt het als volgt: de toepassing draait in de vertrouwelijke virtuele machine. Gegevens die naar de GPU moeten, worden binnen de virtuele machine versleuteld en naar het bounce-buffer geschreven. De GPU leest die gegevens via PCIe, ontsleutelt ze in het GPU-geheugen binnen zijn beveiligde uitvoeringsomgeving en verwerkt ze daar. De resultaten gaan via de omgekeerde weg. De GPU versleutelt ze, plaatst ze in de bounce-buffer en de virtuele machine ontsleutelt ze weer.
Dat is belangrijk, want vanuit het perspectief van het aanvalsmodel wordt PCIe niet als betrouwbaar beschouwd. Een cloudbeheerder mag via de hypervisor of door observatie van het apparaatpad de prompts, gewichten en tussenresultaten niet in leesbare tekst zien.
Confidential computing op de GPU
Voor vertrouwelijke berekeningen op de GPU wordt de Trusted Execution Environment (TEE) van de CPU uitgebreid naar de GPU. De gegevensoverdracht daartussen valt op dit moment echter vaak nog niet onder de TEE, daarom zijn de gegevens onderweg versleuteld.
Trusted I/O
Versleutelde bounce-buffers zijn een pragmatische manier om GPU-workloads in vertrouwelijke virtuele machines te integreren. Het voortdurende versleutelen en ontsleutelen is echter niet bijzonder efficiënt. Bij de Blackwell-architectuur, die op Hopper volgt, maakt Nvidia daarom gebruik van Trusted I/O. Het idee erachter: het apparaatpad tussen CPU en GPU moet zelf onderdeel worden van de beveiligingsarchitectuur, zodat vertrouwelijke virtuele machines niet meer via een versleutelde tussenbuffer met de GPU hoeven te communiceren.
Daarvoor zijn twee componenten belangrijk: IDE en TDISP. Integrity and Data Encryption (IDE), geïntroduceerd bij PCIe 6.0, beschermt datapakketten tegen meelezen, manipulatie en herhalingen. Daarnaast maakt het Trusted Execution Environment Device Interface Security Protocol (TDISP) het mogelijk om apparaatfuncties, zoals een GPU-functie, veilig toe te wijzen aan een vertrouwelijke virtuele machine, die te beheren en weer los te koppelen van de virtuele machine.
GPU-naar-GPU-communicatie
Tot nu toe ging het – ook voor het gemak – om één enkele CPU, waarvan de TEE wordt uitgebreid naar een GPU. Om grote AI-modellen te draaien, is één GPU zelden genoeg. Modelgewichten, activeringen en andere parameters worden over meerdere GPU’s verdeeld.
Bij krachtige systemen communiceren Nvidia-GPU’s niet alleen via PCIe met elkaar, maar vooral via NVLink en NVSwitch. NVLink is een snelle directe verbinding tussen GPU’s, NVSwitch is de hub die veel van deze verbindingen samenvoegt tot een groter multi-GPU-systeem. Die verbindingen zijn aanzienlijk sneller en maken peer-to-peer-overdrachten tussen GPU’s mogelijk, zonder dat alle gegevens via de CPU hoeven te lopen.
Daarmee rijst weer dezelfde vraag: wat beschermt de gegevens als ze niet van CPU naar GPU gaan, maar van GPU naar GPU? Bij Hopper was juist dat een beperking. In de releasenotes van Nvidia wordt wel een Protected-PCIe-modus beschreven, waarmee je meerdere Hopper-GPU’s via NVLink of NVSwitch aan een vertrouwelijke virtuele machine kunt koppelen. Maar de GPU-naar-GPU-communicatie via NVLink of NVSwitch is in die modus niet versleuteld.
In de eenvoudigere single-passthrough-modus is sowieso maar één GPU per vertrouwelijke virtuele machine voorzien.
De Blackwell-GPU-generatie dicht dat gat door ook gegevens te versleutelen die via NVLink (NVLink 5.0) worden overgedragen. Voor grote AI-modellen is dat cruciaal. Want voor grote cloudworkloads wordt de technologie pas interessant als meerdere GPU’s samen kunnen werken, zonder dat hun communicatie een nieuw lek vormt voor onversleutelde gegevens.
Gevestigd en schaalbaar
Dat dit alles geen niche-oplossing is voor speciale gevallen met heel gevoelige gegevens, blijkt onder andere uit Apples Private Cloud Compute, dat op grote schaal gebruikmaakt van confidential computing. PCC verwerkt AI-verzoeken van Apple-klanten die te groot zijn voor een lokaal apparaat, zonder dat dit een klassieke cloud-vertrouwensrelatie vereist.
In plaats van alleen op juridische en organisatorische toezeggingen te vertrouwen, verplaatst Apple centrale veiligheidsgaranties naar de technische architectuur.
Dat gaat zelfs zo ver dat Apple voor PCC samenwerkt met concurrent Google en hardware in diens cloud gebruikt. Concreet noemt Apple confidential computing met Nvidia-GPU’s, Intel-CPU’s met TDX en Googles Titan-chip als technische basis. Dat is opmerkelijk, want Apple had PCC aanvankelijk sterk gericht op zijn eigen Apple Silicon-infrastructuur. Voor grotere AI-modellen lijkt dat op dit moment echter niet genoeg te zijn.
Maar het antwoord van Apple was niet om zomaar op een cloudpartner te vertrouwen, maar om te vertrouwen op de technische beveiligingsmechanismen van confidential computing.
Literatuur
[1] David Knichel en Marco den Teuling, Gegevens in de cloud beveiligen, c’t 8-9/2026, p.108
Links bij dit artikel
PCC moet AI-verzoeken die te groot of te complex zijn voor het lokale apparaat in de cloud verwerken.
(David Knichel en Marco den Teuling)
Praat mee