Private AI: hoe kun je AI veilig binnen je organisatie draaien?

AI wordt steeds belangrijker op de werkvloer, maar hoe zorg je ervoor dat gevoelige bedrijfsdata niet zomaar buiten je organisatie terechtkomt?

Generatieve AI is inmiddels voor veel organisaties meer dan een experimenteel hulpmiddel. Medewerkers gebruiken taalmodellen voor het samenvatten van documenten, het schrijven en controleren van code, het doorzoeken van interne kennis en het opstellen van teksten. Een taalmodel kan bovendien antwoorden baseren op interne documenten en databases, zonder dat al die bedrijfskennis in het model zelf hoeft te worden getraind.

Juist die koppeling met bedrijfsinformatie vraagt om aandacht. Een medewerker die een contract, stuk broncode of klantdossier in een externe AI-dienst plakt, brengt data buiten de directe beheeromgeving van de organisatie. Daar komen specifieke AI-risico’s bij, zoals prompt injection, het lekken van gevoelige informatie, kwetsbaarheden in de softwareketen en onvoldoende controle over de uitvoer.

Dat betekent echter niet dat organisaties AI buiten de deur moeten houden.

Private AI is geen specifiek product, maar vooral een manier om AI in te richten. De modellen, prompts en bedrijfsdata worden verwerkt binnen een omgeving waarover de organisatie zelf controle heeft. Dat kan een AI-pc of workstation zijn, een server in het eigen datacenter, een private cloud of een combinatie daarvan.

Een volledig lokale installatie is de duidelijkste variant: model en data verlaten het eigen netwerk niet. Zo kun je bijvoorbeeld een eigen LLM-server voor een werkgroep opzetten. Zo’n server kan modellen centraal beschikbaar stellen, terwijl vragen en antwoorden niet naar de aanbieder van het model hoeven te worden verstuurd.

We hebben met onze review van de Lenovo Thinkstation PGX laten zien hoe je lokaal een AI-taalmodel kunt gebruiken.

Private AI hoeft echter niet te betekenen dat alles offline draait. In een hybride opzet kan gevoelige informatie lokaal worden verwerkt, terwijl minder gevoelige workloads naar een publieke clouddienst gaan. Belangrijk is de controle over de datastromen: welke informatie verlaat de organisatie, wie kan erbij en waar worden prompts, antwoorden en logbestanden opgeslagen?

Lokale verwerking maakt een omgeving niet automatisch veilig. Zodra een LLM toegang krijgt tot bestanden, databases, applicaties of andere tools, gelden nog steeds de gebruikelijke eisen rond authenticatie, autorisatie, netwerkbeveiliging, patchmanagement en monitoring.

Voordat je hardware kiest, moet duidelijk zijn welke informatie de AI mag verwerken. Begin daarom met dezelfde dataclassificatie die je voor andere bedrijfsapplicaties gebruikt. Publieke marketingteksten vragen om andere maatregelen dan personeelsdossiers, financiële rapportages, productontwerpen of broncode.

Bij generatieve AI verdienen vooral persoonsgegevens, intellectueel eigendom, contracten, klantgegevens, inloggegevens, API-sleutels en niet-openbare financiële informatie extra aandacht.

Bij persoonsgegevens blijft daarnaast de AVG relevant, ook als het model in het eigen datacenter staat. Het Europees Comité voor gegevensbescherming benadrukt dat je niet zomaar mag aannemen dat een AI-model met persoonsgegevens anoniem is. Dat moet per situatie worden beoordeeld.

De benodigde hardware hangt sterk af van het gebruik. Een enkele medewerker die een relatief compact model gebruikt, kan uit de voeten met een krachtige pc of workstation. Voor een afdeling die één centrale assistent gebruikt, ligt een GPU-server meer voor de hand. Grotere organisaties kunnen meerdere servers combineren met centrale opslag en snelle netwerkverbindingen.

Voor lokaal draaiende taalmodellen is vooral voldoende GPU-geheugen belangrijk. Niet alleen de modelgewichten moeten daarin passen, maar ook tijdelijke gegevens die tijdens de verwerking ontstaan. Grotere contextvensters en meerdere gelijktijdige gebruikers verhogen de geheugenbehoefte. Op datacenterniveau zijn weer andere eisen van belang: meerdere GPU’s, redundantie, snelle opslag, netwerkcapaciteit en centraal beheer.

De juiste keuze is dus niet automatisch het zwaarste systeem. Voor inferencing van een compact model gelden heel andere eisen dan voor het finetunen of trainen van grote modellen. Een pilot met representatieve data en een realistisch aantal gelijktijdige gebruikers kan voorkomen dat infrastructuur onnodig groot – of juist te klein – wordt gekozen.

Het is dan ook zaak de keuze voor de hardware daarop af te stemmen. De genoemde Lenovo ThinkStation PGX kan prima volstaan voor ZZP- of MKB-gebruik, maar voor grotere bedrijven zijn krachtigere machines zoals een ThinkStation

Private AI moet onderdeel worden van de bestaande IT-beveiliging. Identiteiten en rollen horen bijvoorbeeld centraal te worden beheerd, zodat een AI-assistent niet meer documenten kan ophalen dan de gebruiker zelf mag zien. Versleuteling is nodig voor opgeslagen data én dataverkeer en netwerksegmentatie kan voorkomen dat een AI-server ongecontroleerd andere systemen bereikt.

Daar bovenop komen AI-specifieke maatregelen. Prompt injection kan proberen een model eerder gegeven instructies te laten negeren of via gekoppelde tools ongewenste acties uit te voeren. Daarom moet autorisatie buiten het taalmodel worden afgedwongen. Een LLM mag bijvoorbeeld niet zelf besluiten of een gebruiker toegang heeft tot een financiële database.

Ook de modellen en softwarecomponenten zelf horen in het update- en kwetsbaarhedenbeheer. Logging en monitoring helpen om afwijkend gebruik, foutieve antwoorden en onverwachte belasting te signaleren.

Voor toepassingen die zelfstandig acties kunnen uitvoeren – agentic AI – wordt dat nog belangrijker. Zulke agents moeten alleen de minimale rechten krijgen die nodig zijn en menselijke goedkeuring vragen voor gevoelige of onomkeerbare handelingen.

Een private AI-omgeving hoeft niet meteen een organisatiebrede chatbot te zijn. Juist afgebakende taken lenen zich goed voor een eerste inzet. Denk aan het samenvatten en doorzoeken van interne technische documentatie, het analyseren van rapporten, het ondersteunen van programmeurs of het beantwoorden van vragen op basis van een gecontroleerde set bedrijfsdocumenten.

Ook beeldanalyse, transcriptie en verwerking van gegevens op een lokaal systeem zijn mogelijke toepassingen. Een bedrijf kan camerabeelden bijvoorbeeld lokaal analyseren zonder al het videomateriaal naar de cloud te sturen. Bij een hybride AI-aanpak kan Private AI zorgen dat verwerking dichter bij de plaats kan plaatsvinden waar de data ontstaat.

De afweging blijft steeds dezelfde: welk model is goed genoeg voor de taak, hoeveel rekenkracht kost het en welke gegevens mogen de gekozen omgeving verlaten? En welke hardware en infrastructuur hoort daarbij?

Het is zaak de benodige hardware goed af te stemmen om het doelscenario – niet andersom. Maar of je nu gaat voor een kleine oplossing zoals de genoemde kleine Lenovo PGX AI-server of een geavanceerder workstation of zelfs een rackserver-oplossing in een (eigen) datacenter, de belangrijkste stap is uiteindelijk niet de aanschaf van hardware, maar het vastleggen van regels voor het gebruik ervan.

Begin daarom bij een concrete toepassing en bepaal vooraf wat een geslaagd resultaat is. Meet bijvoorbeeld antwoordkwaliteit, verwerkingstijd, gebruik door medewerkers en de hoeveelheid handmatig werk die overblijft.

Maak daarna expliciet welke data beschikbaar mag zijn, wie toegang krijgt, welke modellen zijn toegestaan en wanneer lokale, private-cloud- of publieke AI mag worden gebruikt. Beveiliging en beheer horen vanaf het begin bij dat ontwerp.

Private AI is daarmee vooral een kwestie van controle. Lokale hardware zoals een kleine AI-server, een workstation of een eigen serverrack kan voorkomen dat gevoelige data naar een externe AI-dienst gaat, maar pas in combinatie met andere maatregelen en richtlijnen ontstaat een omgeving waarin AI verantwoord van experiment naar dagelijks bedrijfsmiddel kan doorgroeien.