We hebben allemaal grenzen nodig… zo ook AI

AI-agents beloven kunstmatige intelligentie verder te brengen dan het beantwoorden van vragen en contentcreatie. Door AI-modellen te koppelen aan tools en bedrijfssystemen kunnen organisaties ze zelfstandig taken laten uitvoeren. Dat brengt echter nieuwe veiligheidsrisico’s met zich mee. Waar een incorrect antwoord van een chatbot nog door een mens kan worden hersteld, kan een AI-agent direct schade veroorzaken door bijvoorbeeld e-mails te versturen, opdrachten uit te voeren en zelfs geld terug te betalen.

Large Language Models (LLM’s) zijn niet volledig betrouwbaar. Bovendien kunnen kwaadwillenden via prompt-injecties de instructies en het gedrag van een model beïnvloeden. Betere beveiliging en betrouwbaarheid zijn noodzakelijk maar voorkomen helaas niet alle fouten. Organisaties moeten daarom niet alleen proberen fouten te voorkomen maar ook de gevolgen ervan beperken.

Het risico ontstaat wanneer AI-agents meer mogelijkheden en bevoegdheden krijgen dan nodig. Deze drie principes helpen dit risico te beperken:

Geef een agent uitsluitend toegang tot de tools die nodig zijn voor het uitvoeren van zijn taak. Een agent die e-mails leest en dagelijks een prioriteitenlijst maakt, heeft geen toegang nodig tot alle bestanden op een computer. Geef een agent die bestanden moet lezen bovendien alleen leesrechten en onthoud hem om willekeurige opdrachten uit te kunnen voeren. Kies voor een gerichte tool in plaats van een veelzijdig instrument waarmee onnodige schade kan ontstaan.

Een agent die e-mails leest, hoeft deze niet automatisch te kunnen versturen. Als een kwaadaardig bericht de agent probeert te manipuleren om vertrouwelijke informatie door te sturen, lukt dat niet wanneer verzendbevoegdheid ontbreekt. Beperk daarom de rechten van AI-agents tot wat hun functie vereist. Dit geldt zowel voor agents die namens gebruikers werken als voor agents met een eigen digitale identiteit. Zo kunnen OAuth-rechten helpen om toegang nauwkeurig(er) af te bakenen.

Menselijke goedkeuring voor iedere handeling lijkt veilig, maar werkt overbelasting en routinegedrag in de hand. Mensen kunnen herhaalde goedkeuringsverzoeken immers steeds minder kritisch beoordelen.

Een betere aanpak maakt onderscheid tussen eenvoudige, omkeerbare acties en risicovolle of onomkeerbare beslissingen. Een customer service agent mag bijvoorbeeld zelfstandig kleine terugbetalingen uitvoeren, terwijl grotere bedragen een menselijke goedkeuring vereisen. Ook het aantal transacties en de totale waarde moeten worden bewaakt, zodat herhaalde kleine transacties geen controles omzeilen.

Organisaties kunnen hiervoor twee criteria hanteren. Bij de eerste (de ‘yellow line’) wordt iemand gewaarschuwd en houdt hij/zij toezicht terwijl het proces doorgaat. Bij de ‘red line’ wordt de autonome uitvoering stilgelegd totdat iemand expliciet toestemming geeft.

AI-security mag niet afhankelijk zijn van de aanname dat modellen zich altijd correct gedragen. Organisaties moeten daarom een aantal vragen stellen: heeft een bepaalde agent alle beschikbare functies en toegekende rechten nodig? En moet hij iedere beslissing zelfstandig nemen?

Veilige AI betekent niet dat agents niets zelfstandig mogen uitvoeren. Het betekent dat hun handelingsvrijheid duidelijke grenzen kent en dat menselijk toezicht aansluit bij het risico. Bij toepassingen voor eindgebruikers moet deze balans bovendien instelbaar zijn, zodat gebruikers de mate van autonomie kunnen aanpassen aan hun eigen risicobereidheid.

AI-agents hebben geen onbeperkte vrijheid nodig om hun toegevoegde waarde te bewijzen. Ze hebben voldoende ruimte nodig om hun werk te doen én garanties die voorkomen dat een onverwachte beslissing uitgroeit tot een security incident.

Door: Andy Smith, Certified Instructor bij SANS Institute