AI leert handelen: van taalmodel naar agents

Microsoft fantaseert ondertussen over een toekomst waarin elk bedrijf Copilot Studio gebruikt om zijn eigen AI-agents te bouwen die autonoom acties uitvoeren en een heleboel andere agents aansturen. Agents zullen niet alleen vakantiebestemmingen voorstellen, maar ook hotels en reistickets boeken.

De ontwikkeling op dit gebied is in een stroomversnelling geraakt dankzij het Model Context Protocol (MCP) van Anthropic. Dat is bedoeld om de uitwisseling van gegevens tussen AI-toepassingen en andere gegevensbronnen te standaardiseren en te vergemakkelijken (zie bijvoorbeeld dit artikel over het Model Context Protocol).

Het uitgangspunt voor deze ontwikke­lingen is het besef dat de natuurlijke taal van grote taalmodellen bij uitstek geschikt is als uitwisselingsformaat tussen de componenten van een agent. En omdat LLM’s, in tegenstelling tot eerdere architecturen, al een bepaalde hoeveelheid wereldkennis hebben gecodeerd, kunnen ze taken op zich nemen die met conventioneel programmeren niet zo eenvoudig op te lossen zouden zijn.

“Het was een nogal grote verassing toen eenmaal duidelijk werd dat taalmodellen in hoge mate in staat zijn individuele stappen strategisch te kunnen inplannen om grotere problemen op te lossen,” zegt Jakob Nikolas Kather, hoogleraar aan de TU Dresden. “Nu zijn we voor het eerst in de menselijke geschiedenis getuige van de opkomst van steeds autonomer wordende hulpmiddelen die ook zelfstandig hun mogelijkheden kunnen uitbreiden.”

In hun eenvoudigste vorm zijn agents op basis van taalmodellen al wijdverspreid. De meeste grote commerciële modellen kunnen een zoekopdracht op internet uitvoeren, waarmee ze in feite al een extern hulpmiddel gebruiken. Ze kunnen ook wiskundige problemen oplossen.

Als een model niet in staat is om een wiskunde­probleem te beantwoorden op basis van zijn trainingservaring, herkent het dit en schrijft het in plaats daarvan een stuk code om het probleem op te lossen. Een agent voert de code uit en geeft het resultaat door aan de LLM, die het in natuurlijke taal aan de gebruiker presenteert.

Voor complexere problemen kunnen langere conversaties worden onderhouden waarin het taalmodel communiceert met een willekeurig aantal andere programma’s totdat het uiteindelijk tot een resultaat komt.

Het team van Dr. Tobias Wirth bij DFKI heeft een schema opgesteld van hoe een AI-agent is opgebouwd (zie kader). De LLM zelf doet alleen wat hij altijd heeft gedaan. Hij vult de tekst aan die als prompt is ontvangen. Of dit nu in de vorm van natuurlijke taal of programma­code is, doet er nauwelijks toe, want hij is met beide getraind.

Kather, wiens onderzoekswerk plaatsvindt op het grensvlak van informatica en geneeskunde, heeft al AI-systemen ontwikkeld voor medische toepassingen. Tot nu toe waren deze echter alleen nuttig voor specifieke toepassingsgebieden. Sommige algoritmen konden bijvoorbeeld tumoren detecteren op röntgenfoto’s, terwijl andere algoritmen artsen hielpen bij het zoeken in databases naar medische artikelen.

“Er zijn duizenden verschillende taken in de dagelijkse klinische praktijk,” zegt Kather. “Daarom brengen we deze bestaande modules nu samen en maken we ze als tools beschikbaar voor onze AI-agent. Centraal staat een groot taalmodel waaraan artsen complexe taken kunnen toewijzen.

De agent heeft eerst toegang tot de schat aan kennis in een database met klinische studies en richtlijnen die hem ter beschikking is gesteld en herkent dan zelfstandig of er in een bepaald geval bijvoorbeeld naar een tumor in de longen moet worden gezocht. Zo ja, dan roept het een radiologiemodel op dat gespecialiseerd is in longanalyse, laat het de beelden beoordelen, haalt het resultaat op en beslist op basis daarvan over de volgende stap.

“Het bijzondere is dat de agent flexibel kan reageren op de respectievelijke eisen,” zegt Kather. “Deze aanpak werkt bijzonder goed en kan ook complexe vraagstukken in kaart brengen.”

Kather en zijn team hebben voor elke module een interface gedefinieerd om hun agent uit te leggen welke tools beschikbaar zijn en hoe hij ze kan gebruiken. De externe modules vereisen immers verschillende invoer. De feedback kan ook verschillend zijn en naast tekst bijvoorbeeld numerieke waarden of binaire ja/nee-antwoorden bevatten.

“In het eenvoudigste geval is het voldoende om het centrale taalmodel te voorzien van een systeemprompt waarin de afzonderlijke hulpmiddelen in natuurlijke taal worden beschreven,” legt Kather uit. “Moderne taalmodellen zijn immers toch al specifiek geoptimaliseerd voor het gebruik van tools.”

Voorzichtigheid en zorgvuldigheid zijn vereist voor medische toepassingen. Kather en zijn team definiëren precies welke problemen een agent moet oplossen en welke tools hij daarvoor mag ge­­bruiken. Vervolgens bevriezen ze hun systeem zodat het niet kan veranderen en evalueren ze het zorgvuldig. “Alles wat we uiteindelijk in de toepassing willen stoppen, moet absoluut betrouwbaar en volledig begrepen worden,” benadrukt Kather.

Hij is echter niet alleen hoogleraar aan de faculteit geneeskunde, maar ook aan de faculteit computerwetenschappen van de TU Dresden. En als het gaat om onderzoek aan de computerwetenschappelijke kant, zijn wetenschappers veel meer bereid om te experimenteren.

“Er zijn nu agent-­modellen die hun eigen tools en interfaces kunnen maken,” zegt hij. Als een model niet over de juiste tools voor een taak beschikt, zoekt het naar broncode in wetenschappelijke publicaties op internet om het probleem op te lossen. Als de code niet meteen werkt, kunnen sommige systemen deze repareren in een iteratief proces. Dit werkt al verrassend goed, zegt Kather.

Professor Kristian Kersting, die aan het hoofd staat van de afdeling Machine Learning aan de Technische Universiteit van Darmstadt, traint AI-agents om Atari-videospellen uit de jaren tachtig te spelen.

Die dienen als populaire testplatforms voor reinforcement learning, waarbij een agent willekeurig strategieën uitprobeert volgens de trial-and-error-methode en wordt beloond bij succes. De beloning is gebaseerd op de score, die naast de pixels op het scherm de enige invoerwaarde voor de agents is.

Uitsluitend uitgerust met dit ver­mogen en zonder enige achtergrondkennis van de game zelf, leerden agents van het Deep-Q-Network (DQN), ontwikkeld door DeepMind, al in 2015 om Atari-klassiekers onder de knie te krijgen, van Tennis, Pong tot Space Invaders aan toe.

Sommige agents ontwikkelden ongebruikelijke strategieën die zelfs hun ontwikkelaars verrasten en in de meeste games het niveau van menselijke speltesters overtroffen. In sommige spellen slaagde DQN er echter niet in om een succesvolle strategie te ontwikkelen alleen op basis van de pixels op het scherm. En juist zulke spellen zijn interessant voor ontwikkelaars van AI-agents.

Kersting noemt het spel SeaQuest voor de Atari 2600 als een uitdaging. Daarin bestuur je een onderzeeër die duikers uit zee vist, wordt aangevallen door haaien en af en toe naar de oppervlakte moet om zijn zuurstoftank bij te vullen.

“Als ik wil dat een agent zijn spelomgeving echt begrijpt, is deze informatie niet genoeg,” zegt Kersting. “Het is immers heel moeilijk om aan de hand van de afzonderlijke pixels op het scherm te begrijpen dat een balkje dat steeds korter wordt, een slinkende zuurstofvoorraad representeert.” Samen met zijn collega’s Hikaru Shindo en Quentin Delfosse werkt Kersting aan het combineren van de agents met taalmodellen onder de naam BlendRL.

‘RL’ staat voor reinforcement learning en ‘Blend’ voor de mix van twee verschillende manieren waarop de agents tot hun beslissingen komen: de beelden van het spel worden direct als pixels in het neurale netwerk ingevoerd, zoals in DQN, of de agent analyseert de scène voordat hij een actie onderneemt.

“Dit is geïnspireerd door het werk van Daniel Kahneman,” zegt Kersting. Deze psycholoog, die in 2024 overleed, identificeerde twee basistypen van besluitvorming bij mensen. ‘Systeem 1’ staat voor instinctieve, snelle actie, terwijl ‘Systeem 2’ wordt gekenmerkt door langdurige reflectie en beraadslaging.

In het geval van Kerstings SeaQuest-­agents betekenen Systeem 1-beslissingen het onmiddellijk reageren op een dreiging in gevaarlijke situaties, zoals wanneer een haai nadert. Het tijdrovendere Systeem 2 wordt gebruikt bij de strategie voor de zuurstoftank.

De agent haalt objecten zoals onderzeeërs, duikers en zuurstoftanks uit de invoerpixels. Hiervoor heeft hij rechtstreeks toegang tot de objectrepresentatie in het interne geheugen van de Atari 2600 of gebruikt hij een beeldherkenningsmodel. Vervolgens kan hij de spelomgeving logisch beschrijven en een strategie formuleren. “Er is op dit moment geen haai in de buurt van de onderzeeër, dat zou een goede gelegenheid zijn om naar de oppervlakte te gaan.”

Een derde systeem op een hoger niveau beslist of de agent in een bepaalde situatie beter kan werken met de pixels volgens systeem 1 of met objecten volgens systeem 2. In de toekomst moet het helpen om vooraf kennis te verzamelen. In de huidige versie van BlendRL moeten de onder­zoekers dit soort informatie nog expliciet invoeren.

“We zijn echter al bezig om de agents in staat te stellen om zelf spelregels te leren,” zegt Kersting. “Er zijn immers ook spelbeschrijvingen voor deze spellen die dergelijke instructies bevatten, die de agent ook daar zelf zou kunnen lezen.”

De agent-benadering van Kersting zou nuttig kunnen zijn in de robotica. Autonome robots zouden zich bijvoorbeeld ook moeten oriënteren op basis van de systemen 1 en 2 van Kahneman en afhankelijk van de situatie anders moeten reageren op de informatie die ze van hun sensoren krijgen.

Volgens het beschreven systeem 2 kunnen ze relaties tussen echte objecten herkennen en verwerken. Het kan echter nog wel even duren voordat robots zelfstandig hun weg kunnen vinden in de wereld, omdat de werkelijkheid veel complexer is dan een digitale testopstelling.

Aan de softwarekant kunnen sommige AI-agents zichzelf al verbeteren door gebruik te maken van de wereldkennis in hun taalmodellen. Gezien het tempo waarin de wetenschap en de industrie AI-toepassingen in andere disciplines ontwikkelen, zullen er waarschijnlijk op korte termijn steeds meer krachtige AI-agents verschijnen.

Thomas Brandstetter en Marco den Teuling