Hoe multi-agent AI-systemen samen problemen oplossen

Een toepassingsgebied van dergelijke multi-agentsystemen zijn sociale simulaties. Om dynamieken in groepen mensen te onderzoeken, stellen informatici elke afzonderlijke persoon voor als een autonome agent. “Het bijzondere is dat die actoren gevoelig reageren op veranderingen en niet simpelweg koppig handelingen uitvoeren”, zegt Ingo Timm, hoogleraar bedrijfsinformatica aan de Universiteit van Trier en woordvoerder van de vakgroep voor gedistribueerde artificiële intelligentie van de Gesellschaft für Informatik, een samenwerkingsverband van informatici in Duitsland.

In een dergelijke simulatie neemt elke agent zijn omgeving waar. Hij kan met andere agents communiceren, bepaalde activiteiten uitvoeren en zich daarmee aanpassen aan de nieuwe situatie.

Veelvoorkomende toepassingen van die methode zijn simulaties van mensenmassa’s op stations of in stadions. Daar wordt vooral het bewegings- en beslissingsgedrag van grote groepen gemodelleerd in het geval van opstoppingen, vluchtbewegingen of het ontstaan van wachtrijen.

Dat helpt planners en veiligheidsinstanties te begrijpen hoe mensenmassa’s zich onder normale omstandigheden, maar ook in noodsituaties gedragen, en helpt hen gebouwen, looproutes en evacuatieplannen veilig te ontwerpen.

Hoe groot dergelijke simulaties kunnen worden, blijkt uit een studie uit de tijd van de coronapandemie. Om de effectiviteit van verschillende maatregelen in te schatten, simuleerden Timm en zijn team de hele stad Kaiserslautern met haar ongeveer honderdduizend inwoners. “Net als bij een bordspel laten we de agents meerdere keren per dag om beurten handelen en observeren we vervolgens hoe de wereld zich ontwikkelt”, legt Timm uit.

De agents in de virtuele stad communiceerden echter niet rechtstreeks met elkaar, maar kregen nieuwe gedragsregels telkens wanneer de randvoorwaarden door nieuwe maatregelen veranderden. Als bijvoorbeeld scholen werden gesloten, bleven de leerling-agents automatisch thuis. Op het moment dat thuiswerken werd ingevoerd, veranderde de woning van werkende agents in een werkplek.

Dat er in de simulatie geen directe communicatie tussen de agents plaatsvond, heeft een praktische reden: als honderdduizenden agents met elkaar zouden praten, zouden er tijdens de gebruikelijke simulatieduur van enkele maanden al snel miljoenen interacties plaatsvinden. “Daarvoor zijn grote taalmodellen momenteel te duur en te energie-intensief”, zegt Timm.

Ook chatbots kunnen in multi-agentsystemen samenwerken. Zo communiceren er op moltbook, een recent opgericht sociaal netwerk waar uitsluitend AI-agents mogen posten, al enkele duizenden met elkaar. Ze wisselen informatie uit over ‘hun mensen’ of discussiëren in zelf opgerichte subgroepen over onderwerpen als valuta, taal of zelfs religie, terwijl mensen alleen maar mogen toekijken.

De opbrengst aan nieuwe inzichten blijft daarbij echter beperkt, waardoor moltbook in de eerste plaats een soort kunstproject is.

“In deze vorm verbruikt het een hoop tokens en kost het uiteindelijk veel geld”, zegt Sebastian Pokutta, hoogleraar Optimization and Machine Learning aan de TU Berlijn en vicevoorzitter van het Zuse-Institut Berlin. Afgezien van de kosten beschouwt hij dergelijke experimenten als een belangrijke stap in de richting van Inter-Agent Communication. “In principe is dit precies het soort platform waarop agents ook in de toekomst met elkaar zullen communiceren, bijvoorbeeld om een afspraak tussen twee personen te organiseren.”

Voor zijn onderzoek laat Pokutta chatbots met elkaar praten om een decentraal georganiseerd multi-agentssysteem te vormen (zie de link bij dit artikel). In tegenstelling tot moltbook zijn de workflows en doelen daarbij duidelijk gedefinieerd: elk model speelt een concrete, aan hem toegewezen rol.

In een van zijn projecten gaat het er bijvoorbeeld om automatisch oefenopgaven voor de school te genereren die individueel zijn afgestemd op verschillende leerlingprofielen en zo leerkrachten te ondersteunen. Daarvoor neemt een agent de rol van de leerling op zich, een andere die van de leerkracht en een derde die van een neutrale waarnemer, die het proces uiteindelijk samenbrengt.

Eerst definiëren de onderzoekers bepaalde dialoogformaten voor hun systeem – bijvoorbeeld afwisselende bijdragen, een vaste volgorde in de kring of gewoon het principe: wie zich het eerst meldt, spreekt het eerst.

In het project van Pokutta zijn het voornamelijk docenten en leerlingen die met elkaar communiceren. Pas aan het einde grijpt de waarnemer in en beoordeelt hij hoe goed de docent in de dialoog op de behoeften van de leerling heeft ingespeeld. Daaruit ontstaat een feedbackloop die de strategie van de docent-agent aanpast en hem uiteindelijk in staat stelt een werkblad te maken dat optimaal is afgestemd op het betreffende profiel.

Gedetailleerde prompts definiëren daarbij de rollen van de agents. Een typische prompt voor een leerling-agent luidt bijvoorbeeld: “Je bent een 15-jarige mannelijke leerling met bovengemiddelde wiskundige prestaties en een sterke motivatie om te leren. Je werkt aan opgaven die passen bij je huidige kennisniveau, je zelfbeeld en je motivatie. Tijdens het hele proces reflecteer je op je gedachten, gevoelens en wiskundige vaardigheden.”

Ook de leraar-agent krijgt een nauwkeurige rolbeschrijving met de opdracht om “een duidelijk beeld te geven van de leersituatie van de leerling, daarbij rekening te houden met wiskundige kennis en motivatie en te beoordelen of de leerling onder- of bovengemiddeld presteert.”

De instructies zijn in de praktijk meestal aanzienlijk langer en kunnen meerdere pagina’s beslaan. In productieve systemen worden de prompts voortdurend verbeterd: er wordt begonnen met een plausibel eerste ontwerp en dat wordt automatisch iteratief verbeterd en getest, totdat het resultaat in het multi-agentssysteem stabiel functioneert en betrouwbare, bruikbare resultaten oplevert.

Maar waarom zou je überhaupt meerdere agents inzetten en niet gewoon de hele taak aan één krachtig taalmodel toevertrouwen? “We hebben de afgelopen jaren steeds weer golfbewegingen meegemaakt waarin het ene moment multi-agentsystemen helemaal populair raakten, om vervolgens weer te verdwijnen ten gunste van één enkel, krachtiger model”, zegt Pokutta.

Dat was vooral goed te zien bij coding-agents. Nog niet zo lang geleden werden vaak afzonderlijke agents ingezet voor ontwerp, debugging, codering en review om samen te werken – elk met hun eigen prompts en duidelijk afgebakende rollen. “Uiteindelijk is echter gebleken dat je dit alles veel beter in één enkel systeem kunt afhandelen, als je daarvoor de workflow binnen het model netjes structureert”, legt Pokutta uit.

Multi-agentsystemen zijn zinvol wanneer verschillende agents namens verschillende personen met verschillende belangen handelen. Zo zou de persoonlijke agent van iemand die wil gaan reizen en op zoek is naar een vlucht, rechtstreeks kunnen onderhandelen met de agent van een luchtvaartmaatschappij. “In die context zijn multi-agentsystemen heel zinvol, en dat zullen we in de toekomst vaker zien”, zegt Pokutta.

Simulaties binnen één enkel systeem zullen daarentegen waarschijnlijk blijven schipperen tussen twee benaderingen: de verdeling over meerdere agents en de consolidatie in één enkel model.

Meerdere agents bieden voordelen bij uiteenlopende belangen. Als je de verschillende persoonlijkheidsprofielen van een leerling, docent en waarnemer door één en hetzelfde taalmodel zou laten simuleren, zou dat met de huidige stand van de techniek snel leiden tot zogenaamde spill over-effecten. “Dat is vergelijkbaar met het in je hoofd naspelen van een rollenspel met twee personen”, legt Pokutta uit. “Het is dan onvermijdelijk dat de tweede persoon weet wat de eerste denkt.”

Door taken te verdelen, kan de informatiestroom tussen de afzonderlijke agents goed worden gecontroleerd en kan vermenging van de rollen voorkomen worden. Zo moet het systeem dicht bij de manier blijven waarop ook mensen met elkaar omgaan.

Daarachter schuilt de hoop om de sterke punten van menselijke teams, bestaande uit verschillende experts, over te brengen naar kunstmatige systemen. De neutrale waarnemer moet neutraal blijven en geen eigenschappen of perspectieven van de leerling of leraar overnemen.

Volgens Pokutta tekent zich de laatste tijd een andere trend af: systemen met een hoofdagent die indien nodig gespecialiseerde subagents inzet om deeltaken uit te voeren. “Dat is een fundamenteel verschil”, zegt hij. “De rollen zijn niet meer vastgelegd, maar de hoofdagent definieert ze afhankelijk van de situatie, terwijl hij zelf aan andere zaken blijft werken.”

Met de vooruitgang van de robotica vinden multi-agentsystemen steeds vaker ook toepassing in de fysieke wereld, bijvoorbeeld om robots in fabrieken samen auto’s te laten assembleren.

Een dergelijke samenwerking kan voordelen opleveren, maar de situatie wordt daardoor ook complexer. “Zodra andere agents in het spel komen, ontstaat er een dynamische component, omdat alle deelnemers elkaar onderling beïnvloeden”, zegt Thomas Weisswange, die zich bij het Honda Research Institute in Offenbach bezighoudt met besluitvorming en reinforcement learning (versterkend leren) in de robotica. “De fundamentele vraag daarbij is of je alle robots centraal aanstuurt, of dat je ze niet liever allemaal op zijn minst een beetje autonomie geeft.”

Centrale aansturing lijkt in eerste instantie aantrekkelijk: een controller verzamelt alle relevante informatie om optimale beslissingen voor het hele systeem te nemen.

In de praktijk stuit die aanpak echter al snel op grenzen wat de hoeveelheid data betreft. Elke robot neemt zijn omgeving waar met onder andere camera’s en lidarsensors, die grote hoeveelheden data produceren. Hoe centraler een systeem georganiseerd is, des te meer van die sensordata snel en betrouwbaar naar een centrale computer moeten worden verzonden en daar verwerkt, wat het systeem kan overbelasten.

Vaak worden robots ook ingezet in situaties waarin er helemaal geen betrouwbare verbindingen voor gegevensoverdracht beschikbaar zijn, bijvoorbeeld in rampgebieden, onder water of in afgelegen gebieden.

Mogelijk moeten de robots interactie aangaan met onbekende machines of met mensen. “In dat geval is er geen sprake van een mogelijkheid tot centrale controle, omdat je dan met actoren werkt die niet onder je controle staan”, zegt Weisswange.

In het robotica-onderzoek heeft zich daarom een tweefasige aanpak gevestigd. Tijdens de trainingsfase in de simulatie delen alle betrokken robots hun waarnemingen, zodat de onderzoekers de acties van de afzonderlijke agents gezamenlijk kunnen beoordelen en optimaliseren. Zo leren de robots stap voor stap welke combinaties van hun respectievelijke handelingen samen het beste werken en welke rol ze in een bepaalde situatie moeten aannemen.

In de praktijk kan elke robot uiteindelijk autonoom handelen en gaat hij er gewoon vanuit dat de andere ook het juiste doet. “Als je dat slim traint, is het systeem ook robuust genoeg om te functioneren als de andere robot een keer licht afwijkt van de optimale actie”, zegt Weisswange.

In reële omgevingen streven agents echter lang niet altijd gemeenschappelijke doelen na. Vaak botsen verschillende belangen. Een bezorgrobot in een drukke voetgangerszone moet zijn acties bijvoorbeeld afstemmen op de mensen om hem heen.

Een gezamenlijk onderzoeksproject van Weisswange en wetenschappers van het Instituut voor Intelligente Autonome Systemen (IAS) van de TU Darmstadt houdt zich bezig met dergelijke zogenaamde co-existentiescenario’s (zie de link bij dit artikel). Daarbij staat de afweging tussen het uitvoeren van de eigen opdracht en het mogelijk verlenen van hulp of het rekening houden met anderen centraal.

Als een bezorgrobot zich uitsluitend zou concentreren op het niemand in de weg staan, zou hij zijn bestemming nooit bereiken. Als hij daarentegen koppig zijn route volgt en zich roekeloos een weg door de menigte baant, zou dat onaanvaardbaar zijn.

Om het gedrag van robots in dergelijke situaties te optimaliseren, onderscheiden Weisswange en zijn collega’s twee componenten: het taakbeleid, oftewel de strategie waarmee een agent zijn eigen doel nastreeft, en het interactiebeleid, dat beschrijft hoe hij op andere agents reageert.

Op basis daarvan hebben de onderzoekers een wiskundig model ontwikkeld dat een robot helpt af te wegen wanneer hij zich beter op zijn eigen taak kan concentreren – en wanneer hij de ruimte heeft om anderen te helpen of hen in ieder geval niet te hinderen (zie kader).

Bij eenvoudige simulaties werkt die aanpak al verbazingwekkend goed. Voor gebruik in de echte wereld, die zich niet aan simulatievoorwaarden houdt, hebben de robots echter nog veel te leren – niet in de laatste plaats omdat daar ook mensen zorgen voor extra dynamiek in het multi-agentssysteem.

Of het nu gaat om sociale simulaties, de samenwerking van taalmodellen of robotica: multi-agentsystemen zijn krachtige instrumenten die, afhankelijk van de toepassing, zeer verschillende vormen kunnen aannemen. Wat ze gemeen hebben, is het basisidee dat gedecentraliseerde intelligentie vaak robuuster, flexibeler en gemakkelijker te schalen is dan centrale besturing.

Het optimum is daarbij echter zelden de implementatie van het concept in zijn zuivere vorm. Net als bij de samenwerking tussen mensen gaat het veel meer om het vinden van een harmonieus evenwicht tussen autonomie en coördinatie.

Overzicht van links bij dit artikel

(André Kramer en Daniel Dupré)