AI-agents lokaal draaien op de GIGABYTE W775 met de kracht van NVIDIA

Als je AI terugbrengt tot de essentie, doen taalmodellen in feite niet veel anders dan voorspellen welk woord het meest waarschijnlijk volgt. Toch ligt dit principe aan de basis van een nieuwe ontwikkeling binnen AI: autonome AI-agents.

Een AI-agent is kort gezegd in staat om zelfstandig oplossingen voor problemen te vinden, deze uit te voeren en daarbij indien nodig externe hulpmiddelen in te zetten.

Waar we grote taalmodellen vooral kennen van chattoepassingen en schrijfassistenten, moeten AI-agents een stap verder gaan. Ze moeten niet alleen kunnen communiceren, maar ook zelfstandig ingewikkelde taken uitvoeren. De centrale vraag verschuift daarmee van wat AI kan zeggen naar wat AI daadwerkelijk kan doen.

Zo kan een agent zelfstandig een agenda bekijken om een afspraak te plannen, bijvoorbeeld een restaurant zoeken dat aansluit bij een bepaalde menukaart en prijsklasse, en vervolgens een tafel reserveren. Wanneer een opdracht onvoldoende duidelijk is, moet de agent bovendien zelf om aanvullende informatie kunnen vragen.

De ontwikkeling van dergelijke toepassingen is aanzienlijk versneld door de komst van het Model Context Protocol (MCP). Dit protocol is ontwikkeld om de gegevensuitwisseling tussen AI-toepassingen en externe databronnen eenvoudiger te maken en te standaardiseren.

De natuurlijke taal waarmee grote taalmodellen werken, is geschikt om informatie uit te wisselen tussen de verschillende onderdelen van een AI-agent. In hun eenvoudigste vorm zijn agents die gebruikmaken van taalmodellen inmiddels al behoorlijk ingeburgerd. Zo kunnen de meeste grote commerciële modellen zelfstandig een zoekopdracht op internet uitvoeren. Daarmee maken ze feitelijk al gebruik van een extern hulpmiddel.

Wanneer een model een vraag niet rechtstreeks kan beantwoorden op basis van de kennis die het tijdens de training heeft opgedaan, kan het in plaats daarvan code genereren om het probleem op te lossen. Een agent voert die code vervolgens uit en stuurt de uitkomst terug naar het taalmodel. Dat presenteert het resultaat daarna in begrijpelijke taal aan de gebruiker.

Grote taalmodellen vormen de belangrijkste bouwstenen van AI-agents. Ze bieden de kennis en flexibiliteit die nodig zijn om zelfstandig te interageren met externe systemen. Een agentsysteem kan informatie analyseren en bepalen welke hulpmiddelen nodig zijn om een complexe vraag te beantwoorden. Zo kan het databases raadplegen, aanvullende gegevens op internet opzoeken en de resultaten per e-mail verzenden.

De gebruikersinterface vormt zowel het begin- als het eindpunt van dit proces. Hier wordt de opdracht ingevoerd en uiteindelijk het antwoord van het systeem weergegeven.

Centraal binnen een agentsysteem staat de iteratieve toolselectie-agent. Via een systeemprompt krijgt het taalmodel de instructie om opdrachten op te delen in logische subtaken en deze toe te wijzen aan de beschikbare hulpmiddelen.

Wanneer een vraag bijvoorbeeld betrekking heeft op gegevens in een database, stelt de agent een query samen om de relevante informatie op te halen. Bevat de opdracht ook het verzoek om de resultaten naar een bepaalde persoon te mailen, dan kan de toolselectie-agent tegelijkertijd het bijbehorende e-mailadres opzoeken. Als dat adres niet beschikbaar is, kan de agent een internetonderzoek starten om het alsnog te achterhalen.

De verzamelde gegevens worden vervolgens teruggestuurd naar de toolselectie-agent. Die beoordeelt of alle benodigde informatie beschikbaar is of dat aanvullende acties nodig zijn. Zodra de opdracht voldoende is afgehandeld, wordt de informatie doorgestuurd naar de response-agent. Deze verwerkt de resultaten, trekt de benodigde conclusies en formuleert een antwoord dat uiteindelijk in de chatinterface van de gebruiker verschijnt.

Aan de softwarekant zijn sommige AI-agents inmiddels in staat hun eigen werkwijze te verbeteren door gebruik te maken van de kennis die in hun taalmodellen aanwezig is. Gezien de snelheid waarmee wetenschap en industrie nieuwe AI-toepassingen ontwikkelen, ligt het voor de hand dat er op korte termijn steeds krachtigere AI-agents beschikbaar komen.

Steeds meer applicaties bieden ondersteuning voor verbindingen via het Model Context Protocol. Daardoor kunnen AI-agents rechtstreeks samenwerken met de tools en functies van verschillende toepassingen. MCP vormt daarmee een volgende stap in de ontwikkeling van AI-agents: applicaties worden niet alleen sneller, maar zijn ook steeds beter voorbereid op autonome AI-functionaliteit.

Het NVIDIA RTX PRO-platform kan lokale AI-agents, modelinferentie en workflows over meerdere applicaties ondersteunen op systemen die specifiek voor professioneel gebruik zijn ontwikkeld.

De GIGABYTE W775, op basis van de NVIDIA DGX Station met de kracht van de NVIDIA GB300 Grace™ Blackwell Ultra Desktop Superchip, is een krachtige AI-supercomputer voor bij het bureau. Met behulp van de NVIDIA Agent Toolkit verloopt de installatie in slechts drie stappen en kan het systeem binnen ongeveer 30 minuten gebruiksklaar zijn.

Op de DGX Station combineert de NVIDIA Agent Toolkit NVIDIA NemoClaw, het open model NVIDIA Nemotron 3 Ultra, NVIDIA Omniverse-bibliotheken die als tools en vaardigheden toegankelijk zijn voor agents, en een beveiligde runtime in één lokaal systeem. Daarbij is geen internetverbinding nodig. Wanneer de werklast groeit, kunnen ontwikkelaars meerdere systemen koppelen om meer gelijktijdige gebruikers, extra agents en grotere modellen te ondersteunen.

Hiermee krijgen gebruikers, van creatieve professionals tot ingenieurs, de mogelijkheid om hun eigen AI-omgeving te beheren, met een systeem dat direct lokaal inzetbaar is. De complete softwarestack, bestaande uit het model, de agent en de bijbehorende tools, vormt een platform voor het ontwikkelen en uitvoeren van domeinspecifieke ‘superagents’. Deze kunnen worden afgestemd op de eigen gegevens, expertise en behoeften van gebruikers.

De NVIDIA Agent Toolkit biedt bovendien ondersteuning voor MCP-integratie. Daaronder vallen een MCP-client voor communicatie met externe MCP-servers en een MCP-server waarmee tools beschikbaar kunnen worden gesteld aan andere MCP-clients.

Een on-premisesomgeving geeft organisaties het voordeel dat het meer controle over gevoelige gegevens biedt. Informatie wordt binnen het eigen netwerk opgeslagen en verwerkt, waardoor organisaties meer zeggenschap houden over de manier waarop hun data wordt gebruikt en beheerd.

Een eigen infrastructuur kan zowel bij het trainen van AI-modellen als bij inferentie belangrijke voordelen bieden. Als gespecialiseerde hardware efficiënt wordt benut, kan een lokale omgeving op langere termijn bovendien financieel aantrekkelijker zijn dan het voortdurend afnemen van externe rekencapaciteit.

In samenwerking met NVIDIA brengt GIGABYTE de W775 op de markt, een AI-supercomputer in een towerbehuizing. Het systeem is uitgerust met de NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip en beschikt over maximaal 748 GB coherent geheugen en een AI-rekenvermogen tot 20 petaFLOPS bij FP4-berekeningen.

Dankzij deze architectuur beschikt het systeem over aanzienlijke rekenkracht, waarmee teams grootschalige AI-trainingen en inferentietaken lokaal kunnen ontwikkelen en uitvoeren, zonder daarvoor direct afhankelijk te zijn van externe infrastructuur.

De W775 is geoptimaliseerd voor de NVIDIA AI-softwarestack. Daardoor kunnen ontwikkelaars van cloud-native en AI-native toepassingen, onderzoekers en datawetenschappers rechtstreeks op hun desktop prototypes van grote AI-modellen ontwikkelen, modellen verder verfijnen en inferentietaken uitvoeren. Vervolgens kunnen ze hun toepassingen overzetten naar een datacenter of cloudomgeving.

Uit de doos, aan het werk

De GIGABYTE W775-V10-L01 haal je uit de doos, zet hem bij je bureau en plugt hem in het stopcontact – klaar. Hij hoeft niet in een speciale ruimte te staan, en dankzij de waterkoeling blijft hij altijd stil, ook bij zware belasting. En het NVIDIA GB300-platform is gemaakt om naar wens eenvoudig uit te breiden, met meerdere W775-machines voor verschillende teams, tot aan een GIGAPOD-serveromgeving aan toe.