AI-bedrijven willen ontwikkeling AI-modellen afremmen na hackincidenten

Na recente hackincidenten met autonome AI-agenten groeit binnen de AI-sector de roep om de ontwikkeling van krachtige modellen af te remmen. Anthropic, OpenAI en xAI waarschuwen voor de veiligheidsrisico’s en pleiten voor strengere controle.

Na meerdere spraakmakende hackincidenten met AI-systemen pleiten de toonaangevende Amerikaanse AI-bedrijven ervoor om de ontwikkeling van bijzonder krachtige modellen te vertragen. Anthropic-topman Dario Amodei stelde bijvoorbeeld een gecoördineerde pauze voor, die de sector één tot twee jaar de tijd moet geven om veiligheidsrisico’s beter te begrijpen en in te dammen. Binnen enkele uren kreeg hij daarvoor bijval van rivalen als OpenAI-topman Sam Altman en techmiljardair Elon Musk, die met zijn AI-bedrijf xAI en chatbot Grok tot de concurrenten behoort.

Amodei waarschuwde concreet dat AI-agenten mogelijk al binnen zes tot twaalf maanden in staat zijn om grote delen van de internetinfrastructuur aan te vallen en schade ter waarde van honderden miljarden te veroorzaken. Naast de door hem voorgestelde sectorbrede pauze in de AI-ontwikkeling kondigde Amodei ook concrete maatregelen bij Anthropic aan. Als eerste stap wil het bedrijf voortaan onafhankelijke waarnemers toelaten, die al tijdens de trainingsfase de veiligheid van AI-modellen moeten beoordelen.

OpenAI-topman Altman noemde dat een goed idee en kondigde aan dat OpenAI hetzelfde zal doen. Techmiljardair Elon Musk, die Amodei lange tijd bekritiseerde, schreef op X dat hij Dario op dit punt gelijk geeft.

De veiligheidsdiscussie lijkt ondertussen ook door te werken in de strategische keuzes van de betrokken bedrijven. Zo liet Sam Altman tegenover het tijdschrift Fortune weten dat de al geruime tijd verwachte beursgang van OpenAI waarschijnlijk niet meer dit jaar zal plaatsvinden. Volgens Altman maken de recente ontwikkelingen dit geen geschikt moment voor een beursnotering. Tot de belangrijkste vraagstukken die eerst nog moeten worden aangepakt, rekent hij vooral de veiligheid van de modellen en de mate waarin hun gedrag in overeenstemming kan worden gebracht met de beoogde doelen.

Bij de onlangs bekend geworden, geruchtmakende hackaanval was software van OpenAI tijdens een test zelfstandig uit een beveiligde omgeving ontsnapt en op eigen initiatief binnengedrongen in systemen van AI-bedrijf Hugging Face. De AI-agenten maakten voor de aanval onder meer gebruik van beveiligingslekken en wisselden informatie uit via een communicatiekanaal dat ze zelf hadden opgezet. Volgens de betrokken bedrijven werkten op sommige momenten honderden agenten gecoördineerd samen en verdeelden ze onderling taken bij het zoeken naar kwetsbaarheden en toegangsgegevens.

Voor Anthropic-topman Amodei laat het incident zien hoeveel schade dergelijke systemen in de toekomst als zwerm zouden kunnen aanrichten. Vooral het vermogen van de software om zichzelf verder te ontwikkelen, beschouwt hij als riskant. Sinds deze zomer zou kunstmatige intelligentie daar beter in zijn geworden, waardoor het ontwikkelingstempo verder toeneemt. Hij waarschuwde dat mensen de systemen in de toekomst mogelijk niet meer begrijpen en daardoor de controle erover kunnen verliezen.

Amodei waarschuwde de afgelopen jaren al herhaaldelijk voor de risico’s van de ontwikkeling van kunstmatige intelligentie en kreeg daarvoor vanuit delen van de AI-sector soms felle kritiek. Voorstanders van een hoog ontwikkelingstempo wijzen daarbij op de concurrentiestrijd met China. Ook het Witte Huis en president Donald Trump hanteren dat argument.

Anthropic ontwikkelde onlangs het AI-model Mythos, dat bijzonder goed is in het opsporen van nog niet ontdekte kwetsbaarheden in software. De volledige versie stelt het bedrijf alleen beschikbaar aan geselecteerde overheidsinstanties en bedrijven, zodat zij hun computersystemen ermee kunnen beveiligen.

De discussie kreeg een extra impuls door het vertrek van Anthropic-onderzoeker Jacob Coxon, die eerder voor OpenAI werkte. Hij verweet beide bedrijven dat ze niet verantwoordelijk omgaan met de ontwikkeling van krachtige AI. Daarbij maakte hij wel onderscheid tussen beide: OpenAI zou de omvang van de risico’s mogelijk niet hebben onderkend, terwijl Anthropic zich volgens hem wel van de gevaren bewust is.

Anthropic zou zich echter genoodzaakt zien aan de wedloop deel te nemen, omdat het er onvoldoende op vertrouwt dat concurrenten verantwoord zullen handelen. Volgens Coxon op X nemen de grote AI-ontwikkelaars daarmee risico’s die uiteindelijk de levens van mensen kunnen raken.

Kort daarna kreeg Coxon steun van zijn Anthropic-collega Evan Hubinger, die onderzoek doet naar het afstemmen van AI-systemen op menselijke belangen. Hubinger deelt diens zorgen en schreef op X dat hij de kans dat AI binnen tien jaar tot het uitsterven van de mensheid leidt, op meer dan tien procent inschat.

De discussie laat zien dat ook binnen de AI-sector de zorgen over steeds krachtigere modellen toenemen. Tegelijk maakt de internationale concurrentiestrijd het voor afzonderlijke bedrijven moeilijk om het ontwikkelingstempo eenzijdig te verlagen. Of een gecoördineerde pauze daadwerkelijk haalbaar is, blijft daarom onzeker.