Diverse programma’s maken gebruik van kunstmatige intelligentie (AI) om teksten te identificeren die afkomstig zijn van andere vormen van AI. Echter, het blijkt dat deze AI-detection tools vaak niet in staat zijn om AI-gegenereerde tekst correct te herkennen.
Hoge verwachtingen en teleurstellende resultaten
Kort na de lancering van ChatGPT ontstond er bezorgdheid dat scholieren de AI-chatbot van OpenAI zouden kunnen gebruiken om in slechts enkele seconden redelijke essays te produceren, die ze vervolgens als hun eigen werk zouden kunnen indienen. Deze zorg is niet ongegrond, aangezien de OpenAI-tool opvallend goede teksten produceert. Het is dan ook niet verwonderlijk dat verschillende start-ups software proberen te ontwikkelen die tot doel heeft door AI gegenereerde tekst te herkennen.
Misleiding en detectieomzeiling
Het probleem is dat het vrij eenvoudig is om deze AI-detectietools te misleiden, waardoor ze gemakkelijk kunnen worden omzeild. Een groep onderzoekers van verschillende universiteiten heeft samengewerkt om de capaciteit van veertien tools, waaronder Turnitin, GPT Zero en Compilatio, te testen in het herkennen van teksten geschreven met behulp van OpenAI’s ChatGPT.
Moeite met herkennen van herschikte en versluierde tekst
De meeste AI-detection tools zoeken naar bepaalde kenmerken in de door AI gegenereerde tekst, zoals bepaalde vormen van herhaling. Hierna berekenen ze de waarschijnlijkheid dat de tekst door een AI is gegenereerd. Het onderzoeksteam heeft echter ontdekt dat alle geteste tools moeite hadden om tekst te herkennen die door ChatGPT was gegenereerd. Deze tekst kon namelijk gemakkelijk door mensen worden herschikt en/of versluierd met behulp van een parafraseringstool. Uit het onderzoek blijkt dat leerlingen en studenten slechts kleine aanpassingen hoeven te maken aan door AI gegenereerd werk om de AI-detectietools te omzeilen.
Hoe werd het onderzoek uitgevoerd?
Om menselijke geschreven teksten te bestuderen, werden korte essays op bachelor niveau geschreven over diverse onderwerpen, zoals civiele techniek, informatica, economie, geschiedenis, taalkunde en literatuur. Deze teksten werden herschreven om te voorkomen dat ze eerder werden gebruikt als trainingsgegevens voor ChatGPT.
Daarnaast schreef elke onderzoeker een extra tekst in een andere taal, waaronder Bosnisch, Tsjechisch, Duits, Lets, Slowaaks, Spaans en Zweeds. De teksten werden vertaald naar het Engels via de AI-vertaaltools DeepL of Google Translate.
Vervolgens gebruikte het team ChatGPT om twee extra teksten te genereren, die vervolgens licht werden aangepast om de AI-oorsprong te verbergen. Een set teksten werd handmatig bewerkt door de onderzoekers, waarbij zinnen werden herschikt en woorden werden verwisseld, terwijl de andere set werd herschreven met behulp van Quillbot, een AI-parafraseringstool. In totaal had de groep 54 documenten om de herkenningstools op te testen.
Teleurstellende resultaten
De wetenschappers ontdekten snel dat de tools goed waren in het herkennen van tekst die door mensen was geschreven, met een nauwkeurigheid van gemiddeld 96 procent. Echter, de prestaties van de tools waren slechter bij het herkennen van tekst die was gegenereerd door AI, vooral als deze was bewerkt. Hoewel de tools ChatGPT-tekst met een nauwkeurigheid van 74 procent konden identificeren, daalde dit percentage tot 42 procent wanneer de tekst die ChatGPT had gegenereerd ook maar een beetje was aangepast.
Impact op onderwijsevaluatie
Volgens Vitomir Kovanović, universitair hoofddocent die machine learning en kunstmatige intelligentiemodellen ontwikkelt aan de Universiteit van Zuid-Australië, maar niet betrokken was bij het onderzoeksproject, tonen de bevindingen aan hoe verouderd de huidige evaluatiemethoden van universiteiten zijn voor het beoordelen van het werk van studenten. Een andere bezorgdheid wordt geuit door Daphne Ippolito, een senior wetenschapper bij Google die gespecialiseerd is in het genereren van natuurlijke taal en die ook niet betrokken was bij het project.
Ippolito geeft aan dat wanneer automatische detectiesystemen in het onderwijs worden gebruikt, het cruciaal is om het percentage valse positieven te begrijpen, omdat onterechte beschuldigingen ernstige gevolgen kunnen hebben voor de academische carrière van studenten. Het percentage fout-negatieven is ook belangrijk, omdat wanneer te veel door AI gegenereerde tekst wordt aangezien voor door mensen geschreven tekst, het detectiesysteem niet nuttig is.
Altijd op de hoogte blijven omtrent alle ChatGPT ontwikkelingen?
Schrijf je in voor de gratis nieuwsbrief: