Onderzoeker waarschuwt tegen gebruik van AI als politiek ghostwriter

Marijke Van Vlasselaer lacht al na de eerste zin van de LinkedIn-post van premier Rob Jetten. ‘Wie zegt nu zoiets?’, reageert ze. ‘Ik bedoel, dit weten we toch allemaal?’

Op verzoek van de Volkskrant leest ze berichten van de officiële accounts van de minister-president, die door Pangram als AI zijn aangemerkt. ‘Nederland en Duitsland zijn buren’, staat er. ‘Maar we zijn meer dan dat.’

‘Dit is nu wat ik bedoel’, zegt Van Vlasselaer. ‘Schrijf gewoon wat je wil vertellen, en niet al die blablabla. Op de helft van het bericht weet ik nog steeds niet waar het over gaat.’

Van Vlasselaer promoveert aan de Vrije Universiteit van Brussel op het gebruik van generatieve AI in het hoger onderwijs. Ook helpt ze op de faculteit van Sociale Wetenschappen met het opsporen van ‘problematisch AI-gebruik’ door studenten. Eind juni publiceerde ze een wetenschappelijk artikel waarvoor ze de betrouwbaarheid van verschillende AI-detectiemodellen onderzocht. Inmiddels gebruikt de universiteit detectiemodel Pangram om alle masterscripties door te lichten. ‘Al vanaf teksten van vijftig woorden is Pangram betrouwbaar’, zegt ze.

Voor de duidelijkheid: Van Vlasselaer is helemaal niet tegen AI. Ze gebruikt het zelf, met name voor spellingscontrole als ze in andere talen schrijft. En ook studenten mogen het als hulpmiddel gebruiken, zolang dat binnen de afgesproken kaders is en ze er open over zijn. Maar juist daar, zegt ze, zit het probleem. ‘Willen we het vertrouwen behouden, tussen wetenschap en publiek, of tussen politiek en publiek, waar jullie onderzoek over gaat, dan is transparantie de basis. Wees eerlijk en open over wat je hebt gedaan.’

AI is verleidelijk, ziet Van Vlasselaer. Het blijkt voor sommigen moeilijk het niet te misbruiken. ‘Ik geef daar zoveel gastlessen over. En toch blijft het voorkomen op mijn universiteit. Omdat wij als maatschappij, en dit is mijn persoonlijke mening, ambigu zijn over AI-gebruik. Enerzijds krijg je continu te horen dat het ons leven kan verbeteren en efficiënter kan maken. Maar tegelijkertijd voelen de meeste mensen ook aan dat AI-tekst problematisch kan zijn. Als je taal uitbesteedt aan wiskundige modellen, breek je het vertrouwen tussen mensen. We willen namelijk weten wat iemand écht drijft. Het is heel dubbel. Ik denk dat we er als maatschappij nog niet uit zijn.’

Wat maakt AI zo aanlokkelijk?

‘AI is er altijd om jou te helpen als je even vastloopt. Wij zien dat studenten soms keer op keer de fout ingaan, zelfs na waarschuwingen en zware sancties. Ze weten dat bij onze faculteit alle masterscripties standaard worden gescreend. Als er een Pangram-score uit komt van meer dan 20 procent AI, vraag ik de supervisor te kijken naar de betreffende passages. Bij ongeveer een op de tien scripties is sprake van problematisch AI-gebruik. Daar bedoel ik mee dat er onregelmatigheden in de tekst zitten, valse referenties, methodologieën die elkaar tegenspreken.’

Vorige week ontstond enig rumoer toen Pangram een condoleancebericht op het privéaccount van Rob Jetten op X, over de overleden schrijver en cabaretier Paulien Cornelisse, als AI labelde. Volgens D66 is de tekst van 81 woorden door een mens geschreven. Hoe groot acht u de kans dat dat inderdaad zo is?

‘Pangram hanteert een ondergrens van vijftig woorden. Hoe langer de tekst, hoe betrouwbaarder Pangram is. Ik zou zeggen dat de kans op een vals positief bij een tekst van 80 woorden, zoals deze, zeer klein is. Ik lees in drie alinea’s drie keer een drieslag, heel typisch voor AI. ‘De strijd tegen kanker mocht ze niet winnen, maar de impact die zij gemaakt heeft met haar woorden, verhalen en voorstellingen leeft voort.’ Mensen gebruiken ook weleens drie voorbeelden, maar niet systematisch in elke alinea in zo’n korte tekst. Bij dit bericht herken ik ook duidelijk de cadans en structuur die kenmerkend is voor AI. Het is jammer dat ze er niet gewoon eerlijk over zijn.’

Er is kritiek op het gebruik van Pangram om schrijvers en politici te ‘betrappen’ op AI-teksten. De repliek is: ik heb AI alleen gebruikt als hulpmiddel. Of: Pangram is onbetrouwbaar. Hoe kijkt u daarnaar?

‘Onze hypothese bij ons onderzoek was ook dat geen tool betrouwbaar genoeg zou zijn, maar dat bleek onjuist. Pangram is gewoon zeer betrouwbaar. Over het gebruik van AI als hulpmiddel: hangt ervan af. Als je een tekst in een AI-model laadt en vraagt die te verbeteren, dan herschrijft het model de tekst vaak meer dan je vraagt. Het is goed mogelijk dat Pangram hem dan als AI bestempelt. In dat herschrijven schuilt ook echt een gevaar. Er kruipt soms tekst in waar je niet om gevraagd hebt, dat is de natuur van die AI-modellen, met het risico op fouten.

‘Bovendien kun je er cognitief lui van worden. Ook bij het controleren: AI schrijft op het eerste gezicht vlotte volzinnen, waardoor je denkt: dit klopt. Pas als je nauwkeurig leest, zie je de kromme taal en inhoudelijke fouten. Als je AI vraagt alleen de spelfouten eruit te halen, is het een ander verhaal. Dan behoud je een menselijke tekst en zal Pangram de tekst niet als AI zien.’

De premier schreef vóór generatieve AI ook veel van zijn teksten niet zelf, maar liet dat door medewerkers doen. Daar hoorde je niemand over. Waarom is AI wel een probleem?

‘Dit is mijn persoonlijke mening, maar die ghostwriters of voorlichters kennen degene voor wie ze het woord doen persoonlijk en kunnen in gesprekken tegengas geven. Ze kennen ook de culturele sensibiliteit, de context, het publiek. Een model niet.’

En wat als je, zoals Jetten zegt, je authentieke emotie over een bepaalde gebeurtenis in een prompt verwerkt en AI daar een post over laat schrijven?

‘Dan vergeet je dat wat wij voelen rechtstreeks invloed heeft op hetgeen wij schrijven en zeggen, omdat wij dat gevoel meegeven in onze taal. Een model kan dat niet. Een model kent de ‘token’ verdriet, en weet dat de token ‘tranen’ daarbij in de buurt zit. Maar het model weet niet wat wij van binnen voelen. Achter de woorden die je kiest om emoties te beschrijven zit menselijke reflectie, en die reflectie is niet meer nodig als je er een AI-model voor gebruikt.’

Zou AI-tekst ooit menselijkheid kunnen benaderen, volgens u?

‘Nee. Vóór generatieve AI was onze taal een uniek menselijke vaardigheid. Taal maakte ons mens. En nu is er een model dat geen mens is, dat niet denkt, dat niet voelt, maar dat op basis van wiskunde onze taal nabootst. Mensen schrijven gevarieerd, onvoorspelbaar, emotioneel en contextgebonden, AI juist niet. AI gaat uit van berekeningen die voorspellen wat het meest waarschijnlijke volgende woord in een zin is. Wij mensen gebruiken geen taal met wiskunde in ons achterhoofd.’