AI-check zit er zelden naast bij tekstbeoordeling: 'Geen bewijs in rechtszaken'

AI-modellen zoals ChatGPT en Claude worden veel gebruikt voor schrijfwerk. Die teksten belanden overal en nergens, bijvoorbeeld in de opiniepagina's van kranten of op socialemediakanalen van Jetten.

Het werd de premier niet in dank afgenomen dat hij zijn excuses aan de Molukse gemeenschap, die na de Tweede Wereldoorlog in Westerbork werd geplaatst, met AI had geschreven. Zelf ziet Jetten het probleem niet zo. "Je schrijft ze zelf en controleert ze ook zelf, maar met AI kijk je of je ze nog wat beter kan maken", zei hij tegen RTL Nieuws over deze AI-berichten.

Wat maakt het eigenlijk uit dat mensen AI gebruiken om teksten te schrijven? "Ik vind het wel belangrijk dat als ik moeite steek in het lezen van een tekst, ik ook weet dat de schrijver er zelf moeite in heeft gestopt", zegt techniekfilosoof Joris Krijger. "Dat was een goede indicator voor persoonlijke kwaliteiten. Met AI is dat aan inflatie onderhevig, want iedereen kan nu een perfecte tekst schrijven."

Als je met AI schrijft, besteed je een deel van je denken uit aan de computer, zegt AI-lector Stefan Leijnen van de Hogeschool Utrecht. "Deels is dat de reden dát we AI gebruiken, want de computer is sneller en op sommige punten beter dan wij. Maar wat verlies je in dat proces? Een tekst wordt er misschien beter van, maar jij zelf niet."

Pas na onderzoek van de Volkskrant werd duidelijk dat Jetten de berichten met behulp van AI had opgesteld. Voor het onderzoek werd het programma Pangram gebruikt, een van de bekendste (en beste) tools om AI-teksten te analyseren en te herkennen.

Pangram zoekt naar patronen die vaak voorkomen in AI-teksten, zoals voorspelbare woordkeuzes en zinsopbouw. De tool berekent op basis daarvan de waarschijnlijkheid dat AI is gebruikt. Als Pangram een check heeft uitgevoerd, verschijnt een percentage dat aangeeft hoe waarschijnlijk het is dat een tekst door AI is geschreven.

Pangram haalde de laatste tijd vaker het nieuws. Schrijver Thélyson Orélien stond met zijn roman C'était ça ou mourir op de longlist voor een Franse boekenprijs, tot ontdekt werd dat het manuscript bijna volledig met AI was geschreven.

Orélien houdt vol dat hij alles zelf heeft getikt, maar door de hoge score van Pangram heeft hij de schijn tegen. Daaruit blijkt dat de schrijver woorden gebruikte die AI waarschijnlijk ook zou kiezen. Dat terwijl mensen anders schrijven dan taalmodellen, omdat er veel variatie in menselijke breinen zit, zegt Leijnen. Daarom werd Orélien van de lijst gehaald. Zijn boek is na de ophef overigens op weg een bestseller te worden.

In vrijwel al deze gevallen leunen we in de beoordeling van teksten eerder op Pangram dan op de schrijver. Doorgaans zijn de uitslagen van de tool goed, zegt Leijnen. "Vooral bij langere teksten heeft de tool vaak gelijk."

Maar de tool geeft nooit 100 procent zekerheid, meldt Pangram zelf ook. "Pangram claimt dat 0,0041 procent van de gecheckte teksten niet klopt. Bij miljoenen checks zijn dat nog steeds honderden teksten die ten onrechte worden aangemerkt als AI", benadrukt Leijnen. "Laat ik het zo zeggen: in een rechtszaal zou de uitkomst van alleen Pangram geen stand moeten houden."

Onder de Europese AI Act moet uiteindelijk helder zijn of een tekst door AI of een mens is geschreven. Moeten we dan nu alle teksten door AI-tools gaan halen om te bepalen wat we ervan vinden? Krijger vindt het wel nodig om het nu veel te doen. "Dat is goed voor de discussie die we hierover als maatschappij moeten voeren", zegt hij. Zo kunnen we de norm bepalen voor wanneer AI in teksten wel en niet gewenst is.

Kunstmatige intelligentie doet volgens Krijger iets met het vertrouwen van mensen. "Als mensen weten dat een tekst met AI is gemaakt, vinden ze het vaak minder mooi. We vinden het belangrijk dat iemand ergens moeite in heeft gestoken. Mensen voelen zich graag verbonden met anderen. Kunstmatige intelligentie is dan een verstoring. Een verhaal voelt niet meer oprecht."

De deskundigen zijn niet tegen het gebruik van Pangram of andere detectietools, maar zouden vooral meer context willen zien bij de beoordeling. Een percentage menselijkheid in een tekst zegt niet alles. Misschien is de tekst wel geschreven door een mens, maar is AI gebruikt om zinnen beter te maken of lastige termen te versimpelen. Door AI-teksten aan te passen of eigen teksten aan te vullen met AI, verwatert de score die een tool erop plakt.

Een lezer wil vooral weten waarvóór AI in het schrijfproces is ingezet, denkt Krijger. "Is dat om de leesbaarheid te verbeteren en bronnen te zoeken? Dat is al iets heel anders dan het overnemen van het schrijfwerk. Als lezer wil je weten of het oorspronkelijke idee van de schrijver zelf komt. Dat kan een detector niet herkennen."

Een van de uitkomsten van het debat dat hierover moet worden gevoerd, is dat het niet zoveel uitmaakt dat een tekst met AI is geschreven. "Misschien vinden we sportverslagen die door AI zijn geschreven prima, maar voelt het bij een diepgravende analyse minder goed", zegt Krijger.

Wetenschappelijke studies kunnen helpen bij het opstellen van beleidskaders. "We weten nog niet helemaal wat we ermee aan moeten", zegt Leijnen. "Die afspraken moeten we met elkaar maken."