Een AI-score vormt geen bewijs voor auteurschap

Vorige week werd een opinieartikel van mij door een nieuwsmedium afgewezen. Dat kan gebeuren. Maar nadat ik een stuk van de Ombudsvrouw van de Volkskrant had gelezen over AI-gebruik bij ingezonden opiniestukken, bekeek ik de afwijzing opeens in een ander licht.

Zou het betreffende nieuwsmedium mijn bijdrage door AI-detectiesoftware hebben gehaald?

Ik nam de proef op de som en haalde mijn tekst door Pangram, de Rolls-Royce van de AI-detectietools. Een zucht van verlichting: ‘slechts’ 22 procent AI werd gedetecteerd. De boosdoener was een alinea aan het einde, waaraan AI inderdaad een grote bijdrage had geleverd.

Minder AI-achtig

Volgende vraag: kon ik die alinea minder AI-achtig maken, anders dan door hem helemaal zelf te schrijven? Ik pakte er een tool bij om de gewraakte passage te ‘humanizen’. Alles wat er lekker puntig aan was, werd onverbiddelijk ver-B1’t. Veel hielp het niet. Na vervanging van de AI-alinea door de gehumaniseerde versie daalde de score van 22 procent naar 21 procent.

Een hele procent. Tel uit je winst.

De Volkskrant hanteert naar eigen zeggen een streng protocol. AI mag worden gebruikt voor onderzoek, transcriptie, vertaling en controle van spelling en stijl. Maar een opiniestuk mag niet met generatieve AI zijn geschreven. ‘Lezers verwachten dat een mens tot hen spreekt en niet een machine’, schrijft de Ombudsvrouw. Om het protocol te handhaven gebruikt de opinieredactie tegenwoordig Pangram. Bij een score van minder dan 50 procent gaat zij met de auteur in gesprek. Boven de 50 procent is het stuk afgeschreven.

Maar daar begint het probleem.

De Ombudsvrouw erkent namelijk zelf dat Pangram moeite heeft met hybride teksten. De software kan niet goed onderscheiden of AI een menselijke tekst licht heeft geredigeerd of vrijwel helemaal heeft geschreven. Ook zou Pangram minder betrouwbaar zijn bij Nederlandse dan bij Engelse teksten. Conclusie van de opinieredactie is dan ook dat de score aanleiding moet zijn voor een gesprek en niet voor een veroordeling. Behalve dus bij 51 procent. Dan is het gesprek kennelijk voorbij.

Mooischrijverij

Dat de Volkskrant beducht is voor AI-proza is begrijpelijk. Iedereen die weleens een tekst, website of logo met AI heeft gemaakt, kent het resultaat: keurig, gepolijst en nét niet wat je zocht. Sociale media staan inmiddels bol van waarschuwingen voor AI-slop en van recepten om clichés, mooischrijverij en overmatige uitleg te bestrijden.

Ook onderzoek wijst op dit risico. In een experiment uit 2024 schreven ongeveer driehonderd deelnemers korte verhalen, met of zonder ideeën van AI. Zeshonderd lezers beoordeelden de verhalen die met AI-hulp waren gemaakt gemiddeld als creatiever, beter geschreven en plezieriger om te lezen. Nadeel: de verhalen gingen meer op elkaar lijken.

AI kan een afzonderlijke tekst dus verbeteren en tegelijk alle teksten bij elkaar tot eenheidsworst maken. Precies het hagelwitte facinggebit waar de Ombudsvrouw voor waarschuwt. Maar kwaliteit en auteurschap zijn twee verschillende zaken. Een slechte menselijke tekst blijft menselijk. Een goede tekst houdt niet op menselijk te zijn omdat een taalmodel een kromme zin heeft rechtgezet.

Compleet herschrijven

De inzet van AI vormt een continuüm. Aan het ene uiteinde staat controle van spelling en grammatica. Daarna volgen het aanscherpen van afzonderlijke zinnen en het compleet herschrijven van het door een mens opgestelde concept. Aan het andere uiteinde heeft AI zowel het standpunt als de argumentatie en de formulering bepaald.

Huidige AI-detectietools zijn niet in staat op dat continuüm aan te wijzen welke rol AI heeft gespeeld. Stel dat de mening, metafoor en observatie van mij zijn en grotendeels ook door mij zijn verwoord, maar dat ik AI heb gebruikt voor de eindredactie; dan is het best pijnlijk als de parels van mijn geest door een computer als computerwerk worden bestempeld.

Redactioneel beleid zou dat moeten meewegen. Belangrijk is dat de auteur zelf verantwoordelijk is voor de claim, de centrale redenering en de voorbeelden. De inhoudelijke eigenheid en menselijke bijdrage moeten altijd door een mens worden vastgesteld en zouden zwaarder moeten wegen dan het oordeel van een AI-detector.

De Volkskrant wil terecht dat een mens tot de lezer spreekt. Maar dan moet zij er ook voor zorgen dat een mens vaststelt wie er spreekt.