AI Een Zweedse onderzoeker schreef twee artikelen over een verzonnen ziekte, om de betrouwbaarheid van chatbots te testen. Die liepen rechtstreeks in de val.
De hypochonder die vroeger misschien het web afstruinde op zoek naar een verklaring voor een verontrustend hoestje, heeft tegenwoordig chatbots om zijn of haar zorgen mee te bespreken. De nieuwe technologie brengt ook nieuwe valkuilen met zich mee. Je zou er bijvoorbeeld van overtuigd kunnen raken dat je een ziekte hebt die helemaal niet bestaat.
„Bixonimania is inderdaad een intrigerende en relatief zeldzame aandoening”, zei chatbot Copilot van Microsoft twee jaar geleden met volle overtuiging. Google’s Gemini, in diezelfde periode: „Bixonimania is een aandoening die wordt veroorzaakt door overmatige blootstelling aan blauw licht.”
Maar bixonimania bestaat niet, onthulde het wetenschappelijke tijdschrift Nature afgelopen week. Wie de afgelopen twee jaar last had van jeukende oogleden, kon van chatbots toch die diagnose krijgen. De fictieve aandoening zou het gevolg zijn van langdurige blootstelling aan het blauwe licht van beeldschermen en zou zich kenmerken door oogleden die lichtrood kleuren nadat je erin hebt gewreven.
Bixonimania is het geesteskind van Almira Osmanovic Thunström, een medisch onderzoeker aan de Universiteit van Gotenburg in Zweden. Zij was benieuwd hoe gevoelig chatbots zijn voor medische desinformatie en schreef daarom twee neppe wetenschappelijke artikelen over de door haar verzonnen aandoening. Ze publiceerde de artikelen op een bekende website voor zogenoemde ‘preprints’. Dat zijn conceptversies van artikelen die nog niet door collega-wetenschappers zijn beoordeeld.
Osmanovic Thunström had de nepartikelen volgestopt met signalen dat het om een verzinsel ging. Om te beginnen zou elke deskundige direct zien dat de naam van de aandoening, eindigend op de psychiatrische term ‘mania’, niet binnen de oogheelkunde thuishoort. In het nawoord werden onder andere de ‘universiteit van de Fellowship of the Ring’ en de ‘Galactic Triad’ bedankt. Bovenaan in het artikel stond zelfs: „Dit hele artikel is verzonnen.”
Toch begonnen chatbots de informatie binnen de kortste keren te papegaaien. Naast Copilot en Gemini vielen ook chatbots Perplexity en ChatGPT in de val. Dat gebeurde in reactie op rechtstreekse vragen over bixonimania, schrijft Nature, maar soms stelden chatbots de diagnose ook zelf op basis van enkele symptomen.
Inmiddels weten chatbots hoe de vork in de steel zit. Een rondgang van NRC langs Copilot, ChatGPT, Gemini en Perplexity leverde verschillende varianten op van hetzelfde antwoord: bixonimania is een „gefabriceerde term”, een „experiment” en een „hoax”. Osmanovic Thunström heeft de artikelen afgelopen week ingetrokken, zoals de bots blijkbaar weten. Ook het nieuwsbericht op Nature heeft hen al bereikt.
Voor drie Indiase onderzoekers kwam dat te laat. Zij citeerden de neppe artikelen over bixonimania in hun eigen onderzoek. Het wetenschappelijke tijdschrift Cureus, onderdeel van het concern van Nature, heeft ook dat onderzoek twee weken geleden ingetrokken.
„Een integere wetenschapper gebeurt dat niet”, zegt Martin Buijsen, hoogleraar recht en gezondheidszorg aan de Erasmus Universiteit, die vermoedt dat de Indiase onderzoekers hun bronnen niet goed hebben gelezen. „Maar ook de reviewers en editors hebben steken laten vallen.”
Bixonimania is volgens Buijsen een nuttig voorbeeld van valse informatie die „gewoon de reguliere wetenschappelijke kanalen ingaat”. Maar hij benadrukt dat het fenomeen niet nieuw is. „Ik herinner me uit de jaren negentig nog de ‘Postmodernism Generator‘.”
„Dat was een hilarische machine die wetenschappelijke artikelen publiceerde, in een zeer postmoderne taal zoals alleen sociologen die gebruiken. Toen bleek ook al dat er mensen waren die dat soort studies serieus namen.” In 2005 kwam daar SCIgen bij, die hetzelfde deed voor de computerwetenschap. Artikelen van SCIgen werden in de jaren daarna door verschillende tijdschriften en conferenties geaccepteerd.
Iedere week bespreekt de redactie wetenschap hier ophef in de wetenschap.
Doorzie de wereld van technologie elke week met NRC-redacteuren