Bij het herkennen en labelen van mensen ging AI nog weleens de fout in. Is dat nog steeds zo? Met een enorme, ‘representatieve’ fotocollectie onderwierp een internationale groep wetenschappers een aantal programma’s aan een vooroordeeltest.
Het is een van de gênantste voorbeelden van discriminatie door een algoritme. Een Amerikaans stel bekeek de foto-app van Google, die met kunstmatige intelligentie foto’s labelt zodat je ze makkelijker kunt terugvinden. Tik ‘wintersport’ in en je krijgt alle vakantiefoto’s in de sneeuw te zien, dat idee.
Maar bij dit stel, met een zwarte huidskleur, ging de AI grandioos de fout in. De foto-app classificeerde het duo namelijk als ‘gorilla’s’. Het leidde tot een golf van ophef en excuses van het techbedrijf.
Dit voorbeeld stamt al uit 2015, maar ook in de jaren daarna bleef het probleem van ‘discriminerende AI’ opduiken. Zo zagen wetenschappers in 2018 dat systemen voor gezichtsherkenning meer moeite hadden met het identificeren van het geslacht van mensen met een zwarte huidskleur. Vooral zwarte vrouwen werden vaak verkeerd geclassificeerd: tot wel in 35 procent van de gevallen, vergeleken met een maximale foutmarge van 1 procent voor witte mannen.
Nu is het 2025 en gaan de ontwikkelingen op het terrein van kunstmatige intelligentie razendsnel. Hoe goed of slecht presteert AI bij het labelen van het menselijk uiterlijk met al zijn diversiteit? Zitten er nog steeds allerlei vooroordelen ingebakken in de systemen, bijvoorbeeld omdat de trainingssets van de kunstmatige intelligentie te veel leunen op een select gezelschap van witte westerlingen?
Om dat te testen maakte een internationaal wetenschapsteam van Sony AI een nieuwe dataset, met een enorme fotoverzameling die een representatiever beeld van de wereldbevolking moet geven. Daarmee hopen zij verscheidene AI-modellen voor persoonsherkenning te testen – én corrigeren – op vooroordelen en stereotypen, schrijven ze in wetenschapsblad Nature.
De set bevat meer dan tienduizend foto’s van bijna tweeduizend mensen uit 81 landen en/of regio’s, allemaal verzameld met toestemming van de geportretteerden. Dat laatste was een zwaarwegend punt: in het algemeen plukken dataverzamelaars foto’s en video’s van sociale media, zonder medeweten of instemming van de afgebeelde personen.
Een ander belangrijk onderdeel van dit soort datasets zijn de beschrijvingen van kenmerken die te zien zijn op foto’s, zoals de houding, huidskleur of gezichtsuitdrukking van een persoon. Het algoritme gebruikt zulke bijschriften om eigenschappen te leren koppelen aan een bepaalde visuele input.
Normaal wordt dit categoriseren gedaan door buitenstaanders, veelal arbeiders in lageloonlanden. Dat brengt het risico met zich mee dat ze hun eigen (onbewuste) vooroordelen in het AI-systeem pompen, bijvoorbeeld door iemands gender of leeftijd verkeerd in te schatten.
De wetenschappers van Sony pakken het daarom anders aan: geportretteerden mochten hun eigen kenmerken toeschrijven aan de foto’s, zoals hun nationaliteit, gender of huidskleur. Doordat deelnemers zich beschrijven zoals ze zichzelf zien, hopen de wetenschappers de meeste vormen van stereotypering en vooroordelen te omzeilen.
Tijd voor de proef op de som. De onderzoekers onderwierpen daarvoor een aantal bestaande AI-programma’s die mensen categoriseren aan hun nieuwe vooroordeeltest. En wat blijkt? Ze scoren al erg goed op het identificeren van personen, gezichtsuitdrukkingen en lichaamshoudingen, ongeacht de kleur, leeftijd of gender van personen.
Geen reden dus tot paniek over discriminerende AI-modellen, vindt Theo Gevers van de Universiteit van Amsterdam, niet betrokken bij de nieuwe fotoverzameling. De hoogleraar computer vision onderzoekt onder meer hoe kunstmatige intelligentie afbeeldingen kan interpreteren en genereren. ‘Die modellen zijn inderdaad vooral getraind op foto’s van witte mensen, maar vooralsnog lijken ze geen moeite te hebben met het herkennen van mensen met een andere etniciteit.’
Problemen met de detectie van mensen zijn vooral afhankelijk van de vormen en contourcontrasten in afbeeldingen, verklaart Gevers. Een half bedekt gezicht, iemand die schuin voor de camera staat, of een foto die simpelweg slecht belicht is; allemaal voorbeelden van situaties waarin AI meer moeite heeft met het herkennen van menselijke kenmerken. ‘Dat een zwart persoon mogelijk minder goed wordt gedetecteerd in een donkere kamer, is dus eerder afhankelijk van het contrast van de lichaamscontouren in het beeld en dus niet van de huidskleur als zodanig.’
Op de geclaimde diversiteit van de dataset valt overigens nog wel wat af te dingen, stelt de hoogleraar. Onder de deelnemers bevinden zich bijvoorbeeld opvallend veel Angolezen, Filipijnen en Indiërs. ‘Weliswaar groepen die vaak minder vertegenwoordigd zijn in dit soort sets, maar desalniettemin niet representatief voor de complete wereldbevolking.’
De onderzoekers van Sony beweren niet dat AI-modellen getraind horen te worden met hun foto’s, maar dat die slechts gebruikt dienen te worden voor het testen van vooroordelen en stereotypen over voorheen ondergerepresenteerde groepen. Gevers: ‘Deze dataset is een stapje in de goede richting van het op de kaart zetten van problemen met diversiteit in het trainen van AI, maar bevat nog zeker wat haken en ogen.’
Geselecteerd door de redactie
Source: Volkskrant