Verlos ons van de repeterende rituele verontwaardiging van het Pisa-onderzoek

Meen je dat? Ga je nu op het moment dat Pisa beweert dat de leesvaardigheid van onze 15-jarigen dramatisch gedaald is – ooit het beste jongetje van de Europese klas dat 25 jaar later zo’n beetje als slechtste presteert – in alle ernst beweren dat dit soort internationale onderzoeken opgedoekt moet worden?’

Ja, daar komt het inderdaad op neer. De conclusie ‘40 procent van de 15-jarigen loopt het risico om als laaggeletterde de school te verlaten en kan daardoor niet goed functioneren in de samenleving’ wordt wel overal klakkeloos rondgetoeterd – maar klopt het verhaal wel?

Weinig zicht

Een essentieel punt is aan de orde gesteld door NRC-columnist Rosanne Hertzberger. Er wordt, zo redeneert zij, tegen de klippen op getoetst in het onderwijs. De resultaten verschijnen in allerlei rapporten, zoals bijvoorbeeld de ‘factsheets basisvaardigheden’ van het Nationaal Cohortonderzoek Onderwijs. Conclusie in die rapporten: het gaat top. Ook aan de andere kant van de pijplijn, bij de eindexamens, gaat het prima de luxe. Is dat niet raar: hoe kunnen die aanstaande laaggeletterden slagen voor hun schoolexamens? Er zijn, schrijft Hertzberger, veel data en weinig zicht.

Ja, zegt Pisa, maar wij toetsen niet wat leerlingen leren op school, maar de mate waarin leerlingen worden voorbereid om effectief deel te nemen aan de samenleving; het leerlingvolgsysteem in Nederland is gebaseerd op toetsen die behoren bij het leerplan. Tsja. Alsof dat leerplan geen voorbereiding zou zijn om naar behoren deel te nemen aan de samenleving.

Pisa onderscheidt drie onderdelen van leesvaardigheid: informatie opzoeken, onderscheid in relevantie kunnen aanbrengen (informatie begrijpen, niet alleen de letterlijke betekenis maar ook verbanden kunnen leggen) en evalueren en reflecteren: de kwaliteit en geloofwaardigheid van teksten beoordelen, op teksten reflecteren en omgaan met conflicterende informatie. Een helder onderscheid.

Bewierookt

In 2018 werden de resultaten per aspect uitgesplitst: Nederlandse leerlingen waren relatief goed in informatie opzoeken en zwak in evalueren en reflecteren. Informatie waar je iets aan hebt. Maar helaas: er wordt dit keer op dezelfde manier onderzocht, maar de afzonderlijke scores worden nu niet gerapporteerd.

Bovendien komt Pisa met de treurige afsluiter dat je met de Pisa-data geen verklaringen kunt geven voor de ontwikkeling van toetsprestaties. Immers, Pisa meet slechts op één moment: één keer in de drie jaar. Voor causale verbanden zou je leerlingen langjarig moeten volgen.

Opmerkelijk is dat het onderzoek her en der wordt bewierookt. Literair weblog Tzum repte over een ‘gedegen’ onderzoek. De auteur van dienst is in zijn nopjes met de eerdere Pisa-kritiek op het taalonderwijs (‘minder gericht op het begrijpen van een tekst als geheel en weinig aandacht voor het evalueren van de inhoud van een tekst’) en heeft hoge verwachtingen van de nieuwe kerndoelen voor het leesonderwijs.

Dat laat echter de vraag onbeantwoord hoe het dan mogelijk was om met de oude kerndoelen in 2003 excellent te scoren? Helemaal bont maakt de NRC-podcast Zo simpel is het niet het. De twee makers zijn verontrust en reizen af naar de Oeso die het Pisa-onderzoek betaalt. Het resultaat is dat de Pisa-onderzoeker alle tijd en gelegenheid krijgt voor zijn verhaal. Dat stemt niet alleen overeen met de intuïtieve opvattingen van de podcasters, zij gaan zo op in hun heldenrol – Zij Zijn De Ontdekkers Van De Grote Leescrisis – dat zij het presteren om geen enkele kritische vraag of opmerking te plaatsen.

Naadje van de kous

Wat nu te doen? Het Pisa-onderzoek wordt uitgevoerd in 91 landen met in totaal 760 duizend leerlingen. Dat klinkt imponerend en dat is het ook. Maar die sterkte is ook de zwakte, het is een ongelofelijk ingewikkelde klus om leerlingen uit zoveel verschillende onderwijssystemen en lesmethodes goed te toetsen. Vandaar ook dat de uitkomsten van de verschillende soorten internationale onderzoeken elkaar regelmatig tegenspreken.

Het is zo ingewikkeld dat je je moet afvragen of dit soort onderzoek een goed beeld geeft van de werkelijke situatie. Natuurlijk, als de metingen een dramatische daling van de leesvaardigheid in een heleboel landen aangeven, dan moet er wat aan de hand zijn. Maar in dat geval wil je het naadje van de kous weten, hoe erg is de situatie, waarom wordt er geen alarm geslagen op de scholen, waarom komt het niet overeen met nationale onderzoeksrapporten, wat zijn de oorzaken per land, enzovoorts.

Maar op dit punt hebben we aan Pisa helemaal niets, daarom moeten we ermee stoppen. Tegelijkertijd organiseren we als de sodeju een nationaal onderzoek dat met betrouwbare uitkomsten komt, zorgen we ervoor dat alle scholen op de hoogte zijn van de best practices op het gebied van leesvaardigheid én controleren we of scholen die praktijken in voldoende mate toepassen. Daden, niet alleen woorden. Zodat onze leerlingen goed leren lezen, schrijven en de hele reutemeteut. En wij verlost zijn van die repeterende rituele verontwaardiging.