COTAN Beoordelingssysteem

COTAN Beoordelingssysteem en addenda
Beoordelingen worden gedaan aan de hand van het COTAN Beoordelingssysteem voor de kwaliteit van tests (Evers, Lucassen, Meijer & Sijtsma, 2010) en de aanvullingen daarop. Deze aanvullingen zijn opgesteld door de COTAN onder invloed van bijvoorbeeld ontwikkelingen op het gebied van testconstructie. De aanvullingen zijn vastgelegd in de zogeheten addenda op het COTAN Beoordelingssysteem. Zo zijn er addenda met betrekking tot unproctored gegevensverzameling en fairness.
Het COTAN Beoordelingssysteem en de addenda zijn openbaar en kunt u hier raadplegen en downloaden.

Op de website van het NIP vindt u ook informatie over de beoordelingsprocedure en hoe uw test in de beoordelingsprocedure kan worden opgenomen.

Beoordelingen en herbeoordelingen

Elke beoordeling van een test door de COTAN is een momentopname: zij reflecteert een beoordeling van de informatie die op dat specifieke moment door de testuitgever of auteur is aangeleverd. Bij iedere COTAN testbeoordeling wordt daarom een jaartal vermeld, dat aangeeft wanneer de beoordeling heeft plaatsgevonden. Dit jaartal helpt gebruikers van de test om te begrijpen op welke basis de COTAN tot haar oordeel is gekomen en maakt duidelijk dat de beoordeling kan verouderen zodra nieuw wetenschappelijk bewijs beschikbaar komt.

Testbeoordelingen kunnen, zonder context, de indruk wekken dat een test blijvend onvoldoende scoort, terwijl recent onderzoek soms een ander beeld laat zien. Belangrijk om te benadrukken is dat de COTAN een test altijd beoordeelt op basis van de informatie die de uitgever of auteur op dat moment heeft aangeleverd. De datum van de beoordeling staat vermeld bij de test.

Het huidige beleid van de COTAN is dat zij op dit moment niet actief voor iedere test bijhoudt of er ná publicatie van de beoordeling nieuw bewijs t.a.v. de psychometrische kwaliteit is verschenen. Alleen wanneer een uitgever of auteur de test opnieuw indient als herziening, wordt aanvullende informatie meegenomen. Een herziening kan bestaan uit nieuwe items of subtests, maar kan ook bestaan uit het aandragen van nieuw onderzoek dat extra bewijs levert voor de psychometrische kwaliteit van de eerder beoordeelde test. Het kan dus voorkomen dat er inmiddels aanvullend bewijs beschikbaar is dat de eerdere beoordeling zou kunnen wijzigen, maar waar de COTAN (nog) niet naar gekeken heeft. Uitgevers zijn tot op heden altijd vrij geweest om vanaf één jaar na de beoordeling een herziening van het COTAN oordeel aan te vragen.

Bij een (her)beoordeling door de COTAN geldt dat de psychometrische kwaliteit volgens de COTAN-richtlijnen moet zijn onderzocht bij de doelgroep van de test. Voor tests die bedoeld zijn voor gebruik bij Nederlandstalige respondenten, of respondenten die in Nederland wonen, betekent dit dat de kwaliteit ook moet zijn vastgesteld bij Nederlandstaligen dan wel mensen in Nederland, of dat overtuigend is aangetoond dat de resultaten equivalent zijn aan de Nederlandse situatie.

Normen en opschoning

In het COTAN Beoordelingssysteem voor de kwaliteit van tests (Evers, Lucassen, Meijer & Sijtsma, 2010) staat vermeld dat normen van tests aan slijtage onderhevig zijn. Van de psychometrische kenmerken van een test zijn de normen het meest gevoelig voor maatschappelijke veranderingen, veranderingen in het onderwijs en in de inhoud van functies. Daarom moet er van tijd tot tijd hernormering van tests plaatsvinden. De COTAN checkt jaarlijks hoe oud de testbeoordelingen in de online Documentatie van Tests en Testresearch zijn. Om u te attenderen op gedateerde normen wordt de kwalificatie ‘De normen zijn verouderd' toegevoegd aan een beoordeling als er 15 jaar na het oorspronkelijke normeringsonderzoek geen hernormeringsonderzoek heeft plaatsgevonden. Na 20 jaar zonder dergelijk onderzoek wordt deze kwalificatie gewijzigd in ‘Wegens veroudering zijn de normen niet meer bruikbaar' en wordt de beoordeling ‘onvoldoende'. Ook hierbij wordt niet expliciet door de COTAN bekeken of de normen inmiddels geactualiseerd zijn.  Let wel: uitgevers en ontwikkelaars zijn daarbij vrij om nieuwe beoordelingen of herbeoordelingen aan te vragen. Zo kunnen recente wetenschappelijke inzichten worden meegenomen in de testbeoordelingen, mits deze specifiek betrekking hebben op de Nederlandse populatie.

Betekenis van een onvoldoende

Een onvoldoende op een psychometrisch criterium kan twee dingen betekenen. Het kan erop wijzen dat er simpelweg onvoldoende bewijs is aangeleverd (de kwaliteit kan dus wel goed zijn, maar niet aangetoond). Het kan ook betekenen dat uit het beschikbare bewijs blijkt dat de kwaliteit daadwerkelijk onvoldoende is. In beide gevallen is de kwalificatie bedoeld als signaalfunctie voor psychologen die met de test werken, zodat zij alert blijven op de onderbouwing van hun instrumentkeuze.

Werkgroep Prioritering

De afgelopen jaren beoordeelde de COTAN uitsluitend tests die actief door uitgevers of testontwikkelaars bij de COTAN werden aangeboden. Er was geen systematische selectie van tests op basis van urgentie of relevantie; de beoordeling vond alleen plaats op basis van de door de aanbieders aangeleverde informatie.

Om het proces te verbeteren en de actualiteit en kwaliteit van testinformatie structureel te waarborgen, is recent de werkgroep Prioritering opgericht. Deze werkgroep heeft de opdracht gekregen om een jaarlijks te publiceren prioriteitenlijst van tests op te stellen die idealiter door de COTAN beoordeeld zouden moeten worden. Het streven is dat vanaf 2026 een dergelijke lijst beschikbaar zal zijn.

Binnenkort zal de werkgroep Prioritering beleid ontwikkelen over hoe herzieningen op de prioriteitenlijst zullen worden opgenomen. Dit beleid moet duidelijk maken op welke manier ingediende herzieningen worden beoordeeld, welke criteria gelden voor opname op de prioriteitenlijst en hoe de volgorde van beoordeling wordt vastgesteld. Op deze manier krijgen uitgevers de mogelijkheid om herzieningen actief aan te melden, terwijl de COTAN een gestructureerd en transparant proces hanteert om de kwaliteit en actualiteit van de testinformatie te waarborgen. Zodra het beleid is vastgesteld en de prioriteitenlijst beschikbaar is, zal hierover worden gecommuniceerd via de COTAN-pagina van het NIP.