De onderwijskundig goed geconstrueerde items worden gepretest volgens de kwaliteitseisen voor het steekproefkader en de samenstelling van de steekproef.

Kwaliteitseisen

Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA worden beantwoord.

Code | Vragen | Mogelijke antwoorden

N1 | Is de steekproef groot genoeg? | ja/nee

N2 | Is de steekproef relevant? | ja/nee

N3 | Wordt het afnamedesign dat is gebruikt in de pretest adequaat beschreven en verantwoord? | ja/nee

Toelichting N1: De aanbieder geeft aan via welk scenario en met welke doel de nieuwe items zijn gepretest. Vervolgens geeft de aanbieder aan door hoeveel leerlingen ieder nieuw item is gepretest. Het aantal observaties wordt als voldoende gezien wanneer ieder item door minstens 200 leerlingen gemaakt is. Uiteraard geven meer gegevens meer zekerheid. Indien doel B wordt nagestreefd moet rekening worden gehouden met het minimumaantal observaties dat per item wordt vereist voor de kalibratie na operationele afname (zie kwaliteitscriterium NR1). Het staat de aanbieder vrij om zowel de gegevens van de reguliere bo-leerlingen als de s(b)o-leerlingen te gebruiken, mits er geen sprake is van DIF (zie kwaliteitscriterium KA2).

Gekloonde opgaven zijn in beginsel nieuwe opgaven, en worden zo ook beoordeeld. Wanneer er sprake is van (zeer) kleine wijzigingen, zoals de aanpassing van een munteenheid (van euro naar dollar), of de aanpassing van een naam (bijvoorbeeld ten behoeve van inclusie), waarbij de opgave inhoudelijk hetzelfde blijft, dan kunnen dergelijke items als onveranderd gezien worden. De toetsaanbieder moet dan wel duidelijk aangeven welke (inhoudelijke) aanpassing gedaan is, bij voorkeur met een rationale waaruit blijkt waarom de aanpassing geen impact heeft.

Wanneer de gekloonde opgave in termen van relevantie en/of objectiviteit verandert ten opzichte van het originele item, dan is er wel sprake van een nieuwe opgave. Meer specifiek is er sprake van een nieuwe opgave wanneer:

○ de gekloonde opgave een relatie heeft met een ander of gewijzigd leerdoel;

○ de gekloonde opgave naar verwachting een andere of gewijzigde moeilijkheidsgraad heeft;

○ de gekloonde opgave naar een ander of gewijzigd modelantwoord leidt.

Wanneer eerder al data verzameld zijn bij het item in een andere vorm moet ook bij kleine wijzigingen het gekloonde item een nieuw label krijgen.

Toelichting N2: De steekproef moet relevant zijn voor de toepassing. In het geval van scenario 1 geldt dat aan de volgende zes voorwaarden moet worden voldaan:

1) Op alle in de onderstaande tabel genoemde variabelen zitten er op minimaal twee niveaus per variabele en op minimaal drie niveaus van de variabele schoolweging gegevens in de steekproef;

2) Er is aangegeven hoe de steekproef getrokken is;

3) Er is aangegeven onder welke omstandigheden de data verzameld zijn;

4) Er is aangegeven hoe de steekproef zich verhoudt tot de verwachte populatie die de operationele toets afneemt met betrekking tot de in de tabel genoemde niveaus per variabele;

5) Er is aangegeven hoe de steekproef zich verhoudt tot de landelijke populatiewaarden van leerlingen in groep 8 met betrekking tot de in de tabel genoemde niveaus per variabele;

6) Er is aangegeven of en hoeveel S(B)O scholen hebben mee gedaan.

Als bij (3) de omstandigheden afwijken van de werkelijke afname wordt aangegeven welke impact verwacht wordt en hoe daar in de selectie van opgaven voor de operationele afname rekening mee is gehouden.

Variabele | #N | Welke niveaus (NB: #N = aantal niveaus)

regio | 4 | noord, zuid, oost, west

stedelijkheid | 2 | verstedelijkt, landelijk1

schoolgrootte | 3 | aantal leerlingen: <100, 100–300, >300 leerlingen

schoolweging | 5 | gewichtscategorieën: <23 / 23–26,99 / 27–32,99 / 33–36,99 / ≥ 37

1 De mate van verstedelijking is terug te voeren op de bij het CBS gebruikelijke indeling naar vijf niveaus, namelijk zeer sterk, sterk, matig, weinig en niet verstedelijkt. De vijfdeling is hier teruggebracht naar een tweedeling in enerzijds verstedelijkt (zeer sterk en sterk) en anderzijds landelijk (matig, weinig en niet verstedelijkt). De toetsaanbieder kan ervoor kiezen om van deze indeling af te wijken, mits deze keuze is voldoende onderbouwd.

In het geval van scenario 2 moet de aanbieder aantonen dat de populatie voor de zaai-items niet structureel anders is dan de populatie van de niet-zaai-items.

Afwijkende beoordeling calamiteitentoets: De eis dat de steekproef van de pretest overeen moet komen met de populatie die de toets van de aanbieder regulier afneemt, geldt niet voor de calamiteitentoets. Voor de calamiteitentoets is ‘leerlingen uit groep 8’ de best passende operationalisering van de beoogde doelgroep.

Toelichting N3: Het afnamedesign van de pretest wordt door de aanbieder uiteengezet. Wanneer er sprake is van doel B is het van belang dat de parameters per (sub)domein op dezelfde schaal liggen. Hiervoor is het van belang dat er sprake is van een afnamedesign waarbij dit mogelijk is. Dit design wordt aangeleverd en bevat – indien van toepassing – in ieder geval informatie over:

○ het totaal aantal boekjes (‘booklets’);

○ aantal observaties per boekje;

○ het aantal items dat tussen de opgavenboekjes onderling overlapt;

○ het aantal items, en de kwaliteit van de items, dat de pretest verbindt met de bestaande schaal.

Wanneer de pretest gedaan wordt door middel van zaai-opgaven in de afname dan wordt aangegeven hoe dat zaai-design er uitziet.

Wanneer de pretestdata zijn verzameld met een CAT is het niet zinvol om het hele onvolledige design weer te geven, omdat iedere leerling dan in principe een unieke verzameling items maakt. Het moet – indien sprake is van doel B – wel duidelijk zijn hoe deze data worden verbonden aan de landelijke schaal na kalibratie na afgelopen operationele afname.

Ook moet duidelijk zijn op welke posities de verschillende opgaven ingezet zijn, zodat door de toetsaanbieder op gedegen en complete wijze beargumenteerd kan worden op welke wijze er rekening is gehouden met vermoeidheids- en/of volgorde effecten.