5.2.1 — Steekproefkader en samenstelling steekproef Regeling beoordelingskader doorstroomtoets PO Bonaire
Steekproefkader en samenstelling steekproef
De onderwijskundig goed geconstrueerde items worden gepretest volgens de kwaliteitseisen voor het steekproefkader en de samenstelling van de steekproef.
Kwaliteitseisen
Beslisregel: Om aan deze categorie kwaliteitseisen te voldoen, moeten alle vragen met JA of N.V.T. worden beantwoord.
Code | Vragen | Mogelijke antwoorden
N1 | Is de steekproef groot genoeg? | ja/nee
N2 | Is de steekproef relevant? | ja/nee
N3 | Wordt het afnamedesign dat is gebruikt in de pretest adequaat beschreven en verantwoord? | ja/nee
Toelichting N1: De aanbieder geeft aan via welk scenario en met welke doel de nieuwe items zijn gepretest. Vervolgens geeft de aanbieder aan door hoeveel leerlingen ieder nieuw item is gepretest. Het aantal observaties als voldoende gezien wanneer iedere opgave door minstens 200 leerlingen gemaakt is. Uiteraard geven meer gegevens meer zekerheid. Indien doel B wordt nagestreefd moet rekening worden gehouden met het minimumaantal observaties dat per item wordt vereist voor de kalibratie na operationele afname (zie kwaliteitscriterium NR1). Het staat de aanbieder vrij om zowel de gegevens van de reguliere bo-leerlingen als de s(b)o-leerlingen te gebruiken, mits er geen sprake is van DIF (zie kwaliteitscriterium KA2).
Gekloonde opgaven zijn in beginsel nieuwe opgaven, en worden zo ook beoordeeld. Wanneer er sprake is van (zeer) kleine wijzigingen, zoals de aanpassing van een munteenheid (van euro naar dollar), of de aanpassing van een naam (bijvoorbeeld ten behoeve van inclusie), waarbij de opgave inhoudelijk hetzelfde blijft, dan kunnen dergelijke items als onveranderd gezien worden. De toetsaanbieder moet dan wel duidelijk aangeven welke (inhoudelijke) aanpassing gedaan is, bij voorkeur met een rationale waaruit blijkt waarom de aanpassing geen impact heeft.
Wanneer de gekloonde opgave in termen van relevantie en/of objectiviteit verandert ten opzichte van het originele item, dan is er wel sprake van een nieuwe opgave. Meer specifiek is er sprake van een nieuwe opgave wanneer:
○ de gekloonde opgave een relatie heeft met een ander of gewijzigd leerdoel;
○ de gekloonde opgave naar verwachting een andere of gewijzigde moeilijkheidsgraad heeft;
○ de gekloonde opgave naar een ander of gewijzigd modelantwoord leidt.
Wanneer eerder al data verzameld zijn bij het item in een andere vorm moet ook bij kleine wijzigingen het gekloonde item een nieuw label krijgen.
Toelichting N2: De steekproef moet relevant zijn voor de toepassing.
1) Er is aangegeven hoe de steekproef getrokken is;
2) Er is aangegeven onder welke omstandigheden de data verzameld zijn;
3) Er is aangegeven hoe de steekproef zich verhoudt tot de toetspopulatie;
4) Er is aangegeven of en hoeveel S(B)O scholen hebben mee gedaan.
Als bij (2) de omstandigheden afwijken van de werkelijke afname, wordt aangegeven welke impact verwacht wordt en hoe daar in de selectie van opgaven voor de operationele afname rekening mee is gehouden.
In het geval van scenario 2 moet de aanbieder aantonen dat de populatie voor de zaai-items niet structureel anders is dan de populatie van de niet-zaai-items.
Toelichting N3: Het afnamedesign van de pretest wordt door de aanbieder uiteengezet. Wanneer er sprake is van doel B is het van belang dat de parameters per (sub)domein of taalactiviteit op dezelfde schaal liggen. Hiervoor is het van belang dat er sprake is van een afnamedesign waarbij dit mogelijk is. Dit design wordt aangeleverd en bevat – indien van toepassing – in ieder geval informatie over:
○ het totaal aantal boekjes (‘booklets’);
○ aantal observaties per boekje;
○ het aantal items dat tussen de opgavenboekjes onderling overlapt;
○ het aantal items, en de kwaliteit van de items, dat de pretest verbindt met de bestaande schaal.
Wanneer de pretest gedaan wordt door middel van zaai-opgaven in de afname dan wordt aangegeven hoe dat zaai-design er uitziet.
Wanneer de pretestdata zijn verzameld met een CAT is het niet zinvol om het hele onvolledige design weer te geven, omdat iedere leerling dan in principe een unieke verzameling items maakt. Indien mogelijk moet het – indien sprake is van doel B – wel duidelijk zijn hoe deze data verbonden worden aan de bestaande schaal na kalibratie van afgelopen operationele afname.
Ook moet duidelijk zijn op welke posities de verschillende opgaven ingezet zijn, zodat door de toetsaanbieder op gedegen en complete wijze beargumenteerd kan worden op welke wijze er rekening is gehouden met vermoeidheids- en/of volgorde effecten.
- Regeling
- Regeling beoordelingskader doorstroomtoets PO Bonaire
- Soort
- ZBO-regeling
- Geldend vanaf
- 07-01-2026
- BWB-id
- BWBR0050815
- Versie
- 2026-01-07_0