Testtheorie
Er moet een groepsopdracht worden uitgevoerd. Dit doe je in groepjes van 4 studenten (Joëlle, Dilara
en Lian). Het doel van de groepsopdracht is het ontwikkelen van een prestatieniveautest en deze
onderzoeken op psychometrische kwaliteit.
Er zijn drie huiswerkopdrachten waarvan de eerste moet worden ingeleverd:
- Een Perusall opdracht over Cronbachs Alfa. week 16
- Een computeropdracht over betrouwbaarheid
- Een computerpracticum opdracht over construct validiteit
Toetsing
De leerdoelen worden getoetst met een huiswerkopdracht (Perusall), een groepsopdracht en een
individueel digitaal open boek tentamen.
Om te kunnen slagen voor het vak, moet de Perusall opdracht op tijd zijn gemaakt, en moet je
minimaal een 5,5 hebben gehaald voor zowel de groepsopdracht als het tentamen. Daarnaast moet
je hebben deelgenomen aan het interactieve practicum.
De groepsopdracht telt voor 1/3 mee en het tentamen voor 2/3.
,Leerdoelen
De student is in staat om
1. Te beschrijven hoe het gebruik van tests zich in de loop der jaren heeft ontwikkeld
2. Verschillende manieren om de betrouwbaarheid van een test te benoemen en te
interpreteren (o.a. Cronbachs Alfa en Guttmans Lambda-2)
3. Verschillende aspecten van validiteit te benoemen en toe te lichten, en voor een gegeven
toepassing de meest relevante aspecten uit te kiezen
4. Vier typen van normering te benoemen en voor een gegeven toepassing de meest relevante
vorm van normering uit te kiezen
5. Essentiële kenmerken van klassieke testtheorie en item respons theorie te benoemen en te
beschrijven hoe deze twee raamwerken van elkaar verschillen.
6. De kwaliteit van bestaande tests te evalueren, en op gefundeerde wijze een keuze te maken
voor een test voor een specifieke toepassing (met focus op de onderwijskundige en
(ortho)pedagogische praktijk)
7. Een test te ontwikkelen (inclusief het zelf schrijven van items en kiezen voor de juiste
normering), en de betrouwbaarheid, validiteit en bruikbaarheid van de test te evalueren
Overzicht groepsopdracht Testtheorie
Opdracht
ontwikkelen van een korte prestatieniveautest en rapporteren over de kwaliteit van de ontwikkelde
test
Doel van de opdracht:
ervaring opdoen met het ontwikkelen en het afnemen van een korte (prestatieniveau)test en met
het analyseren van de kwaliteit van de tekst inclusief verslaglegging van analyses en discussie ter
optimalisering.
Verslag inleveren ten laatste 7 juni 2021 9.00 via Nestor!
Stappen:
1. Groepjes van 4 vormen
, 2. Kies een inhoud/domein en doelgroep voor de ontwikkeling van een prestatieniveautest. Het
onderwerp ‘Verkeer’ mag niet worden gekozen!
3. Formuleer minimaal 16 multiple choice items en 4 antwoordmogelijkheden per item. Verdeel
de items over twee subschalen van 8 items.
4. Test je test in een kleine pilotstudie (ongeveer 4-5 personen) (ter controle van formulering
vragen en antwoordmogelijkheden, globale moeilijkheid test/vragen, keuze voor
antwoordmogelijkheden).
5. Neem de test online af bij 40 tot 100 proefpersonen (bijvoorbeeld via Qualtrics).
6. Maak een SPSS-databestand met de gegevens (bewaar dit bestand!).
7. Beschrijf de test en reflecteer op de kwaliteiten test aan de hand van de in ‘Handleiding
verslag’ genoemde punten.
Voorwaarden om in aanmerking te komen voor een voldoende:
1. Een verzorgd verslag dat geschreven is in correct Nederlands, met een verzorgd uiterlijk
a. Lettertype: Times New Roman 12 pnt
b. Regelafstand 1,5
c. Verzorgde tabellen (liefst APA), niet uit SPSS of R kopiëren
d. Max 20 pagina’s inclusief titelblad, referentielijst en bijlages.
2. Op tijd ingeleverd (deadline: 7 juni, 09.00 uur via Nestor).
3. Alle onderdelen zoals beschreven in ‘Handleiding verslag’ zijn opgenomen in het verslag.
4. Alle studenten leveren een evenredige bijdrage aan de opdracht.
Literatuur Testtheorie
Klapper ‘Testtheorie’ op Nestor
Collegestof in power point slides
Drenth & Sijtsma: ‘Testtheorie’, Hoofdstukken 2 t/m 9 (Let op: H1 is geen tentamenstof, maar de
slides die betrekking hebben op het onderwerp van H1 wel)
De volgende pagina’s kunnen worden overgeslagen:
o Pag 216, 17e regel van boven tot bovenaan pag 220
o Pag 265 vanaf: ”…metingen van het Rasch model” tot pag 267 voor
Populatieonafhankelijkheid;
o Pag 411 vanaf: De gedachtegang van …. “ tot 9.2.2.
Verder kunnen de paragrafen: 8.3.4, 8.4.2, 8.4.3, en 9.4 worden overgeslagen.
Vragen in het boek die evt. overgeslagen kunnen worden:
5.6, 5.12, 5.13, 5.16
6.5, 6.6, 6.19, 6.20
7.7 – 7.13
8.8, 8.24
9.13
De volgende formules zijn belangrijk:
5.1, 5.2, 5.5, 5.6
6.1 – 6.5, 6.7, 6.9 - 6.11, 6.14 – 6.16, 6.19, 6.24, 6.25, 6.42-6.47, 6.49, 6.50 en 6.54
, Cohens Kappa, Aftestgrens bij gewenst kennispercentage, Selectieratio, Toevalskans en Succesratio
Mini opfriscolleges
Opfriscollege 1 meetniveaus
Beschrijven van meetniveaus
Meten en meetniveaus
Leervragen
Welke verschillende meetniveaus kunnen we onderscheiden?
- En wat zijn de verschillen?
Wat betekenen de meetniveaus?
- Voor de uitspraken die we mogen doen?
- Voor de bewerkingen die we kunnen uitvoeren?
Meten en meetniveaus
- Meten= op consistente wijze getallen toekennen aan objecten personen.
Vragenlijsten
Observaties
- Een meetniveau bepaald wat voor informatie een getal vertegenwoordigd en welke
berekeningen we kunnen doen.
Steven: vier meetniveaus:
- Nominaal
- Ordinaal
- Ratio
- Interval
Nominaal
- Classificatie/ lidmaatschap, eigenschappen van mens
- Waarde van getallen arbitrair. De grote van het getal heeft geen betekenis. Het getal kan als
naam opgevat worden.
- Onderzoeker bepaalt categorieën (0 en 1)
Ordinaal
- Persoon orderenen op een bepaalde eigenschap
- Sortering/ rangordening
- De waarde van het getal maken niet uit, als de getallen maar een bepaalde volgorde
aangeven
- Afstand tussen getallen arbitrair. Afstand tussen de waarden van getallen heeft geen
betekenis. Je weet niet of de afstand tussen de getallen allemaal even groot is.
Interval
- Als we zeker weten dat de verschillen tussen getallen even groot is
Er moet een groepsopdracht worden uitgevoerd. Dit doe je in groepjes van 4 studenten (Joëlle, Dilara
en Lian). Het doel van de groepsopdracht is het ontwikkelen van een prestatieniveautest en deze
onderzoeken op psychometrische kwaliteit.
Er zijn drie huiswerkopdrachten waarvan de eerste moet worden ingeleverd:
- Een Perusall opdracht over Cronbachs Alfa. week 16
- Een computeropdracht over betrouwbaarheid
- Een computerpracticum opdracht over construct validiteit
Toetsing
De leerdoelen worden getoetst met een huiswerkopdracht (Perusall), een groepsopdracht en een
individueel digitaal open boek tentamen.
Om te kunnen slagen voor het vak, moet de Perusall opdracht op tijd zijn gemaakt, en moet je
minimaal een 5,5 hebben gehaald voor zowel de groepsopdracht als het tentamen. Daarnaast moet
je hebben deelgenomen aan het interactieve practicum.
De groepsopdracht telt voor 1/3 mee en het tentamen voor 2/3.
,Leerdoelen
De student is in staat om
1. Te beschrijven hoe het gebruik van tests zich in de loop der jaren heeft ontwikkeld
2. Verschillende manieren om de betrouwbaarheid van een test te benoemen en te
interpreteren (o.a. Cronbachs Alfa en Guttmans Lambda-2)
3. Verschillende aspecten van validiteit te benoemen en toe te lichten, en voor een gegeven
toepassing de meest relevante aspecten uit te kiezen
4. Vier typen van normering te benoemen en voor een gegeven toepassing de meest relevante
vorm van normering uit te kiezen
5. Essentiële kenmerken van klassieke testtheorie en item respons theorie te benoemen en te
beschrijven hoe deze twee raamwerken van elkaar verschillen.
6. De kwaliteit van bestaande tests te evalueren, en op gefundeerde wijze een keuze te maken
voor een test voor een specifieke toepassing (met focus op de onderwijskundige en
(ortho)pedagogische praktijk)
7. Een test te ontwikkelen (inclusief het zelf schrijven van items en kiezen voor de juiste
normering), en de betrouwbaarheid, validiteit en bruikbaarheid van de test te evalueren
Overzicht groepsopdracht Testtheorie
Opdracht
ontwikkelen van een korte prestatieniveautest en rapporteren over de kwaliteit van de ontwikkelde
test
Doel van de opdracht:
ervaring opdoen met het ontwikkelen en het afnemen van een korte (prestatieniveau)test en met
het analyseren van de kwaliteit van de tekst inclusief verslaglegging van analyses en discussie ter
optimalisering.
Verslag inleveren ten laatste 7 juni 2021 9.00 via Nestor!
Stappen:
1. Groepjes van 4 vormen
, 2. Kies een inhoud/domein en doelgroep voor de ontwikkeling van een prestatieniveautest. Het
onderwerp ‘Verkeer’ mag niet worden gekozen!
3. Formuleer minimaal 16 multiple choice items en 4 antwoordmogelijkheden per item. Verdeel
de items over twee subschalen van 8 items.
4. Test je test in een kleine pilotstudie (ongeveer 4-5 personen) (ter controle van formulering
vragen en antwoordmogelijkheden, globale moeilijkheid test/vragen, keuze voor
antwoordmogelijkheden).
5. Neem de test online af bij 40 tot 100 proefpersonen (bijvoorbeeld via Qualtrics).
6. Maak een SPSS-databestand met de gegevens (bewaar dit bestand!).
7. Beschrijf de test en reflecteer op de kwaliteiten test aan de hand van de in ‘Handleiding
verslag’ genoemde punten.
Voorwaarden om in aanmerking te komen voor een voldoende:
1. Een verzorgd verslag dat geschreven is in correct Nederlands, met een verzorgd uiterlijk
a. Lettertype: Times New Roman 12 pnt
b. Regelafstand 1,5
c. Verzorgde tabellen (liefst APA), niet uit SPSS of R kopiëren
d. Max 20 pagina’s inclusief titelblad, referentielijst en bijlages.
2. Op tijd ingeleverd (deadline: 7 juni, 09.00 uur via Nestor).
3. Alle onderdelen zoals beschreven in ‘Handleiding verslag’ zijn opgenomen in het verslag.
4. Alle studenten leveren een evenredige bijdrage aan de opdracht.
Literatuur Testtheorie
Klapper ‘Testtheorie’ op Nestor
Collegestof in power point slides
Drenth & Sijtsma: ‘Testtheorie’, Hoofdstukken 2 t/m 9 (Let op: H1 is geen tentamenstof, maar de
slides die betrekking hebben op het onderwerp van H1 wel)
De volgende pagina’s kunnen worden overgeslagen:
o Pag 216, 17e regel van boven tot bovenaan pag 220
o Pag 265 vanaf: ”…metingen van het Rasch model” tot pag 267 voor
Populatieonafhankelijkheid;
o Pag 411 vanaf: De gedachtegang van …. “ tot 9.2.2.
Verder kunnen de paragrafen: 8.3.4, 8.4.2, 8.4.3, en 9.4 worden overgeslagen.
Vragen in het boek die evt. overgeslagen kunnen worden:
5.6, 5.12, 5.13, 5.16
6.5, 6.6, 6.19, 6.20
7.7 – 7.13
8.8, 8.24
9.13
De volgende formules zijn belangrijk:
5.1, 5.2, 5.5, 5.6
6.1 – 6.5, 6.7, 6.9 - 6.11, 6.14 – 6.16, 6.19, 6.24, 6.25, 6.42-6.47, 6.49, 6.50 en 6.54
, Cohens Kappa, Aftestgrens bij gewenst kennispercentage, Selectieratio, Toevalskans en Succesratio
Mini opfriscolleges
Opfriscollege 1 meetniveaus
Beschrijven van meetniveaus
Meten en meetniveaus
Leervragen
Welke verschillende meetniveaus kunnen we onderscheiden?
- En wat zijn de verschillen?
Wat betekenen de meetniveaus?
- Voor de uitspraken die we mogen doen?
- Voor de bewerkingen die we kunnen uitvoeren?
Meten en meetniveaus
- Meten= op consistente wijze getallen toekennen aan objecten personen.
Vragenlijsten
Observaties
- Een meetniveau bepaald wat voor informatie een getal vertegenwoordigd en welke
berekeningen we kunnen doen.
Steven: vier meetniveaus:
- Nominaal
- Ordinaal
- Ratio
- Interval
Nominaal
- Classificatie/ lidmaatschap, eigenschappen van mens
- Waarde van getallen arbitrair. De grote van het getal heeft geen betekenis. Het getal kan als
naam opgevat worden.
- Onderzoeker bepaalt categorieën (0 en 1)
Ordinaal
- Persoon orderenen op een bepaalde eigenschap
- Sortering/ rangordening
- De waarde van het getal maken niet uit, als de getallen maar een bepaalde volgorde
aangeven
- Afstand tussen getallen arbitrair. Afstand tussen de waarden van getallen heeft geen
betekenis. Je weet niet of de afstand tussen de getallen allemaal even groot is.
Interval
- Als we zeker weten dat de verschillen tussen getallen even groot is
