Basisthema 2: psychometrische criteria: kwaliteit van de normgroep (IC 5)
Wat we hier bespreken is gebaseerd op 2 documenten:
- Testbeoordelingsysteem opgesteld door EFPA
o EFPA-review model for description and evaluation of psychological and educational tests
o EFPA-beoordelingsmodel voor de beschrijving en evaluatie van psychologische en educatieve
testen
- Beoordelingsysteem van Cotan
o Opgesteld om testen te beoordelen (vanuit Nederland)
Afhankelijk met wie je vergelijkt (vergelijkingsgroep) kom je tot een ander besluit
Voorbeeld: BFI2-NL
- Je besluit is afhankelijk van met wie je je resultaten vergelijkt
- Vergelijken aan de hand van een normtabel
- Hier werd gewerkt met stanines
- Scores van extraversion zijn hier hoog in vergelijking met andere studenten uit steekproef
- Stanines: vertrokken vanuit de ruwe scores vanuit de studenten vanuit de normgroep
o Opgesteld op antwoorden die respondenten in de normgroepen gegeven hebben
o Stanine 7 (P78-P89): 11% van steekproef heeft een hogere score
- Ruwe scores zeggen niet veel: Is een score van 47 een hoge score?
o Score 46-48 is een hoge score vergelijken met andere studenten uit de steekproef
- Betekenis aan ruwe scores geven door te vergelijken met normgroep
o Scores van proefpersonen uit normgroep vormen hier de meetlat
o DUS: Belangrijk hoe de normgroep is samengesteld
Bepalen welke ruwe score tot welke stanine behoord (staninenormtabel opstellen):
- Vertrokken vanaf de frequentieverdeling van de antwoorden van de studenten uit normgroep
- Normtabel opnieuw opgesteld gebaseerd op de antwoorden die de proefpersonen uit de normgroep
gegeven hebben
, Kwaliteit van de normgroep
De normgroep moet voldoen aan volgende voorwaarden:
- Aselecte steekproeftrekking
o Samenstelling van de SP voor een aantal variabelen (bv. leeftijd, geslacht, scholing) vergelijkbaar
is met de populatie
o Wanneer de SP verzameld is met behulp van een stochastisch steekproefmodel
o Kan om opgenomen te worden in de SP is even groot voor elk element in de populatie
- Representatieve steekproef
- Vlaamse normen
- Recente normen
- Normgroep voldoende groot
1. Aselecte steekproeftrekking
Elementen uit de definities (EFPA & COTAN)
- Indien de samenstelling van de SP voor een aantal variabelen (bv. leeftijd, geslacht, scholing)
vergelijkbaar is met de populatie
- Wanneer de SP verzameld is met behulp van een stochastisch/aselect steekproefmodel
- Kan om opgenomen te worden in de SP is even groot voor elk element in de populatie
Voorbeeld geen aselecte steekproef: oproep aan studenten voor persoonlijkheidsvragenlijst (BFI2-NL) in te vullen
- Wie heeft de vragenlijst (niet) ingevuld? → een open oproep
o Verschillen deze kenmerken voor het onderzochte element?
o Bv. Conscientiousness (gewetensvolle) → verschuiving van normgegevens
- Aselecte steekproeftrekking ontwikkeling intelligentietests
o Scholen die meewerken: in elke klas wordt van de alfabetische klassenlijst het 6 e en 15e kind
getest
2. Representatieve steekproef
(1) Opstellen representatieve steekproef + definities
Definitie representativiteit (EFPA & COTAN)
- Voor enkele variabelen in de SP beoogde aantallen vaststelt om representativiteit te garanderen
- Indien de samenhang van de SP voor een aantal variabelen vergelijkbaar is met de populatie
- Samenstelling voor aantal variabelen overeenkomt met die van de betreffende populatie
2 stappen
- Stratificatie
o Bepalen welke variabelen van de proefpersonen mogelijks een invloed kunnen hebben op het te
meten construct (met de vragenlijst)
o Op basis van deze variabele bepalen welke deelgroepen je gaat onderscheiden
o Bv. Intelligentietest ontwikkelen voor 17-18j (3 e graad SO)
→ Stratificatie: belangrijke variabelen:
geslacht (M/V)
opleidingsvorm (ASO,BSO,KSO/TSO)
→ Bepalen welk(e) kenmerken(en) relevant zijn → deelgroepen (strata)
2 deelgroepen bij geslacht en 3 deelgroepen bij opleidingsvorm
- Representativiteit
o Stratificatie: belangrijke variabelen: geslacht en opleidingsvorm
Wat we hier bespreken is gebaseerd op 2 documenten:
- Testbeoordelingsysteem opgesteld door EFPA
o EFPA-review model for description and evaluation of psychological and educational tests
o EFPA-beoordelingsmodel voor de beschrijving en evaluatie van psychologische en educatieve
testen
- Beoordelingsysteem van Cotan
o Opgesteld om testen te beoordelen (vanuit Nederland)
Afhankelijk met wie je vergelijkt (vergelijkingsgroep) kom je tot een ander besluit
Voorbeeld: BFI2-NL
- Je besluit is afhankelijk van met wie je je resultaten vergelijkt
- Vergelijken aan de hand van een normtabel
- Hier werd gewerkt met stanines
- Scores van extraversion zijn hier hoog in vergelijking met andere studenten uit steekproef
- Stanines: vertrokken vanuit de ruwe scores vanuit de studenten vanuit de normgroep
o Opgesteld op antwoorden die respondenten in de normgroepen gegeven hebben
o Stanine 7 (P78-P89): 11% van steekproef heeft een hogere score
- Ruwe scores zeggen niet veel: Is een score van 47 een hoge score?
o Score 46-48 is een hoge score vergelijken met andere studenten uit de steekproef
- Betekenis aan ruwe scores geven door te vergelijken met normgroep
o Scores van proefpersonen uit normgroep vormen hier de meetlat
o DUS: Belangrijk hoe de normgroep is samengesteld
Bepalen welke ruwe score tot welke stanine behoord (staninenormtabel opstellen):
- Vertrokken vanaf de frequentieverdeling van de antwoorden van de studenten uit normgroep
- Normtabel opnieuw opgesteld gebaseerd op de antwoorden die de proefpersonen uit de normgroep
gegeven hebben
, Kwaliteit van de normgroep
De normgroep moet voldoen aan volgende voorwaarden:
- Aselecte steekproeftrekking
o Samenstelling van de SP voor een aantal variabelen (bv. leeftijd, geslacht, scholing) vergelijkbaar
is met de populatie
o Wanneer de SP verzameld is met behulp van een stochastisch steekproefmodel
o Kan om opgenomen te worden in de SP is even groot voor elk element in de populatie
- Representatieve steekproef
- Vlaamse normen
- Recente normen
- Normgroep voldoende groot
1. Aselecte steekproeftrekking
Elementen uit de definities (EFPA & COTAN)
- Indien de samenstelling van de SP voor een aantal variabelen (bv. leeftijd, geslacht, scholing)
vergelijkbaar is met de populatie
- Wanneer de SP verzameld is met behulp van een stochastisch/aselect steekproefmodel
- Kan om opgenomen te worden in de SP is even groot voor elk element in de populatie
Voorbeeld geen aselecte steekproef: oproep aan studenten voor persoonlijkheidsvragenlijst (BFI2-NL) in te vullen
- Wie heeft de vragenlijst (niet) ingevuld? → een open oproep
o Verschillen deze kenmerken voor het onderzochte element?
o Bv. Conscientiousness (gewetensvolle) → verschuiving van normgegevens
- Aselecte steekproeftrekking ontwikkeling intelligentietests
o Scholen die meewerken: in elke klas wordt van de alfabetische klassenlijst het 6 e en 15e kind
getest
2. Representatieve steekproef
(1) Opstellen representatieve steekproef + definities
Definitie representativiteit (EFPA & COTAN)
- Voor enkele variabelen in de SP beoogde aantallen vaststelt om representativiteit te garanderen
- Indien de samenhang van de SP voor een aantal variabelen vergelijkbaar is met de populatie
- Samenstelling voor aantal variabelen overeenkomt met die van de betreffende populatie
2 stappen
- Stratificatie
o Bepalen welke variabelen van de proefpersonen mogelijks een invloed kunnen hebben op het te
meten construct (met de vragenlijst)
o Op basis van deze variabele bepalen welke deelgroepen je gaat onderscheiden
o Bv. Intelligentietest ontwikkelen voor 17-18j (3 e graad SO)
→ Stratificatie: belangrijke variabelen:
geslacht (M/V)
opleidingsvorm (ASO,BSO,KSO/TSO)
→ Bepalen welk(e) kenmerken(en) relevant zijn → deelgroepen (strata)
2 deelgroepen bij geslacht en 3 deelgroepen bij opleidingsvorm
- Representativiteit
o Stratificatie: belangrijke variabelen: geslacht en opleidingsvorm
