DEEL 1: RIANNE JANSSEN
COLLEGE 1: INLEIDING
1) College’s => deel 1+ deel2 => EXAMEN
2) Practicum=> deel 1: onderzoekspaper+ deel 2 (oefeningen)
INLEIDING OP HET OPO
Psychometrie?
• Niet woordenboek (bv. Van Dale):
– synoniem van psychoscopie
– onderdeel van de helderziendheid, te weten, het zien van gebeurtenissen uit het verleden door het betasten van een portret of voorwerp
• Wel
– Psychometrie houdt zich bezig met de theorie en de techniek van pedagogische en psychologische meting, met name het meten van kennis, vaardigheden,
houdingen en persoonlijkheidskenmerken (cf. wikipedia)
– Of kortweg: de methodologie van de psychodiagnostiek
Basisschema psychometrie
Latent niveau observaties Constructie Constructie
(onderliggend)
psychodiagnostische instrumenten psychodiagnostische instrumenten
Item 1
Persoons- Item 2 DEEL 1
eigenschap
… Item- Data- Psycho- Gebruik
constructie verzameling metrische validiteit tests Item- Data- Psycho- Gebruik
Item I constructie verzameling metrische validiteit tests
modellering
modellering
KTT IRT IRT
KTT
Psychometrische modellen:
- Klassieke testtheorie (KTT) Datamatrix: antwoorden
- Factoranalyse van personen op items factoranalyse factoranalyse
- Itemresponsetheorie (IRT)
Bv. examen,
vragenlijst, test, …
6
8
7
LEERSTOF PRACTICUM
• Deel I (dd): gebruik en constructie van tests (nog in de winter) • Deel 1: Testconstructie (vooral voor de paasvakantie)
– Validiteit – Itemconstructie: zie les
– Bijdrage tests beslissingsproces – dataverzameling: afname vragenlijst(en)
– Theorie bij constructie van psychologische instrumenten – analyses: descriptief, factoranalyse, itemanalyse
– rapportering: methode en resultaten artikel
• Deel II (wv): psychometrische modellen (vanaf de lente) • Deel 2 (vooral na de paasvakantie)
– meetniveaus – oefeningen (cf. examen)
– beoordelaarsovereenstemming
– Klassieke testtheorie
– Itemresponsetheorie
DOELSTELLINGEN OPO DOELSTELLINGEN PR
• Na het voltooien van deze OLA kan de student: • een vragenlijst opstellen over een welomschreven onderwerp en de items van een
– psychometrische begrippen definiëren, situeren en herkennen; vragenlijst beoordelen volgens aangereikte criteria;
– psychometrisch begrippen en modellen toepassen in concrete situaties; • zelfstandig data verzamelen en coderen voor data-invoer;
– de resultaten van psychometrische modellen interpreteren; • zelfstandig item- en factoranalyse uitvoeren op eigen onderzoeksgegevens;
– de relevantie van de psychometrie aantonen voor de psychologische praktijk. • een wetenschappelijk rapport schrijven over de uitgevoerde analyses in goed
academisch Nederlands;
• de APA-normen voor het maken van tabellen en grafieken juist toepassen.
EVALUATIE (14/20=>70%) EVALUATIE (6/20=> 30%)
40MKV+GISCORRECTIE (formularium krijg je) • DEEL 1: TESTCONSTRUCTIE: onderzoekspaper=> 6 PUNTEN
• DEEL 1= 20 VRAGEN • DEEL 2: geen evaluatie, oefeningen voor het examen
• DEEL 2= 20 VRAGEN
• Studiemateriaal
– Teksten: extra tekst over factor- en itemanalyse
– Slides
– Boek (online op toledo!)
– Studiewijze (vooral PR!)
– Voorbeeldtoetsen (in totaal 50: 10 per 5 lesen)
– Planning
• Vragen: vragencollege deel 1 op 23/3
(vragen max indienen tegen 20/3 18U)
COLLEGE 1: ITEMCONSTRUCTIE (H4)
• Hoe worden stellingen gescoord? En vragen?
• Hoe kan je het probleem van raden bij standaard meerkeuzevragen aanpakken? Speelt raden ook een rol bij rangschikvragen?
• Wat is een belangrijke taak voor de onderzoeker bij een theoretische opdracht met open vraagvorm? Hoe sluit dat aan bij een beoordeling
van een praktische opdracht op gedragswijze?
• Wat is de statistische definitie van toevalsfout en hoe vertaalt zich dat bij itemformuleringen?
• Wat is het voordeel van een oneven aantal keuzemogelijkheden bij gesloten tests voor gedragswijzen? Is dat voordeel soms ook een nadeel?
• Zijn items uit een vragenlijst voor depressie ook dichotoom te scoren?
• Wat is een spiegelitem?
• Moet je bij vooronderzoek naar de psychometrische kwaliteit van items representatieve steekproeven gebruiken?
• Wat is de link tussen scoregroepanalyse en een IRT-model (pas na Deel 2 te beantwoorden)
, 1. Van de respodent gevraagde activiteit
GPS-definitie van psychologie (tests voor gedragswijze (VB: onderzoeken methoden) en prestatieniveau (VB: examen))
Basiskader
psychologie / psychometrie :
þ
G = f (P, S) Van de respondent gevraagde activiteit
Observeerbaar gedrag: Situaties / items
Prestatie- Gedrags-
/ antwoorden Gevraagde activiteit niveau wijze
niet-observeerbare
psychologische eigenschap Theoretische opdrachten a (a)
prestatieniveau gedragswijze
Stellingen (a) a
P intelligentie introversie Vragen (a) a
S (Reken)vraagstukken Uitspraken (stellingen) Praktijkproeven a a
G Accuraatheid, snelheid Zelfrapportering, voorkeur 6 E.a.
=>Theoretische opdrachten, stellingen, vragen, praktijkproeven
Theoretische opdrachten (P) Stellingen (G)
– VB: Los op: doolhof, rekenvraagstuk, theoretisch verkeersprobleem, … – VB: Uitspraak x en (gradaties) van instemming 14
– Meten van.. • Eens /oneens
• cognitieve capaciteiten (eerder aangeboren) • Akkoord O O O O O Niet-akkoord
– VB: intelligentie, geheugenspan, ruimtelijk inzicht – Meten van persoonlijkheidstrekken, attitudes, voorkeuren
• cognitieve vaardigheden (eerder aangeleerd) – Scoring antwoorden ~ schaalpositie
– Vb. taal- en rekenvaardigheid, theorie rijbewijs
– Scoring antwoorden op juistheid
Vragen (G) Praktijkproeven (P+G) E.a.
– VB: Op welke partij zou u stemmen? – VB: Praktijkexamen, vliegsimulator, spelsituatie, rollenspel – VB: Rorschachtest
• Hoe pakt u dit probleem doorgaans aan? – Meten van capaciteiten, vaardigheden, persoonlijkheidseigenschappen
– Meten van opinies, houdingen en voorkeuren – Scoring antwoorden: Juistheid, adequaatheid, interpretatie van reactiewijze
– Scoring antwoorden ~ bepaald standpunt
2. Vorm waarin het antwoord werd gegeven
=>Open en gesloten vraagvormen bij prestatieniveautests en tests voor gedragswijzen
OPEN vraagvorm GESLOTEN Vraagvorm
=Respondent bepaalt zelf hoe hij/zij reageert (antwoord, handeling) =Respondent kiest uit beperkt aantal door testconstructeur geformuleerde reacties
– Voorbeeld: – Voorbeeld geprecodeerde vraagvorm:
• Prestatieniveautest: essayvorm • Prestatieniveautest: meerkeuzevraag
• Test voor gedragswijze: rollenspel • Test voor gedragswijze: antwoordschaal
Test voor.. OPEN vraagvorm GESLOTEN Vraagvorm
Prestatieniveautests 1. Let wel: ook aandacht formuleren vragen en ontwerpen 1. Uitvoerig vooronderzoek
scoringswijzer 1) Bedenken vragen en afleiders
2) Inschatten moeilijkheidsgraad
2. – 2. Raden
1) Meer afleiders?
2) Andere instructies VB: Kies 2 uit 6 alternatieven
3) Correctie voor raden
3. Interbeoordelaars-betrouwhaarheid (correlatie oordelen van 3.Objectieve scoring
twee beoordelaars) niet altijd hoog 4.Eenvoudige cognitieve vaardigheden (kennis, herkenning)?
4. Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, 1) Empirisch onderzoek bewijst tegendeel, mits goede
creativiteit)? itemconstructie
“Face validity” of ook empirisch onderbouwd? 2) MKV vaak betere predictoren dan open vragen.
Gedragswijze Vraag: Hoe gedraagt u zich in gezelschappen? Bent u veel aan het woord of Ik ben in gezelschappen maar weinig aan het woord.
VB: meten juist niet? Van toepassing O O O O O Niet van toepassing
introversie Antwoord: Ik ga ervan uit dat vooral vergaderingen en dergelijke worden
bedoeld. Ik probeer juist goed op te letten wat er gezegd wordt. Ik denk ook
dat dit belangrijker is dan steeds zelf aan het woord te willen zijn.
_______________ ________________________________________________________________ _______________________________________________________
->Respondent – Interpretatie vraag – Vraag in principe duidelijk:
• Algemene of specifieke situaties (cf. infra)?
– Relevantie antwoord? – Relevantie antwoord!
________________ VB:hoe het zou moeten i.p.v. hoe het feitelijk is.
->Onderzoeker • Categorisatie antwoorden • Snelle en objectieve verwerking
– Categorisatiesysteem
– Interbeoordelaars-overeenstemming
• Duidelijkheid vragen? • Duidelijke vragen!
– Begrijpen vraag (interpretatie) – Dilemma: specifieke of algemene beschrijvingen
– Relevantie antwoord • algemeen: mogelijk onduidelijk
• specifiek: score mogelijk afhankelijk concrete items
____________________________________________________
->Respondent • nvt
• Productieve (taal)vaardigheid
• Meer vragen mogelijk
• Beperkter aantal vragen
Doorgaans hogere betrouwbaarheid en (inhouds)validiteit
COLLEGE 1: INLEIDING
1) College’s => deel 1+ deel2 => EXAMEN
2) Practicum=> deel 1: onderzoekspaper+ deel 2 (oefeningen)
INLEIDING OP HET OPO
Psychometrie?
• Niet woordenboek (bv. Van Dale):
– synoniem van psychoscopie
– onderdeel van de helderziendheid, te weten, het zien van gebeurtenissen uit het verleden door het betasten van een portret of voorwerp
• Wel
– Psychometrie houdt zich bezig met de theorie en de techniek van pedagogische en psychologische meting, met name het meten van kennis, vaardigheden,
houdingen en persoonlijkheidskenmerken (cf. wikipedia)
– Of kortweg: de methodologie van de psychodiagnostiek
Basisschema psychometrie
Latent niveau observaties Constructie Constructie
(onderliggend)
psychodiagnostische instrumenten psychodiagnostische instrumenten
Item 1
Persoons- Item 2 DEEL 1
eigenschap
… Item- Data- Psycho- Gebruik
constructie verzameling metrische validiteit tests Item- Data- Psycho- Gebruik
Item I constructie verzameling metrische validiteit tests
modellering
modellering
KTT IRT IRT
KTT
Psychometrische modellen:
- Klassieke testtheorie (KTT) Datamatrix: antwoorden
- Factoranalyse van personen op items factoranalyse factoranalyse
- Itemresponsetheorie (IRT)
Bv. examen,
vragenlijst, test, …
6
8
7
LEERSTOF PRACTICUM
• Deel I (dd): gebruik en constructie van tests (nog in de winter) • Deel 1: Testconstructie (vooral voor de paasvakantie)
– Validiteit – Itemconstructie: zie les
– Bijdrage tests beslissingsproces – dataverzameling: afname vragenlijst(en)
– Theorie bij constructie van psychologische instrumenten – analyses: descriptief, factoranalyse, itemanalyse
– rapportering: methode en resultaten artikel
• Deel II (wv): psychometrische modellen (vanaf de lente) • Deel 2 (vooral na de paasvakantie)
– meetniveaus – oefeningen (cf. examen)
– beoordelaarsovereenstemming
– Klassieke testtheorie
– Itemresponsetheorie
DOELSTELLINGEN OPO DOELSTELLINGEN PR
• Na het voltooien van deze OLA kan de student: • een vragenlijst opstellen over een welomschreven onderwerp en de items van een
– psychometrische begrippen definiëren, situeren en herkennen; vragenlijst beoordelen volgens aangereikte criteria;
– psychometrisch begrippen en modellen toepassen in concrete situaties; • zelfstandig data verzamelen en coderen voor data-invoer;
– de resultaten van psychometrische modellen interpreteren; • zelfstandig item- en factoranalyse uitvoeren op eigen onderzoeksgegevens;
– de relevantie van de psychometrie aantonen voor de psychologische praktijk. • een wetenschappelijk rapport schrijven over de uitgevoerde analyses in goed
academisch Nederlands;
• de APA-normen voor het maken van tabellen en grafieken juist toepassen.
EVALUATIE (14/20=>70%) EVALUATIE (6/20=> 30%)
40MKV+GISCORRECTIE (formularium krijg je) • DEEL 1: TESTCONSTRUCTIE: onderzoekspaper=> 6 PUNTEN
• DEEL 1= 20 VRAGEN • DEEL 2: geen evaluatie, oefeningen voor het examen
• DEEL 2= 20 VRAGEN
• Studiemateriaal
– Teksten: extra tekst over factor- en itemanalyse
– Slides
– Boek (online op toledo!)
– Studiewijze (vooral PR!)
– Voorbeeldtoetsen (in totaal 50: 10 per 5 lesen)
– Planning
• Vragen: vragencollege deel 1 op 23/3
(vragen max indienen tegen 20/3 18U)
COLLEGE 1: ITEMCONSTRUCTIE (H4)
• Hoe worden stellingen gescoord? En vragen?
• Hoe kan je het probleem van raden bij standaard meerkeuzevragen aanpakken? Speelt raden ook een rol bij rangschikvragen?
• Wat is een belangrijke taak voor de onderzoeker bij een theoretische opdracht met open vraagvorm? Hoe sluit dat aan bij een beoordeling
van een praktische opdracht op gedragswijze?
• Wat is de statistische definitie van toevalsfout en hoe vertaalt zich dat bij itemformuleringen?
• Wat is het voordeel van een oneven aantal keuzemogelijkheden bij gesloten tests voor gedragswijzen? Is dat voordeel soms ook een nadeel?
• Zijn items uit een vragenlijst voor depressie ook dichotoom te scoren?
• Wat is een spiegelitem?
• Moet je bij vooronderzoek naar de psychometrische kwaliteit van items representatieve steekproeven gebruiken?
• Wat is de link tussen scoregroepanalyse en een IRT-model (pas na Deel 2 te beantwoorden)
, 1. Van de respodent gevraagde activiteit
GPS-definitie van psychologie (tests voor gedragswijze (VB: onderzoeken methoden) en prestatieniveau (VB: examen))
Basiskader
psychologie / psychometrie :
þ
G = f (P, S) Van de respondent gevraagde activiteit
Observeerbaar gedrag: Situaties / items
Prestatie- Gedrags-
/ antwoorden Gevraagde activiteit niveau wijze
niet-observeerbare
psychologische eigenschap Theoretische opdrachten a (a)
prestatieniveau gedragswijze
Stellingen (a) a
P intelligentie introversie Vragen (a) a
S (Reken)vraagstukken Uitspraken (stellingen) Praktijkproeven a a
G Accuraatheid, snelheid Zelfrapportering, voorkeur 6 E.a.
=>Theoretische opdrachten, stellingen, vragen, praktijkproeven
Theoretische opdrachten (P) Stellingen (G)
– VB: Los op: doolhof, rekenvraagstuk, theoretisch verkeersprobleem, … – VB: Uitspraak x en (gradaties) van instemming 14
– Meten van.. • Eens /oneens
• cognitieve capaciteiten (eerder aangeboren) • Akkoord O O O O O Niet-akkoord
– VB: intelligentie, geheugenspan, ruimtelijk inzicht – Meten van persoonlijkheidstrekken, attitudes, voorkeuren
• cognitieve vaardigheden (eerder aangeleerd) – Scoring antwoorden ~ schaalpositie
– Vb. taal- en rekenvaardigheid, theorie rijbewijs
– Scoring antwoorden op juistheid
Vragen (G) Praktijkproeven (P+G) E.a.
– VB: Op welke partij zou u stemmen? – VB: Praktijkexamen, vliegsimulator, spelsituatie, rollenspel – VB: Rorschachtest
• Hoe pakt u dit probleem doorgaans aan? – Meten van capaciteiten, vaardigheden, persoonlijkheidseigenschappen
– Meten van opinies, houdingen en voorkeuren – Scoring antwoorden: Juistheid, adequaatheid, interpretatie van reactiewijze
– Scoring antwoorden ~ bepaald standpunt
2. Vorm waarin het antwoord werd gegeven
=>Open en gesloten vraagvormen bij prestatieniveautests en tests voor gedragswijzen
OPEN vraagvorm GESLOTEN Vraagvorm
=Respondent bepaalt zelf hoe hij/zij reageert (antwoord, handeling) =Respondent kiest uit beperkt aantal door testconstructeur geformuleerde reacties
– Voorbeeld: – Voorbeeld geprecodeerde vraagvorm:
• Prestatieniveautest: essayvorm • Prestatieniveautest: meerkeuzevraag
• Test voor gedragswijze: rollenspel • Test voor gedragswijze: antwoordschaal
Test voor.. OPEN vraagvorm GESLOTEN Vraagvorm
Prestatieniveautests 1. Let wel: ook aandacht formuleren vragen en ontwerpen 1. Uitvoerig vooronderzoek
scoringswijzer 1) Bedenken vragen en afleiders
2) Inschatten moeilijkheidsgraad
2. – 2. Raden
1) Meer afleiders?
2) Andere instructies VB: Kies 2 uit 6 alternatieven
3) Correctie voor raden
3. Interbeoordelaars-betrouwhaarheid (correlatie oordelen van 3.Objectieve scoring
twee beoordelaars) niet altijd hoog 4.Eenvoudige cognitieve vaardigheden (kennis, herkenning)?
4. Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, 1) Empirisch onderzoek bewijst tegendeel, mits goede
creativiteit)? itemconstructie
“Face validity” of ook empirisch onderbouwd? 2) MKV vaak betere predictoren dan open vragen.
Gedragswijze Vraag: Hoe gedraagt u zich in gezelschappen? Bent u veel aan het woord of Ik ben in gezelschappen maar weinig aan het woord.
VB: meten juist niet? Van toepassing O O O O O Niet van toepassing
introversie Antwoord: Ik ga ervan uit dat vooral vergaderingen en dergelijke worden
bedoeld. Ik probeer juist goed op te letten wat er gezegd wordt. Ik denk ook
dat dit belangrijker is dan steeds zelf aan het woord te willen zijn.
_______________ ________________________________________________________________ _______________________________________________________
->Respondent – Interpretatie vraag – Vraag in principe duidelijk:
• Algemene of specifieke situaties (cf. infra)?
– Relevantie antwoord? – Relevantie antwoord!
________________ VB:hoe het zou moeten i.p.v. hoe het feitelijk is.
->Onderzoeker • Categorisatie antwoorden • Snelle en objectieve verwerking
– Categorisatiesysteem
– Interbeoordelaars-overeenstemming
• Duidelijkheid vragen? • Duidelijke vragen!
– Begrijpen vraag (interpretatie) – Dilemma: specifieke of algemene beschrijvingen
– Relevantie antwoord • algemeen: mogelijk onduidelijk
• specifiek: score mogelijk afhankelijk concrete items
____________________________________________________
->Respondent • nvt
• Productieve (taal)vaardigheid
• Meer vragen mogelijk
• Beperkter aantal vragen
Doorgaans hogere betrouwbaarheid en (inhouds)validiteit
