Opfriscolleges: meten en meetniveaus
Meten = op consistente wijze getallen toekennen aan objecten/personen. Dit door middel
van vragenlijsten, interviews en observaties. Er zijn vier meetniveaus:
- Nominaal:
Classificeren van eigenschappen van mensen. De onderzoeker bepaalt categorieën als
geslacht en haarkleur. Licht haar bijv. getal 0 en donker haar 1.
- Ordinaal: personen sorteren op een bepaalde eigenschap. De afstand tussen de
getallen is arbitrair. Bijvoorbeeld of een college interessant is op een schaal van 1 tot
5. De afstand tussen de cijfers hebben geen gelijke afstand. Likert schalen vallen
hieronder
- Interval: de verschillen tussen de getallen zijn betekenisvol. Bijvoorbeeld graden,
alleen te interpreteren op schaal, geen absoluut nulpunt
- Ratio: verhoudingen worden ook betekenisvol. Bijvoorbeeld lengte, er is een
absoluut nulpunt. Ook te interpreteren op verschillende schalen.
Einddoel van statistiek is om uitspraken te doen over de populatie en niet over de
steekproef. Uitzonderingen zijn wanneer de steekproef bestaat uit de populatie of bij een
testscore (= 1 persoon)
Hoorcollege 1
Het nut van testen is voor onderscheid tussen mensen, vergelijken van mensen en
beschrijving van mensen. Zijn ook maatschappelijke redenen: voor diagnose van stoornissen
Bij onderzoek worden groepen vergeleken of een relatie tussen variabelen gekeken.
Als je je aan het construeren bent moet je na de tijd de volgende vragen stellen:
- Wat willen we meten en waarom? (Construct, bv. motivatie, intelligentie,
ordelijkheid, schoolprestaties enz.)
- Hoe kunnen we dit operationaliseren in vragen, opgaven, uitspraken?
- Wat is de relatie tussen de delen (de vragen/items) en het geheel?
- Kwaliteit (doel, construct, betrouwbare meting)
Toetsen is begonnen in de psychiatrie, om onderscheid te maken tussen zwakzinnigen en
krankzinnigen.
Test: een systematisch onderzoek van gedrag met behulp van speciaal geselecteerde vragen
of opgaven, met de bedoeling inzicht te krijgen in een psychologisch kenmerk van de
onderzochte van anderen.
,Kenmerken test:
1. Efficiënt: men is niet afhankelijk van het min of meer toevallig beschikbaar zijn van
gelegenheden waarin intelligent gedrag zich voordoet. De test heeft een verzameling
van opgaven geselecteerd die een optimaal appel doen op het intelligente reageren.
2. Standaardisatie. Ook kan je hierbij mensen onder dezelfde conditie testen. Om iets
te zeggen over een testprestatie, moet deze vergelijkbaar zijn met de prestaties van
anderen.
3. Normering, hierbij moet er een exacte vergelijking zijn. Voor de vaststelling van
kleinere verschillen is een gevoeliger instrument nodig dat niet uitgaat van de grove
maatstaven die in het lekenoordeel worden gebruikt. Er is bij normering minstens
een rangorde vastgesteld van zeer goede tot zeer slechte prestaties, zodat iemands
prestatie door middel van een plaatsbepaling in deze rangorde kan worden
beoordeeld. Hierbij is men gebonden aan de groep proefpersonen waarop deze
normen worden vastgesteld.
4. Objectiviteit: resultaat van het onderzoek is onafhankelijk van degene die de
gegevens verzamelt of uitwerkt. Objectiviteit wordt opgevat als de onafhankelijkheid
van storende invloeden vanuit de persoon van de waarnemer, beoordelaar of
interpretator. Deze opvatting heeft twee gevolgen:
Het moet bij objectief testonderzoek niet uitmaken wie de beoordelaar is
Objectiviteit impliceert openheid en reproduceerbaarheid van de test en
evaluatie procedure
Interbeoordelaars betrouwbaarheid: de mate van overeenstemming tussen beoordelaars
Nominale schaal: kappa.
Kappa bestaat uit een
proportie geobserveerde
overeenstemming Po en
een proportie verwachtte
overeenstemming Pe.
Bladzijde 47 boek!!
Prestatieniveau: maximale prestatie, totaalscore, intelligentie, cognitieve capaciteit, kennis
Gedragswijze: hoe iemand doet, welke reactie plaatsvindt. Hiermee kan je
persoonlijkheidstrekken, voorkeuren en attitudes mee testen
Problemen met tests voor gedragswijze
- Overeenkomt testgedrag en gedrag in dagelijks leven
- Geen objectief criterium, beoordeling
- Persoonlijkheidstrekken zijn minder stabiel, minder generaliseerbaar, minder
gelijkmatig van invloed op gedrag
, Betrouwbaarheid: als er tussen twee metingen bijzonder weinig verschil is, spreken we van
een hoge betrouwbaarheid
Hoorcollege 2
Verschillende typen van items
- Gevraagde activiteit: theoretische opdracht (bv. doolhof, rekenopdracht), stelling
beoordelen (mate van toepassing), vragen (ja/nee), praktijkproeven (bv. simulator)
- Vorm van antwoord: open vragen en gesloten vragen
- Uiterlijke verschijningsvorm van item
Meerkeuze vragen (prestatieniveau)
Rating scale (gedragswijze)
Nadelen open vragen:
- Beoordelen en categoriseren van antwoorden kost veel tijd
- Respondenten geven vaak niet aan wanneer ze een vraag niet begrijpen, toch geven
ze wel antwoord op de vraag
- Handschriften niet goed leesbaar soms waardoor de onderzoeker het antwoord zelf
moet interpreteren. Sommige respondenten zijn niet goed in staat om hun
gedachten op papier te zetten
Nadelen gesloten vragen:
- Het bedenken van vragen en antwoorden kost veel tijd, lastig inschatten van de
moeilijkheidsgraad
- Antwoorden kunnen geraden worden
Alternatief: 2 van de 6 zijn goed en pas als beide stellingen goed zijn is het antwoord
goed
- Gesloten vragen zijn alleen geschikt als het gaat om feitenkennis of ‘weetjes’
Items prestatieniveau:
Er wordt bij prestatieniveautests, zoals studietoetsen en intelligentietests vaak gebruik
gemaakt van meerkeuze-items. Er wordt doorgaans 2 tot 5 antwoordmogelijkheden
gegeven. Er is vaak een goed en anderen zijn fout.
Onderscheid meerkeuzevragen
1. Tweekeuze vorm: eens of oneens
2. Meest/minst-juiste antwoord
3. Rangschikken
Matching: 5 woorden links met 5 woorden rechts met uitleg. Die koppelen aan elkaar
- Studietoetsen MC: relevantie, objectiviteit, specifiteit, efficiëntie, moeilijkheid,
discriminatie
Vragenlijsten: relevantie, formulering (helder, een interpretatie, geen dubbele ontkenning,
niet altijd, alles of nooit gebruiken), stel geen vragen waar iedereen het mee eens of oneens
is.
Kwaliteit van de items:
- Twee fasen:
Meten = op consistente wijze getallen toekennen aan objecten/personen. Dit door middel
van vragenlijsten, interviews en observaties. Er zijn vier meetniveaus:
- Nominaal:
Classificeren van eigenschappen van mensen. De onderzoeker bepaalt categorieën als
geslacht en haarkleur. Licht haar bijv. getal 0 en donker haar 1.
- Ordinaal: personen sorteren op een bepaalde eigenschap. De afstand tussen de
getallen is arbitrair. Bijvoorbeeld of een college interessant is op een schaal van 1 tot
5. De afstand tussen de cijfers hebben geen gelijke afstand. Likert schalen vallen
hieronder
- Interval: de verschillen tussen de getallen zijn betekenisvol. Bijvoorbeeld graden,
alleen te interpreteren op schaal, geen absoluut nulpunt
- Ratio: verhoudingen worden ook betekenisvol. Bijvoorbeeld lengte, er is een
absoluut nulpunt. Ook te interpreteren op verschillende schalen.
Einddoel van statistiek is om uitspraken te doen over de populatie en niet over de
steekproef. Uitzonderingen zijn wanneer de steekproef bestaat uit de populatie of bij een
testscore (= 1 persoon)
Hoorcollege 1
Het nut van testen is voor onderscheid tussen mensen, vergelijken van mensen en
beschrijving van mensen. Zijn ook maatschappelijke redenen: voor diagnose van stoornissen
Bij onderzoek worden groepen vergeleken of een relatie tussen variabelen gekeken.
Als je je aan het construeren bent moet je na de tijd de volgende vragen stellen:
- Wat willen we meten en waarom? (Construct, bv. motivatie, intelligentie,
ordelijkheid, schoolprestaties enz.)
- Hoe kunnen we dit operationaliseren in vragen, opgaven, uitspraken?
- Wat is de relatie tussen de delen (de vragen/items) en het geheel?
- Kwaliteit (doel, construct, betrouwbare meting)
Toetsen is begonnen in de psychiatrie, om onderscheid te maken tussen zwakzinnigen en
krankzinnigen.
Test: een systematisch onderzoek van gedrag met behulp van speciaal geselecteerde vragen
of opgaven, met de bedoeling inzicht te krijgen in een psychologisch kenmerk van de
onderzochte van anderen.
,Kenmerken test:
1. Efficiënt: men is niet afhankelijk van het min of meer toevallig beschikbaar zijn van
gelegenheden waarin intelligent gedrag zich voordoet. De test heeft een verzameling
van opgaven geselecteerd die een optimaal appel doen op het intelligente reageren.
2. Standaardisatie. Ook kan je hierbij mensen onder dezelfde conditie testen. Om iets
te zeggen over een testprestatie, moet deze vergelijkbaar zijn met de prestaties van
anderen.
3. Normering, hierbij moet er een exacte vergelijking zijn. Voor de vaststelling van
kleinere verschillen is een gevoeliger instrument nodig dat niet uitgaat van de grove
maatstaven die in het lekenoordeel worden gebruikt. Er is bij normering minstens
een rangorde vastgesteld van zeer goede tot zeer slechte prestaties, zodat iemands
prestatie door middel van een plaatsbepaling in deze rangorde kan worden
beoordeeld. Hierbij is men gebonden aan de groep proefpersonen waarop deze
normen worden vastgesteld.
4. Objectiviteit: resultaat van het onderzoek is onafhankelijk van degene die de
gegevens verzamelt of uitwerkt. Objectiviteit wordt opgevat als de onafhankelijkheid
van storende invloeden vanuit de persoon van de waarnemer, beoordelaar of
interpretator. Deze opvatting heeft twee gevolgen:
Het moet bij objectief testonderzoek niet uitmaken wie de beoordelaar is
Objectiviteit impliceert openheid en reproduceerbaarheid van de test en
evaluatie procedure
Interbeoordelaars betrouwbaarheid: de mate van overeenstemming tussen beoordelaars
Nominale schaal: kappa.
Kappa bestaat uit een
proportie geobserveerde
overeenstemming Po en
een proportie verwachtte
overeenstemming Pe.
Bladzijde 47 boek!!
Prestatieniveau: maximale prestatie, totaalscore, intelligentie, cognitieve capaciteit, kennis
Gedragswijze: hoe iemand doet, welke reactie plaatsvindt. Hiermee kan je
persoonlijkheidstrekken, voorkeuren en attitudes mee testen
Problemen met tests voor gedragswijze
- Overeenkomt testgedrag en gedrag in dagelijks leven
- Geen objectief criterium, beoordeling
- Persoonlijkheidstrekken zijn minder stabiel, minder generaliseerbaar, minder
gelijkmatig van invloed op gedrag
, Betrouwbaarheid: als er tussen twee metingen bijzonder weinig verschil is, spreken we van
een hoge betrouwbaarheid
Hoorcollege 2
Verschillende typen van items
- Gevraagde activiteit: theoretische opdracht (bv. doolhof, rekenopdracht), stelling
beoordelen (mate van toepassing), vragen (ja/nee), praktijkproeven (bv. simulator)
- Vorm van antwoord: open vragen en gesloten vragen
- Uiterlijke verschijningsvorm van item
Meerkeuze vragen (prestatieniveau)
Rating scale (gedragswijze)
Nadelen open vragen:
- Beoordelen en categoriseren van antwoorden kost veel tijd
- Respondenten geven vaak niet aan wanneer ze een vraag niet begrijpen, toch geven
ze wel antwoord op de vraag
- Handschriften niet goed leesbaar soms waardoor de onderzoeker het antwoord zelf
moet interpreteren. Sommige respondenten zijn niet goed in staat om hun
gedachten op papier te zetten
Nadelen gesloten vragen:
- Het bedenken van vragen en antwoorden kost veel tijd, lastig inschatten van de
moeilijkheidsgraad
- Antwoorden kunnen geraden worden
Alternatief: 2 van de 6 zijn goed en pas als beide stellingen goed zijn is het antwoord
goed
- Gesloten vragen zijn alleen geschikt als het gaat om feitenkennis of ‘weetjes’
Items prestatieniveau:
Er wordt bij prestatieniveautests, zoals studietoetsen en intelligentietests vaak gebruik
gemaakt van meerkeuze-items. Er wordt doorgaans 2 tot 5 antwoordmogelijkheden
gegeven. Er is vaak een goed en anderen zijn fout.
Onderscheid meerkeuzevragen
1. Tweekeuze vorm: eens of oneens
2. Meest/minst-juiste antwoord
3. Rangschikken
Matching: 5 woorden links met 5 woorden rechts met uitleg. Die koppelen aan elkaar
- Studietoetsen MC: relevantie, objectiviteit, specifiteit, efficiëntie, moeilijkheid,
discriminatie
Vragenlijsten: relevantie, formulering (helder, een interpretatie, geen dubbele ontkenning,
niet altijd, alles of nooit gebruiken), stel geen vragen waar iedereen het mee eens of oneens
is.
Kwaliteit van de items:
- Twee fasen:
