Diagnostiek en assessment in opvoeding, onderwijs en
hulpverlening
Samenvatting colleges
Overzicht leerdoelen
1. Uitleggen hoe assessmentontwikkeling verloopt en wat het assessmentproces inhoudt met
inbegrip van ethische aspecten en speciale voorzieningen
a. College 2
Assessmentproces: Test-measurement-assessment
Type testen, zoals maximum performance en typical response
Basis assumpties
b. College 4
Assessment ontwikkeling in 4 stappen
1) Conceptualiseren: conceptuele en operationele definitie
2) Structuur & testopzet: intemformats, antwoordschalen, testmatrijs
3) Psychimetrische studies: opzetten, uitvoeren en analyseren (representatieve
steekproef, normtabellen, testhandleiding, etc)
4. Beoordelingtest kwaliteit
c. College 7
Speciale voorzieningen in presentatie materialen, antwoordformat, timing,
omgeving, ondersteuning en apparaten
d. College 8
Ethische aspecten assessmentontwikkeling en -proces
2. Begrijpen wat testscores betekenen en hoe deze te interpreteren om adequate
besluitvorming te laten plaatsvinden
a. College 3
Scheve verdeling herkennen + rol centrum maten
2 referentiekaders score interpretatie: norm/criterion- referenced (relatief vs.
Absoluut, populatie-afhankelijk vs. -onafhankelijk
Norm-referenced: interpreteren standaardscores
b. College 4
Dissimulatie response set: schalen en gevolgen
CITO -scores: vaardigheidsscores en – niveaus
c. College 5
Belang van betrouwbaarheid testscores
Minimale waarden (r) voor beslissingen (groeps- en individueel niveau)
d. College 6
Belang van validiteit
e. College 7
Impact meetfouten
Sensitiviteit & Specificiteit: optimaal cut-off point
f. College 8
Ethisch verantwoord handelen door alle assessment-betrokkenen
Impact veiligheidslek en teaching-to-the-test
3. Uitleggen wat betrouwbaarheid en validiteit van testscores zijn en hoe deze kunnen
samenhangen en verschillen
, a. College 5
4 typen betrouwbaarheid
1) Test-hertest betrouwbaarheid
2) paralelle test betrouwbaarheid
3) interne consistentie betrouwbaarheid
4) interbeoordelaarsbetrouwbaarheid
b. College 6
Bronnen validiteitsbewijs: consequential + evidential
Construct validiteit van testscores bijv. op basis van MTMM-matrix voor criterium
validiteitsbewijs, factor analyse voor interne structuur
c. College 7
Speciale voorzieningen, betrouwbare & valide scores
Meetfouten: toevallig systematisch, SEM, SE, bias
4. Begrijpen hoe de kwaliteit van individuele items te analyseren is
a. College 4
IRT: Moeilijkheidsgraad b, discriminatieparameter a, TIF
ICC aflezen: hoe moeilijk en onderscheidend is een item
IRT is steekproefonafhankelijk
b. College 5
KTT: proportie correct, D-index, R-it en R-ir
KTT is steekproef afhankelijk
c. College 7
DIF-scores: Item-bias?
5. De kwaliteit van verschillende testen beoordelen voor het meten van diverse populaties
a. Zit verweven door alle colleges. Hier zijn alle overige leerdoelen voor nodig. Komt
indirect naar voren in het tentamen
,College 2: Waarom assessment?
Aan de hand van assessment worden bijvoorbeeld de volgende vragen beantwoord:
- Wat is er aan de hand?
o Op school, thuis
o Schoolse vakken, sociaal emotioneel, etc
- Waar(om) stagneert een kind?
- Slaat de behandeling aan?
Tijdens assessment wordt er gekeken naar wat er echt speelt.
- Is het gedrag thuis/op school te ernstig?
- Lopen de schoolprestaties teveel achter?
- Zijn er onderliggende oorzaken? Verklarende mechanismen?
Bij het zoeken naar een antwoord worden verschillende informatie bronnen gebruikt. Bij
informanten is er sprake van subjectiviteit. Daarbij gedraagt een kind zich bij de een vaak anders dan
bij de ander. Doormiddel van testen kunnen er objectieve metingen gedaan worden.
Wel is het belangrijk om de verschillen tussen informanten te bespreken.
Basis assumpties
Binnen assessment werken we met een aantal basis assumpties. Dit zijn voorwaarden voor het
vertrouwen op testuitslagen en het assessmentproces. Daarnaast is het een onderbouwing van
waarom en wanneer wel/niet testen.
1. Het psychologische construct bestaat
2. Het psychologische construct is te meten
3. Er zijn verschillende manieren om het construct te meten
4. Een meting gebeurt zo eerlijk mogelijk
5. Er is altijd sprake van een mate van error
6. Elk meetinstrument heeft sterke en zwakke punten
7. Bij assessment maak je gebruik van verschillende bronnen
8. Assessment helpt bij het maken van professionele besluiten
9. De individu en de samenleving hebben baat bij assessment
10. Resultaten zijn te generaliseren over de persoon buiten de testsituatie
Testselectie
Bij het selecteren van een test is het belangrijk om het doel van assessment goed voor ogen te
houden.
- Wat is de hulpvraag?
- Welke testen kunnen hier antwoord opgeven?
Daarnaast verschillende technische eigenschappen van testen.
- Welke testen passen bij wat je wil weten, met zo min mogelijk belasting van kind, ouders,
leerkracht, etc?
- Kwaliteit van de test (COTAN)
, Het assessment proces
Test: Het verkrijgen van een representatieve steekproef van gedrag in een individu. Het is een
systematische manier van informatie verzamelen, informatie uit meerdere bronnen (Multi-method,
multi-modal)
Measurement: set van regels om getallen toe te kennen aan gedragingen en/of prestatie
Assessment: Systematische procedure voor het interpreteren van verkregen informatie. Hierbij
worden conclusies getrokken en assessment helpt bij de besluitvorming.
Ruwe scores hebben geen betekenis zonder referentie-kader.
Bij het bespreken van resultaten moet je letten op het taalgebruik.
- Abnormal results
- Disturbances in
- Are impaired
Dit is allemaal op basis van een normaal verdeling. Hierbij moet duidelijk gemaakt worden dat een
persoon niet zijn gedrag is. Sommige dingen kunnen verkeerd geïnterpreteerd worden, zoals:
- Doe eens normaal
Type testen
- Maximum performance test
Kennis en vaardigheidsniveau
o Achievement test
Niveau na instructie
o Aptitude test
Niveau als gevolg van levenservaring
o Speed: Hoeveel test items correct binnen een bepaalde tijd
o Power: oplopende moeilijkheidsgraag
o Objectief of subjectief
- Typical reponse test
Gedrag en persoonskenmerken
o Objectief: Vaste antwoordcategorie
o Projectief: open vraag, geen goed/fout
- Zelfrapportage vragenlijsten
o Omnibus: brede range aan symptomen, screening
o Domein specifiek: Diepgaand, meer diagnostisch
- Interview
o Semi-gestructureerd
Ouders
School (context)
Kind/jeugdige
o Concreet, observeerbaar gedrag laten beschrijven
Frequentie en ernst afwijkend
Antecedenten en consequenties
Co-morbiditeit
- Directe observatie
hulpverlening
Samenvatting colleges
Overzicht leerdoelen
1. Uitleggen hoe assessmentontwikkeling verloopt en wat het assessmentproces inhoudt met
inbegrip van ethische aspecten en speciale voorzieningen
a. College 2
Assessmentproces: Test-measurement-assessment
Type testen, zoals maximum performance en typical response
Basis assumpties
b. College 4
Assessment ontwikkeling in 4 stappen
1) Conceptualiseren: conceptuele en operationele definitie
2) Structuur & testopzet: intemformats, antwoordschalen, testmatrijs
3) Psychimetrische studies: opzetten, uitvoeren en analyseren (representatieve
steekproef, normtabellen, testhandleiding, etc)
4. Beoordelingtest kwaliteit
c. College 7
Speciale voorzieningen in presentatie materialen, antwoordformat, timing,
omgeving, ondersteuning en apparaten
d. College 8
Ethische aspecten assessmentontwikkeling en -proces
2. Begrijpen wat testscores betekenen en hoe deze te interpreteren om adequate
besluitvorming te laten plaatsvinden
a. College 3
Scheve verdeling herkennen + rol centrum maten
2 referentiekaders score interpretatie: norm/criterion- referenced (relatief vs.
Absoluut, populatie-afhankelijk vs. -onafhankelijk
Norm-referenced: interpreteren standaardscores
b. College 4
Dissimulatie response set: schalen en gevolgen
CITO -scores: vaardigheidsscores en – niveaus
c. College 5
Belang van betrouwbaarheid testscores
Minimale waarden (r) voor beslissingen (groeps- en individueel niveau)
d. College 6
Belang van validiteit
e. College 7
Impact meetfouten
Sensitiviteit & Specificiteit: optimaal cut-off point
f. College 8
Ethisch verantwoord handelen door alle assessment-betrokkenen
Impact veiligheidslek en teaching-to-the-test
3. Uitleggen wat betrouwbaarheid en validiteit van testscores zijn en hoe deze kunnen
samenhangen en verschillen
, a. College 5
4 typen betrouwbaarheid
1) Test-hertest betrouwbaarheid
2) paralelle test betrouwbaarheid
3) interne consistentie betrouwbaarheid
4) interbeoordelaarsbetrouwbaarheid
b. College 6
Bronnen validiteitsbewijs: consequential + evidential
Construct validiteit van testscores bijv. op basis van MTMM-matrix voor criterium
validiteitsbewijs, factor analyse voor interne structuur
c. College 7
Speciale voorzieningen, betrouwbare & valide scores
Meetfouten: toevallig systematisch, SEM, SE, bias
4. Begrijpen hoe de kwaliteit van individuele items te analyseren is
a. College 4
IRT: Moeilijkheidsgraad b, discriminatieparameter a, TIF
ICC aflezen: hoe moeilijk en onderscheidend is een item
IRT is steekproefonafhankelijk
b. College 5
KTT: proportie correct, D-index, R-it en R-ir
KTT is steekproef afhankelijk
c. College 7
DIF-scores: Item-bias?
5. De kwaliteit van verschillende testen beoordelen voor het meten van diverse populaties
a. Zit verweven door alle colleges. Hier zijn alle overige leerdoelen voor nodig. Komt
indirect naar voren in het tentamen
,College 2: Waarom assessment?
Aan de hand van assessment worden bijvoorbeeld de volgende vragen beantwoord:
- Wat is er aan de hand?
o Op school, thuis
o Schoolse vakken, sociaal emotioneel, etc
- Waar(om) stagneert een kind?
- Slaat de behandeling aan?
Tijdens assessment wordt er gekeken naar wat er echt speelt.
- Is het gedrag thuis/op school te ernstig?
- Lopen de schoolprestaties teveel achter?
- Zijn er onderliggende oorzaken? Verklarende mechanismen?
Bij het zoeken naar een antwoord worden verschillende informatie bronnen gebruikt. Bij
informanten is er sprake van subjectiviteit. Daarbij gedraagt een kind zich bij de een vaak anders dan
bij de ander. Doormiddel van testen kunnen er objectieve metingen gedaan worden.
Wel is het belangrijk om de verschillen tussen informanten te bespreken.
Basis assumpties
Binnen assessment werken we met een aantal basis assumpties. Dit zijn voorwaarden voor het
vertrouwen op testuitslagen en het assessmentproces. Daarnaast is het een onderbouwing van
waarom en wanneer wel/niet testen.
1. Het psychologische construct bestaat
2. Het psychologische construct is te meten
3. Er zijn verschillende manieren om het construct te meten
4. Een meting gebeurt zo eerlijk mogelijk
5. Er is altijd sprake van een mate van error
6. Elk meetinstrument heeft sterke en zwakke punten
7. Bij assessment maak je gebruik van verschillende bronnen
8. Assessment helpt bij het maken van professionele besluiten
9. De individu en de samenleving hebben baat bij assessment
10. Resultaten zijn te generaliseren over de persoon buiten de testsituatie
Testselectie
Bij het selecteren van een test is het belangrijk om het doel van assessment goed voor ogen te
houden.
- Wat is de hulpvraag?
- Welke testen kunnen hier antwoord opgeven?
Daarnaast verschillende technische eigenschappen van testen.
- Welke testen passen bij wat je wil weten, met zo min mogelijk belasting van kind, ouders,
leerkracht, etc?
- Kwaliteit van de test (COTAN)
, Het assessment proces
Test: Het verkrijgen van een representatieve steekproef van gedrag in een individu. Het is een
systematische manier van informatie verzamelen, informatie uit meerdere bronnen (Multi-method,
multi-modal)
Measurement: set van regels om getallen toe te kennen aan gedragingen en/of prestatie
Assessment: Systematische procedure voor het interpreteren van verkregen informatie. Hierbij
worden conclusies getrokken en assessment helpt bij de besluitvorming.
Ruwe scores hebben geen betekenis zonder referentie-kader.
Bij het bespreken van resultaten moet je letten op het taalgebruik.
- Abnormal results
- Disturbances in
- Are impaired
Dit is allemaal op basis van een normaal verdeling. Hierbij moet duidelijk gemaakt worden dat een
persoon niet zijn gedrag is. Sommige dingen kunnen verkeerd geïnterpreteerd worden, zoals:
- Doe eens normaal
Type testen
- Maximum performance test
Kennis en vaardigheidsniveau
o Achievement test
Niveau na instructie
o Aptitude test
Niveau als gevolg van levenservaring
o Speed: Hoeveel test items correct binnen een bepaalde tijd
o Power: oplopende moeilijkheidsgraag
o Objectief of subjectief
- Typical reponse test
Gedrag en persoonskenmerken
o Objectief: Vaste antwoordcategorie
o Projectief: open vraag, geen goed/fout
- Zelfrapportage vragenlijsten
o Omnibus: brede range aan symptomen, screening
o Domein specifiek: Diepgaand, meer diagnostisch
- Interview
o Semi-gestructureerd
Ouders
School (context)
Kind/jeugdige
o Concreet, observeerbaar gedrag laten beschrijven
Frequentie en ernst afwijkend
Antecedenten en consequenties
Co-morbiditeit
- Directe observatie
