3.5 Engines for Learning – Probleem 6
Literatuur: de Bruin, Griffin, Dunlosky, Yang
Deel 1
What factors influence accuracy in judgments of one’s performance, and how?
De Bruin et al: “The impact of an online tool for monitoring and regulating learning at
university: Overconfidence, learning strategy, and personality” (2017)
Introductie = wanneer studenten worden gevraagd hun eigen prestatie te voorspellen, zijn
deze voorspellingen vaak niet in lijn met objectieve metingen van prestatie. Overconfidence
in het voorspellen van cijfers komt vooral voor onder slecht-presterende studenten, ook wel
het Dunning-Kruger effect genoemd. Goed-presterende studenten geven daarentegen vaak
accurate voorspellingen of zijn soms zelfs underconfident. Verklaringen:
Measurement artifact: ongeacht de werkelijke cijfers, zijn de voorspellingen van
studenten allemaal rond 70-80%. Voor hoge presteerders komt dit overeen met hun
werkelijke cijfers, maar dit is niet het geval voor lage presteerders.
Percentile rank judgments: wanneer studenten hun prestatie relatief ten opzichte
van andere studenten moeten beoordelen wordt overconfidence geobserveerd,
maar niet wanneer zij absolute beoordelingen moeten doen. Studenten hebben dus
vooral moeite om de prestatieniveaus van anderen te beoordelen.
Test item difficulty: voor moeilijke items wordt vaak overconfidence geobserveerd,
terwijl voor makkelijke items vaker underconfidence plaatsvindt (= hard-easy effect).
Double curse explanation: slecht presterende studenten hebben niet alleen een
tekort aan kennis, maar ook een tekort in metacognitief vermogen, waardoor zij
niet bewust zijn van hun lage kennisniveau. Echter zouden deze studenten minder
zeker zijn over de accuraatheid van hun voorspellingen, wat betekent dat zij niet
geheel onbewust zijn van hun tekort aan metacognitieve kennis. Daarentegen kan
het tekort aan kennis nog steeds een rol spelen, aangezien de accuraatheid van
beoordelingen afhankelijk is van de aanwezigheid van diagnostische cues:
1. Information-based cues: geloven of kennis van de student over de eigen
competentie en cognities. Wanneer studenten meer kennis verkrijgen,
verhoogt dit hun gevoelens van competentie, wat de diagnostische cues
verbetert en dus ook hun monitoring accuraatheid.
2. Experience-based cues: subjectieve gevoelens. Wanneer studenten meer
kennis verkrijgen, verhoogt dit de vlotheid waarmee informatie kan worden
opgehaald, wat de diagnostische cues verbetert en monitoring accuraatheid.
Zo zou de aanwezigheid van kennis invloed hebben op monitoring accuraatheid,
waardoor overconfidence afneemt over de loop van de course als kennis toeneemt.
Door het gebruik van cues te verbeteren, kan kennisverbetering mogelijk ook
beschermen tegen overconfidence. Kennis zou meer verbeteren voor hoge
presteerders dan lage presteerders, terwijl metacognitief vermogen stabiel blijft. Zo
zouden de voorspellingen van hoge presteerders accurater worden.
1
, Huidige studie = overconfidence kan eventueel worden verminderd door gebruik te maken
van interventies die studenten bewust maakt van de aanwezigheid van overconfidence
tijdens zelfregulerend leren, en hen ondersteunt in het monitoren en reguleren van hun
leren. Persoonlijkheid zou hier een rol spelen, aangezien narcisme gerelateerd blijkt aan
overconfidence. Echter is nog geen onderscheid gemaakt tussen grandiose narcissism
(overschatting van eigen prestaties) en vulnerable narcissism (hoge behoefte aan aandacht,
maar onzeker). Ook is weinig aandacht besteed aan de cognitieve factor optimisme, oftewel
de mate waarin mensen positieve verwachtingen hebben van de toekomst. Drie vragen:
1) Hoe ontwikkelt monitoring accuraatheid van studenten van voorspellingen over
examencijfers over de loop van een course? Er werd verwacht dat overconfidence
zou verminderen voor zowel hoge als lage presteerders, maar dat lage presteerders
aan het einde van de course nog steeds overconfident zouden zijn.
2) Kan overconfidence van examencijfers voorspellingen worden verminderd door een
interventie bedoeld om monitoring en regulatie van leren te verbeteren, en heeft
deze interventie ook invloed op examencijfers? Er werd verwacht dat studenten met
de monitoring oefening, de monitoring en regulatie strategie, of beide gemiddeld een
hogere monitoring accuraatheid en hoger examencijfer zouden hebben. Daarnaast
zou de strategie effectiever zijn op beide uitkomsten dan alleen de oefening.
3) Hoe hebben narcisme en optimisme invloed op monitoring accuraatheid en de
ontwikkeling van monitoring accuraatheid over een course? Er werd een positieve
relatie verwacht van overconfidence met narcisme en met optimisme.
Methode = participanten waren 226 eerstejaarsstudenten van drie verschillende faculteiten
aan een Nederlandse universiteit, met een gemiddelde leeftijd van 20.5 jaar. Studenten
werden willekeurig toegeschreven aan één van vier condities: Monitoring Oefening (ME
conditie), Monitoring en Regulatie Strategie (MRS conditie), beide oefening en strategie
(ME-MRS conditie), of geen van beide (controle conditie). Het onderzoek werd verdeeld in
drie verschillende fases met een totale lengte van acht weken. Tijdens de pre-interventie
fase maakten participanten een voorspelling van hun examencijfer en een vragenlijst over
narcisme (grandioos en kwetsbaar) en optimisme.
Tijdens de interventiefase kregen participanten in de ME-conditie en de ME-MRS conditie
een e-mail met een link naar de monitoring oefening. Zij moesten twee teksten lezen,
definities geven voor een aantal key concepten, en de kwaliteit beoordelen van hun
definities zonder de correcte definities (= pre-judgment retrieval). Drie dagen later kregen zij
feedback over hun monitoring en maakten ze een vragenlijst over hoe verrast zij waren over
de uitkomst, hoe inzichtvol de oefening was, in hoeverre ze denken dat de resultaten hun
echte beoordeling skills reflecteren, en of ze hun studiemethodes zullen aanpassen. Ook
kregen MRS en ME-MRS participanten informatie over monitoring en regulatie strategie.
Deze bestond uit een zeven-stappen procedure en beschreef hoe studenten hun kennis van
key termen beoordelen door zelftesten en het vergelijken van hun definities met de juiste
definities door idee-eenheden te tellen. Ook wordt het belang van herstuderen benadrukt
van de concepten die nog niet geleerd zijn. Eén week en drie dagen voor het examen kregen
participanten een e-mail waarin zij weer werden gevraagd hun examencijfer te voorspellen.
2
Literatuur: de Bruin, Griffin, Dunlosky, Yang
Deel 1
What factors influence accuracy in judgments of one’s performance, and how?
De Bruin et al: “The impact of an online tool for monitoring and regulating learning at
university: Overconfidence, learning strategy, and personality” (2017)
Introductie = wanneer studenten worden gevraagd hun eigen prestatie te voorspellen, zijn
deze voorspellingen vaak niet in lijn met objectieve metingen van prestatie. Overconfidence
in het voorspellen van cijfers komt vooral voor onder slecht-presterende studenten, ook wel
het Dunning-Kruger effect genoemd. Goed-presterende studenten geven daarentegen vaak
accurate voorspellingen of zijn soms zelfs underconfident. Verklaringen:
Measurement artifact: ongeacht de werkelijke cijfers, zijn de voorspellingen van
studenten allemaal rond 70-80%. Voor hoge presteerders komt dit overeen met hun
werkelijke cijfers, maar dit is niet het geval voor lage presteerders.
Percentile rank judgments: wanneer studenten hun prestatie relatief ten opzichte
van andere studenten moeten beoordelen wordt overconfidence geobserveerd,
maar niet wanneer zij absolute beoordelingen moeten doen. Studenten hebben dus
vooral moeite om de prestatieniveaus van anderen te beoordelen.
Test item difficulty: voor moeilijke items wordt vaak overconfidence geobserveerd,
terwijl voor makkelijke items vaker underconfidence plaatsvindt (= hard-easy effect).
Double curse explanation: slecht presterende studenten hebben niet alleen een
tekort aan kennis, maar ook een tekort in metacognitief vermogen, waardoor zij
niet bewust zijn van hun lage kennisniveau. Echter zouden deze studenten minder
zeker zijn over de accuraatheid van hun voorspellingen, wat betekent dat zij niet
geheel onbewust zijn van hun tekort aan metacognitieve kennis. Daarentegen kan
het tekort aan kennis nog steeds een rol spelen, aangezien de accuraatheid van
beoordelingen afhankelijk is van de aanwezigheid van diagnostische cues:
1. Information-based cues: geloven of kennis van de student over de eigen
competentie en cognities. Wanneer studenten meer kennis verkrijgen,
verhoogt dit hun gevoelens van competentie, wat de diagnostische cues
verbetert en dus ook hun monitoring accuraatheid.
2. Experience-based cues: subjectieve gevoelens. Wanneer studenten meer
kennis verkrijgen, verhoogt dit de vlotheid waarmee informatie kan worden
opgehaald, wat de diagnostische cues verbetert en monitoring accuraatheid.
Zo zou de aanwezigheid van kennis invloed hebben op monitoring accuraatheid,
waardoor overconfidence afneemt over de loop van de course als kennis toeneemt.
Door het gebruik van cues te verbeteren, kan kennisverbetering mogelijk ook
beschermen tegen overconfidence. Kennis zou meer verbeteren voor hoge
presteerders dan lage presteerders, terwijl metacognitief vermogen stabiel blijft. Zo
zouden de voorspellingen van hoge presteerders accurater worden.
1
, Huidige studie = overconfidence kan eventueel worden verminderd door gebruik te maken
van interventies die studenten bewust maakt van de aanwezigheid van overconfidence
tijdens zelfregulerend leren, en hen ondersteunt in het monitoren en reguleren van hun
leren. Persoonlijkheid zou hier een rol spelen, aangezien narcisme gerelateerd blijkt aan
overconfidence. Echter is nog geen onderscheid gemaakt tussen grandiose narcissism
(overschatting van eigen prestaties) en vulnerable narcissism (hoge behoefte aan aandacht,
maar onzeker). Ook is weinig aandacht besteed aan de cognitieve factor optimisme, oftewel
de mate waarin mensen positieve verwachtingen hebben van de toekomst. Drie vragen:
1) Hoe ontwikkelt monitoring accuraatheid van studenten van voorspellingen over
examencijfers over de loop van een course? Er werd verwacht dat overconfidence
zou verminderen voor zowel hoge als lage presteerders, maar dat lage presteerders
aan het einde van de course nog steeds overconfident zouden zijn.
2) Kan overconfidence van examencijfers voorspellingen worden verminderd door een
interventie bedoeld om monitoring en regulatie van leren te verbeteren, en heeft
deze interventie ook invloed op examencijfers? Er werd verwacht dat studenten met
de monitoring oefening, de monitoring en regulatie strategie, of beide gemiddeld een
hogere monitoring accuraatheid en hoger examencijfer zouden hebben. Daarnaast
zou de strategie effectiever zijn op beide uitkomsten dan alleen de oefening.
3) Hoe hebben narcisme en optimisme invloed op monitoring accuraatheid en de
ontwikkeling van monitoring accuraatheid over een course? Er werd een positieve
relatie verwacht van overconfidence met narcisme en met optimisme.
Methode = participanten waren 226 eerstejaarsstudenten van drie verschillende faculteiten
aan een Nederlandse universiteit, met een gemiddelde leeftijd van 20.5 jaar. Studenten
werden willekeurig toegeschreven aan één van vier condities: Monitoring Oefening (ME
conditie), Monitoring en Regulatie Strategie (MRS conditie), beide oefening en strategie
(ME-MRS conditie), of geen van beide (controle conditie). Het onderzoek werd verdeeld in
drie verschillende fases met een totale lengte van acht weken. Tijdens de pre-interventie
fase maakten participanten een voorspelling van hun examencijfer en een vragenlijst over
narcisme (grandioos en kwetsbaar) en optimisme.
Tijdens de interventiefase kregen participanten in de ME-conditie en de ME-MRS conditie
een e-mail met een link naar de monitoring oefening. Zij moesten twee teksten lezen,
definities geven voor een aantal key concepten, en de kwaliteit beoordelen van hun
definities zonder de correcte definities (= pre-judgment retrieval). Drie dagen later kregen zij
feedback over hun monitoring en maakten ze een vragenlijst over hoe verrast zij waren over
de uitkomst, hoe inzichtvol de oefening was, in hoeverre ze denken dat de resultaten hun
echte beoordeling skills reflecteren, en of ze hun studiemethodes zullen aanpassen. Ook
kregen MRS en ME-MRS participanten informatie over monitoring en regulatie strategie.
Deze bestond uit een zeven-stappen procedure en beschreef hoe studenten hun kennis van
key termen beoordelen door zelftesten en het vergelijken van hun definities met de juiste
definities door idee-eenheden te tellen. Ook wordt het belang van herstuderen benadrukt
van de concepten die nog niet geleerd zijn. Eén week en drie dagen voor het examen kregen
participanten een e-mail waarin zij weer werden gevraagd hun examencijfer te voorspellen.
2
