Week 1............................................................................................................................................... 1
Demszky, D., et al. (2023). Using large language models in psychology. Nature Reviews
Psychology, 2(11), 688-701.................................................................................................... 1
Bender, E. M., & Koller, A. (2020, July). Climbing towards NLU: On meaning, form,
and understanding in the age of data. In Proceedings of the 58th annual meeting of
the association for computational linguistics (pp. 5185-5198)........................................ 6
Pavlick, E. (2023). Symbols and grounding in large language models. Philosophical
Transactions of the Royal Society A, 381, Article 20220041.......................................... 11
Jones, C. R., & Bergen, B. K. (2025). Large language models pass the Turing test.... 14
Hoorcollege week 1..............................................................................................................18
Week 2............................................................................................................................................. 20
Hamdoun et al (2023). AI-based and digital mental health apps: Balancing need and risk.
IEEE Technology and Society Magazine, 42(1), 25-36........................................................ 20
Hatch et al. (2025). When ELIZA meets therapists: A Turing test for the heart and mind.
PLOS Ment Health 2(2), Article e0000145........................................................................... 24
Li et al. (2023). Systematic review and meta-analysis of AI-based conversational agents for
promoting mental health and well-being. NPJ Digital Medicine, 6, Article 236.................... 30
Moore et al. (2025, June). Expressing stigma and inappropriate responses prevents LLMs
from safely replacing mental health providers. In Proceedings of the 2025 ACM Conference
on Fairness, Accountability, and Transparency (pp. 599-627)............................................. 35
Hoorcollege 2....................................................................................................................... 41
Week 3............................................................................................................................................. 44
Know what? How digital technologies undermine learning and remembering Naomi S.
Baron....................................................................................................................................44
Technology may change cognition without necessarily harming it....................................... 52
Supporting Cognition With Modern Technology: Distributed Cognition Today and in an
AI-Enhanced Future............................................................................................................. 57
The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive
Effort and Confidence Effects From a Survey of Knowledge Workers................................. 61
Hoorcollege 3....................................................................................................................... 75
Week 4............................................................................................................................................. 78
Testing the Ability of Teachers and Students toDifferentiate between Essays Generated by
ChatGPT and HighSchool Students.....................................................................................78
How do students use ChatGPT as a writing support?..........................................................83
Promises and challenges of generative artificial intelligence for human learning................ 89
ChatGPT for good? On opportunities and challenges of large language models for
education..............................................................................................................................96
Week 1
Demszky, D., et al. (2023). Using large language models in psychology.
Nature Reviews Psychology, 2(11), 688-701.
Taal is een core aspect van de psychologische wetenschap
, - ontwikkelingspsychologie -> kinderen vormen beeld van de wereld(mental models)
- sociale psychologie -> interacties met anderen
- cognitieve psychologie -> verbale uitleg van gebeurtenissen
- klinische psychologie -> ontdekken van verstoorde mentale modellen
- affectieve psychologie -> communiceren van emoties
Technologie helpt ons steeds beter met taalanalyses
- tellen van woorden in tekst (1960s)
- semantische analyses (1990s)
- geautomatiseerde algoritmes voor tekst
analyses op het internet (2010s)
LLMs (Language learning models) -> voorspellen
het volgende woord/zin/paragraaf
- Ze gaan verder dan slechts aan te nemen
dat woorden een statische betekenenis
hebben -> ze benaderen betekenis in
context -> waardoor ze authentieker worden
- Ze zijn getraind op een ongekende
hoeveelheid en verscheidenheid aan tekst
Mogelijke voorbeelden van het gebruik van
LLMs zijn:
- de mentale modellen van mensen over
zichzelf en hun omgevingen te bevragen
(sociale en cognitieve psychologie),
- individuele verschillen in coping-stijlen af te leiden (persoonlijkheidspsychologie)
- mensen helpen stressvolle ervaringen opnieuw te beoordelen (affectieve en klinische
psychologie).
- meting (bijvoorbeeld om psychologische patronen te onderzoeken in enorme hoeveelheden
tekst)
- experimentatie (om snel stimuli en reacties op die stimuli te genereren om de fijnmazigheid
van factoriële ontwerpen te verbeteren)
- praktijk (om realistische gesprekken te simuleren om menselijke therapeuten, counselors,
leraren of managers te trainen).
Conceptuele en methodologische grondslagen
LLM’s zijn ontworpen om woord-samen voorkomen patronen te reproduceren die in hun
trainingsdata werden gevonden ->zeer goed door de enorme hoeveelheid data (GPT, laMDA)
Deze LLM’s zijn systemen van niet-lineaire regressie vergelijkingen (specifiek,
neurale-netwerk-machine-learning-modellen). Deze modellen hebben vaak miljoenen parameters
die werden berekend door zinnen te nemen als voorspellers (een X in een regressievergelijking)
en weggelaten woorden of de volgende zin als uitkomst (Y).
De voorspellingsfout van één passing wordt vervolgens gebruikt om de parameters van de
modellen bij te werken (via backpropagation), en het proces wordt herhaald totdat de parameters
voldoende het verschil minimaliseren tussen de modeluitvoer en de doeltekst. Dit proces wordt in
brede zin aangeduid als pre-training.
,Hoewel kant-en-klare LLM’s indrukwekkend zijn, leveren ze niet altijd wetenschappelijk of praktisch
zinvolle resultaten. Bijvoorbeeld, een LLM die studieadvies gaf, produceerde grammaticaal
correcte maar inhoudelijk nutteloze of zelfs misleidende antwoorden, zoals standaardadviezen
over stress die niet stroken met psychologisch onderzoek.
Dit illustreert dat LLM’s taal genereren op basis van wat waarschijnlijk klinkt, niet op basis van wat
waar of effectief is. Toch kunnen de patronen en vooroordelen in hun output waardevolle inzichten
geven in culturele denkbeelden en collectieve kennis, omdat ze de taal weerspiegelen waarop ze
zijn getraind.
-> Psychologen zullen dus LLM’s aanvullend moeten trainen
Fine-tuning en Prompt-tuning
Finetuning -> LLM krijgt nieuwe en meer specifieke trainingsdata om de parameters van het model
aan te passen voor een specifieke taak -> Hoe groter en representatieve data, hoe beter de LLM
zal presteren. Het heeft minder data nodig dan een nieuw model vanaf nul te trainen. Het heeft ook
zijn nadelen:
- Ten eerste is fine-tuning nog steeds computationeel duur. Krachtige servers zijn nodig om
de parameters van de LLM bij te werken.
- Ten tweede kan het moeilijk zijn om hoogwaardige geannoteerde data te verkrijgen voor
gebruik bij fine-tuning.
- Ten slotte kan het fijn-afgestemde model vooroordelen behouden die inherent waren aan
het oorspronkelijke training corpus van de LLM. Het zou zelfs meer bevooroordeeld kunnen
worden, afhankelijk van wie de fine-tuning heeft uitgevoerd.
Prompt-tuning -> het type output dat de LLM genereert afstemmen om te passen bij door
gebruikers gegenereerde prompts. Zo kan de aanpassing snel plaatsvinden. Zo kunnen zelfs
slechts een paar door gebruikers gegenereerde voorbeelden het model helpen structurele en
semantische kenmerken te extrapoleren en deze gebruiken om een nieuwe reeks voorbeelden te
genereren als reactie op vergelijkbare gebruikersvragen.De belangrijkste beperkingen van
prompt-tuning:
- niet erg effectief is in het aanpakken van de vele subtiliteiten en complexiteiten van een
specifiek psychologisch construct, in tegenstelling tot een fijn-afgestemd model waarvan de
parameters zijn aangepast op basis van een hoogwaardige geannoteerde dataset.
- Prompt-tuning is ook minder waarschijnlijk dan fine-tuning om vooroordelen in de data te
overwinnen, omdat de parameters niet worden bijgewerkt.
- Ten slotte is een uitdaging bij prompt-tuning dat de uitvoer van de LLM’s gevoelig zal zijn
voor hoe de prompt werd geformuleerd.
Daarom is prompt engineering (waarbij gebruikers de prompts die aan de LLM worden gegeven
variëren om een betere output te verkrijgen voor een bepaald doel) een belangrijk aspect van
prompt-tuning dat subtiele expertise vereist.
Zorgen over het toepassen van LLM’s in de psychologie
LLM’s beschikken niet over intelligentie -> ze voorspellen slechts het volgende woord.
Psychologen moeten andere maatstaven gebruiken dan computerwetenschappers. Waar
computerwetenschappers vooral letten op taalkundige kwaliteit (grammatica, samenhang), willen
psychologen weten hoe taal invloed heeft op menselijk gedrag en gevoelens.
Er zijn twee belangrijke manieren om LLM’s te evalueren:
, - Expert Beoordeling: Experts vergelijken hun oordelen met de uitkomsten van het model.
Dit werkt goed voor eenvoudige taaltaken, maar slecht voor complexe psychologische
begrippen, omdat interpretaties subjectief zijn (het intersubjectiviteitsprobleem -> principe
dat een persoon nooit volledig kan weten hoe een ander de betekenis van een situatie
interpreteert.).
- Coders kunnen de context missen.
- Er kunnen vooroordelen ontstaan tussen groepen (bijv. meerderheid tegenover
minderheid).
- Er is vaak geen eenduidig “juist” antwoord in psychologische contexten. (bijv.
iemand met een laag zelfbeeld interpreteert complimenten niet als positief)
- Impactevaluatie: Hier wordt gekeken naar het effect van de LLM-uitvoer op mensen,
bijvoorbeeld of een bericht echt overtuigend of troostend is. Dit meet beter de werkelijke
impact, maar het blijft onduidelijk waarom iets wel of niet werkte:
- het feit dat de LLM-uitvoer het psychologische construct niet effectief overbracht
- dat het construct zelf geen invloed heeft op de uitkomst.
-> Aangeraden om beide te gebruiken waar mogelijk. Eerst de expert en dan de impactevaluatie.
Dit proces kan interactief zijn, de evaluaties kunnen elkaar informeren.
Bias in LLM’s
LLM’s kunnen stereotypen in stand houden en schade veroorzaken aan kwetsbare groepen, wat
mogelijk leidt tot representatieve en allocatieve schade.
- Representatieve schade -> wanneer de LLM sommige sociale groepen minder gunstig
afbeeldt dan andere, hen vernederd of hun bestaan volledig negeert. Dergelijke schade kan
worden veroorzaakt door sampling-biases (bijvoorbeeld wanneer gegevens van
bevoorrechte groepen oververtegenwoordigd zijn) en dataverwerkingsbiases
(bijvoorbeeld wanneer annotators uit meerderheidsgroepen minderheden verkeerd
begrijpen).
- Allocatieve schade ontstaat wanneer AI-algoritmen middelen (zoals leningen) of kansen
(zoals therapie) ongelijk verdelen over verschillende sociale groepen door historisch
bevooroordeelde beslissingen die in de data zijn vastgelegd, zoals bevooroordeelde
diagnoses of toewijzing aan therapie.
-> Schadelijke biasen komen voort uit het gebruik van online tekst data
LLM’s gebruiken om bias te bestuderen
Biasonderzoek wordt bemoeilijkt door de censuur-vangrails die zijn ingebouwd. Er zijn indirecte
methoden nodig om bias te controleren. Eén methode is het manipuleren van voornaamwoorden
en namen die aan verschillende geslachten, rassen en etniciteiten zijn gekoppeld in de input, en te
beoordelen of er systematische verschillen in de output zijn.
-> Een beperking is dat het expliciete demografische attributen vereist, waardoor het moeilijk is om
onbekende biases of biases gerelateerd aan intersectionaliteit te observeren. Bovendien, kunnen
LLM-ontwikkelaars aanvullende censuur-vangrails implementeren om specifieke problematische
outputs te voorkomen, wat alleen de symptomen aanpakt en niet de onderliggende bias in de data.
-> Transparantie over de censuur algoritmes is dus belangrijk!
Aanbevelingen om bias te verminderen
Om LLM’s ethisch te gebruiken moet je mensen betrekken die representatief zijn voor de populatie
waarvoor de LLM bedoeld is. Een andere manier om bias te beperken is een “AI-in-the-loop,
humans in charge” benadering: in plaats van de LLM direct te laten interacteren met kwetsbare
Demszky, D., et al. (2023). Using large language models in psychology. Nature Reviews
Psychology, 2(11), 688-701.................................................................................................... 1
Bender, E. M., & Koller, A. (2020, July). Climbing towards NLU: On meaning, form,
and understanding in the age of data. In Proceedings of the 58th annual meeting of
the association for computational linguistics (pp. 5185-5198)........................................ 6
Pavlick, E. (2023). Symbols and grounding in large language models. Philosophical
Transactions of the Royal Society A, 381, Article 20220041.......................................... 11
Jones, C. R., & Bergen, B. K. (2025). Large language models pass the Turing test.... 14
Hoorcollege week 1..............................................................................................................18
Week 2............................................................................................................................................. 20
Hamdoun et al (2023). AI-based and digital mental health apps: Balancing need and risk.
IEEE Technology and Society Magazine, 42(1), 25-36........................................................ 20
Hatch et al. (2025). When ELIZA meets therapists: A Turing test for the heart and mind.
PLOS Ment Health 2(2), Article e0000145........................................................................... 24
Li et al. (2023). Systematic review and meta-analysis of AI-based conversational agents for
promoting mental health and well-being. NPJ Digital Medicine, 6, Article 236.................... 30
Moore et al. (2025, June). Expressing stigma and inappropriate responses prevents LLMs
from safely replacing mental health providers. In Proceedings of the 2025 ACM Conference
on Fairness, Accountability, and Transparency (pp. 599-627)............................................. 35
Hoorcollege 2....................................................................................................................... 41
Week 3............................................................................................................................................. 44
Know what? How digital technologies undermine learning and remembering Naomi S.
Baron....................................................................................................................................44
Technology may change cognition without necessarily harming it....................................... 52
Supporting Cognition With Modern Technology: Distributed Cognition Today and in an
AI-Enhanced Future............................................................................................................. 57
The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive
Effort and Confidence Effects From a Survey of Knowledge Workers................................. 61
Hoorcollege 3....................................................................................................................... 75
Week 4............................................................................................................................................. 78
Testing the Ability of Teachers and Students toDifferentiate between Essays Generated by
ChatGPT and HighSchool Students.....................................................................................78
How do students use ChatGPT as a writing support?..........................................................83
Promises and challenges of generative artificial intelligence for human learning................ 89
ChatGPT for good? On opportunities and challenges of large language models for
education..............................................................................................................................96
Week 1
Demszky, D., et al. (2023). Using large language models in psychology.
Nature Reviews Psychology, 2(11), 688-701.
Taal is een core aspect van de psychologische wetenschap
, - ontwikkelingspsychologie -> kinderen vormen beeld van de wereld(mental models)
- sociale psychologie -> interacties met anderen
- cognitieve psychologie -> verbale uitleg van gebeurtenissen
- klinische psychologie -> ontdekken van verstoorde mentale modellen
- affectieve psychologie -> communiceren van emoties
Technologie helpt ons steeds beter met taalanalyses
- tellen van woorden in tekst (1960s)
- semantische analyses (1990s)
- geautomatiseerde algoritmes voor tekst
analyses op het internet (2010s)
LLMs (Language learning models) -> voorspellen
het volgende woord/zin/paragraaf
- Ze gaan verder dan slechts aan te nemen
dat woorden een statische betekenenis
hebben -> ze benaderen betekenis in
context -> waardoor ze authentieker worden
- Ze zijn getraind op een ongekende
hoeveelheid en verscheidenheid aan tekst
Mogelijke voorbeelden van het gebruik van
LLMs zijn:
- de mentale modellen van mensen over
zichzelf en hun omgevingen te bevragen
(sociale en cognitieve psychologie),
- individuele verschillen in coping-stijlen af te leiden (persoonlijkheidspsychologie)
- mensen helpen stressvolle ervaringen opnieuw te beoordelen (affectieve en klinische
psychologie).
- meting (bijvoorbeeld om psychologische patronen te onderzoeken in enorme hoeveelheden
tekst)
- experimentatie (om snel stimuli en reacties op die stimuli te genereren om de fijnmazigheid
van factoriële ontwerpen te verbeteren)
- praktijk (om realistische gesprekken te simuleren om menselijke therapeuten, counselors,
leraren of managers te trainen).
Conceptuele en methodologische grondslagen
LLM’s zijn ontworpen om woord-samen voorkomen patronen te reproduceren die in hun
trainingsdata werden gevonden ->zeer goed door de enorme hoeveelheid data (GPT, laMDA)
Deze LLM’s zijn systemen van niet-lineaire regressie vergelijkingen (specifiek,
neurale-netwerk-machine-learning-modellen). Deze modellen hebben vaak miljoenen parameters
die werden berekend door zinnen te nemen als voorspellers (een X in een regressievergelijking)
en weggelaten woorden of de volgende zin als uitkomst (Y).
De voorspellingsfout van één passing wordt vervolgens gebruikt om de parameters van de
modellen bij te werken (via backpropagation), en het proces wordt herhaald totdat de parameters
voldoende het verschil minimaliseren tussen de modeluitvoer en de doeltekst. Dit proces wordt in
brede zin aangeduid als pre-training.
,Hoewel kant-en-klare LLM’s indrukwekkend zijn, leveren ze niet altijd wetenschappelijk of praktisch
zinvolle resultaten. Bijvoorbeeld, een LLM die studieadvies gaf, produceerde grammaticaal
correcte maar inhoudelijk nutteloze of zelfs misleidende antwoorden, zoals standaardadviezen
over stress die niet stroken met psychologisch onderzoek.
Dit illustreert dat LLM’s taal genereren op basis van wat waarschijnlijk klinkt, niet op basis van wat
waar of effectief is. Toch kunnen de patronen en vooroordelen in hun output waardevolle inzichten
geven in culturele denkbeelden en collectieve kennis, omdat ze de taal weerspiegelen waarop ze
zijn getraind.
-> Psychologen zullen dus LLM’s aanvullend moeten trainen
Fine-tuning en Prompt-tuning
Finetuning -> LLM krijgt nieuwe en meer specifieke trainingsdata om de parameters van het model
aan te passen voor een specifieke taak -> Hoe groter en representatieve data, hoe beter de LLM
zal presteren. Het heeft minder data nodig dan een nieuw model vanaf nul te trainen. Het heeft ook
zijn nadelen:
- Ten eerste is fine-tuning nog steeds computationeel duur. Krachtige servers zijn nodig om
de parameters van de LLM bij te werken.
- Ten tweede kan het moeilijk zijn om hoogwaardige geannoteerde data te verkrijgen voor
gebruik bij fine-tuning.
- Ten slotte kan het fijn-afgestemde model vooroordelen behouden die inherent waren aan
het oorspronkelijke training corpus van de LLM. Het zou zelfs meer bevooroordeeld kunnen
worden, afhankelijk van wie de fine-tuning heeft uitgevoerd.
Prompt-tuning -> het type output dat de LLM genereert afstemmen om te passen bij door
gebruikers gegenereerde prompts. Zo kan de aanpassing snel plaatsvinden. Zo kunnen zelfs
slechts een paar door gebruikers gegenereerde voorbeelden het model helpen structurele en
semantische kenmerken te extrapoleren en deze gebruiken om een nieuwe reeks voorbeelden te
genereren als reactie op vergelijkbare gebruikersvragen.De belangrijkste beperkingen van
prompt-tuning:
- niet erg effectief is in het aanpakken van de vele subtiliteiten en complexiteiten van een
specifiek psychologisch construct, in tegenstelling tot een fijn-afgestemd model waarvan de
parameters zijn aangepast op basis van een hoogwaardige geannoteerde dataset.
- Prompt-tuning is ook minder waarschijnlijk dan fine-tuning om vooroordelen in de data te
overwinnen, omdat de parameters niet worden bijgewerkt.
- Ten slotte is een uitdaging bij prompt-tuning dat de uitvoer van de LLM’s gevoelig zal zijn
voor hoe de prompt werd geformuleerd.
Daarom is prompt engineering (waarbij gebruikers de prompts die aan de LLM worden gegeven
variëren om een betere output te verkrijgen voor een bepaald doel) een belangrijk aspect van
prompt-tuning dat subtiele expertise vereist.
Zorgen over het toepassen van LLM’s in de psychologie
LLM’s beschikken niet over intelligentie -> ze voorspellen slechts het volgende woord.
Psychologen moeten andere maatstaven gebruiken dan computerwetenschappers. Waar
computerwetenschappers vooral letten op taalkundige kwaliteit (grammatica, samenhang), willen
psychologen weten hoe taal invloed heeft op menselijk gedrag en gevoelens.
Er zijn twee belangrijke manieren om LLM’s te evalueren:
, - Expert Beoordeling: Experts vergelijken hun oordelen met de uitkomsten van het model.
Dit werkt goed voor eenvoudige taaltaken, maar slecht voor complexe psychologische
begrippen, omdat interpretaties subjectief zijn (het intersubjectiviteitsprobleem -> principe
dat een persoon nooit volledig kan weten hoe een ander de betekenis van een situatie
interpreteert.).
- Coders kunnen de context missen.
- Er kunnen vooroordelen ontstaan tussen groepen (bijv. meerderheid tegenover
minderheid).
- Er is vaak geen eenduidig “juist” antwoord in psychologische contexten. (bijv.
iemand met een laag zelfbeeld interpreteert complimenten niet als positief)
- Impactevaluatie: Hier wordt gekeken naar het effect van de LLM-uitvoer op mensen,
bijvoorbeeld of een bericht echt overtuigend of troostend is. Dit meet beter de werkelijke
impact, maar het blijft onduidelijk waarom iets wel of niet werkte:
- het feit dat de LLM-uitvoer het psychologische construct niet effectief overbracht
- dat het construct zelf geen invloed heeft op de uitkomst.
-> Aangeraden om beide te gebruiken waar mogelijk. Eerst de expert en dan de impactevaluatie.
Dit proces kan interactief zijn, de evaluaties kunnen elkaar informeren.
Bias in LLM’s
LLM’s kunnen stereotypen in stand houden en schade veroorzaken aan kwetsbare groepen, wat
mogelijk leidt tot representatieve en allocatieve schade.
- Representatieve schade -> wanneer de LLM sommige sociale groepen minder gunstig
afbeeldt dan andere, hen vernederd of hun bestaan volledig negeert. Dergelijke schade kan
worden veroorzaakt door sampling-biases (bijvoorbeeld wanneer gegevens van
bevoorrechte groepen oververtegenwoordigd zijn) en dataverwerkingsbiases
(bijvoorbeeld wanneer annotators uit meerderheidsgroepen minderheden verkeerd
begrijpen).
- Allocatieve schade ontstaat wanneer AI-algoritmen middelen (zoals leningen) of kansen
(zoals therapie) ongelijk verdelen over verschillende sociale groepen door historisch
bevooroordeelde beslissingen die in de data zijn vastgelegd, zoals bevooroordeelde
diagnoses of toewijzing aan therapie.
-> Schadelijke biasen komen voort uit het gebruik van online tekst data
LLM’s gebruiken om bias te bestuderen
Biasonderzoek wordt bemoeilijkt door de censuur-vangrails die zijn ingebouwd. Er zijn indirecte
methoden nodig om bias te controleren. Eén methode is het manipuleren van voornaamwoorden
en namen die aan verschillende geslachten, rassen en etniciteiten zijn gekoppeld in de input, en te
beoordelen of er systematische verschillen in de output zijn.
-> Een beperking is dat het expliciete demografische attributen vereist, waardoor het moeilijk is om
onbekende biases of biases gerelateerd aan intersectionaliteit te observeren. Bovendien, kunnen
LLM-ontwikkelaars aanvullende censuur-vangrails implementeren om specifieke problematische
outputs te voorkomen, wat alleen de symptomen aanpakt en niet de onderliggende bias in de data.
-> Transparantie over de censuur algoritmes is dus belangrijk!
Aanbevelingen om bias te verminderen
Om LLM’s ethisch te gebruiken moet je mensen betrekken die representatief zijn voor de populatie
waarvoor de LLM bedoeld is. Een andere manier om bias te beperken is een “AI-in-the-loop,
humans in charge” benadering: in plaats van de LLM direct te laten interacteren met kwetsbare
