Cognitie en communicatie– tentamenstof
Inhoudsopgave
College 1 – inleiding.......................................................................................2
College 2: LLMSs en CHATGPT als cognitief model...........................................3
College 3: visuele waarneming........................................................................5
College 4: auditieve en audiovisuele waarneming............................................6
College 5: geheugen.....................................................................................10
Inleiding geheugen....................................................................................................... 10
Van short term storage naar long term memory...........................................................10
Short term storage (STS)........................................................................................... 10
Long term memory (LTM).......................................................................................... 12
Autobiografisch geheugen............................................................................................12
Toepassingen................................................................................................................ 13
College 6: besluitvorming.............................................................................14
College 7: drugs en hormonen......................................................................16
Drugs en cognitie.......................................................................................................... 16
Drugs......................................................................................................................... 16
Illegale drugs............................................................................................................. 17
Cafeïne...................................................................................................................... 18
Nicotine..................................................................................................................... 18
Alcohol...................................................................................................................... 19
Hormonen en cognitie..................................................................................................19
Geslachtsverschillen.................................................................................................. 19
College 8: vaardigheid en aandacht...............................................................21
Vaardigheid, aandacht en bewustzijn...........................................................................21
Strategieën voor probleemoplossing............................................................................23
Data (BarkHuysen et al. 2005)......................................................................................24
College 9: muziek en sport............................................................................25
Muziek.......................................................................................................................... 25
Sport............................................................................................................................. 27
College 10: cognitieve neurowetenschappen.................................................32
Deel I: praten over het brein.........................................................................................32
Deel II: studie van het brein..........................................................................................34
Hoorcollege 11: deception............................................................................36
Hoorcollege 12: nonverbal communication....................................................41
Cognitieve neurowetenschappen (deel 2)......................................................47
1
,College 1 – inleiding
Cognitive science…
- …is the study of how the brain processes information
- …is the study of the behavior of knowledge and thought
- …is the study of higher mental processes including:
perception, memory, problem solving, decision making etc.
Cognitive science houdt zich bezig met problemen uit het echte leven
- Zou je het merken als iemand verandert in iemand anders?
- Waarom maken we zo vaak de verkeerde keuzes?
- Welke drugs en hormonen zouden een positief effect op je cijfers kunnen hebben?
- Kan een dode zalm menselijke emoties herkennen?
Cognitive science is essentieel voor:
- De studie van menselijke communicatie
- De studie van professionele communicatie
- De studie van communicatie via (nieuwe) media
- Communicatie en informatiewetenschappen
Behaviorisme
- Watson, Skinner, …
- Behavioristisch manifest (1913)
“Theoretical goal is the prediction and control of behavior”
“Introspection forms no essential part of its methods”
“a purely objective experiment branch of natural science”
De cognitive revolutie (>1950s)
- Behavioristen wilden gedrag verklaren, zonder rekening te houden met ‘de menselijke
geest’.
- Onderzoek naar geheugenprocessen suggereerde dar dit problematisch is.
- Zo bestuurde Bartlett (1932) geheugenprocessen met ‘real life’- verhalen (ecologische
validiteit)
Taalkunde
- Chomsky’s revolutie in de taalkunde
Hoe is het mogelijk dat kinderen zo snel een taal leren? (“poverty-of-the-stimulus”
argument)
Hoe kunnen mensen zinnen produceren/interpreteren die ze nog nooit eerder
hebben gehoord?
- Chomsky: de menselijk geest bevat een aangeboren, universele grammatica
- Onverenigbaar met het behaviorisme
Cognitiewetenschappers willen de geest bestuderen (in tegenstelling tot behavioristen), maar
ze willen wel vasthouden aan de sterke experimentele principes van de behavioristen.
Hoe? Gedragexperimenten om kennis over de geest te verkrijgen. Bijvoorbeeld:
- Recall studies: om het geheugen te bestuderen
- Hersenbeschadiging (lesion studies)
- Eye-tracking-onderzoek: om visuele aandacht te meten
- Reactietijden: om snelheid van processen te bestuderen
2
,Neurowetenschap
- Broca afasie = relatief goed begrip van taal, maar productie van taal is beschadigd
- Werniche afasie = slecht begrip van taal, maar productie is relatief goed
Computerwetenschappen
- Expliciete computationale modellering van het menselijk brein: AI
- Reverse engineering (sterke AI): door steeds grotere computermodellen van het
menselijk brein te bouwen kunnen we een beter begrip krijgen van hoe het menselijk
brein werkt.
College 2: LLMSs en CHATGPT als cognitief model
AI-systemen die vloeiende en coherente teksten generen bestonden allang zo’n 25 jaar
De output van die systemen was al niet te onderscheiden van menselijke tekst
Toch was de release van ChatGPT in 2022 de grootste doorbraak in ons vakgebied.
- Qua methode, impact, omvang en interactie met de gebruiker
Wij zijn gewend teksten te lezen gemaakt door mensen, ChatGPT neemt teksten van mensen
over en hierdoor zijn teksten door ChatGPT zo moeilijk te onderscheiden van menselijke
teksten.
Hoe werkt ChatGPT?
- Dat weten we eigenlijk niet propierty software developed by Open AI (wordt niet
gedeeld door de makers)
- It combines
a Larger Language Model (LLM, first GPT3.5, now GPT4o), based on a
Transformer-architecture for word-prediction
With reinforcement learning based on Human Feedback (RLHF) for dialogue
behavior)
- People also suspect it is not one model, but a combination of multiple model (‘mixture
of experts’)
Transformer model:
- Input encoder (processes the input sequence, breaking it down into meaningful)
decoder output
We do know how GPT3 works (Generative Pretrained Transformer #3)
- Word prediction, deze kijkt wel maar één woord terug. (In je telefoon)
Kijkt naar combinaties van woorden
- GPT kijk wel tientallen woorden terug en neemt de woorden mee die erna komen
trained on huge amounts of text: 300+ billion words (Wikipedia, books, etc.)
Training the model took 355 GPU-years (krachtige computer) als je 1 zo’n
computer hebt duurt het 355 jaar om deze AI te trainen
energy costs of training this model (once) are estimated to be €15.000.000
resulting model has 170.000.000.000 parameters/variables
ChatGPT, when released, relied on an improvised version of GPT3
GPT4 is rumored to have 17,000,000,000,000 parameters
So how good is it really?
- There are plenty of reasons to be critical (klimaat, kosten, schending privacy)
3
, - BUT: the way it interprets human language and responds in a fluent and coherent
manner is just stunning (and this was not the case for earlier LLMs)
Doesn’t mean it was always correct (in 2022)
Second ingredient: RLHF
- “Reinforcement learning based on human feedback”: ChatGPT has “learned” what
good responses to questions are
- How?
by generating lots of responses add having human judges (“taskers” or “workers”,
often poorly payed) indicate what good and bad answers are
AI models such as ChatGPT could not exist without:
- Humans who wrote a large amount of text and made them digitally available
- Humans who trained the system about what good responses are
GPT-2 is niet vrijgegeven omdat het ‘te goed’ was en er zo kans was op misbruik
Maar ChatGPT is wel vrijgegegeven door openAI, waarom?
- ChatGPT is trained (using RLHF) to have “objectives, values and actions that closely
align with human intentions and ethical considerations”
- What kind of output would you want to avoid?
propaganda
discriminate/sexism
destructive content (e.g. recept van napalm)
racisms
inflammatory language
NSFW
- How to achieve this?
guardrails
Attempts to bypass the guardrails and break the “alignment” policy of ChatGPT
(jailbreak werkt ondertussen niet meer)
In welke opzichten is de manier waarop ChatGPT vragen beantwoord vergelijkbaar met hoe
mensen dat doen?
- Empathisch/aardig
- Gedetailleerde antwoorden
- ChatGPT is beste in Engels, want er staat veel Engelse informatie online!
- Betekenis van woorden maakt ChatGPT geen fouten in (grammatica)
In welke opzichten is de manier waarop ChatGPT vragen beantwoord anders dan hoe mensen
dat doen?
- Je moet de vraag soms herhalen totdat je het antwoord krijgt dat je wilt (goeie prompt
vinden)
- Teksten zijn niet heel erg emotioneel
- ChatGPT stelt geen wedervragen om beter te begrijpen wat jij wilt
- Manier waarop ChatGPT getraind is (ChatGPT heeft zo’n beetje alle voorbeelden
nodig die er zijn op het internet)
In hoevere is ChatGPT geslaagd als model voor menselijke taal en cognitie?
- Niet echt, we leren niet echt over hoe mensen taal begrijpen. In veel opzichten
fundamenteel verschillend.
4
Inhoudsopgave
College 1 – inleiding.......................................................................................2
College 2: LLMSs en CHATGPT als cognitief model...........................................3
College 3: visuele waarneming........................................................................5
College 4: auditieve en audiovisuele waarneming............................................6
College 5: geheugen.....................................................................................10
Inleiding geheugen....................................................................................................... 10
Van short term storage naar long term memory...........................................................10
Short term storage (STS)........................................................................................... 10
Long term memory (LTM).......................................................................................... 12
Autobiografisch geheugen............................................................................................12
Toepassingen................................................................................................................ 13
College 6: besluitvorming.............................................................................14
College 7: drugs en hormonen......................................................................16
Drugs en cognitie.......................................................................................................... 16
Drugs......................................................................................................................... 16
Illegale drugs............................................................................................................. 17
Cafeïne...................................................................................................................... 18
Nicotine..................................................................................................................... 18
Alcohol...................................................................................................................... 19
Hormonen en cognitie..................................................................................................19
Geslachtsverschillen.................................................................................................. 19
College 8: vaardigheid en aandacht...............................................................21
Vaardigheid, aandacht en bewustzijn...........................................................................21
Strategieën voor probleemoplossing............................................................................23
Data (BarkHuysen et al. 2005)......................................................................................24
College 9: muziek en sport............................................................................25
Muziek.......................................................................................................................... 25
Sport............................................................................................................................. 27
College 10: cognitieve neurowetenschappen.................................................32
Deel I: praten over het brein.........................................................................................32
Deel II: studie van het brein..........................................................................................34
Hoorcollege 11: deception............................................................................36
Hoorcollege 12: nonverbal communication....................................................41
Cognitieve neurowetenschappen (deel 2)......................................................47
1
,College 1 – inleiding
Cognitive science…
- …is the study of how the brain processes information
- …is the study of the behavior of knowledge and thought
- …is the study of higher mental processes including:
perception, memory, problem solving, decision making etc.
Cognitive science houdt zich bezig met problemen uit het echte leven
- Zou je het merken als iemand verandert in iemand anders?
- Waarom maken we zo vaak de verkeerde keuzes?
- Welke drugs en hormonen zouden een positief effect op je cijfers kunnen hebben?
- Kan een dode zalm menselijke emoties herkennen?
Cognitive science is essentieel voor:
- De studie van menselijke communicatie
- De studie van professionele communicatie
- De studie van communicatie via (nieuwe) media
- Communicatie en informatiewetenschappen
Behaviorisme
- Watson, Skinner, …
- Behavioristisch manifest (1913)
“Theoretical goal is the prediction and control of behavior”
“Introspection forms no essential part of its methods”
“a purely objective experiment branch of natural science”
De cognitive revolutie (>1950s)
- Behavioristen wilden gedrag verklaren, zonder rekening te houden met ‘de menselijke
geest’.
- Onderzoek naar geheugenprocessen suggereerde dar dit problematisch is.
- Zo bestuurde Bartlett (1932) geheugenprocessen met ‘real life’- verhalen (ecologische
validiteit)
Taalkunde
- Chomsky’s revolutie in de taalkunde
Hoe is het mogelijk dat kinderen zo snel een taal leren? (“poverty-of-the-stimulus”
argument)
Hoe kunnen mensen zinnen produceren/interpreteren die ze nog nooit eerder
hebben gehoord?
- Chomsky: de menselijk geest bevat een aangeboren, universele grammatica
- Onverenigbaar met het behaviorisme
Cognitiewetenschappers willen de geest bestuderen (in tegenstelling tot behavioristen), maar
ze willen wel vasthouden aan de sterke experimentele principes van de behavioristen.
Hoe? Gedragexperimenten om kennis over de geest te verkrijgen. Bijvoorbeeld:
- Recall studies: om het geheugen te bestuderen
- Hersenbeschadiging (lesion studies)
- Eye-tracking-onderzoek: om visuele aandacht te meten
- Reactietijden: om snelheid van processen te bestuderen
2
,Neurowetenschap
- Broca afasie = relatief goed begrip van taal, maar productie van taal is beschadigd
- Werniche afasie = slecht begrip van taal, maar productie is relatief goed
Computerwetenschappen
- Expliciete computationale modellering van het menselijk brein: AI
- Reverse engineering (sterke AI): door steeds grotere computermodellen van het
menselijk brein te bouwen kunnen we een beter begrip krijgen van hoe het menselijk
brein werkt.
College 2: LLMSs en CHATGPT als cognitief model
AI-systemen die vloeiende en coherente teksten generen bestonden allang zo’n 25 jaar
De output van die systemen was al niet te onderscheiden van menselijke tekst
Toch was de release van ChatGPT in 2022 de grootste doorbraak in ons vakgebied.
- Qua methode, impact, omvang en interactie met de gebruiker
Wij zijn gewend teksten te lezen gemaakt door mensen, ChatGPT neemt teksten van mensen
over en hierdoor zijn teksten door ChatGPT zo moeilijk te onderscheiden van menselijke
teksten.
Hoe werkt ChatGPT?
- Dat weten we eigenlijk niet propierty software developed by Open AI (wordt niet
gedeeld door de makers)
- It combines
a Larger Language Model (LLM, first GPT3.5, now GPT4o), based on a
Transformer-architecture for word-prediction
With reinforcement learning based on Human Feedback (RLHF) for dialogue
behavior)
- People also suspect it is not one model, but a combination of multiple model (‘mixture
of experts’)
Transformer model:
- Input encoder (processes the input sequence, breaking it down into meaningful)
decoder output
We do know how GPT3 works (Generative Pretrained Transformer #3)
- Word prediction, deze kijkt wel maar één woord terug. (In je telefoon)
Kijkt naar combinaties van woorden
- GPT kijk wel tientallen woorden terug en neemt de woorden mee die erna komen
trained on huge amounts of text: 300+ billion words (Wikipedia, books, etc.)
Training the model took 355 GPU-years (krachtige computer) als je 1 zo’n
computer hebt duurt het 355 jaar om deze AI te trainen
energy costs of training this model (once) are estimated to be €15.000.000
resulting model has 170.000.000.000 parameters/variables
ChatGPT, when released, relied on an improvised version of GPT3
GPT4 is rumored to have 17,000,000,000,000 parameters
So how good is it really?
- There are plenty of reasons to be critical (klimaat, kosten, schending privacy)
3
, - BUT: the way it interprets human language and responds in a fluent and coherent
manner is just stunning (and this was not the case for earlier LLMs)
Doesn’t mean it was always correct (in 2022)
Second ingredient: RLHF
- “Reinforcement learning based on human feedback”: ChatGPT has “learned” what
good responses to questions are
- How?
by generating lots of responses add having human judges (“taskers” or “workers”,
often poorly payed) indicate what good and bad answers are
AI models such as ChatGPT could not exist without:
- Humans who wrote a large amount of text and made them digitally available
- Humans who trained the system about what good responses are
GPT-2 is niet vrijgegeven omdat het ‘te goed’ was en er zo kans was op misbruik
Maar ChatGPT is wel vrijgegegeven door openAI, waarom?
- ChatGPT is trained (using RLHF) to have “objectives, values and actions that closely
align with human intentions and ethical considerations”
- What kind of output would you want to avoid?
propaganda
discriminate/sexism
destructive content (e.g. recept van napalm)
racisms
inflammatory language
NSFW
- How to achieve this?
guardrails
Attempts to bypass the guardrails and break the “alignment” policy of ChatGPT
(jailbreak werkt ondertussen niet meer)
In welke opzichten is de manier waarop ChatGPT vragen beantwoord vergelijkbaar met hoe
mensen dat doen?
- Empathisch/aardig
- Gedetailleerde antwoorden
- ChatGPT is beste in Engels, want er staat veel Engelse informatie online!
- Betekenis van woorden maakt ChatGPT geen fouten in (grammatica)
In welke opzichten is de manier waarop ChatGPT vragen beantwoord anders dan hoe mensen
dat doen?
- Je moet de vraag soms herhalen totdat je het antwoord krijgt dat je wilt (goeie prompt
vinden)
- Teksten zijn niet heel erg emotioneel
- ChatGPT stelt geen wedervragen om beter te begrijpen wat jij wilt
- Manier waarop ChatGPT getraind is (ChatGPT heeft zo’n beetje alle voorbeelden
nodig die er zijn op het internet)
In hoevere is ChatGPT geslaagd als model voor menselijke taal en cognitie?
- Niet echt, we leren niet echt over hoe mensen taal begrijpen. In veel opzichten
fundamenteel verschillend.
4
