Samenvatting Inleiding in de Cognitiewetenschap Deeltoets B (H7-13)
Hoofdstuk 7: The Network Approach
Connectionist approach
Connectionisme = stroming binnen de network approach die probeert te begrijpen hoe het brein
werkt, door een artificial neural network (ANN) te bouwen een computersimulatie voor hoe een
groep neuronen een taak uitvoert
Verschillen in de representatie van kennis tussen klassieke manier en connectionisme:
Klassieke manier: architectuur die bestaat uit fases (serial processing). VB: standaard computer
o Deze architectuur gaat samen met een knowledge-based approach voor het oplossen
van problemen: door een algoritme te construeren die gebruikt maakt van symbolische
representaties kan elke stap in de procedure gepland worden.
Connectionisme: parallell distributed processing (PDP). VB: een ANN of het brein
o Deze architectuur gaat samen met een behavior-based approach voor het oplossen van
problemen: richt zich op het algemene gedrag en laat computational details achterwege
In een ANN zijn wel representaties (twee soorten), maar niet in de vorm van
symbolen, maar als een als een activatiepatroon in het netwerk (subsymbolisch)
1. Distributed representation: een banaan wordt gerepresenteerd door
gelijktijdige activiteit van ‘nodes’ A, B en C en de verbindingen hiertussen
2. Local representation: een banaan wordt gerepresenteerd door de activiteit
in een single node
o Voordeel ANN’s: vermogen tot leren door herhaling en feedback als de ANN een fout
antwoord geeft, wordt dit gecorrigeerd en onthouden
Eigenschappen ANN’s:
Een neuron wordt gerepresenteerd als een node: een basic computing unit. Deze zendt een signaal
uit (gerepresenteerd als een activation value) wanneer een input de threshold value overstijgt.
Een verbinding tussen neuronen wordt gerepresenteerd als een link. Een link heeft een gewicht
(waarde tussen -1,0 en 1,0) die de sterkte van de link aangeeft. De output van een node wordt
bepaald door de activation value te vermenigvuldigen met de sterkte van de link.
Deze totale output van een unit bepaalt de waarschijnlijkheid dat andere nodes die verbonden
zijn met de node die een signaal uitzendt, ook gaan ‘vuren’. Functie van een negatieve output:
activiteit van andere nodes verminderen of stopzetten.
Als een node outputs krijgt van meerdere nodes, worden deze outputs bij elkaar opgeteld.
Unsupervised learning: weight changes zijn automatisch (zoals bij Hebb Rule).
Supervised learning: weight changes zijn in proportie tot de fout van de output (delta rule).
Vereist leerpatroon. Probleem: voor de hidden layer bestaat geen leerpatroon! Dit veranderde
toen de ‘back propagation learning’ kwam.
Geschiedenis
McCulloch en Pitts bestuderen als eerste hoe biologische netwerken zouden kunnen werken.
Introduceren het idee van een threshold value (een neuron kan ‘aan’ of ‘uit’ zijn).
Hebb bestudeert voor het eerst hoe veranderingen in neuronen leren kunnen verklaren.
Hebb rule: wanneer twee verbonden neuronen herhaaldelijk tegelijk vuren, versterkt dit de
verbindingen tussen de neuronen. Dit komt omdat het circuit tussen de neuronen steeds weer
opnieuw wordt geactiveerd door herhaling.
o Prooning is het verschijnsel dat gedurende de ontwikkeling niet-belangrijke verbindingen
wegvallen en belangrijke verbindingen behouden blijven. Dit gebeurt op genetisch
bepaalde momenten (nature), maar de omgeving (nurture) moet op deze momenten de
juiste input geven. Bij synesthie blijven meer verbindingen behouden.
Twee typen celgroeperingen:
1. Cell asssembly: kleine groep neuronen/cellen die elkaar herhaaldelijk stimuleren
, 2. Phase sequence: een groep verbonden neuronen/cellen die synchroon vuren
Rosenblatt: introductie perceptron = neuraal netwerk dat ontworpen is om patronen in de
buitenwereld te detecteren en herkennen. Dit doet hij door zijn output te vergelijken met de
gewenste uitput, die the teacher wordt genoemd. VB: Mark I simpele visuele patronen.
Onmogelijkheid om non-lineaire problemen op te lossen. Oplossing: hidden units in multi-layered
network.
Back-Propagation ANN’s
Three-layer network:
1. Input layer: representatie van de stimulus wordt getoond
2. Hidden layer: ontvangt via links een signaal van input layer en stuurt dit door naar output layer
3. Output layer: vormt een representatie van de respons. Deze initial response wordt vergeleken met
de target response. Het verschil hiertussen wordt de error signal genoemd en wordt gebruikt om het
gewicht van de links aan te passen.
Dit soort leren door error feedback wordt de generalized delta rule of ook wel het back-propagation
learning model genoemd.
VB: NETtalk een ANN om geschreven Engels voor te lezen. Kijkt daarbij naar de middelste letter
van het woord, want de uitspraak van Engelse letters wordt sterk bepaald door de omringende
letters. Bij nieuwe woorden kan het systeem sneller en beter voorlezen; het systeem heeft een
vermogen tot generalisatie, om bepaalde concepten toe te passen op nieuwe letters en woorden.
Voordelen ANN’s
Biologische plausibiliteit: grote overeenkomst tussen netwerk modellen en echte neurale netwerken.
Op drie manieren:
1. Algemene structuur en functie zijn hetzelfde: node-neuron, link-axonen/dendrieten, hoe nodes
vuren is gebaseerd op vuren bij neuronen, parallel distributed processing gebeurt ook in het brein
2. Vermogen tot leren in beide aanwezig: versterken van het gewicht van links in ANN’s (maakt leren
mogelijk) komt overeen met versterken van synaptische sterkte in neurale netwerken.
3. Reageren hetzelfde op schade aan het netwerk: graceful degredation functies nemen gradueel
af wanneer de schade toeneemt. Is een eigenschap van een parallelle architectuur.
Brengt twee andere psychologische fenomenen onder de aandacht:
1. Interference: twee vormen van informatie die inhoudelijk ongeveer gelijk zijn interfereren met
elkaar. VB: Spaanse en Italiaanse woordjes. Ook ANN’s blijken hier moeite mee te hebben (bv. door
patronen die op elkaar lijken te onderscheiden).
2. Generalization: vermogen om een geleerde regel toe te passen op nieuwe situaties.
Nadelen ANN’s
Biologische plausibiliteit klopt niet helemaal:
1. Neuronen zijn op grote schaal parallel (meer dan duizend neuronen tegelijk), terwijl dat in
ANN’s niet het geval is met nodes. Het is waarschijnlijk dat een van de emergente
eigenschappen van het brein juist ontstaat door dit massieve parallelisme.
2. In ANN’s wordt vaak een convergent dynamics approach gemaakt: de trained response is de
distributed representation van het goede antwoord in de vorm van een patroon van activiteit
tussen nodes. Echte neurale netwerken zijn vaak oscillatory and chaotic networks: ze hebben
geen representation en dus geen stabiele situatie. Er wordt geen enkel activatiepatroon
gevormd dat gelinkt kan worden aan de stimulus.
Dawson: netwerken hebben inadequate learning rules. Er zijn nog veel meer manieren om een
netwerk te trainen dan alleen door het gewicht van de links aan te passen.
Stability-plasticity dilemma: probleem dat een netwerk plastisch genoeg moet zijn om nieuwe
input patronen op te slaan, maar stabiel genoeg om bekende patronen te behouden. Komt
overeen met probleem van interferentie. Catastrophic interference gebeurt in een netwerk
wanneer een nieuw patroon geleerd wordt en daarom het gewicht van de links wordt aangepast,
waardoor het originele patroon wordt vergeten.
Hoofdstuk 7: The Network Approach
Connectionist approach
Connectionisme = stroming binnen de network approach die probeert te begrijpen hoe het brein
werkt, door een artificial neural network (ANN) te bouwen een computersimulatie voor hoe een
groep neuronen een taak uitvoert
Verschillen in de representatie van kennis tussen klassieke manier en connectionisme:
Klassieke manier: architectuur die bestaat uit fases (serial processing). VB: standaard computer
o Deze architectuur gaat samen met een knowledge-based approach voor het oplossen
van problemen: door een algoritme te construeren die gebruikt maakt van symbolische
representaties kan elke stap in de procedure gepland worden.
Connectionisme: parallell distributed processing (PDP). VB: een ANN of het brein
o Deze architectuur gaat samen met een behavior-based approach voor het oplossen van
problemen: richt zich op het algemene gedrag en laat computational details achterwege
In een ANN zijn wel representaties (twee soorten), maar niet in de vorm van
symbolen, maar als een als een activatiepatroon in het netwerk (subsymbolisch)
1. Distributed representation: een banaan wordt gerepresenteerd door
gelijktijdige activiteit van ‘nodes’ A, B en C en de verbindingen hiertussen
2. Local representation: een banaan wordt gerepresenteerd door de activiteit
in een single node
o Voordeel ANN’s: vermogen tot leren door herhaling en feedback als de ANN een fout
antwoord geeft, wordt dit gecorrigeerd en onthouden
Eigenschappen ANN’s:
Een neuron wordt gerepresenteerd als een node: een basic computing unit. Deze zendt een signaal
uit (gerepresenteerd als een activation value) wanneer een input de threshold value overstijgt.
Een verbinding tussen neuronen wordt gerepresenteerd als een link. Een link heeft een gewicht
(waarde tussen -1,0 en 1,0) die de sterkte van de link aangeeft. De output van een node wordt
bepaald door de activation value te vermenigvuldigen met de sterkte van de link.
Deze totale output van een unit bepaalt de waarschijnlijkheid dat andere nodes die verbonden
zijn met de node die een signaal uitzendt, ook gaan ‘vuren’. Functie van een negatieve output:
activiteit van andere nodes verminderen of stopzetten.
Als een node outputs krijgt van meerdere nodes, worden deze outputs bij elkaar opgeteld.
Unsupervised learning: weight changes zijn automatisch (zoals bij Hebb Rule).
Supervised learning: weight changes zijn in proportie tot de fout van de output (delta rule).
Vereist leerpatroon. Probleem: voor de hidden layer bestaat geen leerpatroon! Dit veranderde
toen de ‘back propagation learning’ kwam.
Geschiedenis
McCulloch en Pitts bestuderen als eerste hoe biologische netwerken zouden kunnen werken.
Introduceren het idee van een threshold value (een neuron kan ‘aan’ of ‘uit’ zijn).
Hebb bestudeert voor het eerst hoe veranderingen in neuronen leren kunnen verklaren.
Hebb rule: wanneer twee verbonden neuronen herhaaldelijk tegelijk vuren, versterkt dit de
verbindingen tussen de neuronen. Dit komt omdat het circuit tussen de neuronen steeds weer
opnieuw wordt geactiveerd door herhaling.
o Prooning is het verschijnsel dat gedurende de ontwikkeling niet-belangrijke verbindingen
wegvallen en belangrijke verbindingen behouden blijven. Dit gebeurt op genetisch
bepaalde momenten (nature), maar de omgeving (nurture) moet op deze momenten de
juiste input geven. Bij synesthie blijven meer verbindingen behouden.
Twee typen celgroeperingen:
1. Cell asssembly: kleine groep neuronen/cellen die elkaar herhaaldelijk stimuleren
, 2. Phase sequence: een groep verbonden neuronen/cellen die synchroon vuren
Rosenblatt: introductie perceptron = neuraal netwerk dat ontworpen is om patronen in de
buitenwereld te detecteren en herkennen. Dit doet hij door zijn output te vergelijken met de
gewenste uitput, die the teacher wordt genoemd. VB: Mark I simpele visuele patronen.
Onmogelijkheid om non-lineaire problemen op te lossen. Oplossing: hidden units in multi-layered
network.
Back-Propagation ANN’s
Three-layer network:
1. Input layer: representatie van de stimulus wordt getoond
2. Hidden layer: ontvangt via links een signaal van input layer en stuurt dit door naar output layer
3. Output layer: vormt een representatie van de respons. Deze initial response wordt vergeleken met
de target response. Het verschil hiertussen wordt de error signal genoemd en wordt gebruikt om het
gewicht van de links aan te passen.
Dit soort leren door error feedback wordt de generalized delta rule of ook wel het back-propagation
learning model genoemd.
VB: NETtalk een ANN om geschreven Engels voor te lezen. Kijkt daarbij naar de middelste letter
van het woord, want de uitspraak van Engelse letters wordt sterk bepaald door de omringende
letters. Bij nieuwe woorden kan het systeem sneller en beter voorlezen; het systeem heeft een
vermogen tot generalisatie, om bepaalde concepten toe te passen op nieuwe letters en woorden.
Voordelen ANN’s
Biologische plausibiliteit: grote overeenkomst tussen netwerk modellen en echte neurale netwerken.
Op drie manieren:
1. Algemene structuur en functie zijn hetzelfde: node-neuron, link-axonen/dendrieten, hoe nodes
vuren is gebaseerd op vuren bij neuronen, parallel distributed processing gebeurt ook in het brein
2. Vermogen tot leren in beide aanwezig: versterken van het gewicht van links in ANN’s (maakt leren
mogelijk) komt overeen met versterken van synaptische sterkte in neurale netwerken.
3. Reageren hetzelfde op schade aan het netwerk: graceful degredation functies nemen gradueel
af wanneer de schade toeneemt. Is een eigenschap van een parallelle architectuur.
Brengt twee andere psychologische fenomenen onder de aandacht:
1. Interference: twee vormen van informatie die inhoudelijk ongeveer gelijk zijn interfereren met
elkaar. VB: Spaanse en Italiaanse woordjes. Ook ANN’s blijken hier moeite mee te hebben (bv. door
patronen die op elkaar lijken te onderscheiden).
2. Generalization: vermogen om een geleerde regel toe te passen op nieuwe situaties.
Nadelen ANN’s
Biologische plausibiliteit klopt niet helemaal:
1. Neuronen zijn op grote schaal parallel (meer dan duizend neuronen tegelijk), terwijl dat in
ANN’s niet het geval is met nodes. Het is waarschijnlijk dat een van de emergente
eigenschappen van het brein juist ontstaat door dit massieve parallelisme.
2. In ANN’s wordt vaak een convergent dynamics approach gemaakt: de trained response is de
distributed representation van het goede antwoord in de vorm van een patroon van activiteit
tussen nodes. Echte neurale netwerken zijn vaak oscillatory and chaotic networks: ze hebben
geen representation en dus geen stabiele situatie. Er wordt geen enkel activatiepatroon
gevormd dat gelinkt kan worden aan de stimulus.
Dawson: netwerken hebben inadequate learning rules. Er zijn nog veel meer manieren om een
netwerk te trainen dan alleen door het gewicht van de links aan te passen.
Stability-plasticity dilemma: probleem dat een netwerk plastisch genoeg moet zijn om nieuwe
input patronen op te slaan, maar stabiel genoeg om bekende patronen te behouden. Komt
overeen met probleem van interferentie. Catastrophic interference gebeurt in een netwerk
wanneer een nieuw patroon geleerd wordt en daarom het gewicht van de links wordt aangepast,
waardoor het originele patroon wordt vergeten.
