Hoorcollege 8 – 6 oktober ‘17
Je kunt niet precies aanwijzen waar kennis zit, maar het is verspreidt over een netwerk.
Netwerken
Er wordt onderscheid gemaakt tussen twee manieren waarop kennis in netwerken
gerepresenteerd wordt:
1. Symbolisch
2. Subsymbolisch
o Het brein werkt op zo’n manier
Vroeger werd gedacht dat nieuwe associatessherinneringen werden gevormd door de groei
van nieuwe neuronen in het brein. Santago Ramon y Cajal stelde voor dat leren zou kunnen
plaatsvinden door het versterken van bestaande verbindingen tussen neuronen. Donald O.
Hebb formuleerde dit principe in een hypothetsch biologisch mechanisme ‘Hebbian
learning’, oftewel ‘cells that fre together, wire together.’
Hebbian learning
Wanneer twee verbonden neuronen tegelijkertjd vuren wordt lerensde verbinding
versterkt.
Als je geboren wordt heb je veel meer verbindingen. Dit is echter niet efciënt. Als je
geboren wordt is het hele netwerk met elkaar verbonden, terwijl er vaak verbindingen zijn
die je niet echt nodig hebt.
Connectonisme
“Connectionism is the study of how learning can occur through the strengthening andsor
weakening of connectons between representatons of pieces of informaton andsor
behavioural responses”
Een connectonistsch model is een computersimulate van leren.
Biologische plausibiliteit: sommige (maar niet alle) connectonisten beroepen zich op de
fysieke gelijkenis van connectonistsche modellen met netwerken van neuronen in het
brein.
Neuronen units
Synapsen verbindingen
Parallel Distributed Processing (PDP)
Dit verwerkingsmodel is gecreëerd door Rumelhart en McClelland. De verwerking vindt
parallel plaats, precies zoals dat in ons brein gebeurt. Dit is het tegenovergestelde van
seriële verwerking. Bij een parallel model doe je contnu allerlei berekeningen tegelijkertjd.
Echte connectonistsche modellen kunnen ook parallel dingen berekeningen. Daarnaast zijn
de representates van informate gedistribueerd over het hele neurale netwerk, in
tegenstelling tot zich bevinden in een specifeke locate.
Karl Spencer Lashley was de pioneer in onderzoek naar de biologische grondslagen van het
geheugen in de rat. Hij maakte een laesie in het brein van raten om te testen of ze het
geheugen konden verwijderen. Ze vonden geen enkele specifeke plek verantwoordelijk voor
het geheugen. Lashley concludeerde dat geheugen is distributed in de cortex, en niet
localised op een specifeke plek.
1
,Arbitrary patern classifer
Een arbitrary patern classifer moet een stmulusruimte in alle mogelijke stukken kunnen
hakken. Hier laten we een perceptron op los.
Minsky & Papert
De onmogelijkheid om non-lineaire problemen op te lossen is een probleem voor elk model
voor menselijk leren, omdat mensen non-lineaire problemen wel kunnen oplossen.
Een voorbeeld van een non-lineair probleem is dat we genoeg moeten eten om ft te blijven,
maar niet zoveel dat we er ziek van worden.
Mult-layered networks
Je hebt een multi-layered netwerk nodig om non-lineaire problemen op te lossen.
Netwerken met ‘hidden units’ kunnen de input hercoderen in een formaat waarmee je wel
non-lineaire problemen kunt oplossen. Je kunt steeds ingewikkeldere problemen met steeds
meer layers oplossen door de toevoeging van ‘hidden units’.
“Hidden units allow the network to treat physically similar inputs as diferent, as the need
arises.”
Hebbiaans leren
Hebbiaans leren: connectonistsche modellen leren door veranderingen in het gewicht van
de verbindingen (‘weight changes’).
Er zijn twee soorten leren:
1. Unsupervised learning de weight changes zijn automatsch en in relate tot de
mate van associate tussen inkomende actvates (zoals klassiek conditoneren)
o Hebb regel
2. Supervised learning de weight changes zijn in proporte tot de fout van de output,
om de fout van de output te berekenen is een leerpatroon nodig
o Deltaregel werkt heel goed voor twee lagen
Er is echter geen leerpatroon voor de hidden layer waarmee de
gewichten kunnen worden aangepast
o Eerst wordt de fout bij elke output geleerd
o Daarna wordt de ‘schuldige’ output aangepast
Welk leersysteem het brein heeft is nog niet bekend.
Back propagaton learning
2
,McClelland
McClelland’s netwerk laat nog een eigenschap van het geheugen zien typicality. Je hebt
actverende verbindingen en remmende verbindingen.
Hopfeld-Tank netwerk
Supervised, single layer, laterally connected. Deze netwerken kunnen goed patronen
herkennen. Als je een stukje uit het netwerk knipt gebeurt er vrij weinig.
Kohonen netwerk
Feature maps, unsupervised two-layer. Ook hier gebeurt niet zoveel als je een stukje uit het
netwerk knipt.
ANN
ANN’s kunnen veel verschillende dingen doen, bijvoorbeeld:
Weer voorspellen
Kanker diagnostceren
Gezichten herkennen
Beleggen
Handschriften herkennen
Wetenschap bedrijven en nog veel meer
Connectonisme
Wat is nieuw aan connectonisme?
Niet-symbolisch, maar patroon van actvate
Andere architectuur, namelijk een volledig verbonden netwerk
Niet ‘knowledge’ gebaseerd (geen ingebouwde regels), maar ‘behavior’ gebaseerd
Lerend systeem
3
, Er zijn een aantal voor- en nadelen:
Voordelen
o Biologisch plausibel
o Graceful degradaton
o Kan leren (met of zonder supervisor)
Nadelen
o Groote
o Stabiliteit (denk aan leerparameters)
o Hoeveel dingen kan een netwerk leren?
Semantsche netwerken
Dit is een symbolisch systeem. Hier zijn geen leerregels voor. Hier zie je wel eigenschappen
in terug die het geheugen ook heeft:
Spreading actvaton wanneer je iets actveert verspreidt het zich door het
netwerk heen en actveert het automatsch andere informate
Je kunt hiermee de werking van retrieval cues modelleren.
Dit verklaart dingen zoals priming.
Propositonele netwerken
Een propositie is de kleinste eenheid van kennis, codeerbaar als bewering die waar of
onwaar kan zijn.
Waarom modelleren?
Dwint je om uitlegstheorie expliciet te maken
Bevestgt de noodzaak van de verschillende constructen
Het linken van verschillende concepten
Nieuwe verklaringen voor bestaande verbindingen
Controleert of een voorgestelde set van hypotheses werkt
Maakt nieuwe voorspellingen
Hoorcollege 9 – 11 oktober ‘17
De huidige mens is het product van evolute. Dit geldt ook voor de ontwikkeling van ons
cogniteve deel.
Basisgedachte
Mensen zijn het product van evolutie. Dit is niet alleen lichamelijk, maar ook cognitef.
Kunnen we de menselijke cogniteve vermogens beter begrijpen in de context van hun
evolutonaire oorsprong?
Lamarck
Gaf de eerste beschrijving van het principe van evolute. Zijn idee was dat de mens verandert
tjdens het leven, bepaalde eigenschappen krijgt en vaardigheden leert aan de hand van de
omgeving. Kinderen van die persoon erven dit. Lamarck was de eerste die kwam met het
idee dat eigenschappen werden doorgegeven. Het lichaam past zich dus tjdens het leven
aan de omgeving aan en deze aanpassingen worden overgeërfd.
4
Je kunt niet precies aanwijzen waar kennis zit, maar het is verspreidt over een netwerk.
Netwerken
Er wordt onderscheid gemaakt tussen twee manieren waarop kennis in netwerken
gerepresenteerd wordt:
1. Symbolisch
2. Subsymbolisch
o Het brein werkt op zo’n manier
Vroeger werd gedacht dat nieuwe associatessherinneringen werden gevormd door de groei
van nieuwe neuronen in het brein. Santago Ramon y Cajal stelde voor dat leren zou kunnen
plaatsvinden door het versterken van bestaande verbindingen tussen neuronen. Donald O.
Hebb formuleerde dit principe in een hypothetsch biologisch mechanisme ‘Hebbian
learning’, oftewel ‘cells that fre together, wire together.’
Hebbian learning
Wanneer twee verbonden neuronen tegelijkertjd vuren wordt lerensde verbinding
versterkt.
Als je geboren wordt heb je veel meer verbindingen. Dit is echter niet efciënt. Als je
geboren wordt is het hele netwerk met elkaar verbonden, terwijl er vaak verbindingen zijn
die je niet echt nodig hebt.
Connectonisme
“Connectionism is the study of how learning can occur through the strengthening andsor
weakening of connectons between representatons of pieces of informaton andsor
behavioural responses”
Een connectonistsch model is een computersimulate van leren.
Biologische plausibiliteit: sommige (maar niet alle) connectonisten beroepen zich op de
fysieke gelijkenis van connectonistsche modellen met netwerken van neuronen in het
brein.
Neuronen units
Synapsen verbindingen
Parallel Distributed Processing (PDP)
Dit verwerkingsmodel is gecreëerd door Rumelhart en McClelland. De verwerking vindt
parallel plaats, precies zoals dat in ons brein gebeurt. Dit is het tegenovergestelde van
seriële verwerking. Bij een parallel model doe je contnu allerlei berekeningen tegelijkertjd.
Echte connectonistsche modellen kunnen ook parallel dingen berekeningen. Daarnaast zijn
de representates van informate gedistribueerd over het hele neurale netwerk, in
tegenstelling tot zich bevinden in een specifeke locate.
Karl Spencer Lashley was de pioneer in onderzoek naar de biologische grondslagen van het
geheugen in de rat. Hij maakte een laesie in het brein van raten om te testen of ze het
geheugen konden verwijderen. Ze vonden geen enkele specifeke plek verantwoordelijk voor
het geheugen. Lashley concludeerde dat geheugen is distributed in de cortex, en niet
localised op een specifeke plek.
1
,Arbitrary patern classifer
Een arbitrary patern classifer moet een stmulusruimte in alle mogelijke stukken kunnen
hakken. Hier laten we een perceptron op los.
Minsky & Papert
De onmogelijkheid om non-lineaire problemen op te lossen is een probleem voor elk model
voor menselijk leren, omdat mensen non-lineaire problemen wel kunnen oplossen.
Een voorbeeld van een non-lineair probleem is dat we genoeg moeten eten om ft te blijven,
maar niet zoveel dat we er ziek van worden.
Mult-layered networks
Je hebt een multi-layered netwerk nodig om non-lineaire problemen op te lossen.
Netwerken met ‘hidden units’ kunnen de input hercoderen in een formaat waarmee je wel
non-lineaire problemen kunt oplossen. Je kunt steeds ingewikkeldere problemen met steeds
meer layers oplossen door de toevoeging van ‘hidden units’.
“Hidden units allow the network to treat physically similar inputs as diferent, as the need
arises.”
Hebbiaans leren
Hebbiaans leren: connectonistsche modellen leren door veranderingen in het gewicht van
de verbindingen (‘weight changes’).
Er zijn twee soorten leren:
1. Unsupervised learning de weight changes zijn automatsch en in relate tot de
mate van associate tussen inkomende actvates (zoals klassiek conditoneren)
o Hebb regel
2. Supervised learning de weight changes zijn in proporte tot de fout van de output,
om de fout van de output te berekenen is een leerpatroon nodig
o Deltaregel werkt heel goed voor twee lagen
Er is echter geen leerpatroon voor de hidden layer waarmee de
gewichten kunnen worden aangepast
o Eerst wordt de fout bij elke output geleerd
o Daarna wordt de ‘schuldige’ output aangepast
Welk leersysteem het brein heeft is nog niet bekend.
Back propagaton learning
2
,McClelland
McClelland’s netwerk laat nog een eigenschap van het geheugen zien typicality. Je hebt
actverende verbindingen en remmende verbindingen.
Hopfeld-Tank netwerk
Supervised, single layer, laterally connected. Deze netwerken kunnen goed patronen
herkennen. Als je een stukje uit het netwerk knipt gebeurt er vrij weinig.
Kohonen netwerk
Feature maps, unsupervised two-layer. Ook hier gebeurt niet zoveel als je een stukje uit het
netwerk knipt.
ANN
ANN’s kunnen veel verschillende dingen doen, bijvoorbeeld:
Weer voorspellen
Kanker diagnostceren
Gezichten herkennen
Beleggen
Handschriften herkennen
Wetenschap bedrijven en nog veel meer
Connectonisme
Wat is nieuw aan connectonisme?
Niet-symbolisch, maar patroon van actvate
Andere architectuur, namelijk een volledig verbonden netwerk
Niet ‘knowledge’ gebaseerd (geen ingebouwde regels), maar ‘behavior’ gebaseerd
Lerend systeem
3
, Er zijn een aantal voor- en nadelen:
Voordelen
o Biologisch plausibel
o Graceful degradaton
o Kan leren (met of zonder supervisor)
Nadelen
o Groote
o Stabiliteit (denk aan leerparameters)
o Hoeveel dingen kan een netwerk leren?
Semantsche netwerken
Dit is een symbolisch systeem. Hier zijn geen leerregels voor. Hier zie je wel eigenschappen
in terug die het geheugen ook heeft:
Spreading actvaton wanneer je iets actveert verspreidt het zich door het
netwerk heen en actveert het automatsch andere informate
Je kunt hiermee de werking van retrieval cues modelleren.
Dit verklaart dingen zoals priming.
Propositonele netwerken
Een propositie is de kleinste eenheid van kennis, codeerbaar als bewering die waar of
onwaar kan zijn.
Waarom modelleren?
Dwint je om uitlegstheorie expliciet te maken
Bevestgt de noodzaak van de verschillende constructen
Het linken van verschillende concepten
Nieuwe verklaringen voor bestaande verbindingen
Controleert of een voorgestelde set van hypotheses werkt
Maakt nieuwe voorspellingen
Hoorcollege 9 – 11 oktober ‘17
De huidige mens is het product van evolute. Dit geldt ook voor de ontwikkeling van ons
cogniteve deel.
Basisgedachte
Mensen zijn het product van evolutie. Dit is niet alleen lichamelijk, maar ook cognitef.
Kunnen we de menselijke cogniteve vermogens beter begrijpen in de context van hun
evolutonaire oorsprong?
Lamarck
Gaf de eerste beschrijving van het principe van evolute. Zijn idee was dat de mens verandert
tjdens het leven, bepaalde eigenschappen krijgt en vaardigheden leert aan de hand van de
omgeving. Kinderen van die persoon erven dit. Lamarck was de eerste die kwam met het
idee dat eigenschappen werden doorgegeven. Het lichaam past zich dus tjdens het leven
aan de omgeving aan en deze aanpassingen worden overgeërfd.
4
