Multimodale communicatie H1 t/m H7
H1
Model van de communicator
- Audiovisuele aanwijzingen a.d.h.v. zintuigen
- Zorgt voor een betekenis volle uitwerking
- Vormt hypotheses
- Trekt conclusies
Gebruikt hierbij de voorkennis
Mentale schema’s
‘Cognitieve psychologie’
Een schema is een verzameling van voorkennis van de ontvanger die gebruikt wordt voor het
voorspellen en classificeren van ‘sensory data’
Voorkennis is voor ieder individu afhankelijk van de sociale, culturele en persoonlijke
achtergrond. Deze kan dus voor iedereen verschillend zijn.
Multimodaliteit
Communicatieve situatie waarin een combinatie van verschillen vormen van communicatie
actief zijn.
- Voor de combinatie van verschillende communicatieve vormen hebben we methodes
en conceptuele tools nodig
- Multimodaliteit is overal: supermedia (kunnen verschillende media tonen)
Modi zijn:
NIET: makkelijk te identificeren, er sprake van een samenhang multiplication
WEL: communicatieve situaties bestuderen we als samengestelde en intergerelateerde
ensembles
H2
Methoden:
Multimodaliteit is noodzakelijk behoren en intrinsiek gezien een interdisciplinaire
samenwerkende onderneming
Problem space of multimodality
Als je vooraf al een benadering kiest voor je onderzoek sluit je je ogen voor andere
perspectieven die nodig zijn om tot een maximale uitkomst te komen.
Hoe herkennen we modi?
- Materialities zijn waar te nemen en te meten/analyseren zintuigelijke indrukken en
hun gebruik
- Sound en vision
, Sound
- Geluidsgolven ontstaat vanuit een bron
- Hoe geluid geïnterpreteerd wordt is lastig, dit is cultuurbepaald
- Muziek leert zich goed in combinatie met andere modaliteiten
Voorbeeld: film
Vision
- Effect van licht op het oog
- Visuality = alle betekenissen die wij kunnen geven als gevolg van vision/beeld
Kenmerken van beeldverwerking
- Associations:
Beeld dat gebaseerd is op herkenning
(denk aan artikel Barthes)
- Compositionality:
je herkent het geel door de losse delen samen, je kan de losse delen niet beide
tegelijk zien (oude vrouw/jonge vrouw)
- Resemblence: gelijkenis
‘images show, and language tells’
Er is geen gelijkenis tussen het woord boom en het beeld van een boom
- Propostitions:
Beeld kan alleen laten zien wat er wel is, en niet wat er niet is
- Experience:
beeld zorgt voor een bepaalde gevoelservaring
- Haptic visuality:
het fenomeen dat beeld ook invloed kan hebben po je gevoelens
VB. krijtbord
Visuals zijn altijd gecombineerd met andere vormen van informatie
Taal
- Uniek door bepaalde ‘design features’; bepalen grotendeels welke ruimte er is voor
betekenisconstructie
- Conventies meerdere woorden zouden succesvol zijn maar slecht eén optie wordt
daadwerkelijk gebruikt (gebaseerd op gemaakte taal afspraken)
Voorbeeld: in andere talen gebruikt met een ander woord voor ‘boom’
- Compositie de betekenis van een complex geheel kan geconstureerd worden
vanuit de betekenis van de losse delen van dit geheel
Voorbeeld: Het meisje achtervolgde de hond
- Vervangbaarheid/ substitutie: deze losse delen kunnen worden vervangen door
andere woorden zonder dat de betekenis van de zin verandert
H1
Model van de communicator
- Audiovisuele aanwijzingen a.d.h.v. zintuigen
- Zorgt voor een betekenis volle uitwerking
- Vormt hypotheses
- Trekt conclusies
Gebruikt hierbij de voorkennis
Mentale schema’s
‘Cognitieve psychologie’
Een schema is een verzameling van voorkennis van de ontvanger die gebruikt wordt voor het
voorspellen en classificeren van ‘sensory data’
Voorkennis is voor ieder individu afhankelijk van de sociale, culturele en persoonlijke
achtergrond. Deze kan dus voor iedereen verschillend zijn.
Multimodaliteit
Communicatieve situatie waarin een combinatie van verschillen vormen van communicatie
actief zijn.
- Voor de combinatie van verschillende communicatieve vormen hebben we methodes
en conceptuele tools nodig
- Multimodaliteit is overal: supermedia (kunnen verschillende media tonen)
Modi zijn:
NIET: makkelijk te identificeren, er sprake van een samenhang multiplication
WEL: communicatieve situaties bestuderen we als samengestelde en intergerelateerde
ensembles
H2
Methoden:
Multimodaliteit is noodzakelijk behoren en intrinsiek gezien een interdisciplinaire
samenwerkende onderneming
Problem space of multimodality
Als je vooraf al een benadering kiest voor je onderzoek sluit je je ogen voor andere
perspectieven die nodig zijn om tot een maximale uitkomst te komen.
Hoe herkennen we modi?
- Materialities zijn waar te nemen en te meten/analyseren zintuigelijke indrukken en
hun gebruik
- Sound en vision
, Sound
- Geluidsgolven ontstaat vanuit een bron
- Hoe geluid geïnterpreteerd wordt is lastig, dit is cultuurbepaald
- Muziek leert zich goed in combinatie met andere modaliteiten
Voorbeeld: film
Vision
- Effect van licht op het oog
- Visuality = alle betekenissen die wij kunnen geven als gevolg van vision/beeld
Kenmerken van beeldverwerking
- Associations:
Beeld dat gebaseerd is op herkenning
(denk aan artikel Barthes)
- Compositionality:
je herkent het geel door de losse delen samen, je kan de losse delen niet beide
tegelijk zien (oude vrouw/jonge vrouw)
- Resemblence: gelijkenis
‘images show, and language tells’
Er is geen gelijkenis tussen het woord boom en het beeld van een boom
- Propostitions:
Beeld kan alleen laten zien wat er wel is, en niet wat er niet is
- Experience:
beeld zorgt voor een bepaalde gevoelservaring
- Haptic visuality:
het fenomeen dat beeld ook invloed kan hebben po je gevoelens
VB. krijtbord
Visuals zijn altijd gecombineerd met andere vormen van informatie
Taal
- Uniek door bepaalde ‘design features’; bepalen grotendeels welke ruimte er is voor
betekenisconstructie
- Conventies meerdere woorden zouden succesvol zijn maar slecht eén optie wordt
daadwerkelijk gebruikt (gebaseerd op gemaakte taal afspraken)
Voorbeeld: in andere talen gebruikt met een ander woord voor ‘boom’
- Compositie de betekenis van een complex geheel kan geconstureerd worden
vanuit de betekenis van de losse delen van dit geheel
Voorbeeld: Het meisje achtervolgde de hond
- Vervangbaarheid/ substitutie: deze losse delen kunnen worden vervangen door
andere woorden zonder dat de betekenis van de zin verandert
