Samenvatting alle stof Multimodale
Communicatie
Boek: Multimodality (Bateman, Wildfeuer, Hiipala)
- Hoofdstuk 1 -
1.1: Het model van de communicator
Audiovisuele aanwijzingen -> Actieve betekenisvolle uitwerking <->
Hypotheses & conclusies
/\
Voorkennis: “mentale
schema’s”
Voorkennis is voor ieder individu persoonlijk geconfigureerd. Gevormde
betekenis staat tussen mensen niet vast, maar er zijn wel dominante vormen.
Communicatieve situaties zijn vrijwel altijd multimodaal, toch heeft men vaak
alleen maar aandacht voor 1 modus. Het begrijpen van het multimodale
karakter van communicatie is cruciaal. We hebben geen “losse” media meer,
we hebben nu media die de taak van velen uitvoeren.
1.2: Wat verstaan we onder modi?
Communicatieve situaties moeten als samengestelde en intergerelateerde
“ensembles” (collecties van modi) bestuderen. Aanwijzingen zijn ook
samengesteld in elke communicatieve situatie. Multimodaliteit bestuderen is
alleen mogelijk door samen te werken met andere wetenschapstakken.
Modi zijn niet makkelijk te isoleren. Samen doen modi meer dan ze los zouden
doen. Dit heet ‘multiplication’, en dus niet ‘addition’. Losse delen zijn niet
altijd los te identificeren en we kunnen ook moeilijk hun exacte bijdragen
kwantificeren. We nemen per definitie multimodaal waar.
1.3: Multimodaliteit
Er is nog geen wetenschappelijk veld met voldoende consensus over wat we
onder multimodaliteit verstaan. Volgens het boek zou een “problem space”
gecreëerd moeten worden. Als we weten welke wetenschappelijke
uitdagingen we tegen komen, dan kunnen we met z’n allen aan de slag met
dit veld.
Het handboek identificeert twee noodzakelijke “materialities”, ze zijn
zintuigelijke waarnemingen en dus waar te nemen. We hebben het over
, geluid en beeld. Geluid en beeld zijn verweven in zowel taal als de
maatschappij, de cultuur en de media.
Geluid:
Geluid is geen enkelvoudige modaliteit. Geluid geeft informatie over afstand,
ruimte en richting. Het maakt uit welke andere modi er nog meer zijn en de
toonhoogte, pauzes, snelheid heeft ook impact op betekenis.
Beeld:
Er zijn vijf kenmerken van hoe onze ogen visuele signalen verwerken.
1) Associations zijn het herkennen van iets dat je al eerder hebt gezien. Je
kunt zo snappen hoe ruimtes bij elkaar horen, omdat je die ruimtes herkent.
2) Compositionality duidt op hoe men geneigd is om beelden in hun geheel
te zien, niet als kleine stukjes die samen betekenis scheppen. (NON-
COMPOSITIONALITY)
3) Resemblence is het herkennen van dat bepaalde vormen overeenkomen
met wat wij ermee associëren. We herkennen een plaatje van een hond als
een hond. Plaatjes activeren mentale schema’s sterker dan letters die
hetzelfde representeren.
4) Propositions houden in dat beelden minder goed in staat zijn om iets te
stellen. Ze geven geen tijd weer. Taal kan dit wel. “Het regent.” Geeft aan dat
het nú regent.
5) Experience gaat voorbij aan semiotiek en betekenissen die je kunt
beschrijven. Het gaat om het ervaren van beelden die meer doen dan dat je
logischerwijs kan redeneren. Experience kan gevoelens oproepen die niet
logisch te beredeneren zijn.
- Hoofdstuk 2 -
2.1: Kenmerken van taal
Kenmerken van taal die we moeten onderkennen in multimodale analyse en
die grotendeels bepalen welke ruimte er is voor betekenisconstructie:
-Conventies: bepaalde ongeschreven afspraken over betekenissen van
woorden. We weten wat “dankjewel” betekent, zelfs al slaat dat nergens op
als je gewoon naar de klanken luistert. Conventies kunnen ook symbolen en
beelden zijn. Denk aan rood is slecht >:0.
-Compositionality: samen krijgen letters betekenis. De volgorde maakt uit
voor wat we van die letters maken. Dit geld ook voor woordcombinaties die
elkaar beïnvloeden.
-Substitutivity: in sommige zinnen kun je 1 woord vervangen, en dan
verandert alleen de betekenis van dat woord. In andere gevallen kun je 1
woord vervangen en vervolgens wordt voor luisteraars de betekenis van de
hele zin verandert.
Communicatie
Boek: Multimodality (Bateman, Wildfeuer, Hiipala)
- Hoofdstuk 1 -
1.1: Het model van de communicator
Audiovisuele aanwijzingen -> Actieve betekenisvolle uitwerking <->
Hypotheses & conclusies
/\
Voorkennis: “mentale
schema’s”
Voorkennis is voor ieder individu persoonlijk geconfigureerd. Gevormde
betekenis staat tussen mensen niet vast, maar er zijn wel dominante vormen.
Communicatieve situaties zijn vrijwel altijd multimodaal, toch heeft men vaak
alleen maar aandacht voor 1 modus. Het begrijpen van het multimodale
karakter van communicatie is cruciaal. We hebben geen “losse” media meer,
we hebben nu media die de taak van velen uitvoeren.
1.2: Wat verstaan we onder modi?
Communicatieve situaties moeten als samengestelde en intergerelateerde
“ensembles” (collecties van modi) bestuderen. Aanwijzingen zijn ook
samengesteld in elke communicatieve situatie. Multimodaliteit bestuderen is
alleen mogelijk door samen te werken met andere wetenschapstakken.
Modi zijn niet makkelijk te isoleren. Samen doen modi meer dan ze los zouden
doen. Dit heet ‘multiplication’, en dus niet ‘addition’. Losse delen zijn niet
altijd los te identificeren en we kunnen ook moeilijk hun exacte bijdragen
kwantificeren. We nemen per definitie multimodaal waar.
1.3: Multimodaliteit
Er is nog geen wetenschappelijk veld met voldoende consensus over wat we
onder multimodaliteit verstaan. Volgens het boek zou een “problem space”
gecreëerd moeten worden. Als we weten welke wetenschappelijke
uitdagingen we tegen komen, dan kunnen we met z’n allen aan de slag met
dit veld.
Het handboek identificeert twee noodzakelijke “materialities”, ze zijn
zintuigelijke waarnemingen en dus waar te nemen. We hebben het over
, geluid en beeld. Geluid en beeld zijn verweven in zowel taal als de
maatschappij, de cultuur en de media.
Geluid:
Geluid is geen enkelvoudige modaliteit. Geluid geeft informatie over afstand,
ruimte en richting. Het maakt uit welke andere modi er nog meer zijn en de
toonhoogte, pauzes, snelheid heeft ook impact op betekenis.
Beeld:
Er zijn vijf kenmerken van hoe onze ogen visuele signalen verwerken.
1) Associations zijn het herkennen van iets dat je al eerder hebt gezien. Je
kunt zo snappen hoe ruimtes bij elkaar horen, omdat je die ruimtes herkent.
2) Compositionality duidt op hoe men geneigd is om beelden in hun geheel
te zien, niet als kleine stukjes die samen betekenis scheppen. (NON-
COMPOSITIONALITY)
3) Resemblence is het herkennen van dat bepaalde vormen overeenkomen
met wat wij ermee associëren. We herkennen een plaatje van een hond als
een hond. Plaatjes activeren mentale schema’s sterker dan letters die
hetzelfde representeren.
4) Propositions houden in dat beelden minder goed in staat zijn om iets te
stellen. Ze geven geen tijd weer. Taal kan dit wel. “Het regent.” Geeft aan dat
het nú regent.
5) Experience gaat voorbij aan semiotiek en betekenissen die je kunt
beschrijven. Het gaat om het ervaren van beelden die meer doen dan dat je
logischerwijs kan redeneren. Experience kan gevoelens oproepen die niet
logisch te beredeneren zijn.
- Hoofdstuk 2 -
2.1: Kenmerken van taal
Kenmerken van taal die we moeten onderkennen in multimodale analyse en
die grotendeels bepalen welke ruimte er is voor betekenisconstructie:
-Conventies: bepaalde ongeschreven afspraken over betekenissen van
woorden. We weten wat “dankjewel” betekent, zelfs al slaat dat nergens op
als je gewoon naar de klanken luistert. Conventies kunnen ook symbolen en
beelden zijn. Denk aan rood is slecht >:0.
-Compositionality: samen krijgen letters betekenis. De volgorde maakt uit
voor wat we van die letters maken. Dit geld ook voor woordcombinaties die
elkaar beïnvloeden.
-Substitutivity: in sommige zinnen kun je 1 woord vervangen, en dan
verandert alleen de betekenis van dat woord. In andere gevallen kun je 1
woord vervangen en vervolgens wordt voor luisteraars de betekenis van de
hele zin verandert.
