Aantekeningen
Multimodale communicatie
Hoorcollege 1:
Methoden
- Hoe onderzoeken we?
- Wat zijn de gangbare academische regels/normen?
- Wat mogen we wel/niet concluderen?
Navolgbaarheid: andere academische lezers moeten jouw onderzoek na kunnen doen om te kunnen
vergelijken.
Je kiest de methode vraaggestuurd, dus je vraag is bepalend voor de methode die je kan kiezen.
CIW
- In kaart brengen van betekenisconstructie
- Communicatoren als actieve bijdragers
Model van de communicator
• Audiovisuele aanwijzingen -> actieve betekenisvolle uitwerking -> <- hypotheses en conclusies --
->> mentale schema’s
• Mentale schema’s: je hebt al kennis (geen voorkennis) die jouw betekenisgeving voorsorteert
o Voor ieder individu sociaal, cultureel en persoonlijk geconfigureerd
o Betekenis van communicatieve situaties staat meestal niet vast, maar ze kent wel
dominante vormen
o Communicatieve situaties geen aanwijzingen voor betekenis op multimodale wijze
Multimodaliteit: de basis
Communicatieve situaties bestaan altijd uit meerdere audiovisuele aanwijzingen
Toch hebben wetenschappers hier (onterecht volgens het boek) vaak mono-disciplinaire aandacht voor:
- Wat zegt de tekst? | Wat zegt het beeld?
- Hoe kan theorie x/y/z deze communicatieve situatie verklaren
Belangrijk om de ‘foundations’ van multimodale communicatie te begrijpen, omdat het hedendaags
medialandschap multimodaal is
Hoe gaan we multimodaliteit begrijpen?
- NIET: als bestaand uit makkelijk te isoleren betekenisproducerende onderdelen die, wanneer ze
samen worden gebracht, ‘iets meer doen’ dankzij ‘multiplication’
, - Want: die losse onderdelen zijn nauwelijks precies te identificeren, we nemen per definitie
meteen al multimodaliteit waar
- Wel: het handboek biedt de oplossing dat we multimodale communicatieve situaties als
samengestelde en intergerelateerde ‘ensembles’ bestuderen
Hoe herkennen we multimodaliteit?
- Recent veel over multimodaliteit gepubliceerd: er is een noodzaak tot definiëren van de
‘problem space of multimodality’
- BHW identificeert twee ‘materialities’ (waar te nemen en te meten/analyseren zintuiglijke
indrukken en hun gebruik. Door het handboek soms ook ‘traces’ genoemd) die noodzakelijk zijn
om uberhaupt over multimodaliteit te kunnen spreken: sound en vision
o Geluid en beeld zijn verweven in zowel taal als in ‘society, culture and media’
Materialities: sound
Kenmerken van geluid op fysiek niveau doen lijken alsof het als simpele ‘mono-modaliteit’ is te
begrijpen... maar vaststellen hoe geluid wordt geïnterpreteerd is toch echt complexer; veel hiervan is
cultureel bepaald!
Vooral muziek leent zich voor combinatie met andere modaliteiten
Materialties: Vision/Visuality
Kenmerken van beeldverwerking:
- Associations (bijvoorbeeld hetzelfde gezicht herkennen in twee compleet verschillende films,
hoe je snapt dat je een beeld al hebt gezien)
- Compositionality (hoe onderdelen van beelden zich tot elkaar verhouden, afstanden, vormen)
- Resemblence (het lijken op)
- Propositions (iets wat taal goed direct kan is iets stellen, beeld kan dit moeilijker)
- Experience (beelden kunnen iets doen met je ervaring en emotie. Er zijn categorieën van
beelden die iets doen met je kijkervaring, die kan prettig of onprettig zijn)
Kennisclips online
Icoon: iets wat lijkt op het werkelijke ding (plaatje boom)
Index: verwijzing (blaadje, haarclip van marie-claire bijv)
Symbool: afgesproken betekenis (Boom)
Hoorcollege 2
Model van de communicator
Multimodale communicatie
Hoorcollege 1:
Methoden
- Hoe onderzoeken we?
- Wat zijn de gangbare academische regels/normen?
- Wat mogen we wel/niet concluderen?
Navolgbaarheid: andere academische lezers moeten jouw onderzoek na kunnen doen om te kunnen
vergelijken.
Je kiest de methode vraaggestuurd, dus je vraag is bepalend voor de methode die je kan kiezen.
CIW
- In kaart brengen van betekenisconstructie
- Communicatoren als actieve bijdragers
Model van de communicator
• Audiovisuele aanwijzingen -> actieve betekenisvolle uitwerking -> <- hypotheses en conclusies --
->> mentale schema’s
• Mentale schema’s: je hebt al kennis (geen voorkennis) die jouw betekenisgeving voorsorteert
o Voor ieder individu sociaal, cultureel en persoonlijk geconfigureerd
o Betekenis van communicatieve situaties staat meestal niet vast, maar ze kent wel
dominante vormen
o Communicatieve situaties geen aanwijzingen voor betekenis op multimodale wijze
Multimodaliteit: de basis
Communicatieve situaties bestaan altijd uit meerdere audiovisuele aanwijzingen
Toch hebben wetenschappers hier (onterecht volgens het boek) vaak mono-disciplinaire aandacht voor:
- Wat zegt de tekst? | Wat zegt het beeld?
- Hoe kan theorie x/y/z deze communicatieve situatie verklaren
Belangrijk om de ‘foundations’ van multimodale communicatie te begrijpen, omdat het hedendaags
medialandschap multimodaal is
Hoe gaan we multimodaliteit begrijpen?
- NIET: als bestaand uit makkelijk te isoleren betekenisproducerende onderdelen die, wanneer ze
samen worden gebracht, ‘iets meer doen’ dankzij ‘multiplication’
, - Want: die losse onderdelen zijn nauwelijks precies te identificeren, we nemen per definitie
meteen al multimodaliteit waar
- Wel: het handboek biedt de oplossing dat we multimodale communicatieve situaties als
samengestelde en intergerelateerde ‘ensembles’ bestuderen
Hoe herkennen we multimodaliteit?
- Recent veel over multimodaliteit gepubliceerd: er is een noodzaak tot definiëren van de
‘problem space of multimodality’
- BHW identificeert twee ‘materialities’ (waar te nemen en te meten/analyseren zintuiglijke
indrukken en hun gebruik. Door het handboek soms ook ‘traces’ genoemd) die noodzakelijk zijn
om uberhaupt over multimodaliteit te kunnen spreken: sound en vision
o Geluid en beeld zijn verweven in zowel taal als in ‘society, culture and media’
Materialities: sound
Kenmerken van geluid op fysiek niveau doen lijken alsof het als simpele ‘mono-modaliteit’ is te
begrijpen... maar vaststellen hoe geluid wordt geïnterpreteerd is toch echt complexer; veel hiervan is
cultureel bepaald!
Vooral muziek leent zich voor combinatie met andere modaliteiten
Materialties: Vision/Visuality
Kenmerken van beeldverwerking:
- Associations (bijvoorbeeld hetzelfde gezicht herkennen in twee compleet verschillende films,
hoe je snapt dat je een beeld al hebt gezien)
- Compositionality (hoe onderdelen van beelden zich tot elkaar verhouden, afstanden, vormen)
- Resemblence (het lijken op)
- Propositions (iets wat taal goed direct kan is iets stellen, beeld kan dit moeilijker)
- Experience (beelden kunnen iets doen met je ervaring en emotie. Er zijn categorieën van
beelden die iets doen met je kijkervaring, die kan prettig of onprettig zijn)
Kennisclips online
Icoon: iets wat lijkt op het werkelijke ding (plaatje boom)
Index: verwijzing (blaadje, haarclip van marie-claire bijv)
Symbool: afgesproken betekenis (Boom)
Hoorcollege 2
Model van de communicator
