MULTIMODALE COMMUNICATIE (CIW)
Samenvatting Tentamen 28/9/2018
Stof week 1 t/m 4
Jorim Spiekhout | 6451489 | WG 5
Positie van de cursus:
“Nadruk op methoden van studie van communicatieve situaties, en de wijze waarop dat leidt tot
advies, beleid, strategie, kritiek, etc.”
Communicatieve situaties bestuderen:
– Het in kaart brengen van het proces van betekenisconstructie
– Het bezien van communicatoren als actieve bijdragers aan dit proces
– Het rekening houden met allerlei (sociale / culturele / persoonlijke) factoren die hierbij een rol
spelen
Correlatie: een verband, maar niet per se oorzakelijk
Causatie: oorzakelijk verband
Navolgbaarheid: onderzoek moet kunnen worden nagedaan door wie dan ook.
De keuze voor welke methode je gaat gebruiken is vraaggestuurd.
Model van de communicator:
● Neemt audiovisuele aanwijzingen waar a.d.h.v. zintuigen
● Doet actief mee aan een betekenisvolle uitwerking, gestuurd door de aanwijzingen
● Vormt hypotheses en trekt conclusies m.b.t. betekenis (denk aan Peirce!)
● Gebruikt daarbij haar voorkennis → mentale schema's
kortom: aanwijzingen -> uitwerking -> hypotheses -> conclusies
Mentale schema’s en modi:
- Voor kennis is voor ieder individu sociaal, cultureel en persoonlijk ‘ingekleurd’
- Betekenis staat dan misschien niet vast, ze kent wel dominante vormen
- Communicatieve situatie geeft aanwijzingen op multimodale wijze (zie hieronder)
Modaliteit: Hoe je een taal/boodschap uit.
Multimodaliteit:
• Communicatieve situatie bestaat altijd uit meerdere audiovisuele (en tactiele!) aanwijzingen
(BWH 7-8)
• Toch heeft men hier (onterecht?) vaak mono-disciplinaire aandacht voor:
– Wat zegt de tekst? Wat zegt het beeld?
– Hoe kan theorie x/y/z dit verklaren?
-> Noodzaak om de basis (“foundations”) van multimodale communicatie te begrijpen ligt in
eigenschappen van het hedendaags medialandschap (BWH 11-14)
tekst is nooit alleen tekst (maar ook font, kleur, ruimtegebruik, tekstdrager, etc.) en beeld is nooit
alleen beeld (maar ook vorm, kleur, beweging, audio, etc.) -> multimodaliteit. Dit betekent dat
bestaande wetenschappelijke disciplines die tekst en beeld bestuderen moeten samenwerken
door gedeelde uitgangspunten en methodische fundamenten overeen te komen
• Wat zijn nu precies modi?
Modi: Vorm, kleur, frequentie, is een ‘modus’ van een trace.
– NIET: ‘makkelijk’ te isoleren en te bestuderen betekenis-producerende onderdelen die, wanneer
ze samen worden gebracht, ‘iets meer doen’ door “multiplication” (BWH 16)
– Want: die losse onderdelen zijn nauwelijks precies te identificeren, we nemen per
definitie al multimodaal waar (BWH 17)
, – WEL: Het handboek biedt de oplossing dat we communicatieve situaties als samengestelde en
intergerelateerde “ensembles” bestuderen
– Hierbij altijd open staan voor hoe het te bestuderen object/fenomeen zelf aanwijzingen
geeft over betekenis-dragende eigenschappen (meer hierover in BWH hoofdstuk 3)
Materialities/Traces: waar te nemen en te meten zintuiglijke indrukken en hun gebruik. (BWH 24)
– BWH identificeert twee “materialities” die noodzakelijk zijn om überhaupt over multimodaliteit te
kunnen spreken: sound en vision (BWH 24)
–> Geluid en beeld zijn verweven in zowel taal als in “society, culture, and media” (BWH 25-26)
Sound:
Op fysiek niveau ogenschijnlijk makkelijk ‘monomodular’ te begrijpen
Maar vaststellen hoe geluid wordt geïnterpreteerd is al lastiger, want veel is cultureel bepaald
(BWH 27-28) (‘spannende’ muziek etc.)
Vooral muziek leent zich voor combinatie met andere modaliteiten (BWH 28)
Vision:
Kenmerken van beeld(verwerking)/ verschil tussen beeld en taal: (zie voorbeelden boek of ppt):
– Associations (connotaties van Barthes)
– Compositionality (we halen betekenis uit losse delen: illusie twee gezichten)
– Resemblence (afbeelding van hond lijkt op hond, het woord ‘hond’ niet)
– Propositions (afbeeldingen kunnen niet liegen)
– Experience (ervaring met het getoonde)
Taal:
• Kenmerken van taal die we moeten onderkennen in multimodale analyse, en die grotendeels
bepalen welke ruimte er is voor betekenisconstructie (BWH 38-40):
– Conventies
– Compositie en substitutie
– Dubbele articulatie (Woorden hebben los gezien een eigen betekenis, maar kunnen gecombineerd
met andere woorden een complexe boodschap vormen.)
Syntagmatisch
Een syntagmatisch verband houdt in dat de betekenis van een teken deels bepaald wordt door
zijn grammaticale (of syntagmatische) relatie tot andere tekens binnen een bepaalde
tekenconstructie of tekenstructuur.
Voorbeeld:
“Ik zag een eekhoorn in de boom” -> associatie met Europa, bos, achtertuin.
“Ik zag een luipaard in de boom” -> associatie met Afrika, savanne.
Paradigmatisch
Een paradigmatische constructie houdt de vervangbaarheid van de verschillende elementen
(tekens) van de structuur in. Er wordt onderscheid gemaakt tussen dat wat wél, en de vele
mogelijke begrippen die níét worden aangeduid binnen de tekencombinatie.
Semiotiek: De leer van betekenisgeving (aan tekens). (BWH 51-64)
Saussure
“Betekenis komt met de waarneming”
Signifiant (signifier): het teken
Signifié (signified): het betekende (mentale concept waarnaar wordt verwezen)
‘langue’ = het abstracte systeem van taal
‘parole’ = het werkelijke taalgedrag
Peirce
“A sign is anything that makes meaning & is interpreted as a sign.”
(Een muur niet, alleen als we het zo zien / het woord ‘kat’ dan weer wel)
“Betekenis komt met interpretatie en de actie die het tot gevolg heeft”
Samenvatting Tentamen 28/9/2018
Stof week 1 t/m 4
Jorim Spiekhout | 6451489 | WG 5
Positie van de cursus:
“Nadruk op methoden van studie van communicatieve situaties, en de wijze waarop dat leidt tot
advies, beleid, strategie, kritiek, etc.”
Communicatieve situaties bestuderen:
– Het in kaart brengen van het proces van betekenisconstructie
– Het bezien van communicatoren als actieve bijdragers aan dit proces
– Het rekening houden met allerlei (sociale / culturele / persoonlijke) factoren die hierbij een rol
spelen
Correlatie: een verband, maar niet per se oorzakelijk
Causatie: oorzakelijk verband
Navolgbaarheid: onderzoek moet kunnen worden nagedaan door wie dan ook.
De keuze voor welke methode je gaat gebruiken is vraaggestuurd.
Model van de communicator:
● Neemt audiovisuele aanwijzingen waar a.d.h.v. zintuigen
● Doet actief mee aan een betekenisvolle uitwerking, gestuurd door de aanwijzingen
● Vormt hypotheses en trekt conclusies m.b.t. betekenis (denk aan Peirce!)
● Gebruikt daarbij haar voorkennis → mentale schema's
kortom: aanwijzingen -> uitwerking -> hypotheses -> conclusies
Mentale schema’s en modi:
- Voor kennis is voor ieder individu sociaal, cultureel en persoonlijk ‘ingekleurd’
- Betekenis staat dan misschien niet vast, ze kent wel dominante vormen
- Communicatieve situatie geeft aanwijzingen op multimodale wijze (zie hieronder)
Modaliteit: Hoe je een taal/boodschap uit.
Multimodaliteit:
• Communicatieve situatie bestaat altijd uit meerdere audiovisuele (en tactiele!) aanwijzingen
(BWH 7-8)
• Toch heeft men hier (onterecht?) vaak mono-disciplinaire aandacht voor:
– Wat zegt de tekst? Wat zegt het beeld?
– Hoe kan theorie x/y/z dit verklaren?
-> Noodzaak om de basis (“foundations”) van multimodale communicatie te begrijpen ligt in
eigenschappen van het hedendaags medialandschap (BWH 11-14)
tekst is nooit alleen tekst (maar ook font, kleur, ruimtegebruik, tekstdrager, etc.) en beeld is nooit
alleen beeld (maar ook vorm, kleur, beweging, audio, etc.) -> multimodaliteit. Dit betekent dat
bestaande wetenschappelijke disciplines die tekst en beeld bestuderen moeten samenwerken
door gedeelde uitgangspunten en methodische fundamenten overeen te komen
• Wat zijn nu precies modi?
Modi: Vorm, kleur, frequentie, is een ‘modus’ van een trace.
– NIET: ‘makkelijk’ te isoleren en te bestuderen betekenis-producerende onderdelen die, wanneer
ze samen worden gebracht, ‘iets meer doen’ door “multiplication” (BWH 16)
– Want: die losse onderdelen zijn nauwelijks precies te identificeren, we nemen per
definitie al multimodaal waar (BWH 17)
, – WEL: Het handboek biedt de oplossing dat we communicatieve situaties als samengestelde en
intergerelateerde “ensembles” bestuderen
– Hierbij altijd open staan voor hoe het te bestuderen object/fenomeen zelf aanwijzingen
geeft over betekenis-dragende eigenschappen (meer hierover in BWH hoofdstuk 3)
Materialities/Traces: waar te nemen en te meten zintuiglijke indrukken en hun gebruik. (BWH 24)
– BWH identificeert twee “materialities” die noodzakelijk zijn om überhaupt over multimodaliteit te
kunnen spreken: sound en vision (BWH 24)
–> Geluid en beeld zijn verweven in zowel taal als in “society, culture, and media” (BWH 25-26)
Sound:
Op fysiek niveau ogenschijnlijk makkelijk ‘monomodular’ te begrijpen
Maar vaststellen hoe geluid wordt geïnterpreteerd is al lastiger, want veel is cultureel bepaald
(BWH 27-28) (‘spannende’ muziek etc.)
Vooral muziek leent zich voor combinatie met andere modaliteiten (BWH 28)
Vision:
Kenmerken van beeld(verwerking)/ verschil tussen beeld en taal: (zie voorbeelden boek of ppt):
– Associations (connotaties van Barthes)
– Compositionality (we halen betekenis uit losse delen: illusie twee gezichten)
– Resemblence (afbeelding van hond lijkt op hond, het woord ‘hond’ niet)
– Propositions (afbeeldingen kunnen niet liegen)
– Experience (ervaring met het getoonde)
Taal:
• Kenmerken van taal die we moeten onderkennen in multimodale analyse, en die grotendeels
bepalen welke ruimte er is voor betekenisconstructie (BWH 38-40):
– Conventies
– Compositie en substitutie
– Dubbele articulatie (Woorden hebben los gezien een eigen betekenis, maar kunnen gecombineerd
met andere woorden een complexe boodschap vormen.)
Syntagmatisch
Een syntagmatisch verband houdt in dat de betekenis van een teken deels bepaald wordt door
zijn grammaticale (of syntagmatische) relatie tot andere tekens binnen een bepaalde
tekenconstructie of tekenstructuur.
Voorbeeld:
“Ik zag een eekhoorn in de boom” -> associatie met Europa, bos, achtertuin.
“Ik zag een luipaard in de boom” -> associatie met Afrika, savanne.
Paradigmatisch
Een paradigmatische constructie houdt de vervangbaarheid van de verschillende elementen
(tekens) van de structuur in. Er wordt onderscheid gemaakt tussen dat wat wél, en de vele
mogelijke begrippen die níét worden aangeduid binnen de tekencombinatie.
Semiotiek: De leer van betekenisgeving (aan tekens). (BWH 51-64)
Saussure
“Betekenis komt met de waarneming”
Signifiant (signifier): het teken
Signifié (signified): het betekende (mentale concept waarnaar wordt verwezen)
‘langue’ = het abstracte systeem van taal
‘parole’ = het werkelijke taalgedrag
Peirce
“A sign is anything that makes meaning & is interpreted as a sign.”
(Een muur niet, alleen als we het zo zien / het woord ‘kat’ dan weer wel)
“Betekenis komt met interpretatie en de actie die het tot gevolg heeft”
