Multimodale communicatie
Methoden
- Hoe onderzoeken we?
- Wat zijn de gangbare academische regels/normen?
- Wat mogen we wel/niet concluderen?
--->
Correlation: 100% of people who breathe, die
Causation: 100% of people who don’t breathe, die
Sleutelwoord is navolgbaarheid
Oningewijde academische lezer zou in staat moeten kunnen zijn om jouw
onderzoek na te kunnen doen om zo de analyse-resultaten te vergelijken.
De keuze voor methoden is vraaggestuurd
‘’met een hamer in de hand gaat alles op een spijker lijken’’ (vrij naar filosoof
Heiddegger)
Het in kaart brengen van het proces van betekenisconstructie. Het bezien van
communicatoren als actieve bijdragers aan dit proces. Het rekening houden met
allerlei configurerende factoren die hierbij een rol spelen.
Model van de communicator
Audiovisuele aanwijzingen actieve betekenisvolle uitwerking <--> hypotheses en
conclusies
De laatste twee zijn ‘’mentale schema’s’’
‘’A schema is an arrangement of knowledge already possessed by a perceiver that is
used to predict and classify sensory data’’
Mentale schema’s
Mentale schema’s zijn voor ieder individu sociaal, cultureel en persoonlijk
geconfigureerd.
Betekenis van communicatieve situaties staat meestal niet vast, maar ze kent wel
dominante vormen.
Communicatieve situaties geven aanwijzingen voor betekenis op multimodale wijze.
Multimodaliteit: de basis
Noodzaak om de ‘’foundations’’ van multimodale communicatie te begrijpen? Kijk
maar eens goed om je heen waarom dat nodig is… (BWH 11-14).
Kennis van deze basis van multimodale communicatie maakt de CIW-er
onderscheidend.
Hoe gaan we multimodaliteit begrijpen?
- NIET: als makkelijk te isoleren betekenis-producerende onderdelen die,
wanneer ze samen worden gebracht, ‘iets meer doen’ dankzij ‘’multiplication’’
(BWH 16) --> niet door isoleren van één modaliteit.
, - Want: die losse onderdelen zijn nauwelijks precies te identificeren.
- WEL: als samengestelde en intergerelateerde ‘’ensembles’’ die
communicatieve situaties teweegbrengen.
- Hierbij altijd open staan voor hoe die situaties zelf aanwijzingen geven over
betekenis-dragende eigenschappen (meer hierover in BWH H3)
Hoe herkennen we multimodaliteit?
- Recent veel over multimodaliteit gepubliceerd: er is een noodzaak tot
definiëren van de ‘’problem space of multimodality’’ (BWH 23)
- BWH identificeert twee “materialities” die noodzakelijk zijn om überhaupt over
multimodaliteit te kunnen spreken: sound en vision (BWH 24).
> Belangrijk
- Materialities: waar te nemen en te meten/analyseren zintuigelijke indrukken en
hun gebruik. Door handboek soms ook “traces” (tastbaar, je kan het gebruiken
voor onderzoek; bv opnemen van hoorcollege) genoemd (BWH 24).
- Geluid en beeld zijn verweven in zowel taal als in “society, culture, and media”
(BWH 25-26; WC1).
Materialties: sound (BWH 2.2)
Geluid is in eerste instantie simpel, het is een golf met toonhoogte.
Kenmerken van geluid op fysiek niveau doen lijken alsof het makkelijk als simpele
‘mono-modaliteit’ is te begrijpen.
Maar, vaststellen hoe geluid wordt geïnterpreteerd is toch echt complexer; veel
hiervan is cultureel bepaald (BWH 27-28). Vooral muziek leent zich voor combinatie
met andere modaliteiten (BWH 28).
Materialities: vision/visuality (BWH 2.3)
Kenmerken van beeldverwerking:
- Associations --> shot reverse shot (camera blijft aan zelfde kant personen)
- Compositionality --> beelden bestaan uit verschillende elementen (vorm, kleur,
etc.), die je tegelijkertijd in je opneemt. Als je het ziet, kan je het niet meer
ontzien.
- Resemblance --> foto en woord hond lijken niet op elkaar, maar zijn hetzelfde.
- Propositions --> iets stellen kan moeilijker met beeld dan met woorden.
- Experience --> amsr
Model van de communicator
- Neemt audiovisuele aanwijzingen waar aan de hand van zintuigen
- Doet actief mee aan een betekenisvolle uitwerking, gestuurd door de
aanwijzing.
- Vormt hypotheses en trekt conclusies met betrekking tot betekenis (Pierce).
- Gebruikt daarbij bewust en onbewust mentale schema’s.
Multimodaliteit (BWH H2)
Communicatieve situatie bestaat altijd uit meerdere audiovisuele (en
zintuigelijke) aanwijzingen.
Deze bestuderen we niet geïsoleerd maar als samengestelde en
intergerelateerde ‘’ensembles’’ --> zelfs het licht in een ruimte en temperatuur
die we voelen tellen mee.
, Kennis van taal, tekenleer (semiotiek) en audio/beeldcultuur helpt hierbij -->
wij kunnen dit uitleggen als CIW’er, dit onderscheid ons van AI.
Methodologie = de theorie achter/van de te gebruiken methoden.
Recept voor appeltaart maken; recept is de methoden. Er zij verschillende recepten,
bij elk recept ziet de taart er anders uit, net zoals met verschillende methoden.
H3 legt uit hoe je een communicatieve situatie kan identificeren, welke methoden heb
je hiervoor nodig.
Communicatieve situatie
Wat hebben we nodig voordat we van een communicatieve situatie kunnen
spreken (en deze dus kunnen gaan analyseren)?
> Ontologie van een communicatieve situatie (BWH 75)
> Algemeen en abstract beginnen, daarna steeds meer details aanvullen (BWH
77-78).
Een steen met de krassen erop ‘’HELP’’, daar kunnen wij al uithalen dat iemand hulp
nodig heeft en niet iets toevalligs is.
Uitleggen versus interpreteren
‘’De natuur kan er zo uit zien’’
Versus
‘’Hier is bewust een aanpassing gedaan aan de natuur zoals die zich normaliter aan
mij voordoet’’
Een steen met tekens die wij niet kennen, die communiceert niet met ons, er is geen
communicatieve situatie.
Radical indeterminacy
Als we het vermoeden hebben dat de inscriptie een communicatief teken is, dan nog
is het niet per definitie meteen helder hoe of door wie of met welk doel dit teken is
geproduceerd, of hoe het geïnterpreteerd moet worden.
Welke ‘’material regularities’’ kunnen we eigenlijk vaststellen? (BWH 82).
Communicatieve situatie
‘’some level of distinguishable material regularities is therefore a precondition for a
full and effective communicative situation to be able to exist. Until we know about
these regularities, we are onlookers who can only guess what may have been going
on.’’ (BWH 83; nadruk toegevoegd)
Pas wanneer material regularities worden waargenomen door een of meer
individuen, en deze individuen (kunnen/gaan) weten hoe ze geïnterpreteerd (zouden)
moeten worden, is er sprake van een daadwerkelijke communicatieve situatie.
Het is duidelijk dat dit dan meteen te maken heft met kennis en macht, en dat tekens
zeker niet alleen door individuen maar ook door groepen worden gemaakt (BWH 84).
Methoden
- Hoe onderzoeken we?
- Wat zijn de gangbare academische regels/normen?
- Wat mogen we wel/niet concluderen?
--->
Correlation: 100% of people who breathe, die
Causation: 100% of people who don’t breathe, die
Sleutelwoord is navolgbaarheid
Oningewijde academische lezer zou in staat moeten kunnen zijn om jouw
onderzoek na te kunnen doen om zo de analyse-resultaten te vergelijken.
De keuze voor methoden is vraaggestuurd
‘’met een hamer in de hand gaat alles op een spijker lijken’’ (vrij naar filosoof
Heiddegger)
Het in kaart brengen van het proces van betekenisconstructie. Het bezien van
communicatoren als actieve bijdragers aan dit proces. Het rekening houden met
allerlei configurerende factoren die hierbij een rol spelen.
Model van de communicator
Audiovisuele aanwijzingen actieve betekenisvolle uitwerking <--> hypotheses en
conclusies
De laatste twee zijn ‘’mentale schema’s’’
‘’A schema is an arrangement of knowledge already possessed by a perceiver that is
used to predict and classify sensory data’’
Mentale schema’s
Mentale schema’s zijn voor ieder individu sociaal, cultureel en persoonlijk
geconfigureerd.
Betekenis van communicatieve situaties staat meestal niet vast, maar ze kent wel
dominante vormen.
Communicatieve situaties geven aanwijzingen voor betekenis op multimodale wijze.
Multimodaliteit: de basis
Noodzaak om de ‘’foundations’’ van multimodale communicatie te begrijpen? Kijk
maar eens goed om je heen waarom dat nodig is… (BWH 11-14).
Kennis van deze basis van multimodale communicatie maakt de CIW-er
onderscheidend.
Hoe gaan we multimodaliteit begrijpen?
- NIET: als makkelijk te isoleren betekenis-producerende onderdelen die,
wanneer ze samen worden gebracht, ‘iets meer doen’ dankzij ‘’multiplication’’
(BWH 16) --> niet door isoleren van één modaliteit.
, - Want: die losse onderdelen zijn nauwelijks precies te identificeren.
- WEL: als samengestelde en intergerelateerde ‘’ensembles’’ die
communicatieve situaties teweegbrengen.
- Hierbij altijd open staan voor hoe die situaties zelf aanwijzingen geven over
betekenis-dragende eigenschappen (meer hierover in BWH H3)
Hoe herkennen we multimodaliteit?
- Recent veel over multimodaliteit gepubliceerd: er is een noodzaak tot
definiëren van de ‘’problem space of multimodality’’ (BWH 23)
- BWH identificeert twee “materialities” die noodzakelijk zijn om überhaupt over
multimodaliteit te kunnen spreken: sound en vision (BWH 24).
> Belangrijk
- Materialities: waar te nemen en te meten/analyseren zintuigelijke indrukken en
hun gebruik. Door handboek soms ook “traces” (tastbaar, je kan het gebruiken
voor onderzoek; bv opnemen van hoorcollege) genoemd (BWH 24).
- Geluid en beeld zijn verweven in zowel taal als in “society, culture, and media”
(BWH 25-26; WC1).
Materialties: sound (BWH 2.2)
Geluid is in eerste instantie simpel, het is een golf met toonhoogte.
Kenmerken van geluid op fysiek niveau doen lijken alsof het makkelijk als simpele
‘mono-modaliteit’ is te begrijpen.
Maar, vaststellen hoe geluid wordt geïnterpreteerd is toch echt complexer; veel
hiervan is cultureel bepaald (BWH 27-28). Vooral muziek leent zich voor combinatie
met andere modaliteiten (BWH 28).
Materialities: vision/visuality (BWH 2.3)
Kenmerken van beeldverwerking:
- Associations --> shot reverse shot (camera blijft aan zelfde kant personen)
- Compositionality --> beelden bestaan uit verschillende elementen (vorm, kleur,
etc.), die je tegelijkertijd in je opneemt. Als je het ziet, kan je het niet meer
ontzien.
- Resemblance --> foto en woord hond lijken niet op elkaar, maar zijn hetzelfde.
- Propositions --> iets stellen kan moeilijker met beeld dan met woorden.
- Experience --> amsr
Model van de communicator
- Neemt audiovisuele aanwijzingen waar aan de hand van zintuigen
- Doet actief mee aan een betekenisvolle uitwerking, gestuurd door de
aanwijzing.
- Vormt hypotheses en trekt conclusies met betrekking tot betekenis (Pierce).
- Gebruikt daarbij bewust en onbewust mentale schema’s.
Multimodaliteit (BWH H2)
Communicatieve situatie bestaat altijd uit meerdere audiovisuele (en
zintuigelijke) aanwijzingen.
Deze bestuderen we niet geïsoleerd maar als samengestelde en
intergerelateerde ‘’ensembles’’ --> zelfs het licht in een ruimte en temperatuur
die we voelen tellen mee.
, Kennis van taal, tekenleer (semiotiek) en audio/beeldcultuur helpt hierbij -->
wij kunnen dit uitleggen als CIW’er, dit onderscheid ons van AI.
Methodologie = de theorie achter/van de te gebruiken methoden.
Recept voor appeltaart maken; recept is de methoden. Er zij verschillende recepten,
bij elk recept ziet de taart er anders uit, net zoals met verschillende methoden.
H3 legt uit hoe je een communicatieve situatie kan identificeren, welke methoden heb
je hiervoor nodig.
Communicatieve situatie
Wat hebben we nodig voordat we van een communicatieve situatie kunnen
spreken (en deze dus kunnen gaan analyseren)?
> Ontologie van een communicatieve situatie (BWH 75)
> Algemeen en abstract beginnen, daarna steeds meer details aanvullen (BWH
77-78).
Een steen met de krassen erop ‘’HELP’’, daar kunnen wij al uithalen dat iemand hulp
nodig heeft en niet iets toevalligs is.
Uitleggen versus interpreteren
‘’De natuur kan er zo uit zien’’
Versus
‘’Hier is bewust een aanpassing gedaan aan de natuur zoals die zich normaliter aan
mij voordoet’’
Een steen met tekens die wij niet kennen, die communiceert niet met ons, er is geen
communicatieve situatie.
Radical indeterminacy
Als we het vermoeden hebben dat de inscriptie een communicatief teken is, dan nog
is het niet per definitie meteen helder hoe of door wie of met welk doel dit teken is
geproduceerd, of hoe het geïnterpreteerd moet worden.
Welke ‘’material regularities’’ kunnen we eigenlijk vaststellen? (BWH 82).
Communicatieve situatie
‘’some level of distinguishable material regularities is therefore a precondition for a
full and effective communicative situation to be able to exist. Until we know about
these regularities, we are onlookers who can only guess what may have been going
on.’’ (BWH 83; nadruk toegevoegd)
Pas wanneer material regularities worden waargenomen door een of meer
individuen, en deze individuen (kunnen/gaan) weten hoe ze geïnterpreteerd (zouden)
moeten worden, is er sprake van een daadwerkelijke communicatieve situatie.
Het is duidelijk dat dit dan meteen te maken heft met kennis en macht, en dat tekens
zeker niet alleen door individuen maar ook door groepen worden gemaakt (BWH 84).
