Samenvatting boek
‘Multimodaliteit’
Hoofdstuk 1: Introductie: de uitdaging van
multimodaliteit
Multimodaliteit gebeurt ongeveer overal. Multimodaliteit is een manier om communicatieve
situaties te beschrijven (zeer breed beschouwd) die afhankelijk zijn van combinaties van verschillende
‘vormen’ van communicatie om effectief te zijn – het tv-programma maakt gebruik van gesproken
taal, afbeeldingen en tekst; het boek maakt gebruik van geschreven taal, afbeeldingen, diagrammen,
paginasamenstellingen en dergelijke; praten in een café brengt gesproken taal samen met een groot
aantal lichamelijke mogelijkheden (gebaren, gezichtsuitdrukkingen) en houdingen.
1.1 De eerste stappen… een multimodale draai?
Mediaconvergentie: media die bij elkaar samenkomen (bijv. een film die je laat zien op je iPad of
wanneer een websitemuziek afspeelt). Dit is niet meer speciaal, het is eerder de nieuwe norm
geworden. Daarom is het ook belangrijk dat de skills voor het combineren van modes/media
aangeleerd wordt aan jongeren, vandaar dat het nu ook in de curricula van scholen zit.
1.2 De reis vooruit
Multimodaliteit moet je niet zien als iets nieuws, maar als iets dat eigenlijk altijd al de norm is
geweest. Er wordt soms over gesproken als nieuwe media, omdat er door recente wetenschappelijke
methodes die samenkomen, nieuwe disciplines, onderzoeken en theorieën ontstaan.
Een metafoor die vaak wordt gebruikt bij multimodaliteit is ‘vermenigvuldiging’. Multimodaliteit moet
je niet zien als het optellen van twee (of meer) modes die samen zorgen voor multimodaliteit, het is
meer dan de som van modes, er ontstaat veel meer. Al die modes hangen samen met elkaar, zijn ook
afhankelijk van elkaar.
Interdependentie is een moeilijk probleem omdat het gebruik van verschillende modi samen invloed
kan hebben op wat elk bijdraagt. Dit betekent dat we heel voorzichtig moeten zijn dat we in onze
analyses kunnen scheiden ‘suggesties over wat een bepaalde modus bijdraagt’ en ‘suggesties die
alleen ontstaan door de combinatie met andere modi’. Modi die samen gepresenteerd worden,
moeten met respect voor de andere modi geanalyseerd worden en niet onafhankelijk gezien worden.
Daarom is een belangrijke uitdaging voor multimodaliteitsonderzoek om manieren te vinden om te
ontdekken hoe deze interafhankelijke modi in elkaar zitten en om methoden te ontwikkelen om deze
empirisch te onderzoeken. We moeten voorzichtig zijn in het suggereren dat een of andere bijdrage
in een bepaalde modus een bepaalde betekenis heeft. Ten eerste moeten we er rekening mee
houden dat misschien onze interpretatie van die betekenis al beïnvloed is door de andere bijdragen
waarmee het verschijnt/zich voordoet.
Multimodaliteit is van nature en intrinsiek een interdisciplinaire coöperatieve onderneming. Je moet
verder kijken dan één discipline of theorie.
, Hoofdstuk 2: Herkennen van multimodaliteit: oorsprong
en inspiraties
Vraag dit hoofdstuk: Hoe kunnen problemen en uitdagingen bij multimodaliteit ontstaan en wat
houden ze in?
2.1 Het ‘probleemgebied’ van multimodaliteit
Een probleem bij veel huidig onderzoek bij multimodaliteit is dat veel onderzoekers hun methoden
selecteren op basis van persoonlijke voorkeuren en omstandigheden bij hun opleiding. Dit zorgt voor
het probleem dat het kiezen van een benadering (bijv. de psychologische of de sociaal-semiotische
benadering) onze ogen sluit voor andere perspectieven die ons kunnen helpen het maximale eruit te
halen. Daarom moeten we kunnen identificeren welke problemen bij multimodaliteit voor we kunnen
kiezen welke benaderingen of methoden we gebruiken voor onderzoek. We zullen ons eerst focussen
op geluid en op beeld.
Wat moet er zijn voor het ontstaan van welke dan ook probleem van multimodaliteit?
We hebben in ieder geval verschillende materialen nodig – en daarbij materialen niet alleen
in fysieke zin, maar ook in verschillende materiaalsoorten, omdat ze op verschillende
manieren worden opgevangen en door onze zintuigen georganiseerd worden.
Er moeten rekening gehouden worden met taal, omdat zonder taal niet kunnen omgaan met
verschillende problemen die belangrijk zijn voor multimodaliteit, wat ook het geval zou zijn
als we geluid of beeld zouden negeren.
We hebben ook te maken met de discipline semiotiek, die zich bezighoudt met hoe iets, iets
kan betekenen voor iemand.
De rol v.d. maatschappij en cultuur is ook heel belangrijk.
2.2 Materialiteit en de zintuigen: geluid
Geluid is het resultaat van een golf die door een medium reist, wat betekent dat het materiaal van
het medium herhaaldelijk in een regelmatig patroon wordt verplaatst. Geluid heeft dus alle
gebruikelijke eigenschappen van golven (frequentie, amplitude, golflengte). Geluid is een
longitudinale golf.
Bij geluidsperceptie merk je niet alleen amplitudes of frequenties, je merkt ook wat de bron is van
het geluid. We ontvangen bij geluiden ook informatie over de grootte van de objecten die geluid
maken, of ze bijvoorbeeld hard of zacht zijn, of het contact kort of lang is, etc. Ook horen we in wat
voor omgeving het geluid is ontstaan. Geluid is dus niet alleen het horen van geluid, het geeft ook
informatie over ruimte, hardheid, afstand en directie. De betekenis die we geven aan geluiden
kunnen we niet uitzetten.
Muziek is speciaal, omdat je hierbij de individuele contributies kan horen (bij de kleur wit kun je niet
de andere kleuren zien waaruit de kleur wit is ontstaan). Menselijke perceptie omvat ook de
mogelijkheid om geluidssequenties van muziek te onthouden en om bepaalde uitkomsten van
harmonische progressies te voorspellen.
Muziek wordt vaak in combinatie met andere expressies gebruikt, zoals songteksten. Hierbij heb je
het niet alleen over melodie en songteksten, maar ook over rijmen, amplitude, etc. Ook connecties
van muziek met het visueel zijn wijdverspreid, zoals muziek met animatie of muziek en film.
Een verdere dimensie bij het gebruiken van geluid komt door de fysiekheid van het medium. Geluiden
kunnen invloed hebben op emotie, humeur en gevoelens. Er zijn nog andere typen multimodaliteit te
onderzoeken als het gaat om muziek, zoals het bestuderen van bladmuziek.
‘Multimodaliteit’
Hoofdstuk 1: Introductie: de uitdaging van
multimodaliteit
Multimodaliteit gebeurt ongeveer overal. Multimodaliteit is een manier om communicatieve
situaties te beschrijven (zeer breed beschouwd) die afhankelijk zijn van combinaties van verschillende
‘vormen’ van communicatie om effectief te zijn – het tv-programma maakt gebruik van gesproken
taal, afbeeldingen en tekst; het boek maakt gebruik van geschreven taal, afbeeldingen, diagrammen,
paginasamenstellingen en dergelijke; praten in een café brengt gesproken taal samen met een groot
aantal lichamelijke mogelijkheden (gebaren, gezichtsuitdrukkingen) en houdingen.
1.1 De eerste stappen… een multimodale draai?
Mediaconvergentie: media die bij elkaar samenkomen (bijv. een film die je laat zien op je iPad of
wanneer een websitemuziek afspeelt). Dit is niet meer speciaal, het is eerder de nieuwe norm
geworden. Daarom is het ook belangrijk dat de skills voor het combineren van modes/media
aangeleerd wordt aan jongeren, vandaar dat het nu ook in de curricula van scholen zit.
1.2 De reis vooruit
Multimodaliteit moet je niet zien als iets nieuws, maar als iets dat eigenlijk altijd al de norm is
geweest. Er wordt soms over gesproken als nieuwe media, omdat er door recente wetenschappelijke
methodes die samenkomen, nieuwe disciplines, onderzoeken en theorieën ontstaan.
Een metafoor die vaak wordt gebruikt bij multimodaliteit is ‘vermenigvuldiging’. Multimodaliteit moet
je niet zien als het optellen van twee (of meer) modes die samen zorgen voor multimodaliteit, het is
meer dan de som van modes, er ontstaat veel meer. Al die modes hangen samen met elkaar, zijn ook
afhankelijk van elkaar.
Interdependentie is een moeilijk probleem omdat het gebruik van verschillende modi samen invloed
kan hebben op wat elk bijdraagt. Dit betekent dat we heel voorzichtig moeten zijn dat we in onze
analyses kunnen scheiden ‘suggesties over wat een bepaalde modus bijdraagt’ en ‘suggesties die
alleen ontstaan door de combinatie met andere modi’. Modi die samen gepresenteerd worden,
moeten met respect voor de andere modi geanalyseerd worden en niet onafhankelijk gezien worden.
Daarom is een belangrijke uitdaging voor multimodaliteitsonderzoek om manieren te vinden om te
ontdekken hoe deze interafhankelijke modi in elkaar zitten en om methoden te ontwikkelen om deze
empirisch te onderzoeken. We moeten voorzichtig zijn in het suggereren dat een of andere bijdrage
in een bepaalde modus een bepaalde betekenis heeft. Ten eerste moeten we er rekening mee
houden dat misschien onze interpretatie van die betekenis al beïnvloed is door de andere bijdragen
waarmee het verschijnt/zich voordoet.
Multimodaliteit is van nature en intrinsiek een interdisciplinaire coöperatieve onderneming. Je moet
verder kijken dan één discipline of theorie.
, Hoofdstuk 2: Herkennen van multimodaliteit: oorsprong
en inspiraties
Vraag dit hoofdstuk: Hoe kunnen problemen en uitdagingen bij multimodaliteit ontstaan en wat
houden ze in?
2.1 Het ‘probleemgebied’ van multimodaliteit
Een probleem bij veel huidig onderzoek bij multimodaliteit is dat veel onderzoekers hun methoden
selecteren op basis van persoonlijke voorkeuren en omstandigheden bij hun opleiding. Dit zorgt voor
het probleem dat het kiezen van een benadering (bijv. de psychologische of de sociaal-semiotische
benadering) onze ogen sluit voor andere perspectieven die ons kunnen helpen het maximale eruit te
halen. Daarom moeten we kunnen identificeren welke problemen bij multimodaliteit voor we kunnen
kiezen welke benaderingen of methoden we gebruiken voor onderzoek. We zullen ons eerst focussen
op geluid en op beeld.
Wat moet er zijn voor het ontstaan van welke dan ook probleem van multimodaliteit?
We hebben in ieder geval verschillende materialen nodig – en daarbij materialen niet alleen
in fysieke zin, maar ook in verschillende materiaalsoorten, omdat ze op verschillende
manieren worden opgevangen en door onze zintuigen georganiseerd worden.
Er moeten rekening gehouden worden met taal, omdat zonder taal niet kunnen omgaan met
verschillende problemen die belangrijk zijn voor multimodaliteit, wat ook het geval zou zijn
als we geluid of beeld zouden negeren.
We hebben ook te maken met de discipline semiotiek, die zich bezighoudt met hoe iets, iets
kan betekenen voor iemand.
De rol v.d. maatschappij en cultuur is ook heel belangrijk.
2.2 Materialiteit en de zintuigen: geluid
Geluid is het resultaat van een golf die door een medium reist, wat betekent dat het materiaal van
het medium herhaaldelijk in een regelmatig patroon wordt verplaatst. Geluid heeft dus alle
gebruikelijke eigenschappen van golven (frequentie, amplitude, golflengte). Geluid is een
longitudinale golf.
Bij geluidsperceptie merk je niet alleen amplitudes of frequenties, je merkt ook wat de bron is van
het geluid. We ontvangen bij geluiden ook informatie over de grootte van de objecten die geluid
maken, of ze bijvoorbeeld hard of zacht zijn, of het contact kort of lang is, etc. Ook horen we in wat
voor omgeving het geluid is ontstaan. Geluid is dus niet alleen het horen van geluid, het geeft ook
informatie over ruimte, hardheid, afstand en directie. De betekenis die we geven aan geluiden
kunnen we niet uitzetten.
Muziek is speciaal, omdat je hierbij de individuele contributies kan horen (bij de kleur wit kun je niet
de andere kleuren zien waaruit de kleur wit is ontstaan). Menselijke perceptie omvat ook de
mogelijkheid om geluidssequenties van muziek te onthouden en om bepaalde uitkomsten van
harmonische progressies te voorspellen.
Muziek wordt vaak in combinatie met andere expressies gebruikt, zoals songteksten. Hierbij heb je
het niet alleen over melodie en songteksten, maar ook over rijmen, amplitude, etc. Ook connecties
van muziek met het visueel zijn wijdverspreid, zoals muziek met animatie of muziek en film.
Een verdere dimensie bij het gebruiken van geluid komt door de fysiekheid van het medium. Geluiden
kunnen invloed hebben op emotie, humeur en gevoelens. Er zijn nog andere typen multimodaliteit te
onderzoeken als het gaat om muziek, zoals het bestuderen van bladmuziek.
