Chapter 1 Introduction: the challenge of
multimodality
1.1 First steps … a multimodal turn?
Mediaconvergentie: media die samenkomen
1.2 The journey ahead
Multiplying: multimodaliteit moet je niet zien als de optelsom van twee modes, het is
meer dan dat. Er ontstaat namelijk iets nieuws.
Modes of expression: dans, plaatjes, intonatie, etc.
Interdependentie: het gebruik van verschillende modi kan invloed hebben op wat elk
van die modi bijdraagt. Modi die samen gepresenteerd worden, moeten met respect
voor de andere modi geanalyseerd worden.
Chapter 2 Recognising multimodality: origins and
inspirations
2.1 The “problem space” of multimodality as such
Vier basisvormen materialiteit:
1. Materiality
2. Language
3. Semiotics
4. Society
2.2 Materiality and the senses: sound
Gesamtkunstwerk: samenspel van alle kunsten. Bij bijvoorbeeld opera komen
muziek, performance, kostuums, lichttechniek en podiumtechnieken samen.
2.3 Materiality and the senses: vision and visuality
Denotation: wat er daadwerkelijk te zien is.
Connotation: wat ermee geassocieerd wordt (in bepaalde culturen)
Vijf kenmerken waar visuele uitingen aan voldoen:
1. Association: ons visuele verwerkingssysteem kan overeenkomsten in beelden
snel herkennen.
Iconography: de diepere, verborgen betekenis van het onderwerp en
de details van het kunstwerk.
2. Compositionality: de betekenis van het geheel wordt bepaald door de
samenstellende delen. Je kunt delen van de afbeelding niet los van elkaar
zien, het is allemaal eén geheel.
Gestaltpsychologie: we nemen geen losse elementen waar, maar
groeperen deze en leiden hier de losstaande delen uit af. (Denk aan de
gezichtsbedrog foto van konijn en eend).
3. Resemblance: een plaatje van een hond lijkt ook op een hond, terwijl het
woord “hond” niet op een hond lijkt.
4. Propositions: beelden kunnen alleen laten zien wat er is, niet wat er niet is.
, Visual pragmatics: de relatie tussen afbeeldingen en hun gebruik in de
context.
5. Experience: de ervaring die de visuele uiting bij de kijker oproept. Vaak
worden taalmodellen gebruikt voor visuele afbeeldingen, de visuele ervaring
wordt hier echter genegeerd.
Haptic visuality: als je een film kijkt zonder geluid, en iemand in de film haalt zijn
nagels over het krijtbord, dan voel je je oncomfortabel, ondanks dat je het irritante
geluid niet hoort.
2.4 Language
Kenmerken van taal die bijdragen aan multimodaliteit:
1. Conventionality: een aantal opties hadden met gelijke successen gekozen
kunnen worden, maar slechts eén optie wordt regelmatig gebruikt door de
gemeenschap.
2. Compositionality: de betekenis van het geheel wordt opgebouwd uit de
betekenis van de delen. Om te begrijpen wat “the girl chased the dog”
betekent, moet je eerst de betekenis van “girl” en “do” kennen.
3. Substitutivity: men kan elementen door andere elementen vervangen, zonder
effect te hebben op de elementen die niet zijn aangepast. Als je bij “the girl
chased the dog” “girl” vervangt door “boy”, heeft dat geen invloed op “dog”.
4. Double articulation: taal bestaat uit betekenisvolle woorden en betekenisloze
geluiden.
5. Functionality: een zin vormt bepaalde communicatieve functies uit, maar
grammatica zelf lijkt te zijn ontwikkeld op basis van deze functies.
Twee hoofdgebieden die taal en multimodaliteit bij elkaar betrekken:
1. Het basisprobleem van het beschrijven van de data die en analyseert: bij
onderzoek naar gesproken taal werd vaak gewerkt met transcripties, waarbij
alleen gesproken taal werd genoteerd, maar niet de pauzes, intonaties, etc.
2. Gesproken taal bestaat niet alleen uit uitspraken, maar ook uit gebaren.
Ekphrasis: poetische term die prbeert een intensief visuele of sensuele ervaring van
een kunstwerk te verwekken door een gedetailleerde mondelinge beschrijving te
gebruiken.
Hypertext: tekst met direct activeerbare verwijzingen naar andere teksten, plaatjes.
De drie metafuncties van taal:
1. Ideologisch: wereld-beschrijvende rol van taal
2. Interpersoonlijk: opstellen van sociale relaties
3. Tekst: taal biedt mechanismen voor het combineren van individuele bijdragen
en het vormen van zinnen.
2.5 Semiotics
Semiotics: de studie naar tekenen en hun betekenis.
Saussure:
o Betekenis komt met de waarneming, in een context en is arbitrair en relatief
o Langue: abstracte systeem van taal
o Parole: het werkelijke taalgedrag
o Arbitrariness:
1. Concept/ signified/ een boom
multimodality
1.1 First steps … a multimodal turn?
Mediaconvergentie: media die samenkomen
1.2 The journey ahead
Multiplying: multimodaliteit moet je niet zien als de optelsom van twee modes, het is
meer dan dat. Er ontstaat namelijk iets nieuws.
Modes of expression: dans, plaatjes, intonatie, etc.
Interdependentie: het gebruik van verschillende modi kan invloed hebben op wat elk
van die modi bijdraagt. Modi die samen gepresenteerd worden, moeten met respect
voor de andere modi geanalyseerd worden.
Chapter 2 Recognising multimodality: origins and
inspirations
2.1 The “problem space” of multimodality as such
Vier basisvormen materialiteit:
1. Materiality
2. Language
3. Semiotics
4. Society
2.2 Materiality and the senses: sound
Gesamtkunstwerk: samenspel van alle kunsten. Bij bijvoorbeeld opera komen
muziek, performance, kostuums, lichttechniek en podiumtechnieken samen.
2.3 Materiality and the senses: vision and visuality
Denotation: wat er daadwerkelijk te zien is.
Connotation: wat ermee geassocieerd wordt (in bepaalde culturen)
Vijf kenmerken waar visuele uitingen aan voldoen:
1. Association: ons visuele verwerkingssysteem kan overeenkomsten in beelden
snel herkennen.
Iconography: de diepere, verborgen betekenis van het onderwerp en
de details van het kunstwerk.
2. Compositionality: de betekenis van het geheel wordt bepaald door de
samenstellende delen. Je kunt delen van de afbeelding niet los van elkaar
zien, het is allemaal eén geheel.
Gestaltpsychologie: we nemen geen losse elementen waar, maar
groeperen deze en leiden hier de losstaande delen uit af. (Denk aan de
gezichtsbedrog foto van konijn en eend).
3. Resemblance: een plaatje van een hond lijkt ook op een hond, terwijl het
woord “hond” niet op een hond lijkt.
4. Propositions: beelden kunnen alleen laten zien wat er is, niet wat er niet is.
, Visual pragmatics: de relatie tussen afbeeldingen en hun gebruik in de
context.
5. Experience: de ervaring die de visuele uiting bij de kijker oproept. Vaak
worden taalmodellen gebruikt voor visuele afbeeldingen, de visuele ervaring
wordt hier echter genegeerd.
Haptic visuality: als je een film kijkt zonder geluid, en iemand in de film haalt zijn
nagels over het krijtbord, dan voel je je oncomfortabel, ondanks dat je het irritante
geluid niet hoort.
2.4 Language
Kenmerken van taal die bijdragen aan multimodaliteit:
1. Conventionality: een aantal opties hadden met gelijke successen gekozen
kunnen worden, maar slechts eén optie wordt regelmatig gebruikt door de
gemeenschap.
2. Compositionality: de betekenis van het geheel wordt opgebouwd uit de
betekenis van de delen. Om te begrijpen wat “the girl chased the dog”
betekent, moet je eerst de betekenis van “girl” en “do” kennen.
3. Substitutivity: men kan elementen door andere elementen vervangen, zonder
effect te hebben op de elementen die niet zijn aangepast. Als je bij “the girl
chased the dog” “girl” vervangt door “boy”, heeft dat geen invloed op “dog”.
4. Double articulation: taal bestaat uit betekenisvolle woorden en betekenisloze
geluiden.
5. Functionality: een zin vormt bepaalde communicatieve functies uit, maar
grammatica zelf lijkt te zijn ontwikkeld op basis van deze functies.
Twee hoofdgebieden die taal en multimodaliteit bij elkaar betrekken:
1. Het basisprobleem van het beschrijven van de data die en analyseert: bij
onderzoek naar gesproken taal werd vaak gewerkt met transcripties, waarbij
alleen gesproken taal werd genoteerd, maar niet de pauzes, intonaties, etc.
2. Gesproken taal bestaat niet alleen uit uitspraken, maar ook uit gebaren.
Ekphrasis: poetische term die prbeert een intensief visuele of sensuele ervaring van
een kunstwerk te verwekken door een gedetailleerde mondelinge beschrijving te
gebruiken.
Hypertext: tekst met direct activeerbare verwijzingen naar andere teksten, plaatjes.
De drie metafuncties van taal:
1. Ideologisch: wereld-beschrijvende rol van taal
2. Interpersoonlijk: opstellen van sociale relaties
3. Tekst: taal biedt mechanismen voor het combineren van individuele bijdragen
en het vormen van zinnen.
2.5 Semiotics
Semiotics: de studie naar tekenen en hun betekenis.
Saussure:
o Betekenis komt met de waarneming, in een context en is arbitrair en relatief
o Langue: abstracte systeem van taal
o Parole: het werkelijke taalgedrag
o Arbitrariness:
1. Concept/ signified/ een boom
