Begrippen multimodaliteit
Hoofdstuk 1
Multimodaliteit: een manier om communicatieve situaties te categoriseren die gebruik maken
van verschillende vormen van communicatie.
Modi: alle vormen van verbale, non-verbale en contextuele communicatie, denk aan
kleurgebruik, tekst, muziek etc.
Cognitieve functies: functies die te maken hebben met het verwerken van informatie.
Interdependentie: (onderlinge afhankelijkheid), modi die samen worden gepresenteerd,
moeten ten opzichte van elkaar worden geïnterpreteerd en kunnen dus niet onafhankelijk
worden beschouwd.
Multiplication: multimodaliteit is meer dan slechts twee modi naast elkaar plaatsen in wat
dan een ‘additieve’ relatie zou zijn. De combinatie van deze modi is meer dan het optellen
van de modi.
Multimodal turn: het besef van multimodaliteit werkt niet alleen door in de manier waarop
onderzoeken worden gestructureerd en uitgevoerd, maar ook in onze dagelijkse manier van
denken en acteren.
Media convergence: Het essentiële idee hier is dat we niet langer afzonderlijke media
hebben, we hebben in plaats daarvan media die in staat zijn het werk van velen te doen.
Denk aan een iPad waar een film op wordt afgespeeld. Dit wordt ook wel ‘new media’
genoemd, maar eigenlijk is multimodale media altijd de norm geweest.
Hoofdstuk 2
Semiotiek: tekenleer, hoe kan het zijn dat iets, iets voor iemand gaat betekenen?
Materialiteit (traces): sporen die we kunnen traceren. We kunnen geluid en beeld traceren.
Stereofonisch: horen met beide oren, hierdoor weten we wat de afstand en de richting van
het geluid is.
Sensorisch: zintuiglijk
Individuele contributies: individuele bijdrage. Bij muziek kun je de verschillende instrumenten
horen, bij bijvoorbeeld de kleur wit kun je niet alle individuele kleuren onderscheiden.
Iconografie: gaat in op de diepere en voor leken verborgen betekenis van het onderwerp.
Een belangrijk gebied van visuele betekenis gaat over hoe bepaalde representaties in de
geschiedenis van een cultuur terugkomen
Monomodaal: Minder nadruk op de manier waarop betekenis wordt gegeven door
combinaties van modi.
,Monodisciplinair: wetenschappers richten zich alleen op een enkele modi in plaats van alle
verschillende modi, hierdoor missen we te veel informatie.
Functies beeld:
- Associatieve functie: Herkennen van iets dat wij al eerder hebben gezien.
- Compositionality: Hoe onderdelen van beeld zich van elkaar verhouden. Door losse
onderdelen zijn wij het geheel.
- Resemblance: wij herkennen dat bepaalde vormen overeenkomen met wat we
ermee associëren. Dus een afbeelding van een hond herkennen wij als hond.
- Propositions: beelden zijn minder goed in staat iets te stellen. Het kan op een plaatje
regenen, maar het kan dan in werkelijkheid niet regenen.
- Experience: het ervaren van beelden die meer doen dan je normaal uit een
afbeelding zou kunnen leiden. Denk aan emoties of ‘satisfying’ filmpjes.
Geluid: het resultaat van een golf die door een medium reist. Geluid heeft fysieke
eigenschappen en perceptuele eigenschappen.
- Frequentie: de frequentie van een golf zegt iets over hoe vaak de golf beweegt in
één seconde. De eenheid hiervan is hertz (Hz). De frequentie van een golf bepaalt
hoe hoog of hoe laag de toon klinkt.
- Amplitude: de amplitude zegt iets over hoe hoog de golven zijn. Als de amplitude van
een geluidsgolf groter wordt, dan wordt het geluid harder.
- Golflengte: de afstand die de golf in één periode heeft afgelegd
Haptic visuality: op geluidloze fragmenten kun je ook een reactie krijgen. Nagels over een
schoolbord bijvoorbeeld.
Gestaltpsychologie: keert het begrip compositionaliteit om, we herkennen een bepaalde
vorm of motief niet door er delen uit te pikken en deze tot een geheel te bouwen, maar door
een geheel te herkennen en deze als brug te gebruiken om delen te bepalen.
Denotatie: wat er daadwerkelijk te zien is
Connotatie: wat betekent het, hierbij wordt er associatie gebruikt.
Kenmerken Taal:
- Conventie: we weten wat het woord betekent, niet door de letters maar omdat we
de betekenis weten.
- Compositionaliteit: letters op zichzelf hebben geen betekenis, pas als je ze
samenvoegt.
- Substitutie: in een zin kun je gemakkelijk woorden vervangen. Bij local effects
verandert alleen het woord, bij non-local effects ook de betekenis.
- Dubbele articulatie: Talen formuleren niet alleen woorden om betekenisvolle zinnen
te vormen, ze formuleren ook betekenisloze geluiden (letters) om woorden te vormen
- Functionaliteit: Taal gaat niet alleen over betekenissen oproepen, maar we doen er
ook iets mee. Alle woorden en de grammatica hebben een functie voor de betekenis.
Human-computer interaction (HCI): hoe wij met een computer communiceren en deze
besturen.
, Computer gemedieerde communicatie, waarbij mens- menscommunicatie plaatsvindt via
een computerplatform zoals bijvoorbeeld Whatsapp.
Literaire studies: communicatie met taal en beeld begint hier heel dicht bij elkaar te komen.
Er is een link tussen woorden, beelden, emoties en handelingen.
Transportatie: als we worden meegenomen in een verhaal.
Ephraim Lessing: gaf manieren aan om onderscheid tussen media te maken, namelijk
ongesproken (bijvoorbeeld een afbeelding) of gesproken (bijvoorbeeld een gedicht). Toch
kwam hij erop terug dat deze manieren niet zo houdbaar waren.
Retorische techniek van Ekphrasis: het proberen om een intensief visueel of anderszins
sensuele ervaring, een kunstwerk of situatie te verwekken door een gedetailleerde
mondelinge beschrijving te gebruiken.
Transmediaal: het gebruik maken van verschillende soorten media
Hypertext: een tekst met direct activeerbare verwijzingen naar bijvoorbeeld andere teksten
(intertextualiteit) of afbeeldingen.
Multimedia literacy: het kunnen omgaan met multimodaal communiceren.
Multimedia effect: we leren meer als informatie zowel als tekst als in beeld getoond wordt.
Coherence effect: we leren meer als alleen de relevantie informatie wordt verteld (dus
zonder gekke feitjes etc)
Spatial Contiguity effect: tekst en bijbehorende plaatjes moeten dicht bij elkaar
gepresenteerd worden.
Drie gegeneraliseerde communicatieve functies/metafuncties van taal
- Ideologisch: we praten over dingen, waar staat dit eigenlijk voor. De representatieve
of wereld beschrijvende rol van taal.
- Interpersoonlijk: de rol van taal bij het tot stand brengen van sociale relaties,
evaluaties en interacties tussen deelnemers in een bepaalde taalsituatie.
- Tekst: We combineren losse zinnen, taaluitingen tot complexere gehelen, teksten.
Saussure-langue: het abstracte systeem van taal.
Saussure-parole: het werkelijke taalgedrag.
Arbitrair: de tekens die wij gebruiken om woorden te schrijven zijn willekeurig.
Sound image/signifier: (Saussure) datgene wat wij zeggen/horen.
Concept/signified: (Saussure) datgene dat door de sound image wordt opgeroepen.
Representamen: (Pierce) de sound image.
Hoofdstuk 1
Multimodaliteit: een manier om communicatieve situaties te categoriseren die gebruik maken
van verschillende vormen van communicatie.
Modi: alle vormen van verbale, non-verbale en contextuele communicatie, denk aan
kleurgebruik, tekst, muziek etc.
Cognitieve functies: functies die te maken hebben met het verwerken van informatie.
Interdependentie: (onderlinge afhankelijkheid), modi die samen worden gepresenteerd,
moeten ten opzichte van elkaar worden geïnterpreteerd en kunnen dus niet onafhankelijk
worden beschouwd.
Multiplication: multimodaliteit is meer dan slechts twee modi naast elkaar plaatsen in wat
dan een ‘additieve’ relatie zou zijn. De combinatie van deze modi is meer dan het optellen
van de modi.
Multimodal turn: het besef van multimodaliteit werkt niet alleen door in de manier waarop
onderzoeken worden gestructureerd en uitgevoerd, maar ook in onze dagelijkse manier van
denken en acteren.
Media convergence: Het essentiële idee hier is dat we niet langer afzonderlijke media
hebben, we hebben in plaats daarvan media die in staat zijn het werk van velen te doen.
Denk aan een iPad waar een film op wordt afgespeeld. Dit wordt ook wel ‘new media’
genoemd, maar eigenlijk is multimodale media altijd de norm geweest.
Hoofdstuk 2
Semiotiek: tekenleer, hoe kan het zijn dat iets, iets voor iemand gaat betekenen?
Materialiteit (traces): sporen die we kunnen traceren. We kunnen geluid en beeld traceren.
Stereofonisch: horen met beide oren, hierdoor weten we wat de afstand en de richting van
het geluid is.
Sensorisch: zintuiglijk
Individuele contributies: individuele bijdrage. Bij muziek kun je de verschillende instrumenten
horen, bij bijvoorbeeld de kleur wit kun je niet alle individuele kleuren onderscheiden.
Iconografie: gaat in op de diepere en voor leken verborgen betekenis van het onderwerp.
Een belangrijk gebied van visuele betekenis gaat over hoe bepaalde representaties in de
geschiedenis van een cultuur terugkomen
Monomodaal: Minder nadruk op de manier waarop betekenis wordt gegeven door
combinaties van modi.
,Monodisciplinair: wetenschappers richten zich alleen op een enkele modi in plaats van alle
verschillende modi, hierdoor missen we te veel informatie.
Functies beeld:
- Associatieve functie: Herkennen van iets dat wij al eerder hebben gezien.
- Compositionality: Hoe onderdelen van beeld zich van elkaar verhouden. Door losse
onderdelen zijn wij het geheel.
- Resemblance: wij herkennen dat bepaalde vormen overeenkomen met wat we
ermee associëren. Dus een afbeelding van een hond herkennen wij als hond.
- Propositions: beelden zijn minder goed in staat iets te stellen. Het kan op een plaatje
regenen, maar het kan dan in werkelijkheid niet regenen.
- Experience: het ervaren van beelden die meer doen dan je normaal uit een
afbeelding zou kunnen leiden. Denk aan emoties of ‘satisfying’ filmpjes.
Geluid: het resultaat van een golf die door een medium reist. Geluid heeft fysieke
eigenschappen en perceptuele eigenschappen.
- Frequentie: de frequentie van een golf zegt iets over hoe vaak de golf beweegt in
één seconde. De eenheid hiervan is hertz (Hz). De frequentie van een golf bepaalt
hoe hoog of hoe laag de toon klinkt.
- Amplitude: de amplitude zegt iets over hoe hoog de golven zijn. Als de amplitude van
een geluidsgolf groter wordt, dan wordt het geluid harder.
- Golflengte: de afstand die de golf in één periode heeft afgelegd
Haptic visuality: op geluidloze fragmenten kun je ook een reactie krijgen. Nagels over een
schoolbord bijvoorbeeld.
Gestaltpsychologie: keert het begrip compositionaliteit om, we herkennen een bepaalde
vorm of motief niet door er delen uit te pikken en deze tot een geheel te bouwen, maar door
een geheel te herkennen en deze als brug te gebruiken om delen te bepalen.
Denotatie: wat er daadwerkelijk te zien is
Connotatie: wat betekent het, hierbij wordt er associatie gebruikt.
Kenmerken Taal:
- Conventie: we weten wat het woord betekent, niet door de letters maar omdat we
de betekenis weten.
- Compositionaliteit: letters op zichzelf hebben geen betekenis, pas als je ze
samenvoegt.
- Substitutie: in een zin kun je gemakkelijk woorden vervangen. Bij local effects
verandert alleen het woord, bij non-local effects ook de betekenis.
- Dubbele articulatie: Talen formuleren niet alleen woorden om betekenisvolle zinnen
te vormen, ze formuleren ook betekenisloze geluiden (letters) om woorden te vormen
- Functionaliteit: Taal gaat niet alleen over betekenissen oproepen, maar we doen er
ook iets mee. Alle woorden en de grammatica hebben een functie voor de betekenis.
Human-computer interaction (HCI): hoe wij met een computer communiceren en deze
besturen.
, Computer gemedieerde communicatie, waarbij mens- menscommunicatie plaatsvindt via
een computerplatform zoals bijvoorbeeld Whatsapp.
Literaire studies: communicatie met taal en beeld begint hier heel dicht bij elkaar te komen.
Er is een link tussen woorden, beelden, emoties en handelingen.
Transportatie: als we worden meegenomen in een verhaal.
Ephraim Lessing: gaf manieren aan om onderscheid tussen media te maken, namelijk
ongesproken (bijvoorbeeld een afbeelding) of gesproken (bijvoorbeeld een gedicht). Toch
kwam hij erop terug dat deze manieren niet zo houdbaar waren.
Retorische techniek van Ekphrasis: het proberen om een intensief visueel of anderszins
sensuele ervaring, een kunstwerk of situatie te verwekken door een gedetailleerde
mondelinge beschrijving te gebruiken.
Transmediaal: het gebruik maken van verschillende soorten media
Hypertext: een tekst met direct activeerbare verwijzingen naar bijvoorbeeld andere teksten
(intertextualiteit) of afbeeldingen.
Multimedia literacy: het kunnen omgaan met multimodaal communiceren.
Multimedia effect: we leren meer als informatie zowel als tekst als in beeld getoond wordt.
Coherence effect: we leren meer als alleen de relevantie informatie wordt verteld (dus
zonder gekke feitjes etc)
Spatial Contiguity effect: tekst en bijbehorende plaatjes moeten dicht bij elkaar
gepresenteerd worden.
Drie gegeneraliseerde communicatieve functies/metafuncties van taal
- Ideologisch: we praten over dingen, waar staat dit eigenlijk voor. De representatieve
of wereld beschrijvende rol van taal.
- Interpersoonlijk: de rol van taal bij het tot stand brengen van sociale relaties,
evaluaties en interacties tussen deelnemers in een bepaalde taalsituatie.
- Tekst: We combineren losse zinnen, taaluitingen tot complexere gehelen, teksten.
Saussure-langue: het abstracte systeem van taal.
Saussure-parole: het werkelijke taalgedrag.
Arbitrair: de tekens die wij gebruiken om woorden te schrijven zijn willekeurig.
Sound image/signifier: (Saussure) datgene wat wij zeggen/horen.
Concept/signified: (Saussure) datgene dat door de sound image wordt opgeroepen.
Representamen: (Pierce) de sound image.
