Samenvatting Multimedia
Hoofdstuk 1: Introduction to Multimedia
1.1 The need for compression
compression ratio: #bits input / #bits output
Input rate:
○ resolutie in pixels
○ 3 kleurencomponenten per pixel (RGB, YUV → Y voor luminantie & UV voor
chrominantie)
○ # bit per component
○ # frames per second
1.3 Requirements and trade-offs
● Lossy vs lossles compressie: Bij lossless wordt originele data gecomprimeerd en kan
het exact terug worden gereconstrueerd. Geen data verloren → meestal beperkte
compressie. Bij lossy gaat er data verloren, maar meestal onmerkbaar voor oog of oor
→ hogere compressie
1.4 The basics of compression
Meten van visuele kwaliteit
○ subjectief: testen (met mensen), duurder en tijdsintensief maar betrouwbaarder
○ objectief: metrics zoals PSNR (Peak Signal to Noise Ratio)
Hoofdstuk 2: Image Data Representation
2.2 Raster Images
○ Multimedia content wordt meestal weergegeven op raster displays zoals LCD,
LED schermen of printers.
○ Worden ook gebruikt in input devices: camera’s, scanners…
○ Meest voorkomende manier om afbeeldingen op te slaan en te verwerken
○ 2D array van pixelwaarden
○ ook wel bitmap images genoemd
○ device-independentbeschrijving vd afbeelding
● Vector Images
, ○ bevatten beschrijvingen van vormen en kleurgebieden begrensd door lijnen of
curves (instructies niet pixels zelf)
○ resolution-independent (denk aan ondertiteling)
○ moeten eerst gerasteriseerd worden
○ vb. SVG (Scalable Vector Graphis)
● Raster Devices
○ Output
■ Display
● transmissive: LCD (Liquid Crystal Display)
● emissive: LED (light-emitting diode)
■ Hardcopy
● binary: inkt-jet printer
● continuous tone: dye sublimation printer
○ Input
■ 2D array sensor: digitale camera
■ 1D array sensor: flatbed scanner
2.2.1 Displays:
2.2.1.1 LCD
○ gebruikt een backlight die door een pixelarray gaat. Liquid crystal kan de
polarisatie van licht roteren van 0° (uit) naar 90° (aan) met behulp van een
aangelegde spanning. Dit bepaalt hoeveel licht door de pixel kan gaan.
○ transmissive: Pixels zenden zelf geen licht uit maar laten licht passeren van een
backlight erachter
,2.2.1.1 LED
○ LED displays zenden zelf licht uit. Elke pixel is een LED die licht
produceert met intensiteit afhankelijk van de elektrische stroom
erdoorheen.
○ emissive: Pixels zenden direct zelf licht uit
2.2.2 Hardcopy devices
Ink-jet Printers
Printhead spuit inktdruppels onder elektronische controle (binair). Resolutie bepaald
door puntdichtheid (1200 dpi). Hoge resolutie voorkomt aliasing. Dithering voor betere
kwaliteit.
Continuous Tone Printing
Verwarmingselementen in printhead regelen hoeveel kleur per pixel wordt afgezet.
Resolutie bepaald door pixeldichtheid (bijvoorbeeld 300 ppi). Halftone gebruikt voor
tussentoonkleuren.
2.2.3 Dithering
● Elke pixel wordt vervangen door een patroon (2x2 of 4x4) met meer punten naarmate
de pixelwaarde donkerder is. Dit simuleert grijstinten op printers die alleen zwart of
wit kunnen printen.
● Nadeel: afbeelding wordt veel groter (4x4 patroon = 16x zo groot)
2.2.3.2 Ordered Dithering
, Om het probleem op te lossen dat afbeelding groter wordt, lan bv. een 4x4 dither matrix
wordt gebruikt. Voor elke pixel wordt gekeken: als de intensiteit kleiner is dan het
matrixelement op die positie, wordt de printer aan gezet.
Digital Cameras
Elke pixelsensor meet de lichtenergie die erop valt. Gebruikt CCD of CMOS sensor
technologie.
Pixels zien maar één kleur (rood, groen of blauw) via kleurfilters. Dit kan via een Bayer mosaic
(één filter per pixel) of via aparte 3-CCD/3-CMOS arrays voor elke kleur.
2.3 Images and Pixels
● Pixelwaarde: Een lokale gemiddelde van de kleur, een point sample van het beeld. Dit is
kernaspect in beeldverwerking en gerelateerd aan samplingtheorie.
● Representatie: Conceptueel arrays van floating-point getallen (1 per pixel voor
grijstinten, 3 voor kleur). Devices hebben eindige maxima, dus intensiteitswaarden zijn
begrensd (0-1).
● Opslag: Voor efficiëntie kiezen we een aantal bits. Bijvoorbeeld 8-bit geeft 256
intensiteitsniveaus.
● Problemen:
○ Clipping: Intensiteitswaarden helderder dan het maximum worden op het
maximum gezet (verlies van detail in heldere gebieden).
Hoofdstuk 1: Introduction to Multimedia
1.1 The need for compression
compression ratio: #bits input / #bits output
Input rate:
○ resolutie in pixels
○ 3 kleurencomponenten per pixel (RGB, YUV → Y voor luminantie & UV voor
chrominantie)
○ # bit per component
○ # frames per second
1.3 Requirements and trade-offs
● Lossy vs lossles compressie: Bij lossless wordt originele data gecomprimeerd en kan
het exact terug worden gereconstrueerd. Geen data verloren → meestal beperkte
compressie. Bij lossy gaat er data verloren, maar meestal onmerkbaar voor oog of oor
→ hogere compressie
1.4 The basics of compression
Meten van visuele kwaliteit
○ subjectief: testen (met mensen), duurder en tijdsintensief maar betrouwbaarder
○ objectief: metrics zoals PSNR (Peak Signal to Noise Ratio)
Hoofdstuk 2: Image Data Representation
2.2 Raster Images
○ Multimedia content wordt meestal weergegeven op raster displays zoals LCD,
LED schermen of printers.
○ Worden ook gebruikt in input devices: camera’s, scanners…
○ Meest voorkomende manier om afbeeldingen op te slaan en te verwerken
○ 2D array van pixelwaarden
○ ook wel bitmap images genoemd
○ device-independentbeschrijving vd afbeelding
● Vector Images
, ○ bevatten beschrijvingen van vormen en kleurgebieden begrensd door lijnen of
curves (instructies niet pixels zelf)
○ resolution-independent (denk aan ondertiteling)
○ moeten eerst gerasteriseerd worden
○ vb. SVG (Scalable Vector Graphis)
● Raster Devices
○ Output
■ Display
● transmissive: LCD (Liquid Crystal Display)
● emissive: LED (light-emitting diode)
■ Hardcopy
● binary: inkt-jet printer
● continuous tone: dye sublimation printer
○ Input
■ 2D array sensor: digitale camera
■ 1D array sensor: flatbed scanner
2.2.1 Displays:
2.2.1.1 LCD
○ gebruikt een backlight die door een pixelarray gaat. Liquid crystal kan de
polarisatie van licht roteren van 0° (uit) naar 90° (aan) met behulp van een
aangelegde spanning. Dit bepaalt hoeveel licht door de pixel kan gaan.
○ transmissive: Pixels zenden zelf geen licht uit maar laten licht passeren van een
backlight erachter
,2.2.1.1 LED
○ LED displays zenden zelf licht uit. Elke pixel is een LED die licht
produceert met intensiteit afhankelijk van de elektrische stroom
erdoorheen.
○ emissive: Pixels zenden direct zelf licht uit
2.2.2 Hardcopy devices
Ink-jet Printers
Printhead spuit inktdruppels onder elektronische controle (binair). Resolutie bepaald
door puntdichtheid (1200 dpi). Hoge resolutie voorkomt aliasing. Dithering voor betere
kwaliteit.
Continuous Tone Printing
Verwarmingselementen in printhead regelen hoeveel kleur per pixel wordt afgezet.
Resolutie bepaald door pixeldichtheid (bijvoorbeeld 300 ppi). Halftone gebruikt voor
tussentoonkleuren.
2.2.3 Dithering
● Elke pixel wordt vervangen door een patroon (2x2 of 4x4) met meer punten naarmate
de pixelwaarde donkerder is. Dit simuleert grijstinten op printers die alleen zwart of
wit kunnen printen.
● Nadeel: afbeelding wordt veel groter (4x4 patroon = 16x zo groot)
2.2.3.2 Ordered Dithering
, Om het probleem op te lossen dat afbeelding groter wordt, lan bv. een 4x4 dither matrix
wordt gebruikt. Voor elke pixel wordt gekeken: als de intensiteit kleiner is dan het
matrixelement op die positie, wordt de printer aan gezet.
Digital Cameras
Elke pixelsensor meet de lichtenergie die erop valt. Gebruikt CCD of CMOS sensor
technologie.
Pixels zien maar één kleur (rood, groen of blauw) via kleurfilters. Dit kan via een Bayer mosaic
(één filter per pixel) of via aparte 3-CCD/3-CMOS arrays voor elke kleur.
2.3 Images and Pixels
● Pixelwaarde: Een lokale gemiddelde van de kleur, een point sample van het beeld. Dit is
kernaspect in beeldverwerking en gerelateerd aan samplingtheorie.
● Representatie: Conceptueel arrays van floating-point getallen (1 per pixel voor
grijstinten, 3 voor kleur). Devices hebben eindige maxima, dus intensiteitswaarden zijn
begrensd (0-1).
● Opslag: Voor efficiëntie kiezen we een aantal bits. Bijvoorbeeld 8-bit geeft 256
intensiteitsniveaus.
● Problemen:
○ Clipping: Intensiteitswaarden helderder dan het maximum worden op het
maximum gezet (verlies van detail in heldere gebieden).
