Deformable_mod
Deformierbare Gesichtsmodelle
Schwachpunkt des Eigenface-Ansatzes
Kein Gesicht ist gleich Features sind woanders
Augen haben eine konstante, aber der Rest des Gesichts ist verschwommen
Vektorkomponenten beschreiben nicht immer den gleichen Punkt (Augenwinkel …)
Resultat: Ghosting Artifacts in Eigenfaces
Verschiebung und Skalierung reduziert dieses Problem etwas
Heute: Warp der Bilder obligatorisch in Morphable Models, Active Appearance Models
Das Korrespondenzproblem
Identifiziere korrespondierende Punkte
Augenwinkel, Mundwinkel, Nasenspitze
Repräsentiere diese immer durch die gleiche Variable
Unterscheide die individuelle
2DForm = Lage der Merkmale
Farbe / Grauwert / Textur der Merkmale
PCA der Form und Textur
Formbasierte Objektpräsentation
(Snakes=Active Contour Models
Kass, Witkin, Terzopoulos 1987)
Active Shape Models
Cootes, Taylor 1995
2D Morphable Models
Poggio, Vetter, Beymer, Jones 19951998
Sehr ähnlicher Ansatz zu:
Active Appearance Models
Cootes, Taylor, Edwards 1998
3D Morphable Models
Blanz, Vetter 1999
Snakes = Active Contour Models
Verfolgung von Linien in Bildsequenzen
Linien: Mund, Nase, Augenbrauen etc.
Manuell initialisiert
Energieminimisierender Spline:
Steifigkeit
Verformung war teuer und noch teurer wenn es Zeit echt war
Viskoelastizität
Äußeres Potential
, Bewegungsgleichungen
Implizite Eulermethode
Snakes
Tracking von Features zur Gesichtsanimation
Konturmodelle
Anpassung eines deformierbaren Kurvenmodells an Grauwertkonturen.
Aufgaben:
Vermeide unplausible Verläufe
Interpoliere über Bildbereiche mit fehlendem Kontursignal: Konturvervollständigung.
Snakes: Innere Steifigkeit
Active Shape Models: erlerntes Modell der möglichen (erlaubten) Formen
Active Shape Models, ASM
Zunächst für elektrische Widerstände, Hände, medizinische Daten, später für Gesichter
ASM: Lernphase
1. Labeling: Manuelle Markierung der Merkmalspunkte auf der Trainingsmenge. Merkmal i
auf Bild j:
2. Alignment: Verschiebung, Skalierung und Rotation der Bildkoordinaten der Merkmale, bis
minimaler least-squares Fehler korrespondierender Punkte untereinander.
3. PCA der xy-Koordinaten: nach Zusammenführung in einem Vektor
Wenn sich ein Punkt verschoben hat, dann verschieben sich die anderen auch
dementsprechend damit das passt und kein Wirrwarr entsteht
Deformierbare Gesichtsmodelle
Schwachpunkt des Eigenface-Ansatzes
Kein Gesicht ist gleich Features sind woanders
Augen haben eine konstante, aber der Rest des Gesichts ist verschwommen
Vektorkomponenten beschreiben nicht immer den gleichen Punkt (Augenwinkel …)
Resultat: Ghosting Artifacts in Eigenfaces
Verschiebung und Skalierung reduziert dieses Problem etwas
Heute: Warp der Bilder obligatorisch in Morphable Models, Active Appearance Models
Das Korrespondenzproblem
Identifiziere korrespondierende Punkte
Augenwinkel, Mundwinkel, Nasenspitze
Repräsentiere diese immer durch die gleiche Variable
Unterscheide die individuelle
2DForm = Lage der Merkmale
Farbe / Grauwert / Textur der Merkmale
PCA der Form und Textur
Formbasierte Objektpräsentation
(Snakes=Active Contour Models
Kass, Witkin, Terzopoulos 1987)
Active Shape Models
Cootes, Taylor 1995
2D Morphable Models
Poggio, Vetter, Beymer, Jones 19951998
Sehr ähnlicher Ansatz zu:
Active Appearance Models
Cootes, Taylor, Edwards 1998
3D Morphable Models
Blanz, Vetter 1999
Snakes = Active Contour Models
Verfolgung von Linien in Bildsequenzen
Linien: Mund, Nase, Augenbrauen etc.
Manuell initialisiert
Energieminimisierender Spline:
Steifigkeit
Verformung war teuer und noch teurer wenn es Zeit echt war
Viskoelastizität
Äußeres Potential
, Bewegungsgleichungen
Implizite Eulermethode
Snakes
Tracking von Features zur Gesichtsanimation
Konturmodelle
Anpassung eines deformierbaren Kurvenmodells an Grauwertkonturen.
Aufgaben:
Vermeide unplausible Verläufe
Interpoliere über Bildbereiche mit fehlendem Kontursignal: Konturvervollständigung.
Snakes: Innere Steifigkeit
Active Shape Models: erlerntes Modell der möglichen (erlaubten) Formen
Active Shape Models, ASM
Zunächst für elektrische Widerstände, Hände, medizinische Daten, später für Gesichter
ASM: Lernphase
1. Labeling: Manuelle Markierung der Merkmalspunkte auf der Trainingsmenge. Merkmal i
auf Bild j:
2. Alignment: Verschiebung, Skalierung und Rotation der Bildkoordinaten der Merkmale, bis
minimaler least-squares Fehler korrespondierender Punkte untereinander.
3. PCA der xy-Koordinaten: nach Zusammenführung in einem Vektor
Wenn sich ein Punkt verschoben hat, dann verschieben sich die anderen auch
dementsprechend damit das passt und kein Wirrwarr entsteht
