TU Wien:Videoverarbeitung VO (Gelautz)/Guided Filtering Fragen WS15
What are the two main assumptions used in Guided Filtering?
- Die Ausgabe des Filters ist das Resultat einer lokalen linearen Transformation zwischen einem Führungsbild und dem Ausgabebild
- Das Ausgabebild (q) hat nur dann eine Kante, wenn auch das Führungsbild (I) eine Kante hat (=> Ausgabebild und Eingabebild sind ähnlich)
(q-p)² → min!
Why can the Guided Filter be implemented efficiently?
Es handelt sich um ein lineares Modell; Das Ausgabebild ist nur eine Lineartransformation des Führungsbildes.
Er kann mithilfe von Punkt- und Durchschnittsoperationen implementiert werden => sehr effizient!
Laufzeit: O(N) // N … # Pixel
Guided Filter: Computations
Der geführte Filter ist ein linearer Filter, der eine lokale Lineartransformation zwischen dem Ausgabebild und dem Führungsbild annimmt.
- Lokale lineare Regression: Beschreibung der Lineartransformation (Koeffizienten)
- Mitteln der Koeffizienten für jedes Fenster
- Ausgabebild berechnen: Lineartransformation anwenden
How can the Guided Image Filter be extended for videos?
Anstatt von 2D-Fenstern werden 3D-Fenster verwendet. Ansonsten funktioniert der Guided Video Filter analog.
Why / when would you prefer this extension over a per-frame filtering?
Bei größeren Veränderungen zwischen Frames kann so ein glatteres Ausgabevideo erstellt werden. (?)
Explain the differences between the Guided Filter and the Bilateral Filter and their relative advantages and disadvantages.
Der Guided Filter ist viel schneller als der Bilateral Filter: Die Laufzeit ist konstant und unabhängig von der Größe des Filterkerns und des Intensitätsbereichs. Er besitzt generell ein besseres Verhalten in der Nähe von Kanten liefert oft (aber nicht immer) bessere Resultate als der Bilateral Filter.
List at least three applications of the Guided Filter.
- Guided Feathering: Vordergrund / Hintergrund Segmentierung
- Blitz/kein Blitz Entrauschen: Kombinierung eines verrauschten Bildes ohne Blitz mit einem Bild mit Blitz
- Dunst entfernen
- Joint Upsampling: Upsampling eines Bildes auf Basis eines anderen Bildes (Führungsbild)
Explain the basic Cost-Volume Filtering pipeline and discuss one application.
- Labels definieren: Endliches, fixes Set von Labels. z.B. („Vordergrund“, „Hintergrund“)
- Generierung des Cost-Volumes: Definieren einer Energiefunktion → Kosten für jedes Pixel berechnen
- Filtern des Cost-Volumes mit dem Guided Filter: räumlich-zeitliches Labeling. Die Kanten der Cost-Funktion sind an den Farb-Kanten ausgerichtet.
- Für jedes Pixel: Nimm das Label mit den geringsten Kosten
What is the role of the Guided Filter in Cost-Volume Filtering?
Beim Cost-Volume ohne Glättung treten Löcher und Flimmern auf, da es nicht räumlich oder zeitlich kohärent ist. Daher nehmen wir an, dass ähnliche Pixel, die nah beieinander liegen, auch ähnliche Kosten haben müssen. Um das zu erreichen, führen wir eine Glättung mit dem Guided Filter durch (Eingabebild: Farbbild / -video; Führungsbild: Cost-Volume).
Durch diese Filterung werden Löcher geglättet, Flimmern und Rauschen reduziert und die Kanten des Cost Volumes an den Farb-Kanten ausgerichtet.