TNT logo Zur zentralen Website der Leibniz Universität Hannover Bannerlogo des Instituts für Informationsveratbeitung
Bachelorarbeit, Masterarbeit, Hiwitätigkeit:

Prädiktion von zukünftigen Einzelbildern in Videosequenzen mittels neuronaler Netzwerke

Im Rahmen des Projekts Region of Interest based Coding

Beschreibung

Moderne Videocodierverfahren wie HEVC und dessen Nachfolger VVC, der voraussichtlich 2020 standardisiert wird, basieren auf dem Prinzip der blockbasierten hybriden Videocodierung. Dabei werden einzelne Bildblöcke wahlweise aus vergangenen und zukünftigen Einzelbildern (Interprädiktion) oder aus anderen Blöcken des selben Einzelbildes (Intraprädiktion) prädiziert. Zur Interprädiktion verwendet HEVC ein translatorisches und VVC ein affines Bewegungsmodell. Videosequenzen mit einer Fluchtpunktperspektive (Siehe Abbildung 1) können durch translatorische und affine Bewegungsmodelle nur schlecht abgebildet werden und führen daher zu einer hohen Datenrate.
In dieser Arbeit sollen zukünftige Einzelbilder basierend auf dem optischen Fluss zwischen den vergangenen Einzelbildern prädiziert werden. Dabei sollen klassische Verfahren und moderne auf Convolutional Neural Networks (CCN) basierenden Verfahren verglichen und ggf. angepasst werden.

Beispielbild mit Fluchtpunktperspektive
Abb. 1: Beispielbild mit Fluchtpunktperspektive aus [1]

Optischer Fluss
Abb. 2: Optischer Fluss zu Abbildung 1


Quelle: [1] A. Geiger, P. Lenz, C. Stiller und Raquel Urtasun, Vision meets Robotics: The KITTI Dataset, International Journal of Robotics Research (IJRR), 2013.

Voraussetzungen

Sehr gute Programmierkenntnisse in Python und sehr gute Kenntnisse aus den Vorlesungen Machine Learning, Digitale Bildverarbeitung und Quellencodierung sind Voraussetzung. Erste Erfahrungen mit Tensorflow oder PyTorch sind hilfreich. Bei Fragen oder Interesse bitte gerne melden.

Ansprechpartner: Martin Benjak