Beiträge zur Videocodierung und zur Entwicklung des Standards H.264/AVC

Videocodierung und der H.264/A VC-Standard

Die ständig wachsende Menge und erhöhte Auflösung von Videosignalen führt zu einem immer weiteren Bedarf an effizienter Videokompression. Diese stellt somit eine Schlüsseltechnologie für die Medienübertragung über den Fernsehrundfunk, das Internet und Mobilfunknetze sowie rur Speicherungsanwendungen dar. Im letzten Jahrzehnt wurde diese Entwicklung maßgeblich durch den Standard H.264/AVC (offiziell ITU-T H.264 / ISO/IEC 14496-10 MPEG-4 Teil 10: Advanced Video Coding) bestimmt. H.264/AVC erzielt eine deutlich erhöhte Kompression gegenüber allen vorausgegangenen MPEG-x- und H.26x- Standards. Die Erweiterungen von H.264/AVC bieten effiziente Lösungen rur zusätzliche Funktionalitäten wie Skalierbarkeit auf Bitstromebene sowie Stereo- und Multiview- Codierung. Es gibt wohl mittlerweile über eine Milliarde Geräte, auf denen sich H.264/AVC befindet.

Folgende Anwendungen sind dabei hervorzuheben

Mobiltelefone: H.264/AVC wird mit der Mehrzahl aller modemen videofähigen Endgeräten weltweit ausgeliefert.
Mobiles TV: H.264/AVC ist der einzige Videocodec in dieser neuen Anwendung und ist in Ländern wie USA, Japan, Korea, Italien, Malaysia, Quatar, Finnland, u.v.m. im Einsatz.
Mobile Videoplayer: Apples iPods und Sonys PlayStationPortable werden mit H.264/AVC millionenfach ausgeliefert.
Fernsehen: H.264/AVC wird bei allen modernen Einführungen für das terrestrische Fernsehen verwendet und ist in Ländern wie Frankreich, Norwegen, Brasilien, Estland im Einsatz. Fast alle HDTV-Übertragungen in den USA und in Europa werden mit H.264/AVC durchgeführt. Beispielsweise strahlt DirecTV in den USA mehr als 1000 HDTV-Kanäle aus – alle mit H.264/AVC codiert. In Europa strahlen alle deutschen Sender und die meisten anderen Sender mit H.264/AVC aus. Fast alle IPTV -Systeme weltweit benutzen H.264/A VC.
Blu-Ray Disc: jedes Blu-Ray-Abspielgerät unterstützt H.264/AVC und eine große Prozentzahl der im Blu-Ray-Format veröffentlichten Filme ist in H.264/AVC codiert.
Internet Video: Apples Quicktime, Adobes Flash-Format und Microsofts Silverlight und Media Player unterstützen H.264/AVC. Insbesondere Adobe Flash wird in großem Umfang im Internet verwendet u. a. in YouTube mit mehreren 100 Millionen Benutzern. Damit ist eine Vielzahl der im Internet übertragenen Videos mit H.264/AVC codiert.
Videokonferenzen und Internet-Chat: Alle neuen Videokonferenzanwendungen werden mit H.264/AVC durchgeführt (Polycom, Tandberg, LifeSize, Sony) oder dessen Erweiterung SVC (Vidyo).
Beide Preisträger haben durch wissenschaftliche Visionen, die Erarbeitung technischer Lösungen und durch Leitungstätigkeiten bei der Entwicklung des H.264/AVC-Standards entscheidende Beiträge geleistet.

Bereits in seinen Arbeiten aus den frühen 90er Jahren hat Jens-Rainer Ohm nachgewiesen, dass die Verwendung mehrstufiger bewegungskompensierter hierarchischer Bildstrukturen gegenüber den damals üblicherweise verwendeten Bildrekursiven oder einfachen bidirektionalen Bewegungskompensationsverfahren Vorteile hinsichtlich der Kompressionseffizienz der Videocodierung bietet. Darüber hinaus wurde gezeigt, dass derartige Methoden auf Grund der begrenzten Fehlerfortpflanzung deutlich weniger anfällig gegen Übertragungsfehler sind und sich hervorragend für eine skalierbare Codierung auf Bitstromebene eignen. Solche hierarchischen Strukturen sind heute eines der Kernelemente von H.264/AVC sowie seiner skalierbaren und Multiview-Erweiterungen.

Ende der 90er hat Dr. Ohm mit seiner damaligen Gruppe am HHI auf dem Gebiet der stereoskopischen und dreidimensionalen Videosignalverarbeitung und Codierung Methoden der tiefenbasierten Blickwinkeladaption erstmals mit sogenanntem bildbasiertem Rendering auf Videosignale angewandt. Es wurde gezeigt, dass sich mittels der zusätzlichen Codierung von Tiefenkarten deutliche Einsparungen an Datenrate gegenüber einer separaten oder kombinierten direkten Codierung von stereoskopischen und Multiview- Videosignalen erreichen lassen. Darüber hinaus entsteht ein Vorteil durch die Möglichkeit der Adaption der Stereo-Basisweite, mittels derer die Präsentation individuell an Benutzerwünsche und Displays angepasst werden kann.

Seit 2000 hat sich Prof Ohm mit seiner Gruppe an der RWTH weiter intensiv an der internationalen Videostandardisierung beteiligt, u.a. mit Vorschlägen für H.264/AVC zu Transformationen mit variabler Blockgröße, und in seiner Rolle als Video Chair ab 2002 und NT Co-Chair ab 2005 neue Entwicklungen maßgeblich vorangetrieben. Hierzu zählen insbesondere die skalierbaren und Multiview-/3D-Erweiterungen des H.264/A VC-Standards, in die vielfach die Ideen der oben genannten frühen Arbeiten eingeflossen sind.

Dr. Ohm hat seit 1992 an der TU Berlin die deutschlandweit erste Vorlesung zum Thema Bild- und Videokompression gehalten und mit dem auf dieser Grundlage entstandenen Lehrbuch ,,Digitale Bildcodierung“ eine Vielzahl junger Ingenieure an die wissenschaftliche Beschäftigung mit dem Thema herangeführt.

Thomas Wiegand hat seit dem Anfang seiner wissenschaftlichen Kariere zum Gebiet der Videocodierung aktive Beiträge geleistet. Im Jahr 1995 hat er als Gastwissenschaftler an der Universität von Kalifornien in Santa Barbara hybride Videocodierung mit Lagrange- Optimierung erfolgreich kombinieren können. Er hat die Arbeiten als Doktorand an der Universität Erlangen-Nürnberg fortgesetzt wobei er das in H.264/AVC später fest verankerte Verfahren der Benutzung mehrerer Referenzbilder zur Bewegungskompensation ausgearbeitet hat. Dabei hat er zum ersten Mal in seinen Arbeiten den Entwurf des Videocodecs mit neuen Methoden zur Lagrange-basierten Steuerung des Codierers iterativ gekoppelt. Wiegand hat die wichtigsten Arbeiten seiner Dissertation zur Standardisierung in H.263 und H.26L (dem Vorgänger von H.264/AVC) vorgeschlagen, welche bis zum heutigen Tage in diesen Standards und deren Referenzsoftware präsent sind. Die Dissertation ist auch als Buch im Kluwer- Verlag im Jahr 2001 erschienen. Im Vorwort des Buchs schreibt Gary J. Sullivan (damals Leiter der Video standardisierung in ISO/IEC MPEG und ITU-T VCEG): „This body of work by Thomas Wiegand and Bernd Girod has already proved to have an exceptional degree of influence in the video technology community, and I have personally been in a position to proudly witness much of that influence.“

Nach der Dissertation im Jahr 2000 trat Wiegand eine Stelle als Gruppenleiter für Bildkommunikation am Heinrich-Hertz-Institut (HHI) an. Dort hat er seine Forschungsarbeiten in der Videocodierung weiter ausgebaut und um neue Themen ergänzt wie die Übertragung von Multimediasignalen, Semantik in Bildern und Videos sowie die Repräsentation, Codierung und Übertragung von 3D-Welten.

Mit seinen Mitarbeitern am HHI, von denen Detlev Marpe und Heiko Schwarz besonders hervorzuheben sind, hat er in allen Phasen der H.264/AVC-Standardisierung entscheidende Beiträge geleistet, die maßgeblich zum Erfolg des Standards beigetragen haben:

H.264/AVC – 1. Phase: H.26L, der Vorläufer von H.264/A VC wurde zunächst in der ITU-T VCEG entwickelt, wobei das erste Modell im Jahr 1999 in Berlin festgelegt wurde. Im Jahr 2000 ist Dr. Wiegand zu einem der Leiter der ITU-T VCEG ernannt worden und ist bis heute aktiv in dieser Position. Als einer der Leiter der ITU-T VCEG hat er die Zusammenführung der Standardisierung mit der ISO/IEC MPEG durchgeführt. Dazu wurden von MPEG Tests durchgeführt. Die Testbitströme wurden von Prof. Wiegands Gruppe erzeugt und haben zum Gewinnen des Tests geführt. Bedingt durch dieses klare Ergebnis kam es im Dezember 2001 zur Bildung des Joint Video Teams (NT) von VCEG und MPEG, mit der Maßgabe H.264/AVC fertig zu stellen. Im Jahr 2002 wurde Prof Wiegand Editor des H.264/AVC-Standards und ist dies bis heute. Während dieser ersten Phase von H.264/AVC (H.26L) haben Wiegand und seine Mitarbeiter haben als technische Beiträge bewegungskompensierte Langzeit- und Multihypothesen-Prädiktion, Context-Adaptive Binäre Artithmetische Codierung (CABAC), Baum-basierte Macroblockzerlegung und die Lagrange-basierte Codierersteuerung in den Standard eingebracht. Weiterhin wird seit 2002 die H.264/A VC-Referenzsoftware von Karsten Sühring aus der Gruppe von Prof. Wiegand betreut.
H.264/AVC – 2. Phase – FRExt (Fidelity Range Extensions): Diese Erweiterung von H.264/ AVC wurde von Prof Wiegand und seinen Mitarbeitern Marpe und Schwarz in der Hauptsache durchgeführt. Dabei ist H.264/AVC für hochauflösende Videos verbessert worden und hat zum High Profile von H.264/AVC geführt. Der technische Entwurf, welcher zum Teil auf Arbeiten von Dr. Matthias Wien aus Prof Ohms Gruppe beruht, wurde vom HHI-Team vollständig erarbeitet und in die Standardisierung eingebracht. Das High Profile wird für alle HDTV-Übertragungen und in Blu-Ray Discs verwendet. Als Editor in DVB hat Wiegand die entsprechenden Teile des Standards für das Fernsehen mit H.264/AVC verfasst.
H.264/AVC – 3. Phase – SVC (Scalable Video Coding): Diese Erweiterung basiert zum Großteil auf den Beiträgen von Prof Wiegand und seinen Mitarbeitern. Nachdem der von der Standardisierungsorganisation ausgeschriebene Wettbewerb durch den Vorschlag von Schwarz, Marpe und Wiegand gewonnen wurde, wurde das erste Modell auf dessen Basis erstellt. Der endgültige Standard ist mit den Beiträgen aus dem ersten Modell verabschiedet worden. Die dabei eingebrachten Neuerungen wie die Inter-Layer-Prädiktion von Bewegungsvektoren und Prädiktionsfehlersignalen sowie die Einzelschleifen- Bewegungskompensation für die Decodierung skalierbarer Videobitströme und die Key- Bilder zur SNR-Skalierbarkeit haben die Leistungsfähigkeit skalierbarer Videocodierung erheblich verbessert. Weiterhin haben Prof Wiegand und seine Mitarbeiter, von denen Thomas Schierl hervorzuheben ist, die Standards für die Übertragung von SVC im MPEG-2-Transportstrom und das RTP-Payload in der IETF geprägt. Schwarz und Wiegand haben auch maßgeblich die Spezifikation zur Übertragung von SVC in DVB gestaltet, welche für den Einsatz im IPTV, Satelliten-TV und Mobile-TV vorgesehen ist.
H.264/AVC – 4. Phase – MVC (Multi-view Video Coding): Diese Erweiterung ist für die Übertragung von HDTV mit H.264/AVC vorgesehen. Auch hier ist der von der Standardisierungsorganisation ausgeschriebene Wettbewerb durch einen Vorschlag von Wiegands Gruppe gewonnen worden, wobei die Mitarbeiter Philipp Merkle und Dr. Karsten Müller hervorzuheben sind. Konsequenterweise ist auch hier das erste Modell für diese Erweiterung von H.264/AVC auf der Basis des HHI-Vorschlags erstellt worden. Die endgültige Fassung der MVC-Erweiterung von H.264/AVC ist bis auf wenige Details zum Originalvorschlag von Prof Wiegand und seiner Gruppe identisch und ist heute die Basis für 3DVideo auf Blu-Ray Discs und der Rundfunkübertragung.

Prof. Dr Hans-Joachim Grallert
Heinrich Hertz Institut
Fraunhofer Gesellschaft, Berlin