PowerPoint

Desktop Video
SPV
2 SWS
SS ‘99
Gisbert Dittrich
FBI Unido
[email protected]
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1. Grundlagen
1.1 Videotechnik
1.2 Kompression
1.3 Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
2
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik
•
•
•
•
•
27.5.1999
Das menschliche Auge
Grundlagen zu Signalen
Schwarzweißfernsehen
Farbfernsehen
Videotechnik im Rechner
3
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Das menschliche Auge
• Menschliches Auge ist Rezeptor für Bilder.
• Bildet Randbedingungen für das Folgende.
• Auge:
• ortsabhängiges Auflösungsvermögen
• optischer Tiefpaß: nur begrenztes Vermögen, Kanten (fl hohe
Frequenz) aufzulösen.
• Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde
• Flimmereffekt: bei ≤ 50 Bilder/sec: periodische Schwankung
der Helligkeitsempfindung
27.5.1999
4
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 1
- Darstellung über Wellen
- Modulation
- Signale: Amplitude, Frequenz, Phase
27.5.1999
5
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 2
• Modulation
– Jede Art der Beeinflussung einer charakteristischen Größe
(Amplitude, Frequenz, Phase) von meist höherfrequenten,
ungedämpften periodischen Vorgängen, im engeren Sinne
von elektromagnetischen [Hochfrequenz]wellen bzw. schwingungen, Lichtstrahlen oder Impulsfolgen zum
Zwecke der Übertragung von Signalen oder Nachrichten ...
27.5.1999
6
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 3
• Beispiele: • Amplitudenmodulation
27.5.1999
7
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 4
• Frequenzmodulation
27.5.1999
8
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 5
• Quadraturmodulation:
– Betrachte Trägerfrequenz und eine um 90 Grad
phasenverschobene Variante derselben.
– Führe Amplitudenmodulation zweier Teilsignale auf diese
Träger durch.
– Summiere diese beiden zu einem neuen Signal auf.
27.5.1999
9
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 6
• Beispiel für Diskretisierung einer kontinuierlichen
Funktion:
27.5.1999
10
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 7
• Lehrsatz der Informationstheorie:
• Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon)
– Ist ein Signalstrom durch eine kontinuierliche Funktion
f(t) gegeben und wird diese Funktion durch Abtasten in
bestimmten Zeitintervallen Dt in eine aus diskreten
Impulsen bestehende Funktion zerlegt, so läßt sich aus
dieser Impulsfunktion die ursprüngliche Funktion ohne
Informationsverlust wiedergewinnen, wenn für die
Bandbreite B gilt:
•
27.5.1999
Dt < 1/(2B). Oder: Abtastrate 1/Dt > 2B.
11
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Grundlagen zu Signalen 7
• Bandbreite:
• Differenz zwischen größter und kleinster Frequenz in
einem zusammenhängenden Bereich von
Schwingungen unterschiedlicher Frequenzen.
•
In Nachrichtentechnik:
• Breite eines Frequenzbandes zwischen zwei
Grenzfrequenzen, für die die übertragene oder von einem
Bandfilter hindurchgelassene Leistung auf die Hälfte, die
Spannung auf das 0,71fache abfällt; wird absolut in Hz oder
relativ (auf die mittlere Frequenz bezogen) angegeben.
27.5.1999
12
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Schwarzweißfernsehen 1
• Darstellung von Helligkeit : Luminanz
• Zeilensprungverfahren (Schema)
27.5.1999
13
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Schwarzweißfernsehen 2
• in Europa: 625 Zeilen, Breite:Höhe = 4:3
27.5.1999
– also 833 Punkte pro Zeile
14
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Schwarzweißfernsehen 3
• Extreme Übergänge schwarz-weiß-schwarz:
27.5.1999
15
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Schwarzweißfernsehen 4
• BAS-Signal (Schema) [Bild -Austast -Synchronsignal]
27.5.1999
16
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Schwarzweißfernsehen 5
• Abschätzungen zum BAS:
– Für 25 Bilder/sec:
•
•
•
•
•
•
Zeilendauer: 64ms (= 40ms/625 Zeilen)
Abtastfrequenz: 13,5 MHz,
Zeilenfrequenz (1/64ms=) 15.625 KHz
Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz
zudem: "Schwebungseffekte erzeugen unvernünftige Bilder"
--> Kell-Faktor: 0,64 (0,67)
– --> Vertikale Auflösung von 400 Zeilen
27.5.1999
17
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Schwarzweißfernsehen 6
• Amplitudenmoduliertes Videosignal:
27.5.1999
18
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 1
• Erste Grundidee: Zusammensetzen aus z. B. RGB
• Komponentenkodierung:
– Betrachtet die Bestandteile der Videoinformation getrennt
voneinander.
z. B. Synchronisation extra
• Verschiedene Arten:
– RGB
Grundfarben werden angegeben
– Oder: Herausziehen der Luminanz Y:
– YUV
• Luminanz (Leuchtdichte) [braucht man für SW-Fernseher]
• Chrominanz (Farbinformation)
27.5.1999
19
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 2
• Bestimmung von YUV aus RGB:
Y = 0.30 R + 0.59 G + 0.11 B
U = (B-Y) * 0.493
V = (R-Y) * 0. 877
• Analoge Behandlung für YIQ - Signal
(verwendet für NTSC)
Y = 0.30 R + 0.59 G + 0.11 B
I = 0.60 R - 0.28 G - 0.32 B
Q = 0.21 R - 0.52 G + 0.31 B
- Randbedingung (historisch): Als Erweiterung zum SWFernsehen, d.h. zum BAS-Signal
27.5.1999
20
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 3
• FBAS - Signal : Farb - Bild - Austast - Synchronsignal
27.5.1999
21
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 4
• Verschiedene Fernsehnormen
– NTSC National Television Systems Committee (Amerika)
• Bildwechselfrequenz: 30 Hz
• Bild aus 525 Zeilen
• verwendet Quadraturamplitudenmodulation
– SECAM Sequential Coleur avec Memoire (Frankreich, ...)
• Bildwechselfrequenz: 25 Hz
• Bild aus 625 Zeilen
• verwendet Frequenzmodulation
– PAL Phase alternating line (Deutschland, Bruch 1963)
27.5.1999
• Bildwechselfrequenz: Halbbilder 50 Hz
• Bild aus 625 Zeilen
• Grundprinzip: Quadraturamplitudenmodulation
22
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 5
• Bandbreite des FS-Signals (auch SW-FS)
27.5.1999
23
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 5a
• Ergänzende Literatur:
– Conventional Analog Television - An Introduction
www.ee.washington.edu/conselec/CE/kuhn/ntsc/95x4.htm
27.5.1999
24
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 6
• Fernsehen der Zukunft: (?)
– D2-MAC: Duobinary Multiplexed Analog Components
• Komponentenverfahren! 2 hochwertige Stereo- resp. 8
Kanäle niederer Güte für Audio.
(wohl überholt !!!)
– HDTV: High Definition Television
• in Europa: Übertragungsverfahren HD-MAC
(HD = High Definition)
• Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!)
absolut: 1,152* 109 bit/s
• durch Datenkompression Reduktion auf 34 Mbit/s
(" ohne merklichen Qualitätsverlust")
27.5.1999
25
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 7
– HDTV (Fortsetzung)
• wird unterschieden in:
–
–
–
–
Studiostandard
Produktionsstandard
Übertragungsstandard
Reproduktionsstandard
– übergeordneter Standard HDP
27.5.1999
(P = Progressiv)
26
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 7a
• Ergänzende Literatur: (Stand 14.4.99)
– HDTV Television - An Introduction
http://www.ee.washington.edu/conselec/CE/kuhn/hdtv/95x5.ht
m
– HDTV (High Definition Television)
http://www.circuitcity.com/tv2/products-tv-hdtv.htm
– High Definition Television
http://meteor.uscolo.edu/ebersole/handbook/hdtv.html
27.5.1999
27
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 8
• HDTV-Entwicklungen:
– HD-MAC Europa
• 1250 Zeilen , 50 Halbbilder, Bildwiederholfrequenz: 100
– MUSE Japan
• 1125 Zeilen 60 Hz
• (seit ´92 auf Sendung, gar keine Kompatibilität)
– NTSC
• 1050 Zeilen, 59,94 Hz
27.5.1999
28
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 9
• Digitales Fernsehen
(gemäß beschlossener Normen)
– Geschlossene Kodierung (denkbar)
• BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec
• FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate
• Probleme:
– -Übersprechen, -Norm-abhängig, -Abtastfrequenz
+Datenreduktion nicht komponentenabhängig,
– Weitere Störungen
– Komponentenkodierung: 4:2:2 Kodierung
•
•
•
•
27.5.1999
Luminanz wird höher gewichtet:
Behandlung von Y (Luminanz) mit 13.5 MHz,
R-Y und B-Y je mit 6.25 MHz.
Je zu 8 bit pro Abtastwert. --> Multiplexen.
29
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Farbfernsehen 10
– Komponentenkodierung (Fortsetzung)
• Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate.
• Paßt nicht in herkömmliche PCM-Hierarchie.
• Daher Substandards mit niedrigerer Datenrate:
–
–
–
–
27.5.1999
1:(5/6,5/6)-->180Mbit/sec
2:(3/4,1/2)--> 135Mbit/sec
3:(2/3,1/3)--> 108Mbit/sec
Weitere Reduktionen möglich.
30
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Videotechnik im Rechner 1
• Fast nie mit Zeilensprungverfahren ( Ausnahme: Amiga)
• Bildwechselfrequenz ca. ≥ 70 Hz, daher flimmerfrei.
• Farben über CLUT (Color LookUp Table)
– Anzahl der verwendbaren Farben n << m Anzahl aller
darstellbaren Farben.
• Einige "Standards "(v.a. alte):
– CGA Color Graphics Adapter
Bildgröße: 320*200 Pixel
Anzahl der verfügbaren Farben: 4
Aufwand zur Darstellung eines Bildschirminhaltes:
320*200 Pixel*(2bit/Pixel)/(8bit/byte) = 16 000 byte
27.5.1999
31
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Videotechnik im Rechner 2
– EGA Enhanced GraphicAdapter
Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16
Aufwand zur Darstellung eines Bildschirminhaltes:
640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte
– VGA Video Graphics Array
Bildgröße: 640*480 Pixel
Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes:
640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte
– 8514/ A Display Adapter Mode
Bildgröße: 1024*768 Pixel Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes:
1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte
27.5.1999
32
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Videotechnik im Rechner 3
– EGA Enhanced GraphicAdapter
Bildgröße: 640*350 Pixel
Anzahl der verfügbaren Farben: 16
Aufwand zur Darstellung eines Bildschirminhaltes:
640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte
– VGA Video Graphics Array
Bildgröße: 640*480 Pixel
Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes:
640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte
– 8514/ A Display Adapter Mode
Bildgröße: 1024*768 Pixel
Anzahl Farben: 256
Aufwand zur Darstellung eines Bildschirminhaltes:
1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte
27.5.1999
33
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.1 Videotechnik - Videotechnik im Rechner 4
– XGA Extended Graphics Array
Bildgröße: 640*480 Pixel
Anzahl der verfügbaren Farben: 65536
Aufwand zur Darstellung eines Bildschirminhaltes:
640*480Pixel*(16bit/Pixel)/(8bit/byte) = 614400 byte
Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!)
Also: Kompressionsverfahren
27.5.1999
nötig !
34
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1. Grundlagen
1.1 Videotechnik
1.2 Kompression
1.3 Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
35
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression
•
•
•
•
•
•
•
•
•
27.5.1999
Motivation
Kompressionsverfahren
Anforderungen an Kodierungen
Kodierungen
Klassifikation der Kodierungs- und
Kompressionsverfahren
Grundlegende Verfahren
JPEG
H. 261
MPEG
36
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Motivation 1
• Zur Motivation von Datenkompression
– Beispielrechnungen für typische Werte:
- Abkürzungen: 1kbit = 1.000 bit
1Kbit = 210 bit = 1.024 bit
- Analog für Mbyte:
1Mbit = 210 *210 bit = 1.024*1.024 bit
– Speicherplatzbedarf: = Anforderung an Speicherplatz ,
wenn je ein Bildschirminhalt resp. je ein Datenstrom pro
Sekunde unkomprimiert dargestellt wird:
27.5.1999
37
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Motivation 2
• Je ein Bildschirminhalt
– Text
Annahme: je Zeichen der Größe 8*8 Pixel sind 2 Byte
nötig.
Zeichen je Bildschirmseite: 640*480/(8*8) = 4800
Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte
– Vektorbilder
Annahme: typisches Bild besteht aus 500 Geraden,
Koordinate in x-Richtung : 10 bit,
Koordinate in y-Richtung : 9 bit,
Attributvektor pro Gerade: 8 bit.
Bit je Linie: (9+10+9+10+8) bit = 46 bit
Speicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8 Kbyte
27.5.1999
38
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Motivation 3
• Je ein Bildschirminhalt (Fortsetzung)
– Pixelbild
• Annahme: 256 Farben, d.h. 1byte pro Pixel
Speicherplatzbedarf: 640*480*1 byte = 307200 byte = 300
Kbyte
Von hier ab:
• Platzbedarf für je eine Sekunde
– Sprache in Telefonqualität
• Annahme: Abtastung mit 8kHz, quantisiert mit 8 bit
Datenstrom: 64 Kbit/s
Speicherplatzbedarf: 8 Kbyte
27.5.1999
39
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Motivation 4
• Platzbedarf für je eine Sekunde (Fortsetzung)
– Stereo-Audiosignal in CD-Qualität
• Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bit
Datenstrom: 2*44100* 16/8 byte/s = 176400byte/s
Speicherplatzbedarf: 172 Kbyte
– Videosequenz
27.5.1999
• Annahme: 25 Vollbilder pro Sekunde
Luminanz und Chrominanz zusamm. mit 3 byte pro Pixel
Luminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y)
mit 6,75 MHz.
8 bit-gleichförmige Kodierung:
(13,5 MHz + 2*6,75 MHz) * 8bit = 216*106 bit/s
(entspricht ca. 27 MByte/s)
40
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Motivation 5
– Videosequenz (Fortsetzung)
• Datenrate: 640*480*25*3 byte/s = 23 040 000 byte/s
Speicherplatzbedarf: 22500 Kbyte = 21, 97 Mbyte
Datenübertragungsraten von ungefähr 140 (175,78) Mbit/s.
’ Heute nicht kostengünstig realisierbar.
Kontinierliche Medien erhöhen die Anforderungen an das
System erheblich!
Durch Kompressionsverfahren
"erheblich" reduzierbar.
27.5.1999
41
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Kompressionsverfahren
Kompressionsverfahren
, die immer wieder genannt werden:
– JPEG für Einzelbilder
(Joint Photographic Expert Group)
– MJPEG
– [H.261(px64) für Videosequenzen mit geringer
Auflösung ]
– MPEG für Bewegtbilder als auch Audio
(Motion Picture Expert Group)
– [DVI für Einzelbilder und kontinuierliche Medien
(Digital Video Interactive)]
27.5.1999
42
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Anforderungen an Kod. 1
1. Gute Qualität nach Kodierung - Dekodierung
2. Verfahren möglichst einfach
3. Symmetrisch in Aufwand für KompressionDekom-pression
– z. B. für Dialogsysteme (Bildübertragung,
Videoconferencing, ..) etwa:
Ende-zu-Ende Verzögerung ≤ 150 msec ( z. B. px64)
4. Kompression mit hohem Aufwand Dekompression schnell
z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme,
...): einmal komprimieren, häufig dekomprimieren,
möglichst in Echtzeit (z.B. DVI)
27.5.1999
43
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Anforderungen an Kod. 2
3.+ 4. sollen erfüllen:
– Formal unabhängig von Bildschirmgröße/ Bildwiederholfrequenz zu definieren
– verschiedene Datenraten für Audio/Video
– Audio/Video exakt synchronisierbar, auch mit anderen
Medienobjekten
– kostengünstig, möglichst Software
– Kooperation von unterschiedlichen Systemen
’ Standards : de jure - de facto
27.5.1999
44
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Anforderungen an Kod. 3
4. soll insbesondere erfüllen:
– schneller Vor- /Rücklauf bei Anzeige der Daten
– wahlfreier Zugriff auf Einzelbilder ≤ 0.5 sec
– Dekompression von Einzelbildern/Videosequenzen direkt,
d.h. ohne Zugriff auf "vorherige" Daten möglich.
’ Editieren nach wahlfreiem Zugriff möglich.
27.5.1999
45
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Kodierungen 1
• Grobe Einteilung:
– Entropiekodierung: verlustfrei
(Entropie: mittlerer Informationsgehalt einer
Zeichenmenge)
– Quellenkodierung:meist verlustbehaftet
nutzt Semantik der Daten,
bzgl. des Kompressionsgrades abhängig vom Medium.
– Kanalkodierung (hier weggelassen)
– hybride Kodierung
27.5.1999
46
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Kodierungen 2
• Wesentliche Schritte der Datenkompression für
Audio und Video (am Beispiel Einzelbild formuliert):
27.5.1999
47
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Kodierungen 3
Schritte der Datenkompression (Fortsetzung)
1. Bildaufbereitung
• z. B. Zerlegung in Blöcke von je 8x8 Pixel
• mit n Bit Beschreibungstiefe pro Block/Pixel
2. Bildverarbeitung
• erzeugt geeignete digitale Darstellung (verschiedenste
Verfahren)
3. Quantisierung
• erzeugt Verlustbehaftung
4. Entropiekodierung
• Bearbeitet linearen Datenstrom; verlustfreie Kompression!
27.5.1999
(2. und 3. können mehrfach iterativ durchlaufen werden).
Dekompression läuft invers.
48
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Klassifikation K&Kverf 1
(wichtig für unseren Kontext; Verfahren werden im
folgenden z. Teil erläutert)
• Entropiekodierung
– Lauflängenkodierung Huffman-Kodierung
– Arithmetische Kodierung
• Quellenkodierung
– Prädiktion:
DPCM
DM
– Transformation:
FFT
DCT
– nach Wichtigkeit, "Layered Coding":
• Bitposition
• Unterabtastung
• Subband Kodierung
27.5.1999
49
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Klassifikation K&Kverf 2
• Vektor-Quantisierung
• Hybride Kodierung
– JPEG
– MPEG
– px64
27.5.1999
50
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 1
Vorbemerkung
Hybride Verfahren verwenden unterschiedliche
grundlegende Verfahren.
Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane:
unterschiedliche Gewichtungen für verschiedene Attribute,
z. B.
Helligkeit hohes Gewicht,
Farbe niedrigeres Gewicht.
27.5.1999
51
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 2
• Lauflängenkodierung
– Voraussetzung: Bytestrom wird übertragen.
– Bei häufigen Wiederholungen von Bytes: Angabe des
Bytes + Anzahl des Vorkommens. (Unter Verwendung von
M(arkierungs)-Bytes, z. B. "!“
– Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit
4 - 259 gleiche in 3 Bytes kodierbar.
– Beispiel ( in vereinfachter Darstellung ) :
Unkomprimierte Daten : a!bbbcccccccccd
Lauflängenkodierung : a! !bbb!c5d
27.5.1999
52
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 3
• Nullunterdrückung (Spezialfall der
Lauflängenkodierung)
– Nur ein spezielles Zeichen wird potentiell gezählt.
– Ab 3-258 gleiche Bytes so auf 2 Bytes reduzierbar.
Variationen möglich.
• Vektorquantisierung
– (vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes.
– Verwendet Tabelle mit Mustern als Einträgen. Suche
Muster, das gegebenen Block am besten approximiert .
Block erhält Index(vektor) des zug. Musters aus dieser
Tabelle zugeteilt.
27.5.1999
53
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 4
• Beispiel zur Vektorquantisierung:
– Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt)
– ´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´
Dimension 1
1
2
3
4
5
6
7
27.5.1999
1
10
204
305
401
501
700
901
Dimension 2
2
69
219
328
439
527
726
932
3
110
250
352
455
556
751
955
4
170
271
388
479
597
794
979
Aufwand:
3 Ziffern: 12 bit
‚Vektor‘: 3 +2 bit
54
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 5
• Weitere Verfahren
– (Static) Pattern Substitution
• Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN
in Progspr.)
• Häufig durch Approximation (z.B. für Bilder. fl
Vektorquantisierung)
• Anmerkungen:
– M- Bytes benutzen
– benötigt eine vorher bekannte Codetabelle
– schwierige Musterfindung bei Einzelbildern und Audiodaten
27.5.1999
55
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 6
– Diatomic Encoding
• Variante von Static Pattern Substitution:
• Zusammenfassung je zweier Datenbytes. Z.B. für englisch: 8
häufigste Paare: 'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE'
(Vorsicht: Leerzeichen!)
• Allein Ersetzung dieser durch spezielle Bytes, die sonst nie
auftreten ’10% Ersparnis.
27.5.1999
56
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 7
• Dynamic Pattern Substitution
– Grundidee
• wie Static Pattern Substitution
• Erstellung der Codetabelle aber zur Laufzeit
– Problem
• Erkennung der besten Muster
– Beispiel:
Unkomprimierte Daten : ABCDEABCEEABCEE
Komprimierte Daten : ABCDE11
Tabelleninhalt
: 1=ABCEE
• Implementierung
– Lempel-Ziv Encoding: in vielen Programmen eingesetzt
27.5.1999
57
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 8
• Lempel-Ziv Encoding 1
– Grundideen
• Codetabelle wird während der Kompression erzeugt
• jede neue Folge von Bytes in der Codetabelle aufnehmen
– Kompression
• sei #i der i-te Index und W der Inhalt von einem Fenster
– Pseudocode
27.5.1999
1.) Codetabelle initialisieren mit Alphabet
2.) Fenster = [ W ] mit W = leer
3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ]
Sonst Index von W ausgeben und Programm beenden
4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.)
Sonst füge WK in die Codetabelle ein, Index von
W ausgeben, setze W = K und springe zu Punkt 3.)
58
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 9
• Beispiel für Lempel-Ziv Kodierung :
– Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´
– Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´
27.5.1999
59
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 10
• Lempel-Ziv Kodierung 3
– Anmerkungen
• keine explizite Übertragung der Codetabelle
– Tabellengröße
• bestimmt Kompressionsgrad und Geschwindigkeit
• wächst schnell
– Speicherplatzprobleme, Index wird zu groß
– erfordert erneute Initialisierung
27.5.1999
60
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 11
• Lempel-Ziv Kodierung 4
– Dekompression
• inverses Verfahren der Kompression
• Aufbau der Codetabelle
– sortiertes Alphabet initialisiert die Codetabelle
– beim ersten dekomprimierten Index passiert nichts
– sonst das vorherige dekodierte Codewort plus erstes Zeichen
von dem neuen dekodierten Codewort einfügen
27.5.1999
61
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 12
• Lempel-Ziv Kodierung 5
– Sonderfall
• Problem : verspäteter Aufbau der Tabelle um einen Schritt
 letzter Eintrag aus der Codetabelle wurde benutzt
 erster Buchstabe des dekodierten Codewortes wird
benötigt
 Anfang des zuletzt
dekodierten Codewortes
ist gleich dem Anfang
des neuen
 letzter Buchstabe
= erster Buchstabe
27.5.1999
62
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 13
• Statistische Kodierung
• Zeichen können unterschiedlich lang kodiert werden.
• häufig vorkommende Zeichen werden kurz, selten
vorkommende Zeichen werden lang kodiert.
• wichtig: Eindeutige Dekodierung muß möglich sein.
• Beispiele: Huffman, Arithmetische Kodierung (s.u.).
• Huffman Kodierung
• Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative)
Häufigkeit ihres Auftretens.
• Darstellung: Kodierung mit minimaler Anzahl benötigter
Bits über binären Baum.
• Prefix Code: - variable Symbollänge
- kein Codewort ist Prefix eines anderen
27.5.1999
63
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 14
• Beispiel (zu Huffman) :
– Zahl = Anzahl des (relativen) Auftretens des Zeichens
– p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6
’ p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59
27.5.1999
64
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 15
Beispiel (zu Huffman, Fortsetzung) :
’ Kode: w(A) = 011, w(B) = 1, w(C) = 000, w(D) = 010,
w(E) = 001
• Ersichtlich eindeutige Kodierung, da alle Zeichen an
Blättern stehen.
• Beispiel: ’ABBAC’ wird kodiert durch: 01111011000
• Bei "üblicher" 3bit-Kodierung: 15 Bit nötig.
• Hier nur : 11 Bit nötig.
• In unserem Kontext:
27.5.1999
– Tabelle für jedes Einzelbild oder für mehrere Einzelbilder
– resp. für eine Sequenz oder Menge von Sequenzen.
– Dieselbe Tabelle braucht man für Kodierung und
Dekodierung.
65
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 16
• Arithmetische Kodierung 1
– Motivation
• Huffman- Kodierung liefert keine ausgeglichenen Bäume
– Beispiel
• ein Zeichen kommt zu 90% vor
• ein Bit benötigt bereits zuviel Speicherplatz
– Grundidee
• eine Zeichenkette entspricht einem Intervall zwischen [0..1]
• eine Zahl aus dem Intervall repräsentiert die Zeichenkette
• die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße
– anfängliche Festlegung
• Reihenfolge • Auftrittswahrscheinlichkeiten
27.5.1999
• Intervalle
66
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 17
• Arithmetische Kodierung 2
– auch optimale Kodierung (wie Huffman).
– kodiert Zeichen immer unter Berücksichtigung aller
vorangegangenen Zeichen
’ wahlfreier Zugriff nicht möglich.
27.5.1999
67
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 18
• Arithmetische Kodierung 3
• Kodierung:
Beispiel:
– sei
• low( i ) = untere Intervallgrenze des i-ten Zeichens
• high( i ) = obere Intervallgrenze
• L = 0 und H = 1
– für alle Zeichen i = {1..n} berechne :
L = L + ( H - L ) ·low( i )
H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen )
– wähle eine Zahl zwischen L und H
27.5.1999
68
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 19
• Arithmetische Kodierung 4
• Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13
27.5.1999
69
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 20
• Arithmetische Kodierung 5
Zeichen werden nicht einzeln sondern ganzer String wird
kodiert ’
– Anzahl der komprimierten Zeichen
• Länge vorher übergeben
• Endezeichen
– Eigenschaften
• kein zufälliger Zugriff möglich
• Kompressionsrate ungefähr wie bei der Huffman Kodierung
27.5.1999
70
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 21
• Transformationskodierung
– transformiert Daten in anderen mathematischen Raum, in
dem (hoffentlich) besser kodiert werden kann.
z.B.:
• Diskrete Kosinustransformation DCT (vgl. später JPEG)
• Wavelets
• Fouriertransformation FFT
27.5.1999
71
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 22
• Subbandkodierung
– nur selektive Frequenztransformation
– Qualitätskriterium: Anzahl der Bänder
– gut zur Kompression von Sprache
• Prädiktion/relative Kodierung
– Grundidee: Kodierung von Differenzen von Bytes resp.
Bytefolgen
– Beispiele:
• 1. ein Bild:
– Kanten fl große Differenzwerte für Luminanz/ Chrominanz
– Flächen fl kleine Differenzwerte
– homogene Fläche fl viele Nullen ’ Lauflängenkodierung
27.5.1999
72
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 23
• Prädiktion/relative Kodierung (Fortsetzung)
– Beispiele (Fortsetzung)
• 2. Bilder über der Zeit:
– Bewegtbilder: beschrieben durch Differenz eines Bildes zum
vorherigen.
– z. B. Nachrichtensendung/Bildtelefon: Hintergrund
weitgehend gleich.
– Bewegungskompensation über Bewegungsvektor möglich.
• 3. in Audiotechnik:
Differential Puls Code Modulation (DPCM)
– Folge von PCM-kodierten Abtastwerten werden dargestellt
durch
- erster Abtastwert durch volle Beschreibung
- für die nachfolgenden durch Differenz zum vorherigen Wert.
27.5.1999
73
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 24
• Delta Modulation
– Variation von DPCM
– Kodierung der Differenzwerte durch genau 1 bit.
– (kleine Differenzen sind dadurch sinnvoll beschreibbar.)
• ! DIFFERENZBILDUNG ist wesentliches
Merkmal aller im Multimedia-Bereich eingesetzten
Verfahren!
27.5.1999
74
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 25
• Adaptive Kompressionsverfahren
– Bisherige Verfahren:
• gut in bestimmtem Kontext
• untypische Folgen von Zeichen fl keine Kompression.
– Adaptive Verfahren:
• lassen Anpassung des Verfahrens an zu komprimierende
Daten zu.
• Grundidee:
– Kodierungstabelle (etwa nach Huffman) durch Zähler je
Eintrag für Vorkommen erweitern.
– Die Zuordnung der Kodewörter durch Anderung gemäß der
Häufigkeit der Vorkommen (Zählereinträge!) anpassen!
’ Die häufigst erscheinenden Zeichen werden dann immer am
kürzesten kodiert.
27.5.1999
75
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 26
Adaptive Verfahren (Fortsetzung)
Beispiel:
– Adaptive DPCM (ADPCM, häufig auch nur DPCM).
• wenige Differenzbits beschreiben:
– wenige große Differenzen -> hohe Frequenzen
– wenige kleine Differenzen -> niedrige Frequenzen
• Fehler in diesem Kontext: Slope overload - Änderung der
Faktoren adaptiv möglich.
• --> nicht geeignet für z.B. Audio mit sich häufig ändernden
Anteilen; jedoch:
• CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit
pro Abtastwert.
27.5.1999
76
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - Grundlegende Verfahren 27
• Weitere grundlegende Verfahren:
– Farbtabellen
– Stummschaltung:
• Daten werden nur kodiert, wenn der Lautstärkepegel
bestimmten Schwellwert überschreitet.
27.5.1999
77
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 1 (Gliederung)
• Anforderungen an JPEG
• Übersicht:Schritte im JPEG-Kompressionsverfahren
Bildaufbereitung (für alle Modi)
• Bildverarbeitung im 1. Modus (FDCT)
• Quantisierung
• Entropiekodierung
• Erweiterter, verlustbehafteter DCT-basierter Mode
• Verlustfreier Mode
• Hierarchischer Mode
• Zur Qualität
27.5.1999
78
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 2
• (Joint Photographic Expert Group)
• J, da 2 Kommissionen beteiligt waren, wohl 1992
veröffentlicht
• für farbige und grauskalierte Standbilder
• auch für Bewegtbildsequenzen, dann M(otion)JPEG
• als Software oder mit spezieller
Hardwareunterstützung verfügbar.
• Vorsicht: z. Teil nur ein Teil von JPEG kommerziell
erhältlich ("Basismode")
27.5.1999
79
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 3
• Anforderungen an JPEG:
– Unabhängigkeit
•
•
•
•
•
von der Bildgröße
von Höhe zu Breite - eines Bildes - eines Pixels.
der Farbvielfalt vom verwendeten Farbraum
von der Komplexität des Bildinhalts
von den statistischen Eigenschaften des Bildinhalts
– Aktueller Stand bzgl. des Kompressionsgrades und der
erreichbaren Bildqualität (nahezu) zu erreichen.
– Softwarelösung sollte auf (möglichst vielen)
Standardprozessoren laufen.
27.5.1999
80
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 4
• Anforderungen an JPEG (Fortsetzung 1)
– Hardwarelösung sollte Komplexität der Verarbeitung
drastisch reduzieren.
– Beim Dekodieren mögliche Alternativen unterstützen:
• sequentiellen Bildaufbau
• progressiven Bildaufbau (Bild wird erst nur grob, dann
immer feiner gezeigt.)
• verlustfreie Dekodierung
• Kodierung mit unterschiedlichen Auflösungen desselben
Bildes.
27.5.1999
81
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 5
• Anforderungen an JPEG (Fortsetzung 2)
–
’ obige "Parametrisierbarkeit" läßt Wahl zu unter:
• Qualität des reproduzierten Bildes
• Dauer der Kompression
• Größe des komprimierten Bildes
– Möglichkeit: nur Kodierer oder Dekodierer nötig
– Austauschformat nach JPEG:
• Parameter + Tabellen des Kodierprozesses
(Manchmal nur als "abbreviated Format", wenn gewisse
"Meta"daten aus dem Kontext schon bekannt)
• Bilddaten
27.5.1999
82
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 6
• Übersicht:Schritte im JPEG-Kompressionsverfahren
27.5.1999
83
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 7
JPEG-Modi:
1. Baseline Process, Basis Mode
– verlustbehafteter, sequentieller DCT-basierter Mode (muß
von jedem JPEG-Decoder unterstützt werden.)
2. Erweiterter verlustbehafteter DCT-basierter Mode
– stellt Menge von Alternativen zur Verfügung.
3. Verlustfreier Mode
--> verlustfreie Reduktion; geringerer Kompressionsfaktor
4. Hierarchischer Mode
– liefert mehrere, unterschiedliche Auflösungen pro Bild
– verwendet Algorithmen aus 1.-3.
27.5.1999
84
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 8
• Bildaufbereitung (für alle Modi)
– Zu beantwortende Frage:
• Wie wird ein (unkomprimiertes) Bild beschrieben und zur
Verarbeitung in Teilinformationen zerlegt ?
– Nach obigem:
• Viele Parameter offen, jedoch werden folgende
Voraussetzungen an die Beschreibung des unkomprimierten
Bildes gestellt:
– Ein Bild besteht aus
N Ebenen/Komponenten
Ci 1≤i≤N, 1≤N≤255.
27.5.1999
85
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 9
• Bildaufbereitung
(für alle Modi; Fortsetzung 1)
– Pro Pixel: p bit Beschreibungstiefe
27.5.1999
• p = 8, 12, falls verlustbehafteter Modus
• 2≤ p ≤ 12 , falls verlustfreier Modus.
• Ansonsten vorweg Transformation in eine solche
Darstellung.
86
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 10
• Bildaufbereitung (für alle Modi; Fortsetzung 2)
– Für 1≤i≤N: Xi Spaltenzahl, Yi Zeilenzahl.
Beispiel 1:
Homogene Auflösung
Auflösung
der Ebenen
27.5.1999
Beispiel 2:
Heterogene
der Ebenen
87
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 11
• Bildaufbereitung (für alle Modi; Fortsetzung 3)
Konkrete Notation eines Bildes durch :
– (N, p, y, x, Vmax, Hmax, (i, Vi, Hi) 1≤i≤N), wobei:
•
•
•
•
x := Min i = 1,.., N Xi , y := Min i = 1,.., N Yi
(X := Max i = 1,.., N Xi , Y := Max i = 1,.., N Yi)
Hi := Xi/x; Vi := Yi/y
(Hmax := Max i = 1,.., N Hi , Vmax := Max i = 1,.., N Vi)
– Dabei Voraussetzung: 1≤Hi ,Vi≤4
– Festlegung: Dateneinheit:
für Hi, Vi¿§
• 1 Pixel, falls verlustfreier Modus
• Block aus 8*8 Pixel, falls ein verlustbehafteter Modus
27.5.1999
88
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 12
• Bildaufbereitung (für alle Modi; Fortsetzung 4)
Verarbeitung:
– nicht über Ebenen
verschachtelt:
– über Ebenen verschachtelt (Interleaving):
• Problem: zusammengehörige Informationen sind zu
verarbeiten, trotz evtl. unterschiedlicher Auflösung der
verschiedenen Ebenen.
• führt zum Begriff der MCU: Minimum Coded Units
27.5.1999
89
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 13
• Bildaufbereitung (für alle Modi; Fortsetzung 5)
– Beispiel:
– Vorgehen:
27.5.1999
• Zerlege jede Komponente/Ebene in Regionen, so daß die
Anzahl der Regionen für jede Ebene gleich groß ist.
• Die jte MCU enthält jeweils die jte Region der Ebene i (für
1≤i≤N).
90
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 14
• Bildaufbereitung (für alle Modi; Fortsetzung 6)
– Für JPEG gilt:
• Jede MCU erfüllt:
– Maximal 4 Komponenten können derart verschachtelt kodiert
werden
– maximal 10 Dateneinheiten können enthalten sein.
– (Ende Bildaufbereitung für alle Modi.)
27.5.1999
91
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 15
• Bildverarbeitung im 1. Modus (FDCT)
– Überblick:
– unkomprimiertes Bild wird in Dateneinheiten zu je 8*8
Pixel zerlegt
– p = 8 [bit]
27.5.1999
92
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 16
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung1)
– Bildverarbeitung für je 8x8 Pixel:
(F)DCT: Diskrete Cosinus Transformation
•
•
•
•
•
Beschreibe dazu 8*8 Pixel so:
Verschiebe Wertebereich von [0,255] nach [-128, 127]
Dann gilt: Pixelwerte syx aus [-128, 127] für 0≤x,y≤7
Wende darauf FDCT (Forward DCT) an:
Svu = (1/4) cu cv S x= 0,.., 7 S y= 0,.., 7
syx cos((2x+1)up/16) cos((2y+1)vp/16)
• mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1 für u,v e [0,7].
27.5.1999
93
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 17
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung2)
– Dies ist interessant, da folgende Interpretation:
• Svu interpretierbar als "zweidimensionale" Frequenz.
• Beispiele:
– S00 DC- Koeffizient
(fl Gleichspannungsanteil; direct current)
bestimmt Grundfarbton für die 64 Pixeldateneinheiten
– andere: AC - Koeffizienten (fl Wechselspannungsanteil)
– S70 = höchste Frequenz, die nur in waagerechter Richtung
auftritt, d. h. dichtest mögliches Muster senkrechter Streifen.
– S77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h.
1*1 Karos
27.5.1999
94
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 18
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung3)
– "zweidimensionale"
Frequenzen
27.5.1999
95
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 19
• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung 4)
– Rücktransformation durch IDCT (Inverse DCT) :
• syx = (1/4) S u= 0,.., 7 S v= 0,.., 7
cu cv Svu cos((2x+1)up/16) cos((2y+1)vp/16)
mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1.
– Anmerkungen:
•
•
•
•
27.5.1999
Cos-Werte in Tabelle erfaßbar.
Hin- und Rücktransformation nicht exakt.
Genauigkeit durch JPEG nicht vorgeschrieben.
Flächen erzeugen viele AC-Koeffizienten zu Null oder fast
Null.
96
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 20
• Quantisierung
– Erzeugt Verlustbehaftung
– pro Block: 64 Quantisierungseinträge; individuell
einstellbar (vom Bildmaterial abhängig)
• Bildqualität <--> Kompressionsgrad einstellbar
– Qvu 8bit ganzzahlige Werte gemäß:
• sqvu = round Svu/Qvu.
• Je größer Tabelleneinträge, desto gröber die Quantisierung.
– Dequantisierung mit derselben Tabelle gemäß
• Rvu = sqvu* Qvu
27.5.1999
97
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 21
• Entropiekodierung
– Vorbereitung der Verarbeitung in der Kodierung
• i.a. unterschiedliche Behandlung von DC- und AC Koeffizienten
• DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig
von Block zu Block. Daher:
– Differenzbildung
benachbarter Werte
27.5.1999
98
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 22
• Entropiekodierung (Fortsetzung 1)
– AC-Werte: "Zick-Zack"- Verarbeitung
nach steigenden
Frequenzen
(entspricht meist
fallenden Werten
--> 0)
27.5.1999
99
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 23
• Entropiekodierung (Fortsetzung 2)
– JPEG-Entropiekodierung
• Zunächst Lauflängenkodierung (von Nullwerten)
• dann: Huffman (/z. T. Arithmetische Kodierung)
--> Liefert ISO- Intermediate-Symbol-Sequenz- Format
i. w. folgende alternierende Angaben:
• Anzahl der folgenden Koeffizienten mit dem Wert Null
• für die Darstellung des danach folgenden Koeffizienten
benutzte Anzahl an Bits
• Wert des Koeffizienten, dargestellt mit der angegebenen
Anzahl an Bits
27.5.1999
100
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 24
• Entropiekodierung (Fortsetzung 3)
– Zudem:
• AC- Werte fi 0 sowie DC- Werte werden so dargestellt, daß
Anzahl benötigter Bits von der Größe des Wertes abhängt
– AC-Werte: 1-10 bits
– DC-Werte: 1-11 bits (i.a. höhere Auflösung)
• Huffman:
– keine Lizenzgebühren für Patente
– schlecht: Anwendung hat Kodierungstabellen bereitzustellen.
• Hier verwendet man: sequentielle Kodierung
27.5.1999
101
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 25
• Bildaufbau bei Dekodierung
– Beispiel:
27.5.1999
102
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 26
• Erweiterter, verlustbehafteter DCT-basierter Mode
– Unterschiede zum 1. Mode:
• p = 8 oder 12
• Neben sequentieller Kodierung: progressive Kodierung
(fl Layered Coding)
– Erlaubt folgenden Bildaufbau bei Dekodierung
• Beispiel:
27.5.1999
103
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 27
• Erweiterter, DCT-basierter Mode (Fortsetzung 1)
– Wird erreicht durch:
• Erweiterung der Quantisierung
--> Alle quantisierten Werte kommen in Puffer
--> Selektive Weiterverarbeitung
– Spectral Selektion:
» zuerst: nur Koeffizienten der niedrigen Frequenzen
» danach: auch Koeffizienten der höheren Frequenzen
– Successive Approximation:
» alle Koeffizienten werden übertragen.
» jedoch nach Wertigkeit weiterverarbeitet
– Neben Huffman: Arithmetischer Kode
• Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch.
des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.
27.5.1999
104
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 28
• Erweiterter, DCT-basierter Mode (Fortsetzung 2)
Verschiedene alternative Kombinationen in den Teilschritten:
Bildaufbau
27.5.1999
Bits/ Abtastwert
sequentiell
sequentiell
sequentiell
sequentiell
progressiv sukzessive
progressiv spektral
progressiv sukzessive
progressiv spektral
progressiv sukzessive
progressiv spektral
progressiv sukzessive
progressiv spektral
8
8
12
12
8
8
8
8
12
12
12
12
Entropiekodierung
Huffman - Kodierung
Arithmetische Kodierung
Huffman-Kodierung
Arithmetische Kodierung
Huffman-Kodierung
Huffman-Kodierung
Arithmetische Kodierung
Arithmetische Kodierung
Huffman-Kodierung
Huffman-Kodierung
Arithmetische Kodierung
Arithmetische Kodierung
105
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 29
• Verlustfreier Mode
– Start:
• Dateneinheit: Pixel mit 2- 16 bit Beschreibungstiefe.
Statt Transformationskodierung:
27.5.1999
106
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 30
• Verlustfreier Mode (Fortsetzung 1)
– Prädiktionsverfahren
• Für Pixel X : 1-8 Prädiktoren
Aufgabe: Möglichst gute
Vorhersage von X aus
den bekannten A,B,C
Selektionswert Prädiktion Selektionswert Prädiktion
0
keine Prädiktion
4
A+B+C
1
A
5
A + (B-C)/2
2
B
6
B + (A-C)/
3
C
7
(A + B)/2
Selektionswert sowie Prä(X) - X werden entropiekodiert.
27.5.1999
107
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 31
• Hierarchischer Mode
– nach Bedarf: - verlustbehaftet -verlustfrei
– Kodierungen je eines Bildes mit (mehreren)
unterschiedlichen Auflösungen
• 1. Digitalisiertes Bild "um den Faktor 2n herabsetzen" -->
komprimieren
• 2. Digitalisiertes Bild "um den Faktor 2n-1 herabsetzen"
--> Bild gemäß 1 davon abziehen ("Differenzbild")
--> komprimieren
• 3. 2. geeignet iterieren, bis "vollständiges" Bild
komprimiert.
• Damit Skalierung einfach möglich.
27.5.1999
108
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 32
• Hierarchischer Mode (Fortsetzung)
– Vorteil:
• Anwendung verarbeitet die Auflösung, die ihr angepaßt ist.
--> Berechnung der reduzierten Informationen aus den
detailliert beschriebenen Bildern durch die Anwendung
nicht nötig.
– Nachteil:
• Kodierung ist rechen- und speicherplatzintensiv.
27.5.1999
109
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - JPEG 33
• Zur Qualität
– Für DCT-kodierte Einzelbilder:
• 0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige
Anwendungen ausreichend.
• 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für
viele Anwendungen ausreichend.
• 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die
meisten Anwendungen ausreichend.
• 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr
zu unterscheiden. Genügt fast allen
Anwendungen, selbst bei höchsten Qualitätsansprüchen.
– Im verlustfreien Modus:
• Kompressionsgrad 2:1 im Mittel.
27.5.1999
110
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - H.261 (px64) 1
• Bewegtbildstandard
• Für Einsatz bzgl. ISDN gedacht für z. B.:
– Bildtelefon
- Videokonferenzsysteme
--> Kodierung + Dekodierung in Echtzeit
– jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1,
2, . .., 30
• H. 261 Video Codec for Audiovisual Services
at p x 64 kbit/s
– Coder/Decoder
– 1990 verabschiedet
– Voraussetzung: Kompression + Dekompression ≤ 150
msec Signalverzögerung.
27.5.1999
111
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - H.261 (px64) 2
• Bildaufbereitung
– Präzise(re) Voraussetzungen:
• Am Eingang anliegende Bildwechselfrequenz: 29,97 =
30000/1001 (wieso?)
• Geringere Bildwechselfrequenzen für Übertragung
zugelassen (z.B. 10-15)
• Nicht Zeilensprungverfahren.
• Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß
CCIR 601)
• 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)
27.5.1999
112
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - H.261 (px64) 3
• Auflösungen: 4:3 Seitenformat
– CIF (Common Intermediate Format) : optional
• 288*352 Pixel Luminanz
• 144*176 Chrominanz
– QCIF (Quarter CIF)
: vorgeschrieben
• 144*176 Pixel Luminanz
– Zur Hilfe: [(2*3*3*8) *(2*11*8)] für unten
• 72* 88 Chrominanz
[(3*3*8) *(11*8)]
• Nötiger Kompressionsgrad, um mit QCIF über 1 ISDNB-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec)
27.5.1999
• Heute technisch machbar.
• CIF benötigt 6 ISDN-B-Kanäle
113
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - H.261 (px64) 4
• Verwendete Unterteilung je eines Bildes:
–
–
–
–
–
27.5.1999
Jede Komponente in Blöcke zu 8*8 Pixel
Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr
Gruppe von Blöcken: 3*11 Makroblöcke
QCIF-Bild: 3 Gruppen
CIF-Bild: 12 Gruppen
114
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - H.261 (px64) 5
• Kodierungsverfahren
– Intraframe. Zur Kodierung werden nur Daten eines Bildes
verwendet
(vgl. Intrapicture bei MPEG; s.u.)
– Interframe: Zur Kodierung werden Daten aus mehreren
Bildern verwendet.
(vgl. P-Bilder in MPEG; s.u.).
– Norm schreibt hier keine Parameter fest.
– Zu Intraframe:
• 8*8 Pixelblock mit DCT (wie bei JPEG)
• DC und AC Koeffizienten unterschiedlich quantifiziert
• Kodierung mit Kode variabler Länge.
27.5.1999
115
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - H.261 (px64) 6
– Zu Interframe:
• Für jeden Makroblock mit Prädiktion möglichst ähnlichen
Block im vorangegangenen Bild suchen.
Relative Lage über Bewegungsvektor festlegen.
• Bewegungsvektor nicht zwingend vorgeschrieben
• Möglich: Differenzen zwischen sequentiell
aufeinanderfolgenden Makroblöcken kodieren.
• Datenstrom
– ist in H.261 in Schichten aufgeteilt. Unterste Schicht:
– Eigenschaften:
komprimierte Bilder
• Fehlerkorrektur möglich • Jedes Bild hat 5 bit lange
Bildnummer • Letztes Bewegtbild kann als Standbild
"eingefroren" werden.
• ........
27.5.1999
116
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG
• Vorbemerkungen zu MPEG
– MPEG: Moving Picture Expert Group
– Derzeitige Fassungen:
(eine Klassifikation, zitiert nach: MPEG Video Webpage,
http://bs.hhi.de/mpeg-video/ (5.5.99)
• MPEG-1: Standard zur Speicherung und zum Information
Retrieval bewegter Bilder und assoziiertem Audio auf
Speichermedien
• MPEG-2: Standard für digitales TV
Noch in Entwicklung:
• MPEG-4: Standard für Multimedia-Anwendungen
• MPEG-7: Standard zur Inhaltsrepräsentation für die
27.5.1999
Inhaltssuche
117
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 1
• Vorbemerkungen zu MPEG-1
• MPEG-1:
• Zur Bearbeitung von Algorithmen zur Audio- und
Bewegtbildkodierung.(s.u.)
• Interntl. Standard seit 92 (MPEG-1 „approved“ Nov. 92).
• berücksichtigt andere Normierungen
– JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG
lag früher vor.
– H.261
• MPEG 1: Datenrate ≤ 1856 Kbit/s (lt. Steinmetz ‚93)
• MPEG-1: Coding of moving pictures and associated audio
for digital storage media at up to about 1,5 Mbit/s
drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)
27.5.1999
118
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 2
– Geeignet für symmetrische und asymmetrische
Kompression (incl. Audio)
– MPEG spezifiziert:
- Video
- Audio
- Systemdefinition
• Videokodierung
– Bildaufbereitung (ähnlich H.261)
• Bild ist beschrieben durch:
– Y Luminanz,
– Cb,Cr Farbdifferenzkomponenten
– Y hat in horizontaler und vertikaler Richtung je doppelte
Auflösung (Color Subsampling)
• Es sollte sein: Räumliche Auflösung ≤ 768*576 Pixel
27.5.1999
119
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 3
• Bildaufbereitung (Fortsetzung)
– p = 8 in jeder Ebene
– Weitere Infos bei MPEG:
• 14 unterschiedliche Seitenverhältnisse von Pixeln
• 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30
Hz, 50 Hz, 59,94 Hz, 60 Hz.
– Verwendung von Prädiktoren für Bildbereiche
– Aufbau eines Bildes aus Bereichen:
• Block : 8*8 Pixel
• Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom.
diese 6 Blöcke werden sequentialisiert
– --> der Anwender hat keine MCUs zu definieren
27.5.1999
– 3 Komponenten werden gemeinsam komprimiert/ dekompr.
• kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)
120
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 4
• Bildverarbeitung
– 4 unterschiedliche
Bildkodierungsarten:
wegen: effiziente
Kodierung <-->
wahlfreier Zugriff
auf Einzelbild/Frame
– Bildarten: I-, P-, B-, D- Bilder
27.5.1999
121
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 5
• Bildverarbeitung (Fortsetzung 1)
Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93])
– I-Bilder (Intra Coded Pictures)
• wird als Standbild (Einzelbild) behandelt.
• wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff, ....)
• Kompression jedoch in Echtzeit nötig --> geringe
Kompressionsrate
• bilden Anker für wahlfreien Zugriff
– P-Bilder (Predictive Coded Pictures)
• verwenden vorangegangene I- resp. P-Bilder
--> Bewegungsschätzung:
(Algorithmus ist nicht vorgeschrieben; nur die Kodierung
des Ergebnisses. Bewegungsvektor + Differenzbild)
27.5.1999
122
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 6
• Bildverarbeitung (Fortsetzung 2)
Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCMKodierung.
--> höhere Kompressionsrate als I-Bilder.
• Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar.
• Im Prinzip gleich, im Detail anders als bei JPEG.
– B-Bilder (Bidirectionally Predictive Coded Pictures)
• verwendet vorangegangene und nachfolgende I- und PBilder
--> höchste Kompressionsrate
27.5.1999
123
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 7
• Bildverarbeitung (Fortsetzung 3)
• Beispiel (zu sinnvollem Einsatz von B-Bildern):
Bewegung eines Balles von links nach rechts vor statischem
Hintergrund. Geben sukkzessive Teile des Hintergrundes frei.
Daher Ableitung aus nachfolgenden Bildern günstig.
• u.a. Interpolation von Makroblöcken.
• B-Bilder werden nicht im Dekoder als Referenzbilder
gespeichert.
– D-Bilder (DC-Coded Picture)
• intraframekodiert; nur DC-Parameter (, resp.
niederfrequente AC) • für schnellen Vorlauf
• diese Funktionalität kann auch durch periodisch auftretende
I-Bilder erreicht werden
27.5.1999
124
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 8
• Bildverarbeitung (Fortsetzung 4)
– Weitere Anmerkungen:
• Reihenfolge der Bilder in der Dekodierung und der
Präsentation können unterschiedlich sein. (vgl. Beispiel oben
+ unten)
• Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures
vorher zu verarbeiten .
• In praktischen Anwendungen von MPEG:
– Bildfolge : I BBPBBPBB I BBPBBPBB I ....
--> Wahlfreier Zugriff auf jedes 9. Bild.
• (Mindestens alle 15 Bilder je ein I Bild gefordert.)
27.5.1999
125
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 9
• Quantisierung
– wird an Bedarf angepaßt
• Audiokodierung
– Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz;
Abtastung mit 16 bit.
– Kompression je Audiosignal:
– zu einem von 64, 96, 128, 192 kbit/sec.
– Vorverarbeitung: FF - Transformation (--> also Infos in
Spektraldarstellung)
– Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche
(Bänder).
• Können unterschiedlich gewichtet quantisiert werden.
27.5.1999
126
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 10
• Audiokodierung (Fortsetzung)
– 3 Qualitätsstufen:
• Stufe 1+2: PCM-kodiert
• Stufe 3: PCM-kodiert + Huffman
– verarbeitbar:
• 1 Kanal,
• 2 unabhängige Kanäle
• Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen
– kompatibel zu:
• CD-DA (Compact Disc - Digital Audio)
• DAT (Digital Audio Tape)
27.5.1999
127
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 11
• Datenstrom
MPEG spezifiziert feste Syntax für Audio- und Videodatenstrom
– Audiostrom
• besteht aus Frames, diese aus Audio Access Units, diese
wiederum aus Slots.
• Slot: bei niedrigster Komplexität der Kodierung: 4 Byte,
sonst 1 Byte
• Audio Access Unit: kleinstmögliche Audiosequenz
komprimierter Daten, die unabhängig von allen übrigen
Daten vollständig dekodiert werden kann.
– Spieldauern hierfür:
- 48kHz: 8ms
- 44.1 kHz: 8,7ms
- 32 kHz: 12 ms
• Frame: feste Anzahl von Abtastwerten
27.5.1999
128
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 12
• Datenstrom (Fortsetzung 1)
– Videostrom: 6 Schichten
• Sequence
• Group of
pictures
• Picture
• Slice
• Makroblock
• Block
27.5.1999
129
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 13
• Datenstrom (Fortsetzung 1)
– Videostrom: (Fortsetzung)
• Sequence Layer: Steuert Zwischenspeicherung der Daten
– Angaben enthalten u.a.:
» für Sequenz konstante Bitrate
» für Dekodierung min. Speicherplatz
– Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur
Überprüfung der durch die Dekodierung entstehenden
Verzögerungszeit verwendet.
– Zwischen Sequenzen können grundlegende Parameter des
Dekoders neu gesetzt und Initialisierung durchgeführt werden.
27.5.1999
130
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 14
• Datenstrom (Fortsetzung 2)
– Videostrom (Fortsetzung 1)
• Group of Pictures Layer:
– Enthält mindestens ein I-Bild (und das an erster Stelle) .
– Folge im Datenstrom und in der Präsentation können
unterschiedlich sein
Beispiel:
» Reihenfolge bei der Darstellung:
Bildart
Bildnummer
B B I B B P B B P B B I
0 1 2 3 4 5 6 7 8 9 10 11
» Reihenfolge im Datenstrom:
Bildart
Bildnummer
27.5.1999
I B B P B B P B B I B B
2 0 1 5 3 4 8 6 7 11 9 10
131
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 15
• Datenstrom (Fortsetzung 3)
– Videostrom (Fortsetzung 2)
• Picture Layer: beinhaltet
– je ein gesamtes Einzelbild
– zeitlicher Bezug über Bildnummer
– (noch freie weitere Datenfelder [für Erweiterungen])
• Slice Layer
– besteht aus Anzahl von Makroblöcken, die sich von Bild zu
Bild ändern können.
– enthält u.a. Skalierung der DCT-Quantisierung für dieses slice.
• Macro Block Layer
• Block Layer
27.5.1999
132
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 16
• Systemdefinition
– Zusammenfassung von Audio- und Videostrom.
– Multiplexen incl.
• Koordination beim Datentransfer zwischen einkommenden
und ausgehenden Datenströmen
• Justage von Uhren
• Puffermanagement
– Zerlegung des Datenstroms (nach ISO 11172) in Packs.
• Erster Pack enthält Infos z.B. über maximal auftretende
Datenrate. (Headerinfos).
---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa
späteres Aufschalten!).
– MPEG setzt zur Synchronisation erforderliche Zeitstempel.
27.5.1999
133
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 17
• Systemdefinition (Fortsetzung 1)
– Prototypischer ISO/IEC 11172 Dekoder:
27.5.1999
134
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-1 18
• Anmerkungen
– MPEG verlangt nicht Kompression in Echtzeit.
– MPEG spezifiziert Prozeß der Dekompression, nicht den
Dekoder selbst.
– Weitgehend verfügbar:
MPEG 1
Datenrate: 1.5 Mbit/s
– Wichtig: Qualität, Kompressionsfaktor
– Unwichtig: Kompressionszeit
27.5.1999
135
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 1
• MPEG-2 (ISO 13818) Referenzen:
(Stand: 14.6.98)
– Startseite zu MPEG-2 (ISO 13818): http://www.mpeg2.de/
– MPEG-2-Dokumentation:
http://www.mpeg2.de/doc/index.htm
– Video-Codierung mit MPEG-2: Breites Spektrum
(deutsch) (*)
http://www.mpeg2.de/doc/mpuo05/mpuo05.htm
– MPEG-2 FAQ Table of Contents
http://bmrc.berkeley.edu/projects/mpeg/faq/mpeg2/
27.5.1999
136
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 2
• MPEG-2 (ISO 13818) Referenzen: Fortsetzung
– Überblicke zu MPEG (u.a. MPEG-2):
• The MPEG Home Page:
– http://drogo.cselt.stet.it/mpeg/ (5.5.99)
• MPEG and multimedia communications (Leonardo
Chiariglione) ["Vater" von MPEG]
http://drogo.cselt.stet.it/ufv/leonardo/paper/isce96.htm
(**)
• Recent advances in video compression
http://www.stud.ee.ethz.ch/%7Erggrandi/intro.html
• Anmerkung:
– Dieses Material v.a. nach (*) zusammengestellt.
27.5.1999
137
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 3
• Entwicklungstufen des Standards ISO 13818
(MPEG-2):
–
–
–
–
–
27.5.1999
Working Draft 1 November 1992
Comittee Draft November 1993
Draft International Standard März 1994
International Standard November 1994
"Generische Kodierung von Bewegtbildern und
synchronisiertem Audio" (übersetzt)
138
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 4
• Ziele:
– MPEG 1:
• Kodierung von Video auf CD-ROMs
• Anwendungen bei: Video-CDs (CD-V/heute: DVD), CDInteractive (CD-I), Spieleconsolen
27.5.1999
139
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 5
• Ziele (Fortsetzung):
– Ziele für MPEG 2:
• Für Einsatz im Fernsehfunk (broadcasting):
• Einsatzgebiete:
– Video-On-Demand im Consumerbereich (Home Cinema)
– hochqualitative und verlustfreie Übertragung von Video im
Studiobereich
» Verringerung der Kosten bei Satellitenübertragungen
» Nicht: Videokonferenzen (dazu: --> H.261)
» (würde: --> synchrones Kodierungsverhältnis, geringe
Kodierverzögerung)
– in MPEG-2:
– Verzögerung zwischen analogem Eingangsstrom und digitalem
Videodatenstrom: 1/2 bis 3 Sekunden.
27.5.1999
140
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 6
• Systemansatz:
– Kombination eines oder mehrerer elementarer Video- und
Audioströme mit weiteren Daten in
• einen oder mehrfachen Strom zur
– Speicherung
– Übertragung
– Spezifiziert in
• Program- und
• Transportstrom
– (Vgl. Bild nächste Seite)
27.5.1999
141
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 7
• Systemansatz (Fortsetzung):
27.5.1999
142
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 8
• Verwendete Mechanismen (für Videos):
– bei MPEG-1 und MPEG-2 ähnlich:
• Einzelbilder kodieren
– mit temporären Abhängigkeiten (IPB-frames) und
– zeitlichen Verschiebungen von Bildinhalten (motion vectors).
• Mathematische Verfahren zur Datenreduktion:
– Diskrete-Cosinus-Transform-Kodierung,
– Huffman- und Lauflängenkodierung.
– Ungleicher Kodier-/Dekodier-Aufwand: Studio-/HomeHardware
27.5.1999
143
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 9
• MPEG-2 ermöglicht:
– Skalierbarkeit:
• schnellere Dekodierhardware ---> erhöhte Bildqualität
• räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu
herkömmlichem 4:3.
• Bitrate bis 10 Mbit/s.
– erhebliche Flexibilität des Videoteils:
• verschiedene Bildformate
• wahlfreie Bildqualität
• variable Bitraten
27.5.1999
144
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 10
• MPEG-2 ermöglicht: (Fortsetzung 1)
– erhebliche Flexibilität des Videoteils (Fortsetzung)
• channel hopping: wahlfreier Zugriff auf verschiedene
Videokanäle
• nachträgliche und einfache Editierung des kodierten
Bitstroms
• trick modes (z.B. für effektreiche Überblendungen)
• Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu
weiteren Qualitätsverlusten führen.
27.5.1999
145
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 11
• MPEG-2 ermöglicht: (Fortsetzung 2)
– Audioteil
der Kodierung muß mehrere Kanäle (--> Multilingualität) und
niedrigere Sampling-Frequenzen unterstützen.
– Rückwärtskompatibilität zu MPEG-1 und H.261
u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt
rückwärtskompatible Datenströme erzeugen.
z.B.: MP@ML: Video Main Profile + Video Main Level ist
MPEG-1 ähnlich.
27.5.1999
146
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 12
• Kodierungs"methoden":
- Profiles und Levels - Scalability - Security
– Profiles (complexity of compression) und
Levels (sample rate, framedimension, coded bitrates)
• schränken die zur Verfügung stehenden Parameter der
Kodierung ein, um dieseEinschränkungen dann in den
Kompressionsalgorithmen ausnutzen zu können.
• Standardisieren Kodierungsparameter.
27.5.1999
147
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 13
• Kodierungs"methoden":(Fortsetzung 1)
– Profile und Level in MPEG-2:
27.5.1999
148
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 14
• Kodierungs"methoden":(Fortsetzung 2)
– Sampling Größen und Bitraten:
27.5.1999
149
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 15
• Scalability:
• ist die Möglichkeit des Dekoders, Teile eines Datenstroms
zu ignorieren und doch sinnvolle und angepaßte Video- und
Audioausgaben zu erzeugen. --> MPEG-2 weitgehend
speicher- und übertragunsmedienunabhängig.
27.5.1999
150
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 16
• Kodierungs"methoden":(Fortsetzung 3)
– Zeitliche Scalability
• Bildrate kann erhöht werden, indem in den normalen Ablauf
des "Base Layers“ zusätzliche B-frames des "Enhancement
Layers" dekodiert werden.
27.5.1999
151
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 17
• Kodierungs"methoden":(Fortsetzung 4)
– Qualitative Scalability
• anstelle der ungenaueren B-frames des "Base
Layers"werden P-frames des "Enhancement Layers"
dekodiert und angezeigt.
27.5.1999
152
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 18
• Kodierungs"methoden":(Fortsetzung 5)
– Pan-Scan-Scalability: ermöglicht die Definition von
Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von
Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung
ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9
HDTV-Bildes.
27.5.1999
153
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 19
• Kombinationsmöglichkeiten:
27.5.1999
154
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 20
• Weitere Möglichkeiten von MPEG-2:
– Sicherheit (Vertraulichkeit + Integrität) wird unterstützt
(nicht ausgeführt.)
– Makroblock-Scalability:
einzelne Macroblöcke können mehrfach, in verschiedenen
Qualitätsstufen kodiert werden.
– Block-based Motion Compression Prediction (MCP):
• das Erkennen von relativen Bewegungen einzelner Blöcke
im Vergleich von Bild zu Bild wird im MPEG-2 Format viel
einfacher realisiert.
– Frame Motion Prediction:
• Das Auffinden von ganzen, gleichen Frames innerhalb des
Datenstroms (Frame Motion Prediction) und
27.5.1999
155
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 21
• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1)
– Field Motion Prediction:
• das Auffinden von gleichen, wie auch immer geformten
Teilen in verschiedenen Bildern und auch innerhalb des
aktuellen Bildes wird ermöglicht. ---> vgl. JPEG
– variabler Farbraum
• für den Studiobereich notwendig, ein Farbverlust ist
während der Produktionsphase von Filmen nicht akzeptabel
• in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.
27.5.1999
156
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-2 22
• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2)
– Zu Audio: (kurz)
• für Kodierung von Audiosignalen hoher Qualität
(CD,Studio).
• auch für digitale Quellen ausgelegt, z.B. ISDN.
• unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle)
– MPEG-2 ist auf Verwendung von Hardware zugeschnitten
--> SetTop Boxen
27.5.1999
157
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 1
• Wo bleibt MPEG 3 ?
– Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz
mit kodierten Bitraten zwischen 20 und 40 Mbit/sec
bearbeiten. Wurde jedoch allein durch MPEG 1+2
beschreibbar. HDTV ist nun Bestandteil von MPEG-2
High Level-1440. MPEG 3 ist damit gecancelt.
– Anmerkung:
• Vorsicht. MPEG 3 nicht gleich
• MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)
27.5.1999
158
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 2
• (Nur) Einstieg in MPEG-4:
– zitiert v.a. nach: Overview of the MPEG-4 Standard
• ISO/IEC JTC1/SC29/WG11 N2725
March 1999/Seoul, South Korea
• www.drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm
(Stand 5.5.99)
• Inhaltsverzeichnis
27.5.1999
–
–
–
–
–
–
–
Executive Overview
Scope and features of the MPEG-4 standard
Detailed technical description of the MPEG-4
List of major functionalities provided by MPEG-4 in Vers. 1
Verification Test: checking MPEG’s Performance standard
Profiles in MPEG-4 Version 1
- Version 2 of MPEG-4
Annexes
159
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 3
• Executive Overview
– MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC
standard von MPEG entwickelt
– MPEG-4
•
•
•
•
27.5.1999
begonnen Juli 1993
Draft Intnl Standard level Oktober 1998.
Offizieller Standard: 1999
Aktuell wird gearbeitet an MPEG-4 Version 2
(abwärtskompatibel zu MPEG-4 Version 1)
160
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 4
• Executive Overview (Fortsetzung 1)
– MPEG-4 stützt sich auf die nachgewiesenermaßer
erfolgreichen Gebiete:
• Digital television
• Interactive graphics applications (synthetic content)
• Interactive multimedia (World Wide Web, distribution of
and access to content)
– MPEG-4 liefert standardisierte technologische Elemente
für die Integration von
• Produktion
• Verteilung und
• Zugriff auf den Inhalt
aller drei Bereiche von oben. Also: nicht (nur) Kompression !!
27.5.1999
161
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 5
• Executive Overview (Fortsetzung 2)
The MPEG-4
standard: a set of
technologies
to support AVOs
"audio-visual
objects"
27.5.1999
162
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 6
• Executive Overview (Fortsetzung 3)
Satz von Technologien:
– 1. Kodierte Repräsentation von Objekten mit sprachlichem oder
visuellem oder audiovisuellem Inhalt (AVOs)
– 2. Art, wie individuelle AVOs in einer Szene zusammengesetzt
werden;
– 3.Art, wie AVOs gemultiplexed und synchronisiert werden, so
daß sie über Netzwerke transportiert werden können bei
Einhaltung benötigter Qualität.
– 4. Generisches (?) Interface zwischen Anwendung und
Transportmechanismus
– 5. Art für die Benutzerinteraktion mit der Szene
– 6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.
27.5.1999
163
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 7
27.5.1999
164
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.2 Kompression - MPEG-4 8
• MPEG 4: zielt auf sehr niedrige Bitraten 4800 64000 bits/sec. Bis 176x144 und 10 Hz: Für
Videophone und analoges Telephon.
• Aktuelle Infos zu MPEG-4:
– Overview of the MPEG-4 Standard
• drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm
(Stand 5.5.99)
– MPEG Informations, Questions and Answers
• http://www.crs4.it/HTML/LUIGI/MPEG/mpegfaq.html
(Stand 5.5.1999)
27.5.1999
165
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1. Grundlagen
1.1 Videotechnik
1.2 Kompression
1.3 DV Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
166
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Literatur
• Bajohr, M.: DV Formate
Vortrag und Ausarbeitung im Seminar „Digitales Video“
Veranstalter Dittrich, FBI UniDo, SS 99
• Roger Jennings: “Video, Audio, and Data Recording
Formats”
http://www.adaptec.com/technology/standards/1394formats1.
html [Stand: 09.02.1999]
• Wilt, A. J. : “The DV, DVCAM, & DVCPRO
Formats”
+ weitere Beiträge zu “Video and Data Recording Formats”
U.a. http://www.adamwilt.com/DV.html [Stand: 04.02.1999]
27.5.1999
167
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Gliederung
• Formate für Video im Consumerbereich
• DV - Format
– Vorbemerkungen
- Eingangsbilddarstellung
– Allgem. DV Format
- Digital Interface (DIF) Format
• DV - Format : Technische Aspekte
– DV Kassetten und Aufzeichnungsformat
– 1394/FireWire
- LSI Impl. eines DV Systems
• Sichtbare Phänomene
• DV Formate konkret
27.5.1999
168
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - ... für Video im Consumerbereich
• Analog:
– VHS/VHS-C
• VHS weitest verbreitet
• VHS-C durch Adapterkassette in norm. VCRs abspielbar.
– S-VHS
• Bessere Qualität; Y/C Kodierung
– Video 8
• Erheblich kleinere Kassetten
– Hi 8
• Bessere Qualität im Vergleich zu Video 8; Y/C Kodierung
• Digital:
– DVC/MiniDV
27.5.1999
169
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Vorbemerkungen 1
• DV: Standard für digitales, komprimiertes Video und Audio
• von 10 Firmen gegründet:
–
–
–
–
–
–
–
–
–
–
27.5.1999
Sony Corp
Panasonic
Victor Corporation of Japan (JVC)
Philips Electronics, N.V.
Sanyo Electric Co. Ltd
Hitachi, Ltd.
Sharp Corporation
Thompson Multimedia
Mitsubishi Electric Corporation
Toshiba Corporation
170
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Vorbemerkungen 2
• DV definiert ein eigenes Kassettenformat
• MiniDV und DVC
• Video wird in einer Rate von 4:1:1 (NTSC) oder
4:2:0 (PAL) gesampled
• max. Auflösung: 720 x 480 Pixel
• Datenrate bei ca. 3.6 Mbyte/sec
• Kompressionsverhältnis: 5.0 - 7.0 : 1
(in der Regel 5.0:1)
• Digitale Datenübertragung via FireWire
• Vervielfältigung ohne Verluste
27.5.1999
171
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Eingangsbilddarstellung 1
• Verschiedene Notationen: SQCIF, CIF und SDTV,
nach ITU-R BT.601; hier SDTV verwendet.
• YUV-Darstellung:
Helligkeitswerte Y
Farbdifferenz Rot Cr
Farbdifferenz Blau Cb
• DV ist eine 4:1:1 YUV Bildfolge (NTSC)
• bei einer 4:1:1 Norm ergibt sich:
Ersparnis von 12 (von ursprüngl. 24) Bit pro Pixel!
• --> PIX Formate
27.5.1999
172
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Eingangsbilddarstellung 2
• Speicherplatzverbrauch pro Pixel
bits
Wert2 Wert3
 Farbtiefe* (1 

)
Pixel
Wert1 Wert1
wobei Farbtiefe: Anzahl Bits für die Helligkeit (nach ITU-R BT.601: 8
Bit)
Beispiel:
Ein „volles“ RGB Bild mit 720 x 480 Pixel
4 4
8 bit * (1   ) * 720 * 480 Pixel  1.036.800 byte  1 MByte
4 4
Hinweis: RGB Bilder sind 4:4:4 (=24 Bit pro Pixel) gecoded
27.5.1999
173
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Eingangsbilddarstellung 3
• 4:2:2 Format
– Farbe wird in der halben Rate des
Helligkeitssignals gesampled
– Bei 720 Pixeln pro Zeile ergeben sich 360
Farbabtastungen pro Farbdifferenz
27.5.1999
174
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Eingangsbilddarstellung 4
• 4:1:1 Format
– Farbe wird in der viertel Rate des
Helligkeitssignals gesampled
– Bei 720 Pixeln pro Zeile ergeben sich 180
Farbabtastungen pro Farbdifferenz
27.5.1999
175
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Eingangsbilddarstellung 5
• 4:2:0 Format 1
– Wird eine Farbe gar nicht berücksichtigt?
NEIN!
– Farbe in der halben Rate des Helligkeitssignals in
horizontaler und vertikaler Richtung abgetastet
27.5.1999
176
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Eingangsbilddarstellung 6
• 4:2:0 Format 2
2 Definitionen:
– jeweils 360 Farbinformationen für Rot und Blau
pro ungerader Zeile
– jeweils 360 Farbwerte für Rot in den ungeraden
Zeilen und 360 Farbwerte für Blau in den Geraden
(co-sited)
27.5.1999
177
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Eingangsbilddarstellung 7
• PIX Formate im Vergleich:
Format
4:2:2
4:1:1
4:2:0
System
D-1, D-5, DigiBeta,
BetaSX, Digital-S,
DVC PRO50
NTSC DV,
PAL DV, DVCAM,
DVC AM, DVC PRO DVD , main-profile
MPEG-2
Speicherplatz fŸr ein
731 kByte
Bild mit 720 x 480 Pixel
506 kByte
506 kByte
KompressionsverhŸ
l tnis ca. 30 %
50 %
50 %
Es ergibt sich ein immer noch zu hoher Datenstrom!
– ca. 240 Mbit/s (unkomprimiert, RGB)
– ca. 170 Mbit/s (4:2:2)
– ca. 120 Mbit/s (4:1:1, 4:2:0)
(alle Berechnungen gelten für 720 x 480 Pixel bei 30 frames/sec)
27.5.1999
178
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Allgem. Format: Aufbau 1
•
•
•
•
•
Ein komprimiertes Bild besteht aus 10 tracks
Bildauflösung: 720 x 485 Pixel!
1 Track umfaßt 138 Datablocks (nur Video)
1 Datablock enthält 76 Bytes Nutzdaten und 1 Byte Header
inklusiv Fehlerkorrektur und Synchronisationsdaten ergeben
sich 90 Bytes pro Datablock
• die Synchronisations- und die Fehlerkorrekturdaten werden nicht mitübertragen!
27.5.1999
179
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate
- Allgem.
Format:
Aufbau 2
• Video, Audio und
Subcode
Aufnahme Format
27.5.1999
180
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Allgem. Format: Datenraten 1
• Videodatenrate:
tracks
bits
frames
10
*138 blocks * 76 bytes * 8
* 29,97
 25,146 Mbps
frame
byte
sec
Es werden statt 30 frames/sec immer nur 29,97 frames/sec
berücksichtigt, da bei 1000 frames ein Bild nicht verwendet
wird
999 frames
frames
frames
* 30
 29,97
1000 frames
sec
sec
27.5.1999
181
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Allgem. Format: Datenraten 2
• Videodatenrate ITU-R BT.601 (4:1:1):
1 1
frames
8 bits *(1  )* 720 * 485 Pixel *29,97
 125,59 Mbps
4 4
sec
Kompressionsverhältnis:
125,59
 5 :1
25,146
Kompressionsverhältnis zu 4:2:2 Format:
167,5
 6,6 :1
25,146
27.5.1999
182
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Allgem. Format: Datenraten 3
• Audioinformationen werden in 9 blocks zu 76 bytes
gespeichert
• max. Audiodatenrate:
10
tracks blocks
bytes
bits
frames
*9
* 76
*8
* 29,97
 1,64 Mbps
frame
track
block byte
sec
entspricht 4 Spuren in 32 kHz zu 12-bit:
4 channels *
32
MHz *12 bits  1,536 Mbps
1000
oder 2 Spuren in 48 kHz zu 16-bit:
2 channels *
27.5.1999
48
MHz *16 bits  1,536 Mbps
1000
183
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Allgem. Format: Datenraten 4
• Gesamtdatenrate (Audio & Video), inklusiv Parity,
aber ohne ITI sector
10
tracks
bytes
bytes
bits
frames
* ((90
*163 blocks)  (12
*12blocks)) * 8
* 29,97
 35,5 Mbps
frame
block
block
byte
sec
• Overhead:
35,5 Mbps  25,15 Mbps  1,64 Mbps  8,7 Mbps
8,7
*100  25%
35,5
• 25 % der aufgezeichneten Daten für subcode
data, error detection und error correction!
27.5.1999
184
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Allgem. Format: Fehlerbehandlg
• DV nutzt den Reed-Solomon (RS) error detection / correction
Code
• Daten eines droupouts (burst errors) nur selten rekonstruierbar
• große Menge an Arbeitsspeicher (RAM) erforderlich
• Error concealment arbeitet mit einer Schätzung der verlorenen
Daten
• Zur Datenübertragung wird nur ein error detection Code
verwandt
27.5.1999
185
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Allgem. Format:
Fehlererkennung mit Kreuzparität
• Video und Audio
Daten mit einer
Kreuzparität
versehen
• nur „1 Bit Fehler“
korrigierbar
• gerade Parität
Darstellung einer Error
Detection mit Parity bits
27.5.1999
186
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 1
• Aufbau 1
– Data in Frame: DIF
– Format zur Datenübertragung via FireWire
– arbeitet nur mit error detection
=> einfachere Implementierung, geringerer Overhead
– DIF Format lehnt sich an das allg. DV Format an
– Bildauflösung: 720 x 480 Pixel
– die Synchronisations- und die Fehlerkorrekturdaten
werden nicht mitübertragen!
27.5.1999
187
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 2
• Aufbau 2
– Ein NTSC Bild mit 720 x 480 Pixel wird in 10 gleichgroße
DIF Sequenzen zu je 12000 Bytes gepackt
– Eine DIF Sequenz beinhaltet 5 Superblocks für die
Videodaten
– DIF Sequenzen bestehen aus 150 DIF Blocks zu je 80
Bytes (=20 Quadlets) Inhalt
Eine DIF Sequenz besteht aus:
– 135 DIF blocks für Video Daten
– 9 DIF blocks für Audio Daten
– 6 DIF blocks für Header, Subcode und Video Auxiliary
(VAUX)
27.5.1999
188
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 3
• DIF Sequenzen im Detail 1
Anordnung von DIF Sequenzen
27.5.1999
189
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 4
• DIF Sequenzen im Detail 2
– Resultierende Datenrate:
10
Sequenzen
blocks
bytes
bits
Bilder
Mbyte
*150
* 80
*8
* 29,97
 28,77Mbps  3,6
Bild
Sequenz
block
byte
Sekunde
Sekunde
– Übertragung der DIF Blocks:
• 9 Audio DIF Blocks werden interleaved mit 135 Video
DIF Blocks in eine 9 x 14 Matrix gemischt
• Zu Beginn wird ein 6 Block langer Header mit Subcode
und VAUX übertragen
• Wiedergabe erfolgt in der gleichen Reihenfolge wie die
Aufnahme
27.5.1999
190
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 5
• DIF Sequenzen
im Detail 3
• Übertragungssequenz
von Data, Video und
Audio DIF Blocks
27.5.1999
191
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 6
• Superblocks & Makroblocks 1
– DV frames bestehen aus 270 Videosegmenten => pro DIF
Sequenz ergeben sich 27 Videosegmente
– jedes Videosegment beinhaltet 5 komprimierte
Makroblocks zu je 80 Bytes
– ein Makroblock entspricht physikalisch einem DIF Block
– jeder Makroblock stellt eine 32 x 8 Pixel Region innerhalb
eines Bildes dar => 1350 Makroblocks pro Bild
– ein Superblock enthält 27 Makroblocks => pro DIF
Sequenz gibt es 5 Superblocks (5 * 27 = 135 DIF Blocks)
– jeweils 5 Superblocks pro Spalte ergeben eine DIF
Sequenz
27.5.1999
192
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 7
• Superblocks & Makroblocks 2
27.5.1999
Struktur eines Videosegments
193
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 8
• Superblocks & Makroblocks 3
Aufbau eines Makroblocks
3 bytes für die DIF block ID information
14 bytes jeweils für die Helligkeitsinformationen Y0, Y1, Y2, Y3 (=56
bytes)
10 bytes jweils für die Farbinformation Cr und Cb (= 20 bytes)
27.5.1999
194
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 9
• Superblocks & Makroblocks 4
Anordnung der Makroblocks
– Pro Superblock (Spalten) gibt es 27 Makroblocks
– Die letzten Makroblocks (24, 25, 26) ergeben jeweils eine 16 x 8 Pixel
Region pro Zeile => 720 Pixel / 32 Pixel = 22,5
– Makroblocks werden nicht zeilenweise angeordnet => error
concealment
27.5.1999
195
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 10
• Superblocks & Makroblocks 5
Superblocks innerhalb eines NTSC frames
27.5.1999
196
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 11
• Superblocks
...
Anordnung der Makroblocks innerhalb eines
NTSC DV frame
27.5.1999
197
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 12
• Dekodierung eines Videosegments 1
– Dekodierung der AC Koeffizienten erfolgt mit einem 3
schrittigen variable length decoding Algorithmus:
Schritt 1:
dekodiere VLC AC Koeffizienten für Y0, Y1, Y2, Y3,
Cr und Cb innerhalb eines Makroblocks
Schritt 2:
dekodiere übergelaufene VLC AC Koeffizienten
innerhalb eines Makroblocks
Schritt 3:
dekodiere übergelaufene VLC AC Koeffizienten
innerhalb eines Video Segments
27.5.1999
198
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - DIF (Format) 13
• Dekodierung eines Videosegments 2
Dekomprimierung und IDCT:
–
–
–
–
Inverse quantization
“Zigzag” Koeffizienten Sortierung
Inverse Gewichtung
Inverse diskrete Cosinus Transformation (DCT) nach 8-8 oder 2-4-8
(2-4-8 wird benötigt, wenn sich viele Details im Bild befinden.)
– Speichere die Pixeldaten in der richtigen Reihenfolge innerhalb des
Video frames
Randbedingungen:
27.5.1999
– Alle 3 Video Segmente muß der Audio DIF Block übersprungen
werden
– Nach jeweils 27 Video Segmenten muß der Header, Subcode und
VAUX übersprungen werden. Dieses sind 6 DIF blocks.
– Decodiere die 27 Video Segmente
– Dieses wird nun 10 Mal pro Bild durchgeführt. Als Ergebnis erhält
man ein YUV kodiertes 4:1:1 Bild mit einer Auflösung von 720 x 480
Bildpunkten
199
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Techn. Aspekte: Kassetten 1
• Grundlagen
–
–
–
–
–
–
–
–
27.5.1999
2 verschiedene Formate: DVC und MiniDV
Band hat eine Breite von 6,35 mm (1/4 inch)
wird mit 18,81 mm/sec im Normal Modus fortbewegt
MiniDV ist mit einem Kassettenadapter zur Standard DV
Kassette kompatibel
interner Festwertspeicher, MIC (Memory in Cassette),
max. 16 MB, aber nicht erforderlich!
MIC Daten werden über FireWire mitübertragen
geringere Probleme gegen Dropouts, als bei Hi8 Bändern
Bandmaterial besteht aus 5 Schichten
200
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Techn. Aspekte: Kassetten 2
• Geometrische Eigenschaften
Standard DV
MiniDV
Geom. Abmessungen
125 mm x 78 mm x 14,6 mm
56 mm x 49 mm x 12,2 mm
Bandlänge
250 m
65 m
Kapazität
4,5 h = 58,5 GByte
1 h = 13 GByte
27.5.1999
201
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Techn. Aspekte: Kassetten 3
• Anordnung der Spuren 1
–
–
–
–
–
–
min. 2 Köpfe auf einer rotierenden Kopftrommel
Rotationsgeschwindigkeit: 9000 rpm
azimuth recording Verfahren (+/- 10 Grad)
Spurlage um 9 Grad geneigt
Spurlänge: 35 mm, davon genutzt 33 mm
Spurbreite: 10 microns (Millionstel eines Meters)
(Hi8 benötigt 20,5 microns, VHS sogar 58 microns)
– keine Kontrollspur zur Bandgeschwindigkeitsanpassung
=> DV mischt Pilottöne in den Datenstrom
– 2 horizontale Spuren, die herstellerabhängig genutzt
werden
27.5.1999
202
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Techn. Aspekte: Kassetten 4
• Anordnung der Spuren 2
27.5.1999
Spuranordnung auf dem DV Band
203
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Techn. Aspekte: Kassetten 5
• Anordnung der Spuren 3
Aufnahme eines
Bildes nach NTSC
Norm
Anzahl an Tracks kann von DV geändert werden:
=> NTSC 525/60 nutzt 10 Tracks pro Bild
=> PAL 625/50 benötigt 12 Tracks pro Bild
27.5.1999
204
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Techn. Aspekte: Kassetten 6
• Verwendung der Spuren
– Insert and Track Information (ITI) Sektor:
• Track status
• Kontrollspur während des Insert Schnittes => Pilottonspur
– Audio Sektor:
• Audio und Audio Auxiliary (AAUX) Daten
• 4 x 32 kHz, 12 Bit oder 2 x 48 kHz [44.1 kHz, 32 kHz], 16 Bit
– Video Sektor:
• Video und Auxiliary Video (VAUX) Daten
• Video Bilder mit DCT und Huffmann Kodierung auf 5:1
komprimiert
• VAUX Daten enthalten Datum und Uhrzeit, Zoom und Linseneinstellung, shutter speed, Farbbalance, sonstige Kamera
Einstellungen
– Subcode Sektor:
27.5.1999
• Timecode in kleinen Blöcken, packs, gespeichert
• sonstige Informationen
205
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate -Techn. Aspekte: 1394/FireWire 1
• Grundlagen
– digitale Kommunikation zwischen max. 63 DV Geräten
– Hochgeschwindigkeits serieller Bus (bidirektional)
– dient der „reinen“ Kommunikation ähnlich TCP/IP, keine
Angaben zur Kodierung/Dekodierung
Vorteile
27.5.1999
– digitale Kopien zwischen 2 Camcordern oder VTRs mit 1394
I/O Interface ohne Qualitätsverlust
– linear editing ohne Qualitätsverlust möglich, keine Artefakte
– Digitale Daten können von einem VTR oder einem Camcorder
mit 1394 I/O Interface direkt in einen Computer übertragen
werden. Es ist keine Digitalisierung erforderlich!
– Günstiger Preis. Diese Schnittstelle wird in bereits vielen lowend DV-Kameras eingebaut und kostet wesentlich weniger als
die professionelle Lösung, SMPTE 259M SDI (serial digital
interface)
206
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate -Techn. Aspekte: 1394/FireWire 2
• IEEE-1394 Steckernorm
–
–
–
–
27.5.1999
2 geschirmte verdrillte Adernpaare (RX und TX)
Stromversorgung (8 - 40 V, 1.5 A)
„Gameboy“ Stecker
Datenraten: 98.304, 196.608, 393.216 Mbps!
207
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate -Techn. Aspekte: 1394/FireWire 3
• DVC 1394 Paket
27.5.1999
208
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Sichtbare Phänomene 1
• PIX Sampling in der Praxis 1
4:1:1 codiertes Bild
27.5.1999
209
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Sichtbare Phänomene 2
• Aufnahme mit VX1000
• 525/29.97 NTSC Mode
• 2 Pixel gleiche Farbe, da co-sited 4:1:1 Format
4:1:1 codiertes Bild (Detail)
27.5.1999
210
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Sichtbare Phänomene 3
• Aufnahme mit VX1000
• 625/50 PAL Mode
4:2:0 codiertes Bild (Detail)
27.5.1999
211
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 1
• Allgemein
Durch die Farbreduktion ergeben sich 3 Probleme:
• Mosquito Noise
• Quilting
• Motion Blocking
– diese Effekte sind in der Regel kaum sichtbar
– nur von Bedeutung beim Videoschnitt (Vergrößerung,
Zeitlupe, Gamma Korrektur, ...)
27.5.1999
212
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 2
• Mosquito Noise 1
–
–
–
–
Entstehung durch hochfrequente Bildanteile
Erkennbar durch Pixelrauschen an scharfen Kanten
nur innerhalb einer 8 x 8 Pixel Region
tritt in allen DCT orientierten Kompressionsverfahren auf,
wie JPEG, DV oder MJPEG
– Minderung dieser Artefakte durch Tiefpaß Filter =>
Weichzeichnen, Reduktion der Schärfe
27.5.1999
213
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 3
• Mosquito Noise 2
Testbild, erzeugt mit Adobe Premiere 4.2
27.5.1999
214
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 4
• Mosquito Noise 3
Testbild, erzeugt mit Adobe Premiere 4.2 (Detail)
27.5.1999
215
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 5
• Quilting 1
– Entstehung durch Diskontinuität benachbarter DCT (8 x 8)
Blöcke
– Sichtbar an leicht diagonalen Linien
– Effekt tritt vor allen bei langsamen Kamera-schwenks auf
– Minderung durch Kontrastveringerung
27.5.1999
216
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 6
• Quilting 2
4:1:1 codiertes Bild
27.5.1999
217
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 7
• Quilting 3
Detailaufnahme (72 x 48 Pixel, 8 x 8 DCT Pfeile)
27.5.1999
218
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 8
• Motion Blocking 1
– Entstehung durch getrennte Codierung der beiden
Halbbilder => Codecs
– tritt hauptsächlich bei PAL codierten Videos auf
– Sichtbar bei schnell bewegten Objekten
– Bild verliert in den „ruhigen“ Flächen an Schärfe
– Minderung durch höhere Verschlußzeiten der Blende =>
High Speed Shutter
27.5.1999
219
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: PIX Artefakte 9
• Motion Blocking 2
Aufnahme mit einer PAL DVCAM
27.5.1999
220
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: DV Aussetzer
& Fehler 1
• Ursachen
– Fehler werden hauptsächlich durch das Bandmaterial
verursacht
– Fehler kann nicht beseitigt werden, da nur error detection
=> fehlerhafte Stelle wird ausgelassen = Dropout
Fehlerarten
Dropout
• 32 x 8 Pixel Region defekt
• verdrecktes oder verknittertes Band
Bandeffekt
• vorheriges Bild bleibt im Puffer stehen und wird angezeigt
• verschmutzte oder defekte Videoköpfe (1 Kopf liest falsche Daten)
27.5.1999
221
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: DV Aussetzer
& Fehler 2
• Dropout 1
Dropout, aufgenommen mit einer VX1000 auf Sony MiniDV, 32 x 8 Pixel
27.5.1999
222
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: DV Aussetzer
& Fehler 3
• Dropout 2
Dropout, aufgenommen mit einer VX1000 auf Panasonic MiniDV, (32 x 20) (16 x 4) Pixel
27.5.1999
223
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: DV Aussetzer
& Fehler 4
• Dropout 3
Multiple Dropout, bei einem Videokopf
27.5.1999
224
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate - Phänomene: DV Aussetzer
& Fehler 5
• Bandeffekt
Bandeffekt, NTSC 525/60 Bild mit 10 Streifen
27.5.1999
225
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 1
• Klassifizierung
27.5.1999
System
Zielgruppe
DV (56 Firmen)
Consumer, Amateur
DVCam(Sony)
Industriefilm,teilweise Broadcast
DVCPro (Panasonic)
Consumer, Broadcast
Betacam SX (Sony)
Broadcast
Digital Betacam (Sony)
Broadcast
Digital-S (JVC)
Broadcast, Studiobereich
226
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 2
System
DV
DVCam
DVCPro
Betacam SX
Digital Be- Digital-S
tacam
56 Firmen
Sony
Panasonic
Sony
Sony
JVC
18,8 mm/s
28,2 mm/s
33,8 mm/s
59,6 mm/s
96,7 mm/s
57,8 mm/s
10 mm
15 mm
18 mm
32 mm
24 mm
20 mm
Quantisierung
8 Bit
8 Bit
8 Bit
8 Bit
10 Bit
8 Bit
Kompressionsfaktor
5:1
5:1
5:1
10:1
2:1
3,3:1
Signalverarbeitung
4:2:0
4:2:0
4:1:1 (4:2:2)
4:2:2
4:2:2
4:2:2
Datenrate
Video/ges.
25/41,85
25/41,85
Mbit/s
25/41,85
Mbit/s
18/40
84/125,68
50/99
Mbit/s
Mbit/s
Mbit/s
Entwickler
Bandgeschwindigkeit
Spurbreite
Mbps
27.5.1999
227
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 3
System
Digitale
Schnittstelle
DV
DVCam
DVCPro
Betacam SX
Digital Be- Digital-S
tacam
IEEE 1394
QSDI,SDI
SDI,CSDI
SDDi,SDI
SDI
SDI
16 Bit
16 Bit
16 Bit
16 Bit
16 Bit
32/48 KHz
32/48 KHz
48 KHz
48 KHz
48 KHz
48 KHz
4/2
4/2
2
4
4
4
MiniDV/DV,
ME-Band
MiniDV/DV, MiME-Band
niDV/DV,
ME-Band
Betacam
Betacam
VHS
60/270
40/184
60/240
bis 125
105
Audio Sampling
12/16 Bit
Audio
Quantisierung
Audio
näle
Ka-
Bandmaterial
Spielzeiten/
min
27.5.1999
63/123
228
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 4
• DVCPro 4:1:1
– Propritäres Format von Panasonic und Television Systems
Co.
– Benutzt Metallband mit einer Spurberite von 18 micron
und einer Bandgeschw. Von 33,82 mm/sec
– nicht kompatibel zu DV, aber MiniDV Kassetten
– Neuere VTRs können beide Formate abspielen
– Beide Längsspuren werden für audio cue und control
tracks genutzt
– Studioqualität
– günstigere Versionen verfügen statt dem SDI über ein
1394/FireWire Anschluß
– 4 fache Datenübertragung zwischen VTRs oder
Computern mit FireWire Anschluß
– AJ-D200, VTR: AJ-D230
27.5.1999
229
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 5
• DVCPro 4:2:2 (DVCPro 50)
– Weiterentwicklung der DVCPro
– 1/4 inch DV Metallbänder mit einer Bandgeschw. von
67,64 mm/sec
– 3,3:1 Kompression bei 4:2:2, gleich mit JVCs 1/2 inch
Digital-S
– DV ähnliches Format, jedoch Verdoppelung der Tracks pro
Bild (bei NTSC statt 10 jetzt 20, bei PAL 24)
– 2 zusätzliche Videoköpfe erforderlich (4 Köpfe)
– Datenrate: 50 Mbps
– kompatibel zu dem alten DVCPro Format
27.5.1999
230
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 6
• DVCAM
– Entwickelt von Sony für die industrielle Videoproduktion
– nutzt DV ME Band und weicht nur mit der Trackbreite von
15 microns und der Bandgeschw. vom DV Format ab
– Bandgeschwindigkeit: 28.22 mm/s
– durch die breitere Spur verkürzt sich die Aufnahmezeit
einer 4.5 h Kassette auf 3 h
– 2 Mbit MIC zur Speicherung von 198 Szenen
– 4 fache Übertragungsgeschw. zwischen VTRs oder
Computern mit FireWire
– liest normale DV Bänder, aber keine DVCPRO
– DSR-130, DSR-200, VTR: DSR-85
– DCR-VX800, DCR-VX1000, DCR-VX9000
27.5.1999
231
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 7
• Digital-S
– Entwickelt von Japan Victor Corp. (JVC)
– 1/2 inch VHS Kassetten mit einer Spieldauer von max. 104
min
– Kompression: 3.3:1 DCT 4:2:2
– 2 Längsspuren für audio cue track und control track
– einige Digital-S Recorder können auch SVHS Kassetten
abspielen
– Produktionskosten wurden gesenkt, da die Mechanik aus
den VHS Videorekordern übernommen wurde
– geringere Dropouts als bei den 1/2 inch Bändern
27.5.1999
232
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 8
• Betacam SX
–
–
–
–
–
–
–
–
27.5.1999
Entwickelt von Sony
1/2 inch digitales Format
Spurbreite: 32 microns
benutzt MPEG-2 Kompression mit 4:2:2
Auflösung: 720 x 512 (nicht 720 x 480!)
max. Datenrate: 50 Mbps
Standard Datenrate bei 18 Mbps für Satelliten Link
Einsatz für Broadcast ENG/SNG
233
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.3 DV Formate konkret 9
• Qualität
Bewertung:
1 : Normales Video
10: Studioqualität
(Subjektive Einschätzung
von Adam Wilt et al.)
27.5.1999
System
D-5 (10-bit uncompressed digital)
10
D-1 (8-bit uncompressed digital)
9.9
Digital Betacam, Ampex DCT
9.7
Digital-S, DVCPRO50
9.6
DV, DVCAM, DVCPRO
9.2
MII, Betacam SP
9.1
D-3, D-2 (composite digital)
9
1" Type C
8.9
3/4" SP
6.5
3/4", Hi8, SVHS
5
Video 8, Betamax
4
VHS
3
EIAJ Type 1, Fisher-Price Pixelvision
1
234
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
DV Formate - LSI Implementierung 1
• Aufbau
– LSI Entwurf von Matsushita Electric Ind. der Schaltkreise
für das consumer DV
– Einsatz in DVCPRO
– Fähigkeit: einen 4:1:1 DV Datenstrom in einen 4:2:2 DV
Datenstrom zu interpolieren
– Audio I/O mit I2C Interface von Philips
=> IC erzeugt ein serial D-1 (SMPTE 259M) video und
AES/EBU serial audio Signal zur Versorgung der digitalen
Komponenten der DVCPRO
– Integration des 1394 Interfaces
– Verzögerung von 2 Bildern bei der Aufnahme und
Wiedergabe des Audio/Videostroms
27.5.1999
235
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
DV Formate - LSI Implementierung 2
• Funktionsweise 1
– Application Layer
• shuffle/deshuffle
• compression/decompression der DV-Daten
– Tape Format Layer
• Erzeugung der Reed-Solomon-Codes
• die Modulation/Demodulation für die Aufnahme/
Wiedergabeköpfe
– DVC-BUS
• proprietären Bus, der die beiden Einheiten verbindet
• mit 8 Datenleitungen und 3 Kontrollsignalen
27.5.1999
• BDEN (data enable)
• BDCK (data clock)
• BQUIET (data start)
236
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
DV Formate - LSI Implementierung 3
• Funktionsweise 2
LSI Entwurf der DVCPRO
27.5.1999
237
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1. Grundlagen
1.1 Videotechnik
1.2 Kompression
1.3 DV Formate + deren Eigenschaften
1.4 Quicktime
27.5.1999
238
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Gliederung
•
•
•
•
Was ist QT?
Literatur
Historie
Bestandteile
– Component Manager
– Image Compression Manager
– Movie Toolbox
• Movie
• Frontends
– QT Viewer
– QTVR Player
27.5.1999
- QT Player (Pro)
239
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Was ist QT?
• Ein Herstellerstandard (Apple).
• Architektur/Toolkit für multimediale Daten
– unterstützt:
- Standbilder
- Graphik
- Video
- Sprites/ Animation - Text - MIDI
- 3D
-Tween
- Timecode - VR
- Sound
– schließt ein:
- Benutzerschnittstellen - Mediendienste (z.B. für Kompr.)
- Datenformate
- Abstraktionsschicht
– Hardwareunabhängig - Plattformunabhängig - Erweiterbar
• Apple möchte: „Postscript“ für Digitale Medien
• Alternativen anderer Hersteller : - AVI? - Real networks?
27.5.1999
• Grundlage für MPEG-4 Standardisierung (?)
240
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Literatur
• Literatur: (Stand 26.5.99)
– QT Home Page; http://www.apple.com/quicktime/
– QT Spezifikationen
http://www.apple.com/quicktime/specifications.html
– QuickTime4 Fact Sheet
http://www.apple.com/quicktime/pdf/QuickTime4_FS-a.pdf
– QuickTime4Pro Data Sheet
http://www.apple.com/quicktime/pdf/QuickTime4Pro_DS-a.pdf
– Die QuickTime Media Layer; Broschüre Apple 1996
– Flechtker, B.: QT 3.0/4.0; Vortrag im Kompress.Sem.,
(Veranstalter Dittrich), FBI, UniDo, SS ‘99
27.5.1999
241
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Historie
• 1991 von Apple vorgestellt
JPEG, Cinepak, e-mail mit multimedialen Daten
• 1992 QT 1.5
• 1994 QT 2.0
doppelte Geschwindigkeit, Kodak Foto Format
Videos erstmals Bildschirm-füllend, Videos in mehreren Sprachversionen,
MPEG I können ohne spezielle Hardware abgespielt werden
•
QT 2.5
Midi, searchable Text Tracks
•
QT 3.0
Sorenson Video Codec, Qdesign Music Compressor,
Qualcomm Pure Voice
27.5.1999
• 1999 QT 4.0 (final 8.6..99)
242
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime -Verfügbarkeit
27.5.1999
• Mac
Teil des Betriebssystems
• PC
3.11 95/98 NT4.0
• SGI
Irix
243
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Bestandteile 1
• auf Benutzerebene:
– QT-Viewer: Standbilder
– QT-Player: Movies, Sounds
– QTVR-Player: Interaktive 3D-Movies
• auf Entwicklerebene:
– Bietet:
• „Datenbank“, die Routinen registriert und Applikationen zur
Verfügung stellt
• Routinen zum
– Anfertigen, Editieren und Abspielen
– Komprimieren und Dekomprimieren
27.5.1999
244
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Bestandteile 2
• QuickTime: (als) Systemerweiterung
• Bei Installation integriert es sich in das Betriebssystem und
kann von beliebigen Anwendungen ohne extra Aufruf durch
den Anwender im Hintergrund benutzt werden.
– Toolbox: liefert „Manager“
• Manager sind Routinensammlungen, die vom Programmierer angesprochen werden
• stellen ihre Dienste anderen Managern oder Applikationen
zur Verfügung
• erweiterbar durch Hinzufügen von Components
• bieten standardisierte Human Interfaces
• 3 wichtige Manager:
– Component Manager
27.5.1999
- Image Compression Manager
245
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Bestandteile 3
• Component Manager
– ist für das Verwalten von Geräten und Ressourcen
(Components) zuständig, die jede Anwendung nutzen
kann.
• Zudem unterstützt er gleichzeitigen Zugriff mehrerer
Programme auf das gleiche Programm oder die Ressource.
• QT 3.0: 175 Components
• QT 4.0: „over 200 media capabilities and components“
27.5.1999
246
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Bestandteile 4
• Image Compression Manager (ICM)
– ist für das Komprimieren und Dekomprimieren von
Bilddatenmengen zuständig.
– Geräte- und Treiber-unabhängig
– verwaltet verschiedenste Kompressionsmodelle.
(Für künftige Codecs offen!)
27.5.1999
247
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Bestandteile 5
– Unterstützte Video Kompressoren (QT 4):
– H.261
- H.263 - Animation
– Apple Video
- Cinepak
- Apple BMP
- Component video
– DV NTSC and PAL
- Graphics
- Microsoft RLE
– Intel Indeo Video 3.2 + 4.4
– Microsoft Video 1 - Motion JPEG A + B
– Photo JPEG
- Planar RGB - Sorenson Video 1+2
– Unterstützte Sound Kompressoren (QT 4):
–
–
–
–
24-bit integer
32-bit integer
ALaw 2:1
- AU
MACE 6:1
– QDesign Music 1 + 2
27.5.1999
- 32-bit floating point
- 64-bit floating point
- IMA 4:1
- MACE 3:1
- MS ADPCM
- Qualcomm PureVoice
248
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Bestandteile 6
• Movie Toolbox
– Routinen für das
•
•
•
•
Herstellen,
Bearbeiten,
Synchronisieren und
Abspielen von Daten des
Datentyps „movie“.
27.5.1999
249
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 1
• QT spielt ein
movie:
27.5.1999
250
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 2
Tracks
• Organisation
eines
movies 1
1
Audio
2
3
Video
Video
Poster
Preview
Zeitachse
•
•
•
•
27.5.1999
Beliebig viele Tracks
Individueller Offset
Alternate Group
Searchable Text Tracks
251
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 3
• Organisation
eines
movies 2
Track
2
Video
Media
• Track verweist über Pointer auf das Medium
• Medium enthält Rohmaterial
• Rohmaterial kann sowohl in der Resource Fork
als auch in der Data Fork enthalten sein
(nur auf Mac)
27.5.1999
252
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 4
• Datenstruktur eines movies:
– Movie ist Baumstruktur, die aus Atomen (atoms)
unterschiedlicher Hierachieebenen besteht
– Atome können andere Atome enthalten
– Jedes Atom enthält Informationen über Typ und Länge
27.5.1999
253
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
Movie atom
• Movie
5
Atom
eines
movies:
Movie header
atom
Movie clipping
atom
User-defined data
atom
Clipping region
atom
Movie user data
Track atom
Track header
atom
Track clipping
atom
Track matte
atom
Clipping region
atom
Clipping region
atom
Media atom
Media header Media handler
atom
Reference atom
Video media information atom
Data information atom
27.5.1999
Edit
atom
Edit list
atom
254
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 6
• Darstellung eines movies 1
27.5.1999
255
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 7
• Darstellung eines movies 2
27.5.1999
256
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 8
• Darstellung eines movies 3
27.5.1999
257
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 9
• Darstellung eines movies 4
27.5.1999
258
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 10
• Darstellung eines movies 5
27.5.1999
259
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 11
• Von QuickTime in Movies unterstützte Medientypen 1
– Video:
• MPEG, M-JPEG (jetzt hinreichend kompatibel zwischen
verschiedenen Herstellern) und andere digitale VideoStandards, z. B. Cinepak, ...
• DV (neu in QT 3.0)
– Sprites:
• Graphikbausteine für Computerspiele
– Sound:
• Musik, Geräusche, Töne - eben digitalisierte Schallwellen;
mLAW-, IMA-Codecs.
27.5.1999
260
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 11
• Von QuickTime in Movies unterstützte Medientypen 2
– Music:
• für MIDI-Daten
– Text:
• wird meist zum Untertiteln von Videos eingesetzt.
– Graphiken
– Animation:
• gerenderte, also bildweise berechnete Daten aus
Animationsprogrammen
– Quickdraw 3D:
• Apples 3dimensionaler Graphikstandard
27.5.1999
261
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 12
• Von QuickTime in Movies unterstützte Medientypen 3
– Tween:
• Art Steuerspur, um z. B. Quickdraw-Operationen wie
Skalieren, Rotieren etc.
auf Daten in anderen Spuren anzuwenden.
– Time Code:
• auch nach dem SMPTE - Standard;
(Society of Motion Picture and Television Engineers).
27.5.1999
262
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 13
• Anmerkungen 1
– Synchronisation
• der verschiedenen zeitbasierten Daten wird erreicht durch
Verwendung von Spuren/Tracks in einem
Zeitkoordinatensystem.
• ---> Parallelität von Datenströmen.
– Bei Leistungsengpässen
• werden Bilder übersprungen.
• Ton wird solange wie möglich vollständig erhalten.
• Zeitbasis wird, wenn irgend möglich, eingehalten.
27.5.1999
263
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Movie 14
• Anmerkungen 2
– QuickTime unterstützt Multiprocessing (erste Schritte).
– Text in Textspur (z. B. für Untertitel) ist Text und kein
Graphikoverlay.
• --> z.B. durchsuchbar. Gut für etwa Indizierung von Bildoder Videokatalog.
• Codecs arbeiten asynchron zu QuickTime.
27.5.1999
264
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Frontends 1
• QuickTime Viewer
– Für (Stand)bilder
27.5.1999
265
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Frontends 2
• QuickTime Player (Pro) 1
–
–
–
–
–
–
–
–
–
27.5.1999
Easy-to-use controls
New enhanced interface
Ability to save effects settings
Movie controller selection slider
Bass and treble controls
Balance control
Streaming media support
Ability to save movie favorites
Info tray
266
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Frontends 3
• QuickTime Player (Pro) 2
– Import file formats
• 3DMF
• AIFF
• AU
• Audio CD Data (Macintosh) • AVI
• BMP
27.5.1999
•
•
•
•
•
•
•
•
• DV
• FlashPix*
GIF
• JPEG/JFIF
• Karaoke
MacPaint
• Macromedia Flash
MIDI
• MPEG 1
• MPEG 1, Layer 3(MP3)
Photoshop* • PICS
• PICT
Pictures
• PNG
• QuickTime Image File
QuickTime Movie
• SGI
Sound
• Targa
• Text
TIFF*
• Virtual Reality (VR)
• Wave
267
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Frontends 4
• QuickTime Player (Pro) 3
– Export file formats
•
•
•
•
•
•
•
•
27.5.1999
AIFF
• AU
BMP
• DV Stream
Image Sequence movie exporters
MacPaint
• MIDI
PICT
• Picture
QuickTime Image
SGI
• System 7 Sound
Text
• TIFF
• AVI
• FLC
• JPEG/JFIF
• Photoshop
• PNG
• QuickTime Movie
• Targa
• WAV
268
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Frontends 5
• QuickTime Player (Pro) 4
– Video effects
• Alpha gain
• Color balance
• Color tint
• Emboss
• General convolution
• HSL balance
• Sharpen
27.5.1999
• Blur
• Color style
• Edge detection
• Film noise
• Lens flare
• RGB balance
• Zoom
269
Prof. Dr. G. Dittrich
SpV "Desktop Video"
Kapitel 1: Grundlagen
1.4 Quicktime - Frontends 6
• QuickTime VR (Teil vom QT Player)
– Softwarelösung zur Erstellung und Erkundung virtueller
Welten.
– Unterschied zum Videofilm: Benutzer steuert seinen Blick
(via Maus) selbst.
– 2 Techniken:
• Panoramavideotechnik:
– 360 Grad Rundumblick wird durch "Vernähen" von Fotos
erzeugt.
• Object-Video-Technologie:
– Erlaubt interaktive Untersuchung von Objekten.
– Läßt das Objekt sich vor den Augen des Benutzers um 360
Grad drehen.
27.5.1999
– Personen und Objekte anklickbar (Hot Spots).
270