Advertisement detection in Videos

Advertisement detection in Videos
Franz Haupt
Universität Klagenfurt
Dr. Schrollstraße 6
9073 Klagenfurt
0660/52 99 832
[email protected]
ABSTRACT
Ausstrahlung von Werbespots ist ein bedeutender Bestandteil in
der Fernsehwelt. Da es mit hohen Einnahmen verbunden ist, ist es
mit strengen Gesetzen verbunden. Um diese zu überwachen,
werden in der folgenden Arbeit Methoden zur automatischen
Erkennung von Werbeeinschaltungen vorgestellt. Weiters werden
noch einige der bekannten Werbeerkennungs-Softwareprojekte
vorgestellt.
Keywords
Advertisment detection, Werbungserkennung, MythTV, MSU
TV, Comskip, Commercial detection, Detector, Video,
Werbeerkennungsalgorithmus, Werbefilter, Filter, Werbeblock,
Einleitung
Abbildung 1: Gesetzliche Vorschriften für Werbung im
Deutschen Fernsehen
2. Typen von Videos
Video Clips werden
unterschieden:
1. INTRODUCTION
Werbung im Fernsehen ist in vielen Hinsichten interessant. Unter
den Interessenten finden wir Werbungsgegner die eine dauerhafte
Werbebelastung von Kindern unterbinden wollen. [1]
Werbeagenturen machen sich das Fernsehen zu Nutze um neue
Kunden zu gewinnen. Dabei wird nicht nur auf herkömmliche
Werbespots zurückgegriffen, sondern auch versucht, mit
unterschwelliger Werbung die jeweilige Botschaft zu übermitteln.
Jeder kennt diese Tricks, wenn während eines Films der
Terminator eine Packung Mannerschnitten nimmt und die Kamera
für kurze Zeit das Logo der Firma groß einblendet.
Um diese Botschaften so effektiv wie möglich anzubringen,
können die Spots automatisiert erkannt und ausgetauscht werden.
Dadurch wird erreicht, dass die Einschaltung in einem optimalen
Kontext für den Benutzer steht. [2]
Ein weiterer Aspekt ist die automatisierte Speicherung von
Fernsehaufnahmen. Um unnötige Ressourcenverschwendung zu
vermeiden ist das Entfernen der unnötigen Werbeeinschaltungen
von essentieller Bedeutung. Wenn man bedenkt, dass es zum
Beispiel in Deutschland per Gesetz erlaubt ist bis zu 20% der
Sendezeit mit Werbung zu füllen, lässt sich die Bedeutung der
automatisierten Werbeerkennung und Filterung erahnen. [3]
im
Folgenden
durch
drei
Typen
der Film
die Verbindung (bildet den Übergang von Film in
Werbung)
die Werbung
[3]
3. Werbearten
Um die Schwierigkeit der automatisierten Werbeerkennung etwas
anschaulicher zu gestalten, folgen nun die Erklärungen zu den
Unterschiedlichen Typen von Werbung.
3.1 direkt Messbare
Damit sind die gewöhnlichen Werbeeinschaltungen zu verstehen
wie sie im täglichen Fernsehprogramm gezeigt werden. Deutlich
erkennbar an ihrer definierten Länge die in den meisten Fällen die
Dauer von 30 Sekunden nicht übersteigen. Zwei
aufeinanderfolgende Spots sind durch eine kurze Pause leicht
detektierbar.
3.2 indirekt Messbare
Diese sind für gewöhnlich
Werbeeinschaltungen
schwerer
zu
erkennende
4. Struktur eines Werbespots
Normalerweise sind Werbungen in Werbeblocks gegliedert, wobei
jeder Werbeblock seinen eigenen Werbespot beinhaltet. In
Deutschland sowie auch in Österreich, besteht ihr Aufbau aus den
folgenden Elementen:
die Einleitung,
der eigendliche Werbespot,
eine
Fernsehsender
bezogene
Programmvorschau und
optional noch eine kurze Wiedereinleitung in die
Sendung
Werbung
und
Hashvalue = (Übergang(0) <<15 ||
Übergang(1) <<10 ||
Übergang(2) <<5 ||
Übergang(3))
[1]
Abbildung 2: Struktur eines Werbeblocks
5. Werbeerkennungsalgorithmen
Es ist von großer Bedeutung bei den Erkennungsalgorithmen von
zwei Standpunkten auszugehen. Als erstes wählen wir sich
wiederholende Werbung. Wie unschwer zu vermuten ist, wird der
zweite Algorithmus sich, der sich wiederholenden Werbungen
widmen.
5.1 wiederholende Werbung
Als kleines Beispiel zur Veranschaulichung wählen wir einen
Film mit drei Stunden länge. Für unsere späteren Berechnungen
wählen wir eine durchschnittliche Frame Anzahl von 25 Frames
pro Sekunde.
Es folgt die Kalkulation der gesamten Frames des Films mit 25
Frames/Sekunde x 60 Sekunden x 60 Minuten x 3 Stunden. Dies
ergibt eine Frameanzahl von 270.000. Um nun zwei identische
Frames zu finden würde dies mit der brute-force Methode
73.000.000.000 Vergleiche benötigen. Da diese Zahl vollkommen
inakzeptabel für die Performanz ist wird eine Heuristik
angewendet um den Prozess zu beschleunigen.
Abbildung 4: Hashcode Aufteilung (Übergang = graylevel)
Nun ist sichergestellt, dass alle Frames mit dem gleichen
Hashwert in der Selben Hashtabelle sind.
Die einzelnen Frames werden in Hashtabellen geschrieben.
Abbildung 3: Zerlegung der Frames in Hashtabellen
Abbildung 5: Hashtabellenbelegung
Zur Berechnung des notwendigen Hashwertes für die einzelnen
Frames wählen wir vier verschiedene Regionen mit fixer Position
und Größe anhand der Übergänge aus. In unserem Beispiel habe
ich 32 = 25 gewählt um 5 Bits zur Speicherung zu verbrauchen.
Um den Hashwert zu erhalten werden 4 Übergänge kombiniert.
5.2 nicht wiederholende Werbung
Diese Art der Werbung ist um einiges schwieriger als bei sich
wiederholenden Spots. Um sie herauszufiltern nutzen wir die
Erkenntnis, dass Werbeeinschaltungen meist 3-4 Minuten
andauern. Finden wir also am Beginn und am Ende des Spots
Werbung, so liegt die Vermutung nahe, dass alles Werbung ist.
Abbildung 6: Werbungserkennung
Zur zeitlichen Limitierung des Werbeintervalls führen wir die
Konstante max_adv_time ein. Mit Hilfe dieser Konstanten ist es
möglich zu entscheiden, ob es sich bei dem eingeschlossenen
Filmteil um Werbung handelt:
Länge des Intervalls < max_adv_time
Eine sich wiederholende Werbung wurde vor dem
Intervall gefunden
Eine sich wiederholende Werbung wurde nach dem
Intervall gefunden
[3]
Scene change detection: Untersucht die Häufigkeit der
Bilderwechsel
Black Frame & scene change detection: ist eine
Kombination der beiden Erstgenannten und bedient sich
derselben Vorgehensweise wie die Black Frame Detection,
aber untersucht auch die Häufigkeit der Bilderwechsel
Logo detection: Verifiziert ob ein Logo am Bildschirm zu
finden ist. Da normalerweise während Werbeeinschaltungen
z.B. das Senderlogo nicht eingeblendet wird. [4], [5]
6.2 MSU TV – Commercial Detector
Die von Dr. Dmitriy Vatolin (Projekt)
und
Alexander
Voronov
(Implementationsideen)
entwickelte
Software ist ein weiteres Beispiel für
Werbeerkennungsoftware. Sie bedient
sich des AviSynth Skripts welches eine
Videodatei in die einzelnen Frames zerlegt und in AVS-Dateien
speichert. Dies hat den Vorteil, dass sie sich mit herkömmlichen
Texteditoren bearbeiten lassen, also keine weiteren Tools von
Nöten sind. [6]
6.3 Comskip
Comskip ist ein gratis Werbungserkenner und operiert am mpeg
Format. Es wird auf der Windows Konsole ausgefürht und
untersucht
eine
mpeg
Datei
anhand
diverser
Konfigurationsparameter. Nach der Analyse wird eine Datei mit
den Positionen der Werbung im ursprünglichen Video erstellt. [7]
6. AD detection Software
Derzeit existiert eine Vielzahl von Werbungserkennungssoftware.
Im nachstehenden werden, die Bekanntesten davon aufgelistet
und gegenübergestellt:
MythTV
MSU TV
Comskip
6.1 MythTV
MythTV ist ein gratis
Open Source digitaler
Videorecorder, unterliegt
der
GNU
General
Publice Lizence und ist
unter
http://www.mythtv.org/ zu finden. Das Project enthält eine
Werbungserkennungsroutine, welche Werbeunterbrechungen in
Aufnahmen erkennt und die Übergangspunkte in einer Datenbank
speichert um sie später während der Decodierung zu entfernen.
Dieser Videorecorder enthält mehrere Einstellungen bezüglicher
der Methode mit welcher die Werbung herausgefiltert wird:
Black Frame Detection: wurde bereits im Kapitel 4.1
behandelt
7. REFERENCES
[1] Leinhart R., Kuhmünch C. and Effelsberg W. 1996. On the
Detection and Recognition of Television Commercials. Reihe
Informatik. Universität Mannheim. D-68131 Mannheim
[2] X. Hua, L. Lu, and H. Zhang, .Robust learning-based TV
commercial detection,. in Proc. ICME, 2005, pp. 149.152.
[3] Du, J. (Dez. 2010) DOI=
http://www.google.at/url?sa=t&source=web&cd=1&ved=0C
B4QFjAA&url=http%3A%2F%2Fwww.cs.ust.hk%2F~rossit
er%2Findependent_studies_projects%2Fvideo_advert_identi
fication%2Fcsit691_advert_detection_report.pdf&rct=j&q=P
ractical%20Advertisement%20Detection%20in%20Video&e
i=6mAcTZ6FdHDswbx9uj9DA&usg=AFQjCNG3wbMfS6xil8kQW81fPDgAXwHxA&cad=rja.
[4] (Dez. 2010) http://www.mythtv.org/.
[5] (Dez. 2010)
http://www.mythtv.org/wiki/Commercial_Detection
[6] (Dez. 2010)
http://compression.ru/video/tv_commercial_detector/index_e
n.html
[7] (Dez. 2010) http://www.kaashoek.com/comskip/