"3S-Kino Optical Echo" mit Kinect

Projek
kt‐Steckb
brief:Drrei‐Seiten
n‐Kino
Variantee optical ech
ho mit der Kinect Das InfoLAB soll ein gganz besond
derer Arbeitssraum für Stu
udierende werden. Man kann ihn in e
eine einzigarttige Bühne fü
ür die Inform
matik verwanndeln: mit drei Leinwänden, die um ddie Besucher herum angeordnet sind. Waas die Leinwä
ände zeigen und wie die realen Besucher mit denn virtuellen Inhalten interagieeren können, das ist das Reizvolle am
m InfoLAB. Drrei Beamer prrojizieren von
n oben auf diee 3 Seiten (3S) des InfoLAB. Besucher sittzen mitten drin In diesem
m Projekt weerden Panora
ama‐Bilder uund spezielle
e 3‐Seiten‐Filme (3S) einggelesen, vorbearb
beitet und geezeigt . Den Höhepunkt bbietet der Efffekt des „Op
ptischen Echoos“: viele virtuelle Strichmäännchen ahm
men die Bewegungen einnes realen Be
esuchers im T
Takt der Mussik nach. Dass optischee Echo erscheeint überblen
ndet auf eineem der einge
elesenen Bild
der. Dazu müüssen Fotos und ggf. Videos p
per Software verändert w
werden. Das ist die Aufgaabe dieses Prrojekts. Das Softtwareprodukkt des Projek
kts Optischees Echo hat vvier Teile: 3S‐Prep
parer
‐ Ein wiederveerwendbaress Modul zum
m Einlesen vo
on Panorama
afotos (Form ate .jpeg, möglicherweeise auch Panono, ricoh ttheta) und die Vorbereitung für das A
Abspielen. ‐ Dasselbe soll für 3S‐Vide
eos gehen: D iese neuen SSpezialforma
ate werden m
mit drei Kameras aaufgezeichneet, die gegen
neinander veersetzt wie die drei Wänd
de der InfoLA
AB aufgezeicchnet w
werden. ‐ In beiden Fällen soll ein e
einfacher Edditor erlauben, die zu zeig
genden Aussschnitte (Recchteck) ffür die drei LLeinwände zu
u wählen. Daann erzeugt der 3S‐Prepa
arer das passsende 3S‐Fotto bzw. d
das 3S‐Video
o aus diesen Ausschnitte n. SWP‐1516_Projekt‐DreeiSeitenKino‐O
OpticalEcho‐vv09.docx
1 InteractiveControl:SteuerungmitderKinect
‐ Die Interative Control erlaubt einem menschlichen Betrachter, mit der gezeigten Szene zu interagieren. Dazu kann er über Kinect die Bewegungen eines Besuchers erkennen und Gesten in Kommandos umsetzen. Die Software der Kinect liefert stets die Koordinaten der Arme und Beine. Sie können – statt einer Maus – zur Steuerung verwendet werden. ‐ Im „Painting‐Mode“ kann ein Besucher das gezeigte Foto durch Handbewegungen verändern bzw. übermalen. Mit der anderen Hand wählt er die Farbe oder den Effekt, der dabei entsteht. ‐ Im „Capturing‐Mode“ werden die Bewegungen eines Besuchers aufgezeichnet. Es wird ein Musikstück abgespielt, zu dem sich ein Besucher bewegt. Dabei werden ausgewählte Koor‐
dinaten von Händen, Füßen, Kopf usw. von der Kinect entgegengenommen und so abgespei‐
chert, dass die Bewegungen wieder abgespielt werden können. Es können 2‐3 verschiedene Bewegungsformen von je 5‐10 Sekunden Länge aufgezeichnet werden. OptischesEcho
‐ Beim Effekt des optischen Echos werden die aufgezeichneten Bewegungsmuster auf Strichmännchen unterschiedlichen Aussehens (Farbe, Dicke, Größe) übertragen und mehrere Strichmännchen in das Foto hineingezeichnet. Sie scheinen dann zu dem Musikstück zu tanzen, zu dem sich auch der Besucher bewegt hatte. ‐ Durch die Mischung von 2‐3 Bewegungsformen bei unterschiedlichen Strichmännchen entsteht eine dynamische Szene aus tanzenden Strichmännchen. ‐ Falls möglich soll auch eine ganze Figur („Leibniz“) statt nur Strichmännchen animiert werden und den Bewegungsmustern folgen. Dies ist wesentlich komplizierter und nicht unbedingt erforderlich. 3S‐Presenter
‐ Dieser Programmteil steuert direkt die drei Beamer und zeigt 3S‐Fotos und 3S‐Filme an. Er kann eingelesene und vorbereitete Fotos und Filme zeigen. ‐ Wenn 3S‐Fotos und 3S‐Videos dies erlauben, kann man während der Präsentation auch die Filme vorwärts und rückwärts laufen lassen. Dann kann man während der Präsentation das Bild drehen, in den Painting‐Mode oder den Capturing‐Mode wechseln. ‐ Der Presenter zeigt auch die Strichmännchen an, wie sie tanzen. Dabei steht dann aber das Foto still und kann nicht gedreht oder verändert werden. ProfildesProjekts
‐ Kunde: Kurt Schneider (mit Fabian Kortum) ‐ Verbindliche Programmiersprache Java 1.7 ‐ Verwendung von openCV 3.0.0 ist gefordert ‐ Es sollen möglichst wiederverwendbare Komponenten mit klarer, gut dokumentierter API entstehen, insbesondere für 3S‐Preparer und 3S‐Presenter. ‐ InteractiveControl mit Kinect, Verwendung der Java‐API der Kinect ‐ Qualitätskriterien: o Ästhetisch anzusehen, sanfte Übergänge o Dieses Projekt erstellt ein Vorzeigeprogramm, das man leicht auch anpassen kann o Das Endprodukt soll wirklich im InfoLAB eingesetzt werden. Es ist nicht akzeptabel, den Präsentationsmodus zu unterbrechen und Eclipse anzuzeigen . ‐ Im Programmcode sind nur englische Bezeichner und Kommentare erlaubt. SWP‐1516_Projekt‐DreiSeitenKino‐OpticalEcho‐v09.docx 2