Interaktionsmöglichkeiten mit digitalen Musikinstrumenten
Werbung
Diplomarbeit Interaktionsmöglichkeiten mit digitalen Musikinstrumenten Vorgelegt von: Maximilian Albring (Matrikelnr. 2701426) 29. Februar 2008 Hochschullehrer: Prof. Dr.-Ing. habil. Rainer Groh Betreuer: M.Sc. Ingmar S. Franke Lehrstuhl für Mediengestaltung Institut für Software- und Multimediatechnik Fakultät Informatik Ich danke meinen Eltern für die Unterstützung während der Jahre meines Studiums. Mein besonderer Dank gilt Cornelia für ihren unermüdlichen Beistand. Selbständigkeitserklärung Hiermit erkläre ich, Maximilian Albring (Matrikelnr. 2701426), die vorliegende Diplomarbeit zum Thema „Interaktionsmöglichkeiten mit digitalen Musikinstrumenten“ selbständig und ausschließlich unter Verwendung der im Quellenverzeichnis aufgeführten Literatur- und sonstigen Informationsquellen verfasst zu haben. Dresden, 29. Februar 2008 Inhaltsverzeichnis 1 Einleitung 1.1 Motivation und Zielsetzung . . . . . . . . . . . . . . . . . . . . . . . 1.2 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Grundlagen 2.1 Musikinstrumente . . . . . . . . . . . . . . . . . . . . 2.1.1 Akustische Musikinstrumente . . . . . . . . . 2.1.2 Digitale Musikinstrumente . . . . . . . . . . . 2.1.3 Elemente digitaler Musikinstrumente . . . . . 2.1.3.1 Controller . . . . . . . . . . . . . . . 2.1.3.2 Mapping (Abbildung) . . . . . . . . 2.1.4 Gestaltung von digitalen Musikinstrumenten 2.2 Aufbau von Musik . . . . . . . . . . . . . . . . . . . 2.3 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Technologie und Musik 3.1 Entwicklung der Musikinstrumente . . . . . . . . . . . . . . . . . . 3.2 Historische und aktuelle Instrumente . . . . . . . . . . . . . . . . . 3.2.1 Elektronische Musikinstrumente . . . . . . . . . . . . . . . . 3.2.2 Klangaufzeichnung und Sampling . . . . . . . . . . . . . . . 3.2.3 Musik und Computer . . . . . . . . . . . . . . . . . . . . . . 3.2.3.1 Entwicklung . . . . . . . . . . . . . . . . . . . . . 3.2.3.2 Klangerzeugungsverfahren . . . . . . . . . . . . . . 3.2.4 Digitale Musikinstrumente, interaktive Klanginstallationen . 3.3 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Konzepte digitaler Musikinstrumente 4.1 Mapping . . . . . . . . . . . . . . . . . . . . . . . 4.1.1 Determinismus . . . . . . . . . . . . . . . 4.1.2 Nicht-lineare Mappings . . . . . . . . . . . 4.2 Freiheiten und Einschränkungen . . . . . . . . . . 4.2.1 Dimensionen der Kontrolle . . . . . . . . . 4.2.2 Einschränkungen . . . . . . . . . . . . . . 4.3 Interaktive Klanginstallation vs. Musikinstrument 4.3.1 Anforderungen . . . . . . . . . . . . . . . 4.3.2 Diversität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 7 8 . . . . . . . . . 11 11 11 12 13 13 13 14 15 16 . . . . . . . . . 19 19 23 23 27 28 28 29 30 35 . . . . . . . . . 37 38 38 39 40 40 41 42 42 43 5 Inhaltsverzeichnis 4.4 . . . . . . . 44 44 45 46 47 47 48 5 Tangible Interaction und Tangible User Interfaces 5.1 Tangible User Interfaces – greifbare Benutzerschnittstellen . . . . . . 5.1.1 Motivation für Tangible User Interfaces . . . . . . . . . . . . 5.1.2 Elemente von Tangible User Interfaces . . . . . . . . . . . . . 5.1.3 Alternative oder Erweiterung grafischer Benutzerschnittstellen 5.2 Erweiterung zu Tangible Interaction . . . . . . . . . . . . . . . . . . 5.2.1 Interaktionsmodell . . . . . . . . . . . . . . . . . . . . . . . . 5.2.2 Eine Taxonomie für Tangible Interaction . . . . . . . . . . . . 5.3 Tangible Interaction und digitale Musikinstrumente . . . . . . . . . . 5.4 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 51 52 53 54 55 56 57 61 64 6 Das KlangHolz – ein digitales Musikinstrument 6.1 Entwicklung eines Interaktionskonzeptes . . . . . . . . . . . . . . 6.1.1 Dimensionen der Kontrolle . . . . . . . . . . . . . . . . . . 6.1.2 Beeinflussung der musikalischen Struktur . . . . . . . . . 6.1.3 Steuerung musikalischer Parameter . . . . . . . . . . . . . 6.1.4 Konzeption alternativer Mappings . . . . . . . . . . . . . 6.1.4.1 Mapping-Varianten . . . . . . . . . . . . . . . . 6.1.4.2 Bewertung . . . . . . . . . . . . . . . . . . . . . 6.2 Werkzeugkasten für digitale Musikinstrumente . . . . . . . . . . . 6.2.1 Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.1.1 Sensoren . . . . . . . . . . . . . . . . . . . . . . 6.2.1.2 I/O-Boards . . . . . . . . . . . . . . . . . . . . . 6.2.1.3 Computervision . . . . . . . . . . . . . . . . . . 6.2.2 Controller und Klangerzeugung . . . . . . . . . . . . . . . 6.2.2.1 Musik-Programmierumgebungen . . . . . . . . . 6.2.2.2 Nicht-akustisches Feedback des Instrumentes . . 6.2.3 Kommunikation zwischen Controller und Klangerzeugung 6.3 Technische Umsetzung des KlangHolzes . . . . . . . . . . . . . . 6.3.1 Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3.2 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 68 69 70 71 75 75 76 78 78 78 79 81 82 82 83 85 86 87 88 91 7 Schlussbetrachtungen 7.1 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 93 95 4.5 4.6 6 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.1 Körperliche Interaktion . . . . . . . . . . . . . . . . 4.4.2 Feedback des Instrumentes . . . . . . . . . . . . . . 4.4.3 Lernen und Virtuosität . . . . . . . . . . . . . . . . . 4.4.4 Verschmelzung von Instrumentenbau und Benutzung Multi-User-Musikinstrumente . . . . . . . . . . . . . . . . . Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Inhaltsverzeichnis 7.3 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A KlangHolz – System-Entwurf 96 99 B KlangHolz – Bilder 101 Literaturverzeichnis 103 Abbildungsverzeichnis 109 Tabellenverzeichnis 111 7 1 Einleitung 1.1 Motivation und Zielsetzung Bei akustischen Musikinstrumenten besteht ein enger Zusammenhang zwischen der Klangerzeugung und der Kontrolle des Instrumentes. Bestimmend für die Gestaltung des Interfaces sind die physikalischen Eigenschaften des Instrumentes. Der Musiker steht in direktem Kontakt mit dem klangerzeugenden Medium und kann dieses direkt beeinflussen. Auch mit der Entwicklung der elektronischen Instrumente blieb die Steuerung an die technischen Gegebenheiten gebunden. Für Synthesizer entwickelte sich ein orgelähnliches Keyboard zum Standardinterface, mit dessen Hilfe eine Steuerspannung manipuliert wird. Digitale Musikinstrumente hingegen bieten dagegen die völlige Trennung und Unabhängigkeit von Klangsynthese und Controller. Nur eine Abbildung bzw. ein Mapping von Controller auf Klangsynthese bestimmt die Spieleigenschaften des Instrumentes. Der Einsatz beliebiger Interfaces ist möglich, beliebige Repräsentationen der Klänge können zur Steuerung des Instrumentes genutzt werden. Dennoch werden hauptsächlich Bildschirmanwendungen mit Maus, Keyboard und der herkömmlichen Klaviertastatur genutzt. Das ist mit Einschränkungen verbunden: Das gemeinsame Musizieren mehrerer Menschen ist schwierig und die Freude am Entdecken kann in den Hintergrund geraten. Anders als bei akustischen Instrumenten ist die Performance für Zuschauer nur schlecht nachvollziehbar, die Interaktion zwischen Instrument und Körper ist beschränkt, und für Rückmeldungen des Instrumentes steht nur der akustische Kanal zur Verfügung. Alternativen hierzu bieten zum Beispiel die angepasste Verwendung von Standardeingabegeräten, spezielle Controller oder aber Tangible User Interfaces. Die Umgebung selbst wird hierbei zum Interface, reale Gegenstände zu interaktiven Objekten. Die 9 1 Einleitung Erfahrungen im Umgang mit solchen Gegenständen können für die Intuitivität der Schnittstelle ausgenutzt werden. Seit jeher wird erforscht, wie jeweils aktuelle Technologien für die Erzeugung kreativen musikalischen Outputs genutzt werden können. Strömungen wie Tangible User Interfaces binden die Interaktion mit Computer-Musik wieder stärker an den menschlichen Körper und in seine physische Umgebung ein. In dieser Arbeit sollen alternative Interface-Konzepte, insbesondere Tangible Interaction und Tangible User Interfaces, bezüglich ihrer Eignung für musikalische Anwendungen untersucht werden. Vor diesem Hintergrund soll eine eigene Anwendung angesiedelt im Spektrum zwischen digitalem Musikinstrument und Klanginstallation entstehen. Hierbei soll der Fragestellung nachgegangen werden, wie ein Instrument konzipiert sein muss, damit die Interaktion und das Musizieren für aktive und passive Beteiligte interessant, einladend und nachvollziehbar ist und wie es zudem zudem in ihrer realen, physischen Umgebung stattfinden kann. 1.2 Aufbau der Arbeit Um der Problemstellung auf den Grund zu gehen, ist die Arbeit wie folgt aufgebaut: In Kapitel 2 werden zentrale Begriffe geklärt. Es wird dargelegt, was allgemein unter einem Musikinstrument verstanden wird und was die Besonderheit digitaler Musikinstrumente ausmacht. Schließlich wird versucht, ein grundlegendes Schema zum Aufbau der Musik als Gegenstand des Einsatzes von Musikinstrumenten zu entwickeln. Kapitel 3 beschreibt die Historie und Entwicklung von Musikinstrumenten. Dabei wird insbesondere auf die Verbindung von Musikinstrumenten und Technologie eingegangen, und die großen Meilensteine dieser Entwicklung werden nachvollzogen. Im Weiteren wird auf verschiedene historische elektronische Musikinstrumente ein genauerer Blick geworfen. Es wird ein Überblick zu aktuellen und verwandten Arbeiten aus dem Bereich von Interfaces und Interaktionskonzepten digitaler Musikinstrumente sowie interaktiver Klanginstallationen gegeben. In Kapitel 4 werden spezielle Probleme und Fragestellungen der Gestaltung digitaler Musikinstrumente beleuchtet. Hier steht insbesondere im Mittelpunkt, die 10 1.2 Aufbau der Arbeit Übertragbarkeit von Konzepten aus dem Bereich konventioneller akustischer Instrumente auf digitale Instrumente zu prüfen. Die vorgestellten Konzepte können bei der Einordnung eines Instrumentes zwischen interaktiver Installation und vollwertigem Musikinstrument hilfreich sein. Probleme aus dem Umfeld von Tangible User Interfaces sowie das erweiterte Konzept der Tangible Interaction werden in Kapitel 5 erörtert. Weiterhin wird die Verbindung von Tangible Interaction und der Konstruktion digitaler Musikinstrumente dargestellt. In diesem Zusammenhang wird auch eine Taxonomie für TangibleInteraction-Systeme entwickelt. Schließlich wird in Kapitel 6 das KlangHolz, ein eigenes tischbasiertes digitales Musikinstrument mit einer greifbaren Benutzerschnittstelle (Tangible User Interface), konzipiert und dessen Umsetzung dokumentiert. Hierzu dienen die Arbeiten von Constanza [CSR03], Jordà [JKGB05] und Han [Han08] als Orientierung. Zunächst wird ein eigenen Mapping- und Interaktionskonzept entwickelt. Zudem werden Technologien, die zur Umsetzung von Musikinstrumenten auf der Basis greifbarer Benutzerschnittstellen geeignet sind, vorgestellt und untersucht. Auf einer Auswahl der betrachteten Technologien aufbauend, wird die Realisierung des digitalen Musikinstrumentes KlangHolz beschrieben. Abschließend werden in Kapitel 7 die Ergebnisse der Arbeit zusammengefasst. Ein Ausblick auf mögliche Vertiefungen und weiterführende Ideen wird gegeben. 11 2 Grundlagen In diesem Kapitel sollen Begriffe wie Musikinstrument oder digitales Musikinstrument sowie der allgemeine Aufbau von Musik besprochen werden. Die grundlegenden Komponenten digitaler Musikinstrumente – Controller und Mapping sowie Klangerzeugung – werden genauer betrachtet. 2.1 Musikinstrumente Curt Sachs, der Begründer der modernen Instrumentenkunde, definiert ein Musikinstrument als „Werkzeug, das zur Hervorbringung musikalischer Klänge gefertigt oder benutzt wird, mit Ausnahme des menschlichen und tierischen Kehlkopfs, den der Sprachgebrauch den Instrumenten gegenüberstellt“ [Sac13]. Eine neuere, auch im Hinblick auf elektronische und digitale Musik formulierte Variante versteht unter einem Musikinstrument ein Gerät, das zum Spielen oder Produzieren von Musik genutzt wird, indem die Aktionen einer oder mehrerer Personen in Klangereignisse transformiert werden (vgl. [Jor04b]). 2.1.1 Akustische Musikinstrumente Ein traditionelles, akustisches Musikinstrument besteht prinzipiell aus zwei Komponenten, einer Klangerzeugungseinheit und einer Kontrolleinheit, mit der die produzierten Klänge beeinflusst werden können. Zum Beispiel wird bei einem Blasinstrument der Klang von einer durch den Musiker in Schwingung versetzten Luftsäule erzeugt und kann mithilfe von Klappen oder Ventilen beeinflusst werden. Wie man an diesem Beispiel erkennen kann, sind beide Komponenten eng und untrennbar miteinander verbunden. 13 2 Grundlagen 2.1.2 Digitale Musikinstrumente Auch digitale Musikinstrumente bestehen aus den gleichen Subsystemen, einer Klangerzeugungs- und einer Kontrolleinheit. Der wesentliche Unterschied zu traditionellen Instrumenten ist die Unabhängigkeit und Austauschbarkeit beider Systemkomponenten. Durch die digitale Erzeugung der Klänge im Computer ist, im Gegensatz zum akustischen Instrumentenbau, das Instrumentendesign völlig losgelöst von der tatsächlichen Klangerzeugung und insbesondere von den physikalischen Gegebenheiten des klangerzeugenden Mechanismus (vgl. [Ste05a]). Das konzeptuelle Ganze beider Subsysteme ergibt ein Musikinstrument, das sich nicht nur auf die Synthese von Klängen und Tönen beschränken muss, sondern auch über das Einsatzgebiet traditioneller Musikinstrumente hinausgehen kann. Beispielsweise kann ein solches Instrument zur algorithmischen Komposition, zur Erzeugung von mit menschlichen Fähigkeiten nicht spielbaren musikalischen Phrasen oder gar zur Reaktion auf andere Musiker in der Lage sein (vgl. [Jor04b]). Abbildung 2.1: Bestandteile eines digitalen Musikinstrumentes Abbildung 2.1 zeigt den schematischen Aufbau eines digitalen Musikinstrumentes. Auf der einen Seite steht die Kontrolleinheit beziehungsweise der Controller, der die Aktionen oder Gesten der Nutzer erkennt, auf der anderen eine Klangoder Musikerzeugungseinheit. Durch die Entkopplung beider Bestandteile gewinnt das dazwischenliegende Mapping der relevanten Messwerte des Controllers auf die Parameter der Klangerzeugung eine große Bedeutung für die Gestaltung digitaler Musikinstrumente. Im folgenden werden die Begriffe Abbildung und Mapping synonym verwendet, Mapping wird allerdings zur besseren Unterscheidung bevorzugt. In Abbildung 2.2 wird ein einfaches Beispiel für ein digitales Musikinstrument dargestellt. Die Klangerzeugung funktioniert softwareseitig, ein Oszillator erzeugt eine Schwingung, ein Digital-Analog-Wandler wandelt diese in ein analoges Audiosignal um, das über einen Lautsprecher ausgegeben wird. Der einzige steuerbare Klangsyntheseparameter ist die Frequenz der vom Oszillator erzeugten Schwingung, also die 14 2.1 Musikinstrumente Abbildung 2.2: Einfaches Beispiel für ein digitales Musikinstrument Tonhöhe. Auf der Controllerseite befindet sich ein Hardwaregerät, das mit einem Drehpotentiometer bestückt ist. Die damit geregelte Steuerspannung wird digitalisiert an das Klangerzeugungsmodul übertragen und, im einfachsten Fall eins zu eins, auf die Frequenz abgebildet. 2.1.3 Elemente digitaler Musikinstrumente 2.1.3.1 Controller Fast jede beliebige Benutzerschnittstelle kann auf die Parameter des Klangsynthese-Algorithmus abgebildet werden, damit ergeben sich bei der Gestaltung neuer digitaler Instrumente und ihrer Benutzerschnittstellen endlos viele Möglichkeiten (vgl. [Ste05a]). Die Controller können von den traditionellen Formen akustischer Instrumente abweichen, beim Design können völlig neue Wege beschritten werden. Mit den nahezu unbegrenzten Möglichkeiten bei der Gestaltung geht allerdings auch einher, dass die enge Verbindung zwischen Kontrolle durch den Musiker und Erzeugung des Klanges, die das Spiel akustischer Instrumente bestimmt, verloren geht (vgl. [PO03]). 2.1.3.2 Mapping (Abbildung) Ein zentraler Begriff beim Design digitaler Musikinstrumente ist die Abbildung bzw. das Mapping (vgl. [PO03]). Das Resultat der sensorischen und motorischen Fähigkeiten des Menschen soll an die Klangerzeugungsparameter des zu spielenden 15 2 Grundlagen Instrumentes so angepasst werden, dass die grundlegenden Eigenschaften von Tönen und Klängen (Dauer, Tonhöhe, Klangfarbe und Lautstärke) bzw. von Musik kontrolliert werden können (siehe Abbildung 2.3). Abbildung 2.3: Allgemeine Funktion der Abbildung zwischen Controller und Klangerzeugung Als einfaches Beispiel für die Bedeutung verschiedener Abbildungen soll die Begleitautomatikfunktion von Heimsynthesizern im Amateurbereich, im allgemeinen Sprachgebrauch Keyboards, dienen. Der Abruf vorgefertigter Sequenzen, die vom einzelnen nicht gleichzeitig spielbar sind und das Bestimmen von deren Tonart bzw. Harmonie wird durch bestimmte Tastenkombinationen möglich. Wird die Begleitautomatik deaktiviert, funktionieren dieselben Tasten wie normale Klaviertasten. Ein und der selbe Controller wird also in verschiedener Weise auf die Klangerzeugung abgebildet. Diese Gegebenheiten machen die Gestaltung von Benutzerschnittstellen für digitale Instrumente zu einer schwierigen Aufgabe. Die Komplexität und Vielfalt der klanglichen Möglichkeiten steht unzähligen Abbildungsmöglichkeiten der Benutzergesten auf die Klangeigenschaften gegenüber (vgl. [MM07]). 2.1.4 Gestaltung von digitalen Musikinstrumenten Die Entkopplung von Controller und Klangerzeugung und die daraus resultierende große Vielfalt von Gestaltungsmöglichkeiten macht das Design von digitalen Musikinstrumenten zu einem weit gefächerten interdisziplinären Spektrum, das Elektronik, Sensortechnologie, Klangsynthese und Programmierung auf der technischen Seite, bis hin zu Wahrnehmungspsychologie, Ergonomie oder Mensch-Maschine-Interaktion auf der benutzerorientierten Seite umfasst (vgl. [Jor04b]). Besonders neue Benutzerschnittstellen digitaler Musikinstrumente tragen das Potential, Wegbereiter für die Musik der Zukunft zu sein. Bei ihrer Gestaltung kann nicht nur auf die relativ neue Tradition der elektronischen Musik und der elektronischen 16 2.2 Aufbau von Musik und digitalen Musikinstrumente, sondern ebenso auf die jahrtausendealten Erfahrungen und Traditionen der Musik und des akustischen Musikinstrumentenbaus zurückgegriffen werden (vgl. [Jor01]). 2.2 Aufbau von Musik Musikinstrumente dienen zum Erzeugen von Musik. Für die Beantwortung der Frage, welche musikalischen Elemente und Parameter von einem Instrument beeinflusst werden können, lohnt ein genauerer Blick auf den strukturellen Aufbau von Musik. Das hier entwickelte Schema soll möglichst allgemein gehalten werden, so dass es kulturell übergreifend Gültigkeit hat, und unabhängig von der schwer zu beantwortenden Frage, welche Klangäußerungen Musik sind und welche nicht, gelten kann. Dazu soll eine minimale Anzahl von klanglichen Parametern und sich über die Zeit entwickelnden musikalischen Parametern genutzt werden. Kompliziertere Eigenschaften einzelner Klänge oder von Musik können aus den hier benannten zusammengesetzt werden. Abbildung 2.4: Schematischer Aufbau von Musik (Darstellung in Anlehnung an [Wei07, Seite 57]) Musik ist die zeitliche Anordnung akustischer Ereignisse (siehe Abbildung 2.4). Akustische Ereignisse können Töne, Klänge oder auch Pausen sein und sind durch die folgenden Parameter gekennzeichnet: 17 2 Grundlagen • Grundfrequenz oder Tonhöhe, • Lautstärke, • Dauer und • Klangfarbe. Nicht nur die zeitliche Anordnung, sondern auch die räumliche, zum Beispiel die Position eines Instrumentes im Orchester, charakterisiert ein akustisches Ereignis als fünften Parameter. Wenn Töne gruppiert werden, entstehen zusammengesetzte akustische Ereignisse, also zum Beispiel Sequenzen verschiedener Länge, verallgemeinert gesprochen eine musikalische Struktur (roter Rahmen in Abbildung 2.4). Ein weiteres Kriterium für die Gruppierung ist die Zuordnung von akustischen Ereignissen zu einer ausführenden Stimme (grüner Rahmen in Abbildung 2.4). Werden akustische Ereignisse zu Musik geordnet, ergeben sich aus dem Verlauf der Eigenschaften der Einzelereignisse über der Zeit folgende musikalische Parameter (in Abbildung 2.4 blau erhöht): • Melodie als Entwicklung der einzelnen Tonhöhen über die Zeit, also eine Tonfolge in einem bestimmten Rhythmus, • Dynamik als Verlauf der Lautstärke, • Rhythmus als Folge von Dauern und Pausen, • Klang als Zusammenspiel der Klangfarben der Einzelereignisse und • Harmonie als Wahrnehmung der Tonhöhen mehrerer gleichzeitiger akustischer Ereignisse. Musikinstrumente können nun auf verschiedene Parameter von akustischen Ereignissen, also Tönen oder Klängen, oder auch Eigenschaften der Musik gleichzeitig Einfluss nehmen (siehe dazu auch Kapitel 4, Seite 37). 2.3 Zusammenfassung Musikinstrumente sind alle Werkzeuge, die zum Erzeugen musikalischer Klänge genutzt werden. Sie können auf bestimmte Elemente und Parameter von Musik Einfluss nehmen und bestehen aus einer Klangerzeugungs- und einer Kontrolleinheit. 18 2.3 Zusammenfassung Bei digitalen Musikinstrumenten sind diese Komponenten weitgehend entkoppelt, ein Mapping zwischen Controller und Parametern der Klangerzeugung bestimmt den Charakter des Instrumentes. 19 3 Technologie und Musik In diesem Kapitel werden zunächst die großen Schritte der Entwicklung und Technisierung der Musikinstrumente nachvollzogen. Im Anschluss werden einige wichtige historische elektronische Musikinstrumente vorgestellt. Die Nutzung der Möglichkeiten zur Aufzeichnung von Klängen für Musikinstrumente wird betrachtet, die Rolle des Computers in der Musik, sowie aktuelle Projekte aus dem Bereich digitaler Musikinstrumente, interaktiver Installationen und Interfaces für musikalischen Ausdruck werden angesprochen. 3.1 Entwicklung der Musikinstrumente Die Entwicklung der Musik sowie der Musikinstrumente stehen seit jeher unter dem Einfluss der technischen Erfindungen der jeweiligen Zeit, seien es das Schnitzen von Holz, die Bearbeitung von Metall, die Elektrizität oder der Computer. Die akustischen Instrumente, wie sie heute gespielt werden, sind das Ergebnis einer Entwicklung die sich über Jahrhunderte vollzogen hat. Ein Kanon an Instrumenten hat sich etabliert, wobei sie alle durch ein ausbalanciertes Verhältnis von Ergonomie, Spielbarkeit, Ausdrucksfähigkeit und Formgestaltung gekennzeichnet sind (vgl. [PO03]). Seit der Erfindung des Dynamophons wurde elektrische Energie und Elektronik genutzt, um Klänge zu erzeugen. Nach einer bewegten Pionierzeit, vor allem in den 1930er Jahren, folgten bis heute viele interessante Entwicklungen. Die neuen technischen Möglichkeiten können immer für die Suche nach völlig neuen Klängen genutzt werden, ebenso kann natürlich der Weg gewählt werden, akustische Instrumente nachzubilden oder mit zusätzlichen Eigenschaften anzureichern (vgl. [BK04]). Die technische Entwicklung von Musikinstrumenten wird bei [End05] in ein Stufenmodell gefasst (siehe Abbildung 3.1). Ausgangspunkt ist das Erzeugen von Musik mit dem eigenen Körper – zum Beispiel mit der Stimme oder durch Händeklatschen. 21 3 Technologie und Musik Abbildung 3.1: Schritte in der Entwicklung der Musikinstrumente bis heute 22 3.1 Entwicklung der Musikinstrumente Instrumentalisierung Durch die Entdeckung, dass Werkzeuge zum Erzeugen von Musik genutzt werden können – ein einfacher Trommelstock, eine Saite, Pfeife oder Flöte – beginnt die Loslösung vom eigenen Körper und damit die Instrumentalisierung der Musik. Mechanisierung In einem nächsten Schritt, der Mechanisierung wird nicht mehr nur direkter Kontakt zum Klang erzeugenden Medium hergestellt, sondern mechanische Einrichtungen dafür genutzt. Saiten können zum Beispiel mit Plektren oder mit Hämmern, die über eine Klaviatur gesteuert werden, angeschlagen werden. Bei Blasinstrumenten können Klappen zur Steuerung der Tonhöhe genutzt werden. Im Grunde handelt es sich hierbei um mechanische Controller. Außerdem wird nicht vom Menschen selbst erzeugte Energie zur Klangerzeugung genutzt, zum Beispiel der von einem manuell oder elektrisch betriebenen Gebläse erzeugte Luftstrom bei der Orgel oder die elektrische Energie für die E-Gitarre (vgl. [End05]). Hier nehmen magnetische Tonabnehmer die Vibration der Saiten auf, diese werden verstärkt und verarbeitet. Automatisierung Schon früh konnte Musikerzeugung automatisiert werden. Durch die Erfindung der Stiftwalze können halbautomatische, wie die Drehorgel, und vollautomatische, programmierbare Instrumente, zum Beispiel Glockentürme, Spieluhren oder Walzenklaviere, konstruiert werden. Üblicherweise bilden rotierende Scheiben oder Walzen mit Vertiefungen oder Erhöhungen, die Stimmzungen oder Perkussionselemente anschlagen, die Grundlage solcher Geräte. Im 19. Jahrhundert gab es bereits erste Patente, die sich mit veränderbaren Walzen befassten und damit das Konzept moderner Sequenzer vorausnahmen (vgl. [BK04]). Später in der elektronischen Musik setzt sich die Entwicklung in Form von Sequenzern oder dem MIDI-Standard fort. Darüber hinaus werden Möglichkeiten zur Aufzeichnung und in den 1950er Jahren zur automatisierten Komposition von Musik entwickelt (vgl. [End05]). Elektronifizierung Mit der Konstruktion erster elektromechanischer Instrumente, der Verstärkung akustischer Instrumente mit Mikrofonen und Lautsprechern und den ersten elektronischen Instrumenten, wie Theremin und Trautonium in den 1920er und 30er Jahren, beginnt die Elektronifizierung der Musik. Damit einher geht auch die Konstruktion völlig neuartiger und nicht mechanischer Benutzerschnittstellen, wie die berührungslose gestische Steuerung des Theremins oder das Bandmanual des 23 3 Technologie und Musik Trautoniums (vgl. [End05]). Interessant wurden in dieser Phase auch Kombinationen von Ton und Bild in Form von Instrumenten wie dem Farbenklavier oder verschiedener Lichtorgeln (siehe dazu [Wei07]). Modularisierung Vor allem die Einführung des Moog-Synthesizers in den 1960er Jahren treibt die Modularisierung der Musikinstrumente voran. Einzelne Bausteine zur Klangerzeugung und zur Klangveränderung sowie Controller können frei kombiniert werden. Außerdem wurden die Systeme kleiner und billiger durch den Einsatz von Transistoren (vgl. [End05]). Digitalisierung Die Digitalisierung ab Mitte der 1970er Jahre wirkte sich zuerst bei den Klaviaturen aus, die nun polyphon spielbar wurden. Aber auch die Klangsynthese, die Steuerung via MIDI, Filter, Effekte oder Speichermöglichkeiten wurden digitalisiert und algorithmisch realisiert. Durch die Chiptechnologie wurde digitale Musikerzeugung zur preiswerten Massenware (vgl. [End05]). Virtualisierung Seit den 1990er Jahren kam es im Zuge der leistungsfähiger werdenden Rechentechnik zusätzlich zu einer Virtualisierung. Softwarebasierte Digitalsynthesizer können hergestellt und bekannte Instrumente als virtuelle Instrumente emuliert werden. Die Steuerung von Instrumenten kann mit grafischen Benutzeroberflächen erfolgen, es sind alle Voraussetzungen für interaktive Schnittstellen und neuartige, zum Beispiel gestenbasierte Interfaces geschaffen. Darüber hinaus ist durch die Entwicklungen des Internets netzbasierte musikalische Kommunikation mit entfernten Partnern möglich geworden (vgl. [End05]). Informatisierung und Hybridisierung Zu dieser Entwicklung kommen seit etwa 2000 im Zuge der Informatisierung Forschungsansätze hinzu, die auf Basis der künstlichen Intelligenz adaptive Begleitsysteme, kreative Kompositionssysteme, Musikroboter oder Analysesysteme entwickeln. Zudem zeichnet sich der Trend der Hybridisierung von Mensch und (Musik-)Maschine im Rahmen von künstlerischen Projekten und Installationen oder in interaktiven klingenden Räumen ab (vgl. [End05]). 24 3.2 Historische und aktuelle Instrumente 3.2 Historische und aktuelle Instrumente 3.2.1 Elektronische Musikinstrumente Seit Ende des 19. Jahrhunderts werden elektronische Musikinstrumente entwickelt. Einige interessante Meilensteine auf diesem Weg sollen vorgestellt werden, wobei die Auswahl besonders hinsichtlich interessanter Benutzerschnittstellen oder der Bedeutung der Instrumente getroffen wurde. Dynamophon/Telharmonium Das Dynamophon wurde 1906 von Thaddeus Cahill gebaut und gilt als das erste vollständig elektronische Musikinstrument. Die erzeugte Musik wurde über das Telefonnetz übertragen, deshalb wurde das Instrument als Telharmonium bezeichnet. Rundfunk oder Verstärker existierten zur damaligen Zeit noch nicht. Die Klänge wurden durch Wechselspannungs-Dynamos erzeugt, daher auch Dynamophon. Ein interessantes Detail war das Manual, das über 36 Tasten pro Oktave verfügte (beim Klavier sind es 12) und anschlagdynamisch spielbar war. Das Instrument hatte einen enormen Platzbedarf und wog etwa 200 Tonnen. Da sich das Radio immer mehr durchsetzte verlor das Dynamophon schließlich recht schnell seine Bedeutung (vgl. [Föl04]). Ätherophon/Theremin Der russische Ingenieur Lew Sergejewitsch Termen, später Leon Theremin, experimentierte 1918 mit Geräten zum Empfang von Radiowellen und entdeckte dabei Töne, die von den benutzten Geräten selbst hervorgebracht wurden. Auf dieser Grundlage konstruierte er ein Musikinstrument und stellte es 1920 der Öffentlichkeit vor (siehe Abbildung 3.2(a)). Das Theremin war das erste elektronische Musikinstrument, das tatsächlich benutzbar war. Es ist für seinen mystischen, ätherischen Klang bekannt. Für die Tonerzeugung wird ein Schwebungssummer genutzt. Dabei wird aus einer fixen und einer variablen hochfrequenten Sinusschwingung durch Überlagerung eine hörbare Differenzschwingung erzeugt. Um dem Instrument einen streicher- oder stimmenähnlichen Klang zu verleihen, wurde die Schwingung durch Übersteuerung mit Obertönen angereichert. Die Besonderheit des Theremins ist, dass es berührungslos durch die Position der Hände relativ zu zwei orthogonalen Antennen gespielt wird. Die Hand und die Antenne wirken dabei jeweils im Sinne eines variablen Kondensators zusammen. Bei Annäherung der rechten Hand an eine senkrecht stehende Antenne steigt die 25 3 Technologie und Musik Tonhöhe. Kontinuierliche Glissandi, wie bei der menschliche Stimme oder bundlosen Streichinstrumenten, sind spielbar. Die waagerechte Antenne dient zur Steuerung der Lautstärke (vgl. [obs05c]). Als Beispiel neuer sowjetischer Technologie stellte Termen sein Instrument auch im Ausland vor, unter anderem reiste er in die USA. Auch dort erhielt er ein Patent für seine Erfindung, Lizenznehmer versuchten das Theremin als für jedermann leicht spielbares Instrument auf den Markt zu bringen, allerdings ohne großen Erfolg. Da es auf kleinste Körper- oder auch Gesichtsbewegungen des Interpreten reagiert, ist ein exaktes Spielen des Instrumentes tatsächlich relativ schwierig. Clara Rockmore war eine der wenigen Virtuosen auf dem Theremin, einige Kompositionen wurden speziell für das Instrument und für sie geschrieben. Beliebt waren die Klänge des Theremins vor allem auch als Effekte für Weltraum- oder Unterwassersituationen in Filmmusiken. Auch in der Popmusik gibt es bis heute hin und wieder Aufnahmen mit dem Theremin (vgl. [Rus98]). (a) Leon Theremin an seinem Instrument (aus [Les07]) (b) Das erste elektronische Rhythmusinstrument Rhythmicon (aus [The07]) Abbildung 3.2: Theremin und Rhythmicon Rhythmicon/Polyrhythmophon Das Rhythmicon, auch Polyrhythmophon, gilt als erstes elektronisches Rhythmusinstrument und als Vorläufer der modernen DrumComputer (siehe Abbildung 3.2(b)). Das Instrument geht auf eine Idee des amerikanischen Komponisten Henry Cowell zurück, die Leon Theremin für ihn realisiert hat. Cowell schrieb verschiedene Werke, die derart komplizierte Kombinationen aus Rhythmen und Obertönen verwendeten, dass sie nicht von einem menschlichen 26 3.2 Historische und aktuelle Instrumente Ensemble aufführbar waren. Das Rhythmicon ist also eine Maschine, die Rhythmen erzeugen kann, die auf Obertonserien einer Grundfrequenz basieren. Unter Obertönen versteht man ganzzahlige Vielfache der Grundfrequenz. Der Klang wird auf die gleiche Weise wie beim Theremin erzeugt. Gespielt wird auf einer Klaviatur mit 16 Tasten, wobei die tiefste Taste die Grundfrequenz produziert und jede weitere den jeweils nächsten Oberton (vgl. [Moo05]). Die Rhythmen werden durch zwei rotierende Scheiben erzeugt, die mit konzentrischen Lochkreisen versehen sind. Der innere Kreis enthält ein Loch, der nächste Kreis zwei, der äußerste sechzehn. Eine zweite Scheibe mit dem selben Lochmuster bewegt sich mit der gewünschten Frequenzrate, bestimmt also die Tonhöhe. Hinter jedem Lochkreis sind Lampen angeordnet, die mit einer Tastatur an- und ausgeschaltet werden können. Wenn die Löcher der beiden Scheiben kongruent sind, kann das Licht die dahinter liegende Fotozelle erreichen. Das Signal wird dann verstärkt und über einen Lautsprecher ausgegeben (vgl. [Sta07]). Terpsiton Das Terpsiton (siehe Abbildung 3.3(a)) ist eine Entwicklung Leon Theremins und wird, ebenso wie das Theremin, über Antennen, die hier wesentlich größer sind, mit dem ganzen Körper kontrolliert. Durch Bewegungen einer Tänzerin auf einer elektrisch isolierten Metallplatte am Boden wird die Frequenz des variablen Oszillators eines Schwebungssummers nach dem gleichen Prinzip, wie beim Theremin, gesteuert (vgl. [Mas36]). (a) Das Terpsiton – ein There- (b) Das Konzerttrautonium von Oskar Sala (aus [Hil07]) min für Tanz (aus [Mas36]) Abbildung 3.3: Das Terpsiton und das Trautonium 27 3 Technologie und Musik Elektrophon und Sphärophon Der Deutsche Lehrer Jörg Mager war fasziniert von der Idee der Erweiterung des abendländischen Tonsystemes um Mikrointervalle, das heißt Vierteltöne, nach dem Vorbild zum Beispiel der indischen oder arabischen Musik. Im Jahre 1921 konstruierte er ein Instrument, was stufenlose Glissandi ermöglichte, indem ein Griff auf einem halbkreisförmigen Bogen zwischen Markierungen bewegt wurde. Die Funktionsweise glich prinzipiell der des Theremins. Später entwickelte er das Elektrophon zum Omnitonium-Sphärophon weiter. Die Steuerung wurde verbessert, indem durch zwei Kurbeln jeweils die Auswahl des nächsten Tones möglich wurde, während der aktuelle gespielt wird. Hinzu kamen zwei Pedale für die Lautstärkeregelung. Außerdem konnte die Klangfarbe durch Filter und speziell geformte Lautsprecher beeinflusst werden. Die Vierteltonmusik konnte sich nicht breiter durchsetzen. Mager baute das Instrument erneut um, so dass fest abgestufte Tonhöhen durch Klaviaturen spielbar wurden. Das Klaviatursphärophon war mehrstimmig spielbar, drei Stimmen verfügten über eigene Manuale, die aufgrund der geringen Größe gleichzeitig bedient werden konnten, dazu gab es ein Pedal und einen Bauchschweller, der zur Dynamiksteuerung diente und durch Vor- und Zurückbewegungen des Oberkörpers bedient werden konnte (vgl. [Rus98] und [obs05b]). Trautonium Friedrich Trautwein stellte das Trautonium 1930 der Öffentlichkeit vor (siehe Abbildung 3.3(b)). Sein Ziel war die Konstruktion eines einfachen elektrischen Musikinstrumentes. Das Trautonium wurde über einen Widerstandsdraht, der in geringem Abstand über eine Metallschiene gespannt war, gespielt. Wird der Draht auf die Metallschiene gedrückt, bestimmt die Position des Fingers die Frequenz des erzeugten Tones. Als Klangquelle dient ein Sägezahnschwingungsgenerator. Auf dem Manual ist zur Orientierung eine chromatische Skala aufgezeichnet, der Tonumfang von dreieinhalb Oktaven lässt sich aber kontinuierlich spielen. Verschiedene Komponisten schrieben Werke speziell für das Trautonium, unter anderem Paul Hindemith. Der bedeutendste Virtuose war Oskar Sala, er spielte das Trautonium bis zu seinem Tod im Jahr 2002. Auf ihn gehen zudem verschiedene Weiterentwicklungen und Variationen des Instrumentes zurück, wie das transportable Konzerttrautonium oder das Mixturtrautonium, das die Erzeugung von Untertonreihen ermöglichte (vgl. [Hil07]). 28 3.2 Historische und aktuelle Instrumente Modulare Synthesizer Besonders erwähnenswert sind die von Robert Moog entwickelten Synthesizer, sie fanden weite Verbreitung. Zunächst verkaufte Moog ThereminBausätze, bevor er 1967 selbst mit dem Bau spannungsgesteuerter modularer Synthesizersysteme begann. Es handelt sich dabei um analoge Instrumente, die kontinuierliche elektrische Signale, zum Beispiel Sinus-Schwingungen, manipulieren, und verstärkt über Lautsprecher ausgeben. Für einen modularen Moog-Synthesizer existieren verschiedene Grundbausteine beziehungsweise Module, die frei kombiniert werden können, zum Beispiel Generatoren wie Oszillatoren oder Rauschgeneratoren, Module zur Klangbeeinflussung, zum Beispiel Filter, und Module zur Klangsteuerung, wie das Keyboard. In den Jahren 1968/1969 spielte der Musiker Walter Carlos Werke von Bach auf dem Album „Switched on Bach“ mit dem Moog-Synthesizer ein und machte damit den Synthesizer der breiten Öffetlichkeit bekannt. Erst durch diesen Erfolg wurden Moogs Instrumente auch in der Rock- und Popmusik beliebt. Die orgelähnliche Tastatur als Benutzerschnittstelle erwies sich als erfolgreichstes Interface und wurde zum Standard für Synthesizer, obgleich beliebige Controller, die bestimmte Vorgaben erfüllen, angeschlossen werden können. Moogs marktorientierte Philosophie im Instrumentenbau – die Nachahmung bekannter Klänge und Instrumente – prägt die Entwicklung der elektronischen Musikinstrumente für viele Jahre. 3.2.2 Klangaufzeichnung und Sampling In den 1920er Jahren wird die Aufnahme von Klängen auf Magnetbänder möglich, erste robuste Kassettenrecorder gibt es in den 1940er Jahren. Die Aufnahme, elektronische Manipulation und das Wiederabspielen von Klängen wurde damit möglich (vgl. [BK04]). Diese Möglichkeiten werden auch für den Bau von Musikinstrumenten ausgenutzt. Mellotron Das Mellotron ist ein Vorläufer der modernen Sampler, also von Instrumenten, die natürliche, aufgezeichnete Klänge verarbeiten und abspielen können. Das Instrument wurde von Anfang der 1960er bis Ende der 80er Jahre hergestellt und hatte, obwohl aufgezeichnete Klänge echter Instrumente wiedergegeben wurden, einen sehr charakteristischen Klang weshalb es sich großer Beliebtheit im Popmusikbereich erfreute. Unter jeder Taste befindet sich ein Magnetbandsegment mit einem 29 3 Technologie und Musik aufgenommenen Klang in der entsprechenden Tonhöhe. Beim Drücken einer Taste wird der Klang abgespielt. Beim Loslassen, kehrt der Tonkopf zur Startposition zurück. Die Klangcharakteristik, also spezifische Ein- und Ausschwingvorgänge, eines längeren Tones kann beibehalten werden, da keine Bandschleife genutzt wird. Dadurch ist die Tondauer allerdings begrenzt. Die Magnetbänder sind komplett als Modul austauschbar, somit kann also die Klangfarbe des Instrumentes geändert werden (vgl. [obs05a]). Fairlight CMI Der Fairlight CMI ist das erste digitale Sampler-Instrument. Klänge wurden nicht synthetisiert, sondern natürliche Klänge können aufgenommen, digitalisiert und resynthetisiert oder verarbeitet werden. Das Instrument kann die erzeugten Samples dann in beliebigen Tonhöhen abspielen (vgl. [Rus98]). 3.2.3 Musik und Computer 3.2.3.1 Entwicklung Beim Zusammentreffen von Musik und Computern entwickelten sich zwei verschiedene Ansätze. Frühe, wegweisende Arbeiten sind die von Lejaren Hiller, der den Pfad der algorithmischen Komposition beschritt und damit die Möglichkeiten zur Automatisierung der Musik erweiterte. Auf der anderen Seite stehen die Entwicklungen von Max Mathews, der sich mit der Nachbildung analoger Schaltungen mit Hilfe von Computern beschäftigte. Daraus entwickelte sich die erste Software zur digitalen Synthese von Musik, die MUSIC-NProgramme Ende der 50er Jahre (vgl. [Rus98]). Diese Programme sind die Vorläufer heutiger Musik-Programmiersprachen wie CSound, Max/MSP oder Pure Data. Eine weitere richtungsweisende Entwicklung stellte Mathews mit der GROOVE-Software vor. Bei diesem Performance-orientierten Programm steht die Interaktion mit LiveInput im Vordergrund. Klänge können während des Hörens beeinflusst werden. Max Mathews sah früh das Potential des Computers als universelles Instrument. Durch das Sampling-Theorem begründet, kann theoretisch jeder Klang, den das menschliche Ohr wahrnehmen kann, aus der richtigen Kombination von digitalen Samples kombiniert werden (vgl. [Sta07]). Der Anfang der 1980er Jahre eingeführte MIDI-Standard war ein weiterer wichtiger Meilenstein in der Entwicklung der Musikinstrumente und sorgte für die zunehmende 30 3.2 Historische und aktuelle Instrumente Entkopplung von Benutzerschnittstelle und Instrument. MIDI ist eine standardisierte Schnittstelle. Über ein einfaches serielles Kabel können verschiedenste Controller angeschlossen und softwareseitig auf die Parameter der Klangerzeugung abgebildet werden (vgl. [PO03]). Durch die kostengünstige Verfügbarkeit von Computern mit hoher Leistung, können heute komplexe Abbildungsfunktionen zwischen Controller und Synthesizer und die direkte Klangerzeugung im Rechner in Echtzeit realisiert werden. Die verwendeten Controller können hochkomplex sein und den Anforderungen für virtuoses ausdrucksstarkes Spielen genügen oder auch für die Umsetzung einfacher interaktiver Klanginstallationen geeignet sein. Entsprechende Sensoren sind handelsüblich, mit relativ einfachen Mitteln kann auf die gemessenen Daten per Computer zugegriffen werden. Digitale Musikinstrumente in der typischen Zusammensetzung aus Controller und Standardrechner mit Echtzeit-Klangerzeugungssoftware bilden eine neue leistungsstarke Kategorie von Musikinstrumenten (vgl. [PO03]). 3.2.3.2 Klangerzeugungsverfahren Es existieren verschiedene Klangerzeugungsverfahren, die digital und rechnerintern umgesetzt werden können. Die wichtigsten seien hier kurz erklärt. Das gängigste Verfahren, das auch schon bei analogen Synthesizern Verwendung findet, ist die subtraktive Synthese. Ein Oszillator erzeugt eine meist obertonreiche Grundschwingung meist eine Sägezahn-, Rechteck-, Dreiecks- oder auch Sinusschwingung. Aus dem erzeugten Klang werden mithilfe von Filtern bestimmte Frequenzbereiche entfernt, also subtrahiert. Bei der additiven Synthese werden keine Frequenzbestandteile ausgefiltert, sondern der Klang wird aus einzelnen harmonischen Obertonschwingungen zusammengesetzt. Grundlage hierfür ist die Fouriersynthese, jeder Klang aus einer Summe von Sinusschwingungen zusammensetzen. Sehr komplex und aufwändig, da viele Teiltöne, jeder mit dynamischer Hüllkurve kontrolliert. Die FM-Synthese war das Klangerzeugungsverfahren des ersten digitalen Synthesizers. Grundlage der Frequenzmodulation bilden zwei Oszillatoren. Die Frequenz des ersten, des Trägers, wird durch den zweiten, den Modulator, gesteuert. Die Modulation mit niedrigen Frequenzen ergibt ein Vibrato, höhere Frequenzen fügen der Grundschwingung Obertöne hinzu. 31 3 Technologie und Musik Die Wavetablesynthese ist mit relativ geringem Aufwand realisierbar. Zugrunde liegt eine Audioaufzeichnung eines Klanges, eine Wellenform. Je nach Wiedergabegeschwindigkeit kann der Klang in verschiedenen Tonhöhen wiedergegeben werden. Eine Zerlegung des Tones in Segmente macht die Variation der Länge des Klanges möglich. Der unnatürliche Klang kann durch Verwendung mehrerer Samples für verschiedene Tonhöhen verbessert werden. Bei sehr feiner Zerlegung der Klänge in Segmente von unter 50 Millisekunden Dauer spricht man von Granularsynthese. Die Variation der Tonhöhe kann hier durch eine Vervielfachung, sowie durch Kombination und Schichtung der einzelnen Segmente bzw. Grains erreicht werden. Reichhaltige Klangfarben und Effekte können mit diesem Verfahren erzeugt werden. Ein Verfahren, dem die Beschreibung und Simulation der physikalischen Eigenschaften eines Instrumentes mit mathematischen Methoden zugrunde liegt, ist die physikalische Modellierung. Hierbei wird im Gegensatz zu den anderen beschriebenen Syntheseverfahren ein sehr realistisches Ergebnis erzielt, allerdings werden hohe Anforderungen an die Rechenleistung gestellt (vgl. [Pie99, Seite 191 ff.]). 3.2.4 Digitale Musikinstrumente, interaktive Klanginstallationen The Hands Bei The Hands (siehe Abbildung 3.4) handelt es sich um eine Entwicklung des STEIM, das Studio for Electro-Instrumental Music in Amsterdam. Direkt mit dem Erscheinen von MIDI im Jahre 1984 entstand mit diesem Instrument einer der frühesten alternativen MIDI-Controller. Während die üblichen Orgeloder Klaviertastaturen hauptsächlich für melodische Musik konzipiert waren, boten The Hands einen Weg, das Potential der elektronischen Klänge auszuschöpfen und elektronische Musik abseits traditioneller musikalischer Vorstellungen live zu erzeugen. Das Instrument besteht aus einer Vielzahl von Sensoren und Tasten, die an zwei kleinen Keyboards direkt an den Händen des Musikers angebracht werden. Mithilfe der Sensoren können die Bewegungen der einzelnen Finger, der Hände und des ganzen Arms aufgenommen werden. Für die Übersetzung der Sensordaten in MIDI-Befehle trägt der Musiker einen kleinen Computer auf dem Rücken. Die Mappings zwischen Sensordaten und MIDI sind dabei je nach Musikstück und Musiker programmierbar (vgl. [Wai06]). 32 3.2 Historische und aktuelle Instrumente (a) Der 1984 entwickelte MIDI-Controller The Hands (aus [Wai06]) (b) Michel Waisvisz spielt The Hands (aus [Wai06]) Abbildung 3.4: The Hands Laptops und Standardeingabegeräte als Musikinstrument Die Nutzung des Computers beziehungsweise Laptops als Musikinstrument ist eine gängige Aufführungspraxis seit den 1990er Jahren. In diesem Zusammenhang entstand auch der Ansatz, Standardeingabegeräte für die Interaktion mit einem Musikinstrument zu nutzen (vgl. [Ste05a]). Viele Geräte, wie Mäuse, Touchpads, Grafiktabletts oder Joysticks arbeiten mit hoher Präzision und bieten zudem haptisches Feedback. Entscheidend für die Nutzung zur ausdrucksstarken Musiksteuerung ist hier natürlich das Mapping der Eingaben auf die Klangerzeugung. Die Forschung im Rahmen des Princeton Laptop Orchestra PLOrk (vgl. [FWC07]) befasst sich mit der Fragestellung, inwieweit die nativen Input-Möglichkeiten des Laptops für die Steuerung von Musik genutzt werden können. Folgende MappingStrategien werden vorgeschlagen: Die Tonhöhe kann über die Tastsatur gesteuert werden. Fingerbewegungen auf dem Trackpad können im Sinne eines Bogens von Streichinstrumenten interpretiert werden. Bewegungen verleihen der Klangerzeugung „Energie“, schnelle Bewegungen erhöhen die Lautstärke, Bewegungen in verschiedene Regionen des Trackpads verschieben die räumliche Position des Klanges. Eine innovative Idee ist die Nutzung des Sudden-Motion-Sensors, der in manchen Laptops zum Schutz verbaut ist. Schläge auf das Laptop-Gehäuse können so erkannt und der Computer als Perkussionsinstrument genutzt werden. Das eingebaute Mikrofon eignet sich zum Erkennen von Atem, der Druck kann beispielsweise auf die Frequenz eines Filters abgebildet werden. Beim Zusammenspiel mehrerer Laptops im Orchester 33 3 Technologie und Musik können die Laptop-eigenen Lautsprecher benutzt werden und so gleichzeitig den Klang lokalisieren. Audio D-Touch und ReacTable Audio D-Touch (siehe Abbildung 3.5(a)) ist ein tischbasiertes Instrument mit Tangible User Interface. Ein interaktiver Bereich, ein Blatt Papier, wird von einer Webcam, die auf eine Tischlampe montiert ist, beobachtet. Das System wird durch Hinzufügen, Entfernen und Bewegen interaktiver Objekte, kleiner Holzbausteine, gesteuert. Der Nutzer erhält Feedback zu seinen Aktionen zum einen natürlich durch die erzeugten Klänge, aber auch durch die Anordnung der Objekte auf dem Tisch. Es wurden drei verschiedene Instrumente umgesetzt, eine Drum-Machine, ein Notenblatt und ein Sequenzer, bei denen die Anordnung der Objekte jeweils unterschiedlich interpretiert wird. Das System lässt sich zum Komponieren, zu Live-Improvisationen, zur musikalischen Ausbildung oder zum Spielen nutzen. Das Tracking der Objekte läuft mit Hilfe eins robusten Algorithmus zur Erkennung von sogenannten Fiducials ab. Fiducials sind spezielle Schwarz-Weiß-Symbole, die für den Computer leicht zu erkennen sind, dadurch ist das System relativ tolerant gegenüber veränderlicher Beleuchtung oder Schatten und kann mit einer einfachen Kamera betrieben werden. Objekte, die erkennbar und interaktiv sein sollen, müssen mit einem solchen Fiducial markiert werden. Als Untergrund dient ein Blatt Papier, dessen Ecken ebenfalls mit Fiducials markiert sind, so dass die Position der Objekte relativ zum Blatt bestimmt werden kann. Die Informationen des Trackingsystems dienen als Eingabe für die Klangsynthese, indem die Positionsinformationen der Objekte auf Klangparameter oder musikalische Eigenschaften abgebildet werden (vgl. [CSR03]). (a) Audio D-Touch (aus [CSR03]) (b) ReacTable (aus [Mus08a]) (c) Music Table (aus [BMHS03]) Abbildung 3.5: Die tischbasierten Musikinstrumente Audio D-Touch, ReacTable und Music Table 34 3.2 Historische und aktuelle Instrumente Eine wesentlich komplexere Entwicklung, die aber prinzipiell ähnlich wie Audio D-Touch funktioniert, ist der ReacTable (vgl. [JKGB05], siehe Abbildung 3.5(b)). Der ReacTable besteht aus einem Tisch mit transparenter Oberfläche mit einer darunter befestigten Kamera, über welche die Identität, Position und Ausrichtung der auf der Oberfläche angeordneten physischen Objekte verfolgt werden. Gleichzeitig wird von unten zusätzliches visuelles Feedback an die Tischoberfläche projiziert. Durch das Hinzufügen, Entfernen, Drehen und Anordnen der Objekte lassen sich Struktur und Klangparameter eines modular aufgebauten Synthesizers beeinflussen. Auf diese Weise wird gleichzeitig ein Musikinstrument gespielt und dynamisch konstruiert. Wie in den Audio-Programmiersprachen Max/MSP oder Pure Data stehen Audio- und Kontrollobjekte sowie entsprechende Verbindungsmöglichkeiten zur Verfügung, wobei die Funktionalität der Objekte zusätzlich visualisiert wird. So wird zum Beispiel ein Low-Frequency-Oscillator-Objekt von einer mit der erzeugten Frequenz blinkenden Animation umgeben sein, ein Kontrollfluss zwischen zwei Objekten kann durch eine Linie und eine Animation, welche die Richtung und Aktivität anzeigt, visualisiert werden. Kollaboratives Musizieren ist hiermit möglich, indem zum Beispiel mehrere Teilnehmer einen ReacTable gemeinsam nutzen oder mehrere Instrumente über ein Netzwerk kommunizieren. Zudem ist der ReacTable, durch verschiedene Konfigurationen, im Rahmen von interaktiven Installationen, sowie als vollwertiges Instrument für professionelle Musiker einsetzbar (vgl. [KJGA06]). Music Table Mit einem ähnlichen Konzept ermöglicht der Music Table die Komposition von musikalischen Strukturen durch das Anordnen von Karten auf einer Tischoberfläche (siehe Abbildung 3.5(c)). Die Bewegungen und Positionen der Karten werden vom Computer per Kamera beobachtet und in Form von musikalischem und zusätzlichem visuellen Feedback auf einem Bildschirm verarbeitet. Dabei wird das Live-Videobild mit computergenerierter Grafik angereichert. Die Karten können auf den Tisch gelegt werden, wobei die Lage die Tonhöhe und die Position eines Tones in der Looping-Zeitachse bestimmt. Mit Copy-Karten können die erzeugten Muster in einer Phrasen-Karte gespeichert und anschließend als Ganzes weiterverwendet werden. Mit einer Instrument-Karte kann anschließend einer Phrase eine Klangfarbe zugewiesen werden (vgl. [BMHS03]). Auf diese Weise 35 3 Technologie und Musik wird die Bearbeitung musikalischer Strukturen auf verschiedenen Detail-Ebenen ermöglicht. SpinCycle SpinCycle (siehe Abbildung 3.6(a)) ist ein Interface für musikalische Performances, das auf die Farb-Ton-Modelle Bezug nimmt und sich an historische Instrumente, wie Lichtorgeln, anlehnt, die in [Wei07] genauer beschrieben werden. Eine weitere Inspiration hierfür war der Ansatz, einen Plattenspieler als Instrument zu verwenden, um neue Arrangements existierender Musik aufzuführen (als einer der ersten experimentierte John Cage damit, später wurde der Plattenspieler integrales Element von Hip-Hop seit den 1970er Jahren). Beim SpinCycle können visuelle Muster aus farbigen Objekten auf einer drehenden Scheibe angeordnet werden, wobei ein Plattenspieler die Grundlage bildet. Mit einer Firewire-Kamera werden die Objekte beobachtet und in Echtzeit in musikalische Arrangements übersetzt. Softwareseitig können die zu trackenden Farben ausgewählt und Klängen zugewiesen werden (vgl. [Kis06]). (a) SpinCycle (aus [Kis06]) (b) MusicBottles [IML01]) (aus (c) The Sqeezables (aus [Gan01]) Abbildung 3.6: Die digitalen Musikinstrumente SpinCycle, MusicBottles und The Squeezables MusicBottles MusicBottles (siehe Abbildung 3.6(b)) sind Glasflaschen, die ein minimales Interface eines Musikinstrumentes bilden, sowohl als Behälter für die Musik als auch zu ihrer Steuerung. Die Interaktion beruht auf den einfachen, unmissverständlichen Aktionen, die mit einer Flasche ausgeführt werden können. Sie kann auf den Tisch gestellt und wieder entfernt, entkorkt und wieder verschlossen werden. Jede Flasche repräsentiert eine einzelne Stimme oder ein Instrument in einem Musikstück, das heißt diesem Interaktionsmodell liegen mehrere parallele Audioströme 36 3.3 Zusammenfassung zugrunde. Die Manipulation an einer bestimmten Flasche wirkt sich also auf eine bestimmte Audiospur aus. Die Flaschen sind mit verschiedenen Musikstilen gefüllt. Auf Tischoberfläche wird von unten visuelle Feedback projiziert. Die Umgebung einer Flasche leuchtet, wenn sie aktiv ist. Mit dem Entkorken einer Flasche beginnt das Abspielen von Musik (vgl. [IML01]). The Sqeezables The Sqeezables (siehe Abbildung 3.6(c)) ist ein Multi-PlayerMusikinstrument aus sechs Gelbällen, die an einem kleinen Tisch befestigt sind. Jeder teilnehmende Musiker kann bestimmte musikalische Parameter mit jeweils einem Ball pro Hand steuern. Zwölf Input-Kanäle stehen zur Verfügung. Jeder der sechs Bälle kann gedrückt oder gezogen werden. In ihrem Inneren enthalten die Bälle je einen Sensorblock mit 5 Drucksensoren, deren Werte über ein spezielles Input-Board im MIDI-Format zur weiteren Verarbeitung an einen Rechner geschickt werden. Die Ziehbewegung wird über variable Widerstände, die unter dem Tisch angebracht sind, gemessen, digitalisiert und via MIDI an den Rechner übertragen. Rechnerintern werden die Daten von einem Max/MSP Patch weiterverarbeitet. Jeder Ball kontrolliert verschiedene musikalische Parameter auf verschiedenen Ebenen der Kontrolle. So gibt es etwa einen Rhythmus-Ball, der für die Manipulation rhythmischer Variationen auf der strukturellen Ebene zuständig ist und zum Beispiel einen Voice-Ball, der die Filterparameter der mithilfe des Melodie-Balls gesteuerten Stimme kontrolliert, also eher in Parameter des Einzeltones eingreift (vgl. [WG01]). 3.3 Zusammenfassung Zu allen Zeiten nahmen aktuelle technische Entwicklungen auch immer Einfluss auf den Bau von Musikinstrumenten, die ausgehend von der Musikerzeugung mithilfe des menschlichen Körpers, einer immer weitergehenden Technisierung unterlagen. Elektronische Musikinstrumente wurden seit Ende des 19. Jahrhunderts entwickelt und verfügten teilweise über sehr interessante Ansätze bezüglich ihrer Controller. Die Möglichkeiten, Klänge aufzuzeichnen sowie später unter Zuhilfenahme des Computers zu verarbeiten und zu erzeugen, bereitete den Weg für digitale Musikinstrumente 37 3 Technologie und Musik und interaktive Klanginstallationen als neue leistungsstarke Klasse von Musikinstrumenten, mit der Freiheit beliebiger Kombinationen von Controllern und digitaler Klangerzeugung. 38 4 Konzepte digitaler Musikinstrumente In diesem Kapitel werden verschiedene grundlegende Probleme beim Bau digitaler Instrumente und interaktiver Klanginstallationen beleuchtet, wobei stets der Zusammenhang zu traditionellen akustischen Musikinstrumenten hergestellt werden soll. Abbildung 4.1: Interaktion zwischen Benutzer (Musiker oder Publikum) und einem Musikinstrument (oder einer interaktiven Installation) In Abbildung 4.1 wird das Problemfeld zusammengefasst dargestellt. Ein oder mehrere Musiker und möglicherweise ein Publikum sind an der Interaktion mit einem Musikinstrument beteiligt. Verallgemeinert wird der Begriff Benutzer verwendet. Die Benutzer haben verschiedene Eigenschaften. So können sie aktiv, also Musiker oder Besucher einer interaktiven Klanginstallation, oder auch passiv, also Zuhörer und Zuschauer, sein. Die Nutzer verfügen über ein bestimmtes musikalisches Wissen – der professionelle Musiker mehr, der Besucher einer interaktiven Installation weniger – und haben ein Verhältnis zum Musikinstrument, da sie es zum Beispiel selbst hergestellt haben oder einfach benutzen. 39 4 Konzepte digitaler Musikinstrumente Bei der Gestaltung des Instrumentes, und insbesondere des Mappings zwischen den motorischen Fähigkeiten des Benutzers und den Parametern der erzeugten Musik oder Klänge, sind verschiedene Aspekte zu berücksichtigen: Im einzelnen soll betrachtet werden, wie das Mapping den Charakter eines Instrumentes beeinflussen kann, in welchem Detailgrad und welcher Form Musik durch ein Instrument kontrolliert werden kann und wie ein Instrument vor diesem Hintergrund im Spektrum zwischen Klanginstallation und Musikinstrument einzuordnen ist. Das Musikinstrument kann neben Klängen zusätzliches Feedback ausgeben. Das kann für die einzelnen Benutzer verschieden sein. Visuelles Feedback kann sich zum Beispiel nur auf einem Laptop-Bildschirm, direkt vor den Augen des Musikers abspielen, oder für alle Beteiligten sichtbar sein und die Aktionen des Musikers visualisieren und verdeutlichen. Auch die Geste selbst kann eine visuelle Ergänzung zum Klang bilden. Die Fragen, wie der Musiker Informationen über den aktuellen Zustand des Instrumentes erhalten kann, und in welchem Maße körperliche Interaktion mit dem Musikinstrument stattfinden kann, werden hier betrachtet. Der Charakter der Interaktion zwischen Benutzer und Instrument – Tangible Interaction – wird in Kapitel 5 (Seite 51) genauer analysiert. 4.1 Mapping Musikinstrumente transformieren Aktionen in Klang. Entscheidend für den Charakter eines Musikinstrumentes ist das Mapping, die Abbildung von Controller auf Klangerzeugungsparameter. 4.1.1 Determinismus Verschiedene Arten von Mappings sind möglich, anhand derer lassen sich Kategorien für digitale Musikinstrumente bilden. Als entscheidende Größe schlägt [BK04] Determinismus vor, das heißt, inwieweit der Musiker das Resultat der in das System eingegebenen Aktionen voraussagen kann. Der gängigste Ansatz, wohl auch nach dem Vorbild konventioneller akustischer Musikinstrumente, ist das individuell zu spielende Instrument mit relativ deterministischer Abbildung von Aktion auf Klang. Für die Entwicklung von Instrumenten, die über herkömmliche Kategorien hinausgehen, können auch andere Arten der Abbildung interessant sein. Die folgenden drei Hauptkategorien können unterschieden werden (vgl. [BK04]): 40 4.1 Mapping Deterministisches Mapping Es besteht ein direkter Einfluss der Eingaben des Musikers auf die Klangerzeugung, analog zu traditionellen Instrumenten. Eine physische Aktion erzeugt einen Klang. Die Konstruktion solcher Instrumente kann sich an die Prinzipien des traditionellen Instrumentenbaus und der Mensch-MaschineKommunikation anlehnen. Sowohl die Erweiterung konventioneller Musikinstrumente um Sensoren oder Aktoren, als auch die Erzeugung völlig neuer Instrumente sind Anwendungsgebiete dieser Art der Abbildung. Sequencing: deterministisches Mapping und Zeit Hier handelt es sich um Interfaces, die die Manipulation von Klängen in einer zeitlichen Dimension erlauben, indem sie editiert, geschnitten und zusammengesetzt werden. Der Determinismus reduziert sich, da während des Editiervorgangs noch nicht völlig klar ist, wie das Ergebnis klingen wird. Sequenzen werden zusammengestellt und verändert mit dem Ziel, sie in der Zukunft aufzuführen. Technisch ist das meist verbunden mit der Erzeugung von MIDI-Daten sowohl durch Einspielen als auch durch manuelles Editieren. Das Mapping bleibt insofern deterministisch, als die Abbildung von einem Eingabewert auf ein Klangereignis vorhersehbar ist. Nicht deterministisches Mapping unter Beachtung musikalischer Normen Die Eingabe des Musikers wird nicht deterministisch auf musikalische Parameter abgebildet, sondern unter der Beachtung musikalischer Regeln, die das System vorsieht, verändert. Das System reguliert also die Eingabe des Musikers. 4.1.2 Nicht-lineare Mappings Wie oben bereits erwähnt, ist das Mapping von Benutzeraktion auf die Klangerzeugung bei akustischen Instrumenten oft multidimensional und nicht linear. Zum Beispiel führt bei manchen Blasinstrumenten stärkeres Blasen, das sogenannte Überblasen, nicht nur zu einer Dynamikänderung, sondern verursacht zusätzlich eine Änderung der Tonhöhe. Ein ebenso nicht-lineares Verhalten ist das Feedback der elektrischen Gitarre. Durch die relative Unvorhersehbarkeit solcher Effekte entsteht ein zusätzlicher Freiheitsgrad für den musikalischen Ausdruck, der auch kontrolliert und expressiv eingesetzt werden kann (vgl. [Jor04b]). Diese Eigenschaften können auch bei der Gestaltung digitaler Instrumente berücksichtigt werden, indem die Abbildung auf eine bestimmte Weise zwischen Zufälligkeit und 41 4 Konzepte digitaler Musikinstrumente Determinismus sowie zwischen linearem und nicht-linearem Verhalten ausbalanciert wird. 4.2 Freiheiten und Einschränkungen 4.2.1 Dimensionen der Kontrolle Wichtige Größen bei der Gestaltung digitaler Instrumente sind die Anzahl und Verteilung der kontrollierbaren Dimensionen. Menschen können nur eine beschränkte Anzahl von Dimensionen simultan kontrollieren. Ein Instrument, das zu viele Freiheitsgrade bietet, ist zu kompliziert, ein Instrument mit zu wenigen Freiheitsgraden schränkt dagegen die Ausdrucksmöglichkeiten des Musikers ein (vgl. [Ste05a]). Akustische Instrumente bieten eine extrem fein abgestufte Kontrolle über die Klangeigenschaften, insbesondere, wenn der Musiker mit dem schwingenden Element, zum Beispiel der Saite, Luftsäule oder dem schwingendem Blättchen, in direktem Kontakt steht. Im Gegensatz zu dem charakteristischen Timbre eines akustischen Instruments können mit synthetischen Instrumenten unbegrenzte Klangfarben erzeugt werden, meist sind die Möglichkeiten, den einzelnen Klang zu kontrollieren aber weitaus weniger diffizil (vgl. [PO03]). Die Kontrolle über das Instrument und die erzeugten Töne oder die gespielte Musik kann auf verschiedenen Ebenen betrachtet werden. Das Makrolevel umfasst die übergreifenden musikalischen Strukturen, zum Beispiel in Form von Noten, ist also hauptsächlich kompositionsorientiert. Das Mikrolevel beschreibt die Klangcharakteristik der einzelnen Töne, ist also eher darbietungsorientiert (siehe Abbildung 4.2). Neue Benutzerschnittstellen können einen Mittelweg zwischen beiden Ebenen finden, also in gewissem Maße sowohl die Komposition von Musik, die Manipulation von Strukturen als auch feinere Kontrolle über die erzeugten Töne und Klänge zulassen (vgl. [Jor01]). Ein Instrument muss demnach eine angemessene Anzahl und, entsprechend der zu kontrollierenden Ebene der Musik, eine ausgewogene Verteilung der Freiheitsgrade bieten. Als Beispiel für die Verteilung der Freiheitsgrade auf verschiedenen Instrumenten sollen die traditionellen Instrumente Violine und Klavier betrachtet werden. Bei beiden Instrumenten wird die Klangerzeugung auf verschiedene Weise kontrolliert. Die Violine bietet vier Freiheitsgrade: Bogengeschwindigkeit und -druck, Position 42 4.2 Freiheiten und Einschränkungen Abbildung 4.2: Ebenen der Kontrolle eines Instrumentes über Musik des Bogens und Position der Finger auf den Saiten. Es werden meist eine, maximal drei Saiten zugleich gespielt. Grundsätzlich gibt es nur eine Melodielinie. Beim Klavier hingegen werden mehrere simultane Töne angeschlagen, ein guter Pianist kann vier Stimmen gleichzeitig spielen. Im Gegenzug bietet das Instrument aber weniger Kontrolle über die Parameter des einzelnen Tones als die Violine. Zwei Freiheitsgrade stehen für die Kontrolle der Saiten zur Verfügung: die Geschwindigkeit des Tastenanschlages und das Betätigen des Dämpfers. Die dritte Dimension wird durch die Pedale und die vierte durch die Auswahl der Taste bzw. Tonhöhe realisiert. Eine einzelne Melodielinie auf dem Klavier zu spielen, ist also einfacher als auf der Violine, dafür hat der Musiker aber weniger Kontrolle über die Bildung des einzelnen Tones (vgl. [Ste05a]). 4.2.2 Einschränkungen Akustische Instrumente müssen bestimmte physikalische Eigenschaften besitzen, um zu klingen. Das bringt natürlich Einschränkungen, etwa hinsichtlich des Tonumfanges oder der Klangfarbe mit sich. Bei der Gestaltung der äußeren Form akustischer Instrumente stehen Intonationseigenschaften oder die Maximierung der Lautstärke im Vordergrund (vgl. [MM07]). Bei der Gestaltung digitaler Musikinstrumente und ihrer Controller fallen diese Einschränkungen weg, da der Controller von der Klangerzeugung entkoppelt ist. 43 4 Konzepte digitaler Musikinstrumente Einschränkungen oder Limitierungen werden aber von den meisten Musikern als Quelle der Inspiration und Kreativität wahrgenommen und geschätzt. Hauptsächlich Musiker, die neben digitalen auch akustische Instrumente spielen, wünschen sich oft eingeschränktere und damit spezialisierte digitale Instrumente, die relativ leicht erlernbar sind, aber sehr großes Potential für tieferes Erkunden und Entdecken der Ausdrucksmöglichkeiten in sich tragen. Andere Musiker möchten sich von eben diesen Limitierungen lösen und bevorzugen offene und freie Arbeitsumgebungen, zum Beispiel Musik-Programmiersprachen wie SuperCollider, Pure Data, oder ChucK (vgl. [MM07]). 4.3 Interaktive Klanginstallation vs. Musikinstrument Benutzerschnittstellen für die Erzeugung musikalischen Outputs stehen oft im Spannungsfeld zwischen interaktiven Klanginstallationen, die zum Beispiel auf Bewegungen oder Gesten eines Publikums oder von Passanten reagieren können, und vollwertigen Musikinstrumenten, die von ausgebildeten oder geübten Musikern gespielt werden (vgl. [Jor01]). Darüber hinaus ist die strikte Trennung zwischen Publikum und Musikern, sowie zwischen Komposition und Aufführung wie sie typisch für die Musik des westlichen Kulturkreises ist, nicht generell kennzeichnend für Musik (vgl. [BK04]). Auch aus diesem, ethnomusikalischen Blickwinkel vergrößert sich das Spektrum möglicher Musikinstrumente. 4.3.1 Anforderungen Die Anforderungen dieser Nutzergruppen an das Instrument oder die Installation sind grundlegend verschieden und müssen bei der Entwicklung von Controllern beziehungsweise Benutzerschnittstellen berücksichtigt werden. Gute Musikinstrumente sollen für subtiles virtuoses Spiel geeignet sein, auf der anderen Seite Anfänger oder Neulinge begeistern und zu weiterem explorativem Experimentieren mit dem Instrument einladen (vgl. [Jor04a]). Will man spannende und attraktive Klanginstallationen herstellen, gelten die genannten Anforderungen in ähnlicher Weise. Diese, mehr oder weniger gegenläufigen, Ziele werfen die Frage nach Bedeutung der Fähigkeiten und des musikalischen Wissens der Benutzer auf. Musiker wünschen 44 4.3 Interaktive Klanginstallation vs. Musikinstrument sich komplizierte Werkzeuge, die ihnen große Freiheiten und damit reichhaltige Ausdrucksmöglichkeiten bieten. Interaktive Installationen sollen einfache ansprechende Werkzeuge sein, mit denen ungeübte Nutzer ein zufriedenstellendes Ergebnis hervorbringen können, während sie ein gewisses merkliches Maß an Kontrolle über den Output haben. Bei der Gestaltung eines guten Instrumentes beziehungsweise einer guten Installation soll versucht werden, die Ziele beider Gruppen zu vereinbaren. Ein in diesem Sinne „gutes“ Instrument würde also den Hobbymusiker nicht überfordern und einem fortgeschrittenen Musiker die gewünschte Kontrolle bieten. Es wäre einfach benutzbar sowie gleichzeitig ausgereift und ausdrucksstark. Es würde den Einsteiger begeistern und dem Lernenden die Möglichkeit zu tieferem Entdecken und immer weiterführender Kreativität bieten (vgl. [Jor01]). Eine solche Installation würde ebenso zum Entdecken einladen und bliebe auch bei mehrmaligem Erleben für den Benutzer interessant. 4.3.2 Diversität Die Betrachtung des von Jordà (vgl. [Jor04b]) untersuchten Begriffes Diversität kann einen guten Anhaltspunkt geben, wie ein Instrument im Kontinuum zwischen Klangspielzeug und Musikinstrument zu positionieren ist. Dabei unterscheidet man Makro-, Mikro- und Mittlere Diversität (siehe Abbildung 4.3). Abbildung 4.3: Diversität eines Musikinstrumentes nach [Jor04b] Die Makro-Diversität beschreibt die Flexibilität eines Instrumentes in verschiedenen Kontexten, Rollen oder musikalischen Stilen. Beispielsweise bietet die Mundharmonika, die im Orchester, alleine und verschiedensten Stilen spielbar ist, eine hohe, der Kontrabass, fast immer ein Begleitinstrument, eine eher geringe Makro-Diversität. Ein Instrument kann auch je nach Einsatz mit hoher und geringer Makro-Diversität 45 4 Konzepte digitaler Musikinstrumente ausgestattet sein, so zum Beispiel die Gitarre als Begleitinstrument mit hoher und als Soloinstrument mit geringerer Makro-Diversität. Anhand der Mittleren Diversität lässt sich einordnen, wie unterschiedlich zwei verschiedene Kompositionen mit ein und demselben Instrument gespielt werden können. Für die Abgrenzung von Klanginstallationen zu Musikinstrumenten ist dies die essentielle Eigenschaft. Die meisten akustischen Instrumente haben eine hohe Mittlere Diversität, viele, meist für Anfänger gedachte, digitale Instrumente, Klanginstallationen und auch Musikspielzeuge haben eine sehr geringe Mittlere Diversität. Mit ihnen scheint es, als würde immer wieder das gleiche Stück gespielt werden. Natürlich gibt es ebenso digitale Instrumente mit hoher Mittlerer Diversität. Sie kann zum Beispiel auch durch verschiedene Setups, also unterschiedliche, wählbare Mappings von Controller- auf Klangparameter gesteigert werden. Die Mikro-Diversität ist ein Maß für die Verschiedenheit von zwei Darbietungen des gleichen Musikstückes und damit eine Eigenschaft, die ein Instrument unterstützen muss, wenn ein Musiker zum Virtuosen wird. Die Mikro-Diversität bezieht sich zum einen auf die klanglichen Variationsmöglichkeiten eines Instruments, umfasst aber auch strukturelle Eigenschaften, wie Tempo, Anzahl oder Dichte der Stimmen, die bei der Aufführung eines Stückes variiert werden können. Für eine hohe Mikro-Diversität darf eine Darbietung also nicht absolut identisch wiederholbar sein. Ein attraktives Instrument sollte dem Musiker also Freiheiten im Bereich der Mittleren und Mikro-Diversität lassen und dadurch musikalischen Ausdruck und Improvisation ermöglichen. Ein solches Instrument bietet dem Musiker dementsprechend ebenso die Freiheit, schlechte Musik zu erzeugen (vgl. [Jor04b]). 4.4 Interaktion 4.4.1 Körperliche Interaktion Werden Computer bei musikalischen Aufführungen als Live-Instrument eingesetzt, ist die körperliche Interaktion des Performers mit dem Instrument oft sehr limitiert. Durch die eingeschränkten Gesten, die der Benutzer ausführen muss, wenn er einen Computer auf die herkömmliche Weise mit Keyboard, Maus und Monitor bedient, sind die Zusammenhänge zwischen den Aktionen des Musikers und der Antwort des Instrumentes für das Publikum nur in geringem Maße nachvollziehbar. Der Körper 46 4.4 Interaktion des Musikers hat jedoch viel mehr Möglichkeiten für die physische Interaktion mit dem Computer bzw. dem Instrument, als nur die Bewegungen am Computer (vgl. [Ste05a]). Wesentlich für den Erfolg und die Qualität musikalischer Darbietungen ist das Verständnis des Publikums dafür, wie ein Instrument gespielt wird. Bei akustischen Instrumenten kann der Zuschauer und -hörer die Aktionen, die am Instrument ausgeführt werden und die entsprechenden akustischen Reaktionen anhand seines mentalen Modells nachvollziehen. Bei komplexen Interfaces von elektronischen Instrumenten, im einfachsten Fall einer Laptop-Tastatur oder auch einem bioelektrischen Sensor, ist es schon wesentlich schwieriger, zu erkennen, wie der Musiker die gehörten Klänge erzeugt. Gleiches gilt natürlich für reaktive Klanginstallationen. Auch hier soll der Zusammenhang zwischen der Aktion des Benutzers und der Reaktion des Instrumentes explizit deutlich werden. Gute Lösungen sind hier, den Fokus des Publikums auf zusätzliche Repräsentationen der Musik zu lenken, also etwa visuelles Feedback oder bei der Gestaltung von Controllern die Sichtbarkeit und Nachvollziehbarkeit der Gesten zu berücksichtigen. 4.4.2 Feedback des Instrumentes Die Abbildung von Controller auf Klangerzeugung findet bei digitalen Musikinstrumenten oft nur in Richtung der Klangerzeugung statt. Eine bidirektionale Abbildung kann jedoch hinsichtlich des Spielgefühls sehr sinnvoll sein. Denkbar sind haptische, visuelle oder auditive Rückkopplungen (siehe Abbildung 4.4). Abbildung 4.4: Feedback eines Musikinstrumentes In erster Linie kann der Musiker anhand des Klanges die Auswirkungen seiner Aktionen am Instrument beobachten, jedoch ist die mechanische Kopplung zwischen Musiker und Instrument bei vielen akustischen Instrumenten ein weiterer 47 4 Konzepte digitaler Musikinstrumente Kommunikationskanal (vgl. [PO03]). So liefert bei Saiteninstrumenten zum Beispiel die Resonanz des Korpus oder das sichtbare Schwingen der Saiten dem Musiker sowie dem Publikum wichtige Informationen über den Zustand des Instrumentes und die eben gespielten Töne (vgl. [Jor01]). Diese zusätzliche Eigenschaft kann durch haptische Controller auf digitale Instrumente übertragen werden. Motoren, die von entsprechender Software kontrolliert werden, können Kraftrückkopplungen (Force Feedback) oder Vibration erzeugen. Abhängig von den Parametern der Klangsynthese kann auf diese Weise ein angepasstes Spielgefühl simuliert werden (vgl. [PO03]). Zudem kann neben der akustischen Ausgabe visuelles Feedback erzeugt werden. Aufgrund der Trennung von Klangerzeugung und Controller und der digitalen Verarbeitung lässt sich relativ einfach eine Kopplung herstellen (zur ästhetischen Verbindung von Akustischem und Visuellem siehe [Wei07]). Die Musik und die visuellen Darbietungen können vom gleichen Algorithmus gesteuert werden und daher unmittelbar zusammenhängen, Visuals können hier also die Abwesenheit eines physischen, greif- und sichtbaren Instrumentes ausgleichen. (vgl. [PO03]) 4.4.3 Lernen und Virtuosität Akustische Musikinstrumente stehen in langen Traditionen und die meisten sind keinen Veränderungen oder Umgestaltungen mehr unterworfen. Übung gilt als kontinuierlicher Weg bis das Instrument beherrscht wird (vgl. [MM07]). Das Erlernen eines Instrumentes bedeutet im traditionellen Sinne, dass eine immer komplexer werdende Verbindung zwischen den eigenen Aktionen und der Reaktion des Instrumentes hergestellt werden kann (vgl. [PO03]). Diese Traditionen können aber auch der Experimentierfreude und Originalität bei der Bedienung der Instrumente im Wege stehen. Elektronische Instrumente sind unbelastet von musikalischen Traditionen. Sie bieten sich also eher an, um neue, originelle Wege zu gehen. Elektronische Instrumente werden erst seit etwa einem Jahrhundert entwickelt, digitale Instrumente seit wenigen Jahrzehnten. Durch die starke Abhängigkeit von der rasanten technischen Weiterentwicklung haben sie aber oft eine kurze Lebensdauer, laden also nicht zum Verweilen und Üben bis zur Virtuosität ein (vgl. [MM07]), so dass es nur wenige Musiker gibt, die ein elektronisches Instrument auf diese Weise beherrschen (vgl. [PO03]). Bei den digitalen Instrumenten erfordert zudem jede einzelne mögliche Abbildung vom Controller auf die Klangerzeugung ein neues Erlernen (vgl. [PO03]). Wesentlich üblicher ist 48 4.5 Multi-User-Musikinstrumente daher die Aufführung und Steuerung von Live-Electronics und Laptop-Musik mittels Standardcontrollern wie Maus oder Faderbox. 4.4.4 Verschmelzung von Instrumentenbau und Benutzung Digitale Instrumente können für sehr spezielle Bedürfnisse angepasst oder eigens erzeugt werden. Der Prozess des Instrumentendesigns geht meist Hand in Hand mit dem Komponieren der Musik, wobei großes Gewicht auf der explorativen und experimentellen Nutzung der Instrumente liegt. Akustische Instrumente haben eher einen generellen Charakter, jedes Instrument wird für eine Vielzahl von Stilen und einzelnen Musikstücken eingesetzt. Der Musiker muss, um ausdrucksstark und virtuos zu spielen, die gegebenen Eigenschaften und Eigenheiten des Instrumentes sehr gut kennen lernen. Darüber hinaus hat jedes einzelne akustische Instrument einen einmaligen Charakter verbunden mit speziellen Eigenschaften (vgl. [MM07]). Im Gegensatz zu akustischen Instrumenten haben die Rollen des Instrumentenbauers, des Musikers und des Komponisten bei digitalen Instrumenten oft enge Überschneidungen oder werden gar von ein und derselben Person ausgefüllt. Ein digitales Instrument kann für eine spezielle Komposition, oder wie eine Klanginstallation für einen bestimmten Zweck, erzeugt worden sein. Es gibt natürlich auch Instrumente, die einen eher generellen Charakter haben, etwa eine Software oder ein physischer Controller, die auch von anderen Musikern eingesetzt werden (vgl. [MM07]). 4.5 Multi-User-Musikinstrumente Ein Grundzug des Wesens der Musik ist das gemeinschaftliche Musizieren und die musikalische Kommunikation zwischen den Musikern. Die meisten traditionellen und akustischen Instrumente sind für das individuelle Spiel gestaltet. Das gemeinsame Musizieren wird üblicherweise mit mehreren Instrumenten durchgeführt. Manche Instrumente sind auch gemeinsam benutzbar, wie zum Beispiel das Klavier oder ein Schlagzeug. Dabei beeinflussen sich die von den jeweiligen Teilnehmern erzeugten Klänge aber nicht gegenseitig (vgl. [Jor05]). Es gibt verschiedene Klassen von Multi-User-Musikinstrumenten, zum einen die Netzmusik bzw. verteilte Instrumente und zum anderen Instrumente mit geteilter kollektiver Steuerung. Sie erlauben eine feste oder variable Anzahl von Spielern, 49 4 Konzepte digitaler Musikinstrumente wobei alle Musiker ein Instrument gemeinsam benutzen. Ihre Rollen können dabei festgelegt oder flexibel sein. Sie können auch dynamisch getauscht oder simultan eingenommen werden. Zwischen dem musikalischen Output der verschiedenen Nutzer kann ein Zusammenhang und eine gegenseitige Beeinflussung gegeben sein. Der Einfluss einzelner Rollen auf andere kann gleichberechtigt oder hierarchisch geregelt werden (vgl. [Jor05]). Als Beispiel aus der akustischen Welt soll das Klavier dienen. Die Tastatur kann von mehreren Personen gemeinsam bedient werden, das Pedal von einer weiteren. Zwischen den Manual- und den Pedalspielern besteht eine hierarchische Abhängigkeit. Werden die Saiten von einem weiteren Mitspieler dynamisch präpariert oder gezupft ist dieser mit den Manualspielern gleichberechtigt, eine intensive musikalische Kommunikation kann sich entwickeln. Ein weiteres Beispiel gibt die Orgel; Manual, Register und Pumpe werden von drei verschiedenen Personen, die zueinander in einem hierarchischen Verhältnis stehen, bedient. Wenn Musikinstrumente auf Tangible Interaction basieren, also körperliche Aktion, die physische Umgebung und reale Objekte Ort bzw. fester Bestandteil der Interaktion sind, wird die Mehrbenutzerfähigkeit dadurch meist begünstigt (siehe Kapitel 5 sowie die Beschreibung von ReacTable in Abschnitt 3.2.4). 4.6 Zusammenfassung Entscheidend für den Charakter eines Instrumentes ist das Mapping zwischen Nutzeraktionen und Klangerzeugung. Ein Musikinstrument dient zum Kontrollieren von Musik, dafür bietet es bestimmte Freiheiten – Dimensionen, die gleichzeitig kontrolliert werden können – und hat verschiedene Einschränkungen. Ob ein Musikinstrument als solches vollwertig spielbar ist oder eher als interaktive Installation betrachtet werden kann, hängt von der Diversität ab. Der Begriff Diversität beinhaltet hilft, die Frage zu klären, inwieweit ein Instrument in verschiedenen musikalischen Kontexten benutzt werden kann, wie verschieden die Darbietung unterschiedlicher Kompositionen ausfällt und wie verschieden die Aufführung der selben Komposition sein kann. Bei der Interaktion mit einem Instrument spielt sowohl die körperliche, gestische Aktion des Benutzers eine Rolle, als auch über das akustische hinausgehende Antwort- 50 4.6 Zusammenfassung kanäle des Musikinstrumentes. Zudem können Musikinstrumente unter bestimmten Voraussetzungen von mehreren Personen gemeinsam gespielt werden. 51 5 Tangible Interaction und Tangible User Interfaces Musikinstrumente sind alle Geräte, die Aktionen in Klang transformieren. Bei digitalen Musikinstrumenten sind die beiden Subsysteme Controller und Klangerzeuger weitestgehend entkoppelt. Diese Trennung impliziert die Möglichkeit, die Interaktion mit dem Musikinstrument aus der virtuellen Realität des Rechners in die reale Welt zu verlagern. Erst die körperliche Interaktion in realer Umgebung ermöglicht musikalisch ausdrucksvolles Spielen mit digitalen Instrumenten. Das gilt natürlich besonders, wenn Musik in Echtzeit erzeugt werden soll und die Parameter des Controllers relativ deterministisch auf die Parameter der Klangerzeugung abgebildet werden sollen. Nach einführenden Definitionen soll in diesem Kapitel der Bogen von Tangible User Interfaces zu Tangible Interaction gespannt und abschließend eine Taxonomie für Tangible Interaction entwickelt werden. Dabei werden verschiedene Kriterien vorgestellt, die für die Analyse und den Entwurf interaktiver Systeme, insbesondere interaktiver Musikinstrumente, hilfreich sind und zeigen können, wie „tangible“ ein Interaktionskonzept ist. 5.1 Tangible User Interfaces – greifbare Benutzerschnittstellen Tangible User Interfaces oder greifbare Benutzerschnittstellen, im folgenden auch als TUI bzw. TUIs abgekürzt, werden von Blackwell et al. definiert als Benutzerschnittstellen, die physische Objekte zur Repräsentation und Kontrolle rechnerinterner Abstraktionen verwenden [BFH+ 07]. 53 5 Tangible Interaction und Tangible User Interfaces In einer der ersten Publikationen zum Thema definieren Ishii und Ullmer Tangible User Interfaces ganz ähnlich als Schnittstellen, die die reale, physische Welt erweitern, indem sie digitale Information an alltägliche physische Objekte und Umgebungen binden [IU97]. 5.1.1 Motivation für Tangible User Interfaces Die Entwicklung von greifbaren Benutzerschnittstellen bildet einen Trend innerhalb des Fachgebietes der Mensch-Computer-Interaktion seit Mitte der 1990er Jahre und ist eng mit den Konzepten Ubiquitous Computing und Augmented Reality verbunden (vgl. [HSU04]). Triebkraft dieser neuen Strömung war die Unzufriedenheit mit den herkömmlichen Computerschnittstellen und das Erkennen von bestehenden Defiziten. Man sah die Gefahr einer zunehmenden Trennung des Menschen von seiner realen Umwelt durch eine grafische Parallelwelt (vgl. [IU97]). Ziel des TUI-Konzeptes ist die Integration von realer und virtueller Welt, wobei der vertraute Umgang mit Gegenständen in der bekannten Umgebung die Grundlage für den Umgang mit den neuen, digital erweiterten realen Objekten sein soll (vgl. [Hor07]). Die Kommunikation zwischen Mensch und Computer wird also aus der Virtualität des Bildschirms in die reale Welt, den natürlichen Interaktionsraum der Benutzer, verlagert (vgl. [HSU04]). Ziel solcher Benutzerschnittstellen ist es, die Affordances, die in der realen Umgebung natürlich gegeben sind, also Formeigenschaften, die einen bestimmtes Handeln suggerieren, für eine nahtlosere Interaktion zwischen Mensch und virtueller Welt auszunutzen (vgl. [IU97]). Statt in der Virtualität dupliziert, soll die reale Welt selbst erweitert und bereichert werden (vgl. [Hor07]). Physische Objekte, die dadurch erweitert sind, dass sie Informationen repräsentieren, sind ein bereits aus der realen Welt bekanntes Konzept. Man denke an den Abakus, Brettspiele mit Spielsteinen (vgl. [UI00]) oder auch Post-it-Notizen. Der Begriff Tangible impliziert die Berührbarkeit und das Tasten sowie die das Multisensorische als Teil der Interaktion (vgl. [Hor07]). Wahrnehmungskanäle, die ansonsten in der Mensch-Computer-Interaktion wenig Beachtung finden, rücken in den Vordergrund (vgl. [BFH+ 07]). So betonen etwa Ishii und Ullmer (vgl. [IU97]) neben der Nutzung von interaktiven Oberflächen, auf denen greifbare physische Objekte, die digitale Informationen 54 5.1 Tangible User Interfaces – greifbare Benutzerschnittstellen repräsentieren, angeordnet werden, die Signifikanz von Umgebungsinformationen, wie Klängen, Licht, oder auch Luftströmen und Wasserbewegungen. Diese wichtigen Informationen bilden Hintergrundschnittstellen zwischen der virtuellen Welt und der peripheren menschlichen Wahrnehmung. Informationen, aus der Wahrnehmung zu gewinnen, die nicht im unmittelbaren Fokus der Aufmerksamkeit liegt, ist ein ebenso alltägliches Konzept, so lassen sich beispielsweise aus dem Umgebungslicht Informationen über das Wetter ableiten. TUI-basierte Systeme sind also interaktive Systeme, deren Grundlage ein Computer ist, die aber äußerlich nicht auf Anhieb als solcher zu erkennen sein müssen (vgl. [UI00]). Obgleich Standardeingabegeräte wie Maus und Tastatur ebenfalls physischer Natur sind, will das TUI-Konzept darüber hinausgehen und versucht die Kommunikation zwischen Mensch und Computer weiter zu fassen als die Interaktion mit virtuellen Objekten wie Symbolen und Mauszeiger (vgl. [BFH+ 07]). 5.1.2 Elemente von Tangible User Interfaces Tangible User Interfaces bestehen aus zwei Elementtypen: den physischen Objekten und den aktiven Oberflächen, die die Interaktionsräume bilden, in denen die Objekte benutzt werden können. Möglich ist eine weitere Differenzierung der physischen Objekte in Container- und Werkzeugobjekte. Das heißt, die Objekte können entweder digitale Informationen repräsentieren oder mit Funktionen oder Operationen verknüpft sein. Die Kopplung zwischen Objekten und Informationen kann im Vorfeld festgelegt werden, ein Objekt kann zum Beispiel immer für einen bestimmten Klang stehen. Die Objekte können aber auch zur Laufzeit an Informationen gebunden werden, also zum Beispiel beim Besetzen bestimmter aktiver Flächen mit entsprechenden Klängen geladen werden. Bei der Nutzung von TUIs kann die Anordnung der physischen Objekte untereinander sowie zu den aktiven Flächen räumlich, relational oder konstruktiv interpretiert werden. Im räumlichen Fall ist die Anordnung der physischen Objekte auf einer oder mehreren aktiven Oberflächen von Interesse. Bei der relationalen Betrachtung sind Orientierung der physischen Objekte und ihr Abstand untereinander die wichtigsten Interface-Parameter. Und schließlich ist es möglich, konstruktives Zusammensetzen modularer Elemente zum Gegenstand der Interaktion zu machen oder alle drei Varianten zu kombinieren (vgl. [UI00]). 55 5 Tangible Interaction und Tangible User Interfaces Betrachtet man die reale Welt als Schnittstelle, werden die Gestaltungsfragen zu interdisziplinären Problemen. Informatik und klassische Designdisziplinen sowie Anwendungsdomänen beschreiten ein neues Gebiet aus verschiedenen Richtungen. Im Software- oder Informatikbereich werden TUIs als Einführung realer Objekte in die sonst virtuelle Welt wahrgenommen. Aus der Perspektive des Produktdesigns ist nicht die Greifbarkeit der Objekte eine Neuheit, sondern deren Erweiterung um digitale Informationen und die erweiterten Interaktionsmöglichkeiten. Nicht nur Form und Aussehen, sondern auch das Verhalten realer Objekte wird zum Gestaltungsgegenstand (vgl. [Hor07]). Gerade in der Musik sind Greifbarkeit und körperliche Interaktion überaus wichtige Bestandteile der Interaktion. Wird die Interaktion mit Computermusik in die reale Welt verlagert, findet gleichzeitig eine Annäherung an die Traditionen des Instrumentenbaus statt. Das Überschreiten der traditionellen Grenzen der Informatik hat nicht zuletzt praktische Konsequenzen. Verlässlichkeit und Wiederholbarkeit beim Bau von Forschungsprototypen werden zu einer nicht unbedeutenden Schwierigkeit, denn die physische Welt ist weit weniger perfekt und hält vollkommen andersartige Hindernisse bereit als das virtuelle Gegenstück (vgl. [BFH+ 07]). 5.1.3 Alternative oder Erweiterung grafischer Benutzerschnittstellen Anfänglich wurde der Begriff Tangible User Interface mit der Motivation gebildet, eine Alternative zu grafischen Benutzerschnittstellen schaffen zu können. Dieser Anspruch ist auch an der an Graphical User Interface bzw. GUI angelehnten Begriffsbildung zu erkennen (vgl. [Hor07]). Von Ishii et al. (vgl. [IU97]) werden TUIs als dritte große Umwälzung der Mensch-Computer-Interaktion nach dem, durch das Prinzip des Erinnerns und Schreibens bestimmten, Kommandozeileninterface und den, durch Sehen und Zeigen geprägten, GUIs verstanden. Sie haben das Potential, den Computer aus dem Sichtfeld des Nutzers in den Hintergrund zu verbannen und dennoch umso allgegenwärtiger werden zu lassen. Gleichzeitig gibt es Mixed-Reality-Ansätze, die TUIs hauptsächlich als digitale Erweiterung von herkömmlichen Medien und Arbeitsobjekten sowie deren Ausstattung mit Sensoren verstehen und ihre Gestaltung vermehrt den Anwendungsdisziplinen annähern (vgl. [Hor07]). Hierbei ist klar, dass Tangible User Interfaces grafische 56 5.2 Erweiterung zu Tangible Interaction Benutzerschnittstellen keinesfalls ersetzen können, aber in verschiedenen Bereichen eine sinnvolle Erweiterung darstellen. 5.2 Erweiterung zu Tangible Interaction Hornecker [Hor07] erkennt, dass der Begriff Tangible User Interfaces durch die Abgrenzung gegen grafische Benutzerschnittstellen und Virtuelle Realität eine eingeschränkte Sichtweise bietet und schlägt die Betrachtung einer Gesamtentwicklung aller Bereiche der Mensch-Computer-Interaktion vor. Mit einem Perspektivwechsel von Tangible User Interfaces zum Begriff Tangible Interaction (vgl. [Hor07]) kann das Verständnis des Begriffes erweitert werden und interessante Strömungen, gerade im Bereich der musikalischen Benutzerschnittstellen und digitalen Musikinstrumente, ebenfalls einschließen. Auf diese Weise können auch Systeme wie interaktive Kunstinstallationen in die Betrachtung einfließen. Solche Ansätze nutzen Körperbewegungen eines Performers bzw. des Publikums als Bestandteil und interaktives Element des Kunstwerkes. Interaktive Umgebungen, in denen das Kunstwerk stattfindet, kombinieren realen Raum und materielle Objekte mit digitalen Projektionen und Sound. Der menschliche Körper selbst wird als Eingabegerät verwendet. Tangible Interaction macht also nicht nur das Interface, sondern die Interaktion selbst zum Gegenstand der Gestaltung und Analyse. Tangible Interaction fasst die beschriebenen Sichtweisen zusammen mit den gemeinsamen Eigenschaften: • Greifbarkeit und Materialität, • Verkörperung von Daten, • körperliche Interaktion und Körperbewegung als wesentlicher Teil der Interaktion und • Einbettung im realen Raum. Mit dieser Erweiterung des Begriffs geht der Anspruch, eine Alternative zu GUIs zu finden, verloren. Reale Tangible User Interfaces bzw. Tangible Interaction Systeme enthalten aber meistens sowohl grafische als auch greifbare Elemente. Das völlige Ersetzen grafischer Schnittstellen ist ein unrealistisches Ziel, da deren Notwendigkeit immer abhängig vom Anwendungsgebiet und der Komplexität des betreffenden Systems ist. 57 5 Tangible Interaction und Tangible User Interfaces 5.2.1 Interaktionsmodell Ullmer und Ishii (vgl. [UI00]) führen den Abakus als prototypisches Beispiel eines TUI an und stellen fest, dass beim Abakus keine Unterscheidung zwischen Eingabe- und Ausgabegerät gemacht wird. Diese Eigenschaft, die Integration von Repräsentation und Kontrolle, kann als Kennzeichen von TUIs verallgemeinert werden, auch wenn sie in der Realität in unterschiedlichem Maße stattfinden kann. Abbildung 5.1: MVC-Interaktionsmodell nach [UI00] Bei grafischen Benutzerschnittstellen wird klar zwischen Kontrolle, hergestellt durch Standardeingabegeräte, und Repräsentation durch grafische Ausgabegeräte, wie Monitore, Head-Mounted Displays oder ähnliches, unterschieden. Unter Repräsentation soll die Darstellung des Zustandes der Anwendung nach außen verstanden werden. Um die Unterscheidung zu illustrieren, kann als Interaktionsmodell für eine grafische Benutzerschnittstelle das Model-View-Controller-Schema herangezogen werden (siehe Abbildung 5.1). Die Repräsentation entspricht hier der View-Komponente. Für Tangible User Interfaces schlagen Ullmer und Ishii eine Modifikation dieses Modells vor (siehe Abbildung 5.2), das MCRpd (Model-Controller-Representation physical/digital) bzw. MCRit-Modell (intagible/tangible). Controller und physische Repräsentation verschmelzen zu einer Einheit, die Repräsentations- bzw. ViewKomponente zerfällt in zwei Bestandteile, die physische und die digitale Repräsentation (vgl. [UI00]). Greifbare physische Objekte dienen sowohl der Repräsentation als auch der Kontrolle des Zustandes der Anwendung. Die physische Repräsentation, wie zum Beispiel die räumliche Anordnung der greifbaren Objekte, ist an die darunter liegende digitale 58 5.2 Erweiterung zu Tangible Interaction Abbildung 5.2: MCRpd-Interaktionsmodell für TUIs nach [UI00] Welt, also an das Model, gekoppelt und wird in Verbindung mit digitalen Repräsentationen, wie Klängen oder Grafik, dargeboten. Der Zustand, also zum Beispiel die Anordnung der aktiven physischen Objekte spiegelt zu einem großen Teil den digitalen Zustand des Systems wider. Geht die Betrachtung weg von den klassischen TUI-Systemen und schließt man die in Abschnitt 5.2 genannten Systemeigenschaften von Tangible-Interaction-Systemen ein, muss eine Abstufung der Einheit von Ein- und Ausgabegerät, also der Verkörperung, vorgenommen werden, so dass die verschiedensten Ausprägungen solcher Systeme betrachtet werden können. Im folgenden Abschnitt (5.2.2) soll versucht werden, die Sichtweise zu lockern und damit für eine größere Bandbreite von Tangible-InteractionSystemen zu vereinheitlichen. 5.2.2 Eine Taxonomie für Tangible Interaction Fishkin beschreibt den allgemeinen, charakteristischen Ablauf bei der Ausführung eines Tangible-User-Interface-Systems (vgl. [Fis04]). In Verbindung mit den erweiterten Eigenschaften von Tangible Interaction (siehe Abschnitt 5.2, Seite 55) nach Hornecker (vgl. [Hor07]) ergeben sich die folgenden Schritte: 1. Ein Eingabeereignis findet statt; das heißt, vom Benutzer werden physische Aktionen an einem greifbaren, materiellen Gegenstand oder Körperbewegungen in einem realen Raum ausgeführt. Im ersten Fall ist der Gegenstand das Eingabegerät und wird durch das Computersystem beobachtet, im zweiten Fall der menschliche Körper selbst. 59 5 Tangible Interaction und Tangible User Interfaces 2. Ein Computersystem erkennt dieses Eingabeereignis und ändert seinen Zustand, aufgrund der Daten, die in einem Gegenstand oder durch den menschlichen Körper direkt verkörpert werden. 3. Das System gibt eine Rückmeldung, das Ausgabeereignis manifestiert sich durch eine physische Änderung an einem Objekt oder im realen Raum. Es kann sich zum Beispiel um ein visuelles, auditives oder auch haptisches Feedback handeln. Darauf aufbauend wird ein zweidimensionales Schema mit den Achsen Verkörperung und Metapher zur Charakterisierung und Analyse sowie als Entwurfshilfsmittel für TUI-Systeme vorgeschlagen. Diesen beiden von Fishkin [Fis04] eingeführten Dimensionen soll eine neue, dritte – die als Körper und Raum bezeichnet wird und die Bedeutung der körperlichen Bewegung und der Einbettung in den realen Raum für die Interaktion abbilden soll – hinzugefügt werden. TUI- bzw. Tangible-Interaction-Systeme lassen sich aufgrund dieses, nun dreidimensionalen, Schemas nicht klar voneinander abgrenzen, jedoch bestimmen die Werte der beiden Dimensionen, wie „tangible“ bzw. gegenständlich die Interaktion in einem System abläuft und inwieweit die körperliche Komponente der Interaktion im Mittelpunkt steht. Sowohl Systeme, die auf traditioneller Mensch-Computer-Interaktion basieren, klassische TUI-Systeme, als auch Systeme, die unter der erweiterten Bezeichnung Tangible Interaction charakterisiert werden, können in dieser Taxonomie eingeordnet werden. Verkörperung Im ersten Schritt des Ablaufes betrachtet und verändert der Nutzer ein bestimmtes Objekt, oder seine eigene Position im Raum, im dritten Schritt wird ihm das Ergebnis seiner Aktion übermittelt. Der Begriff Verkörperung beschreibt, wie eng diese beiden Schritte verbunden sind, also inwieweit der Zustand des Systems durch den Zustand eines physischen Objektes oder des Raumes repräsentiert wird. Es werden vier Arten der Verkörperung unterschieden: Vollständige Verkörperung: In diesem Fall ist das Eingabegerät identisch mit dem Ausgabegerät. Nach einer physischen Veränderung an einem Gegenstand ist der Effekt sofort sichtbar, die Stufe der Verkörperung entspricht der Interaktion in der realen Welt. Vollständige Verkörperung kann in der erweiterten Sichtweise der Tangible Interaction zum Beispiel bedeuten, dass die Bewegung des Körpers die Erhö- 60 5.2 Erweiterung zu Tangible Interaction hung der eigenen Körpertemperatur zur unmittelbaren Folge hat. Sind Objekte Interaktionsgegenstand, entspricht diese Stufe zum Beispiel der Verformung eines realen Objektes. Verkörperung in der Nähe: Die Ausgabe findet in der direkten Nähe der Eingabe statt, liegt also gleichzeitig im Fokus der Aufmerksamkeit. Es kann sich zum Beispiel um eine visuelle Projektion in der unmittelbaren Umgebung des physischen Objektes oder des menschlichen Akteurs handeln. Verkörperung in der Umgebung: Die Ausgabe findet in der Umgebung des Benutzers statt. Das trifft im allgemeinen bei Klang, aber auch beispielsweise bei Veränderungen des Umgebungslichtes oder der Raumtemperatur zu. Entfernte Verkörperung: Die Ausgabe ist weiter entfernt und befindet sich nicht im selben Fokus wie die Eingabe, also zum Beispiel auf einen anderen Bildschirm oder in einem anderen Raum. Metapher Die zweite Achse bildet den Begriff Metapher ab und beschreibt, inwieweit die Systemantwort auf eine Aktion des Nutzers analog zum Effekt einer ähnlichen Handlung in der realen Welt ausfällt. Es wird unterschieden zwischen Metaphern, die sich auf die Form eines Objektes beziehen und solchen, die sich auf die Tätigkeit beziehen, die an einem Objekt ausgeführt wird. Keine Metapher: Hier wird keine Metapher beansprucht. Diese Stufe entspricht dem Kommandozeileninterface in der konventionellen Mensch-Maschine-Interaktion. Die Geste des Schreibens auf der Tastatur steht in keinerlei Analogie zum Effekt. Form oder Tätigkeit: Bei der metaphorischen Analogie bezüglich Form gibt es einen Zusammenhang zwischen Aussehen oder Form eines Objektes im System und einem realen Objekt. Die Tätigkeiten, die mit oder an diesem Objekt ausgeführt werden können, haben aber keine oder nur geringe Gemeinsamkeiten mit dem realen Gegenstück. Bei der Analogie bezüglich der Tätigkeit steht die Aktion, die sowohl am Systemobjekt als auch am realen Objekt ausgeführt werden kann, im Vordergrund, wobei die Form des betreffenden Objektes unerheblich ist. Form und Tätigkeit: Hier sind Form und Tätigkeit verbunden, die Systemobjekte sind aber nach wie vor von den realen verschieden. Wird an einem Objekt im 61 5 Tangible Interaction und Tangible User Interfaces System eine bestimmte Aktion ausgeführt, ist dies analog zu derselben Aktion an einem ähnlichen Objekt in der Realität. Vollständige Metapher: Bei dieser Form der Analogie muss der Nutzer keine Metapher bemühen, denn das virtuelle System ist mit dem realen System identisch. Für den speziellen Fall der Tangible Interaction, dass Körperbewegungen direkt als Eingabeereignisse interpretiert werden, bedeutet Metapher der Form, dass dem realen menschlichen Körper ein virtueller menschlicher Körper gegenübersteht. Metapher der Tätigkeit hieße, dass die Tätigkeit, die der menschlichen Körper ausführt, an einem virtuellen Systemobjekt ausgeführt wird. Körper und Raum Der gesamte, oben beschriebene Ablauf ist durch körperliche Interaktion gekennzeichnet, deren Bedeutung jedoch variieren kann. Zum Beispiel ist die körperliche Interaktion beim Schreiben auf der Tastatur oder der Interaktion mithilfe einer Maus eher unwichtig. Bei einem TUI-System wie Audio D-Touch (siehe Kapitel 3.2.4, Seite 32) werden physische Objekte bewegt, die Bedeutung der körperlichen Interaktion ist höher. Eine hohe Bedeutung hat die körperliche Interaktion zum Beispiel bei interaktiven Klanginstallationen, die auf Bewegungen des Publikums reagieren. Körperliche Interaktion ist hier das direkte Eingabeereignis. Eng damit verbunden ist die Einbettung der Interaktion in den realen Raum, die natürlich umso wichtiger wird, je mehr der Körper und die Körperbewegung Teil der Interaktion mit dem System sind. Es sollen also drei Bedeutungsabstufungen unterschieden werden: Geringe Bedeutung: Realer Raum und körperliche Interaktion stehen nicht im Vordergrund, der Fokus der Interaktion spielt sich im virtuellen Bereich ab. Mittlere Bedeutung: Die körperliche Interaktion findet mit realen Objekten statt, die mit digitaler Information gekoppelt sind. Die Einbettung der Aktionen in die reale Umgebung nimmt an Bedeutung zu. Hohe Bedeutung: Der Körper und seine Bewegungen im realen Raum stehen selbst im Mittelpunkt der Interaktion. 62 5.3 Tangible Interaction und digitale Musikinstrumente 5.3 Tangible Interaction und digitale Musikinstrumente Um die Anwendung der Tangible Interaction Konzepte im Bereich digitaler Musikinstrumente zu verdeutlichen, sollen einige einfache Beispielinstrumente (Abbildungen 5.3, 5.4, 5.5, 5.6, 5.7 und 5.8) betrachtet werden. Jeweils links befindet sich der Controller des Instrumentes, der blaue Pfeil verdeutlicht das Mapping von den Sensorwerten des Controllers auf Parameter der Klangerzeugung. Ganz rechts ist jeweils das akustische Ergebnis dargestellt. Grüne Pfeile zeigen zusätzliches, nicht-akustisches Feedback des Instrumentes an. Die Beispiele sollen nun im Hinblick auf die drei Dimensionen der in Abschnitt 5.2.2 entwickelten Taxonomie untersucht werden. Dabei muss betrachtet werden, welche Aktionen der Benutzer an welchem Objekt ausführt und welches Ergebnis dadurch im System erzielt wird. Das kann Auskunft geben, inwieweit Tangible Interaction zur Qualität eines Musikinstrumentes oder einer interaktiven Klanginstallation beitragen kann bzw. welche Eigenschaften von Tangible Interaction für bestimmte Typen von Musikinstrumenten geeignet sind. Für Musikinstrumente und Klanginstallationen gilt allgemein, dass die Verkörperung des akustischen Outputs in der Umgebung stattfindet. Möglich ist ebenfalls die entfernte Verkörperung, wenn die Musik nicht in Hörweite des Benutzers bzw. Musikers erzeugt wird. Die Verkörperung in Objektnähe oder die vollständige Verkörperung kommt nur für zusätzlich erzeugtes visuelles oder haptisches Feedback in Frage. Bei den Merkmalen Metapher sowie Körper und Raum ist die gesamte Bandbreite möglicher Ausprägungen anzutreffen. Abbildung 5.3: Beispielinstrument A Das Instrument A in Abbildung 5.3 arbeitet mit einer einfachen grafischen Benutzeroberfläche. Klickt man auf den Button mit der Aufschrift „Hit“, wird ein Drum-Sample abgespielt. Die Verkörperung des Systemzustandes findet hier, durch den Klang, in 63 5 Tangible Interaction und Tangible User Interfaces der Umgebung statt. Beim Klicken verändert sich der Button auf dem Bildschirm, hierbei handelt es sich um eine entfernte Verkörperung, die visuelle Rückmeldung findet auf dem Bildschirm außerhalb des Fokus des physischen Eingabegerätes, der Maus, statt. Eine Metapher im Sinne der Taxonomie wird nicht genutzt, denn das Klicken auf einen Button steht in keiner Analogie zum Spielen einer Trommel. Die Einbettung in den realen Raum und die körperliche Bewegung spielen hier für die Interaktion fast keine Rolle. Abbildung 5.4: Beispielinstrument B Das in Abbildung 5.4 dargestellte Instrument B misst die Aktivität (Durchgänge an bestimmten Messpunkten pro Zeit), die ein Benutzer beim Umherlaufen auf einer interaktiven Fläche verursacht. Abhängig von dieser Messgöße wird eine Schlagzeugsequenz abgespielt. Bei diesem Aufbau ist die Verkörperung ebenfalls in der Umgebung, als Klang, zu finden und es wird keine Metapher genutzt, denn vom Umherlaufen zum Trommeln ist keine metaphorische Übertragung möglich. Dieses System ist allerdings durch eine sehr hohe Bedeutung der körperlichen Interaktion und des Raumes geprägt. Abbildung 5.5: Beispielinstrument C Die Grundlage des Instrumentes C in Abbildung 5.5 ist ein Gerät, dass wie eine Trommel oder ein Drumpad aussieht, dessen Oberfläche aber mit einem Temperatursensor versehen ist. Legt der Benutzer zum Beispiel die Hand auf, werden abhängig von der Temperatur verschiedene Schlagzeugsequenzen gespielt. Zudem gibt es visuelles 64 5.3 Tangible Interaction und digitale Musikinstrumente Feedback, das Drumpad wird von unten beleuchtet, je höher die Temperatur ist, desto heller leuchtet die Lampe. Hier verkörpert sich der Systemzustand sowohl durch Klang in der Umgebung, als auch, durch die reaktive Beleuchtung des Drumpads von unten, in unmittelbarer Nähe der Eingabe. Die Metapher bezieht sich hier lediglich auf die Form, das heißt der Controller sieht aus wie eine Trommel, wird aber völlig anders benutzt. Die Bedeutung von körperlicher Bewegung und realem Raum für die Interaktion liegt hier, wie auch im Fall der folgenden Beispielinstrumente, eher im mittleren Bereich. Abbildung 5.6: Beispielinstrument D Für die Kontrolle des Instrumentes D in Abbildung 5.6 werden mit Beschleunigungssensoren präparierte Drumsticks benutzt. Man kann mit ihnen Trommelbewegungen in der Luft oder auf jeder beliebigen Oberfläche ausführen. Abruptes Stoppen der Bewegung, wird wie bei einer realen Trommel als Schlag interpretiert. Dieses Instrument verfügt über eine haptische Rückkopplung, ein erkannter Schlag wird durch Vibration des jeweiligen Sticks quittiert. Bei diesem Instrument findet die Verkörperung in der Umgebung und außerdem, durch das haptische Feedback, vollständig statt. Die Drumsticks sind gleichzeitig Ein- und Ausgabegeräte. Abbildung 5.7: Beispielinstrument E Das in Abbildung 5.7 gezeigte Instrument E benutzt ein Drumpad, also im einfachsten Fall eine Kunststoffplatte mit darunter liegendem Sensor, der Schläge erkennt, als Controller. Wenn man auf das Drumpad schlägt, ertönt ein Drumsound. Die Verkörperung entsteht durch den Klang in der Umgebung, es wird eine Metapher 65 5 Tangible Interaction und Tangible User Interfaces der Form und Tätigkeit genutzt, das heißt, Trommeln auf dem Drumpad ist wie Trommeln auf einer echten Trommel. Abbildung 5.8: Beispielinstrument F Bei Instrument F in Abbildung 5.8 wird eine echte Trommel als Controller benutzt. Sie wird mit zusätzlichen Sensoren ausgestattet, die Schläge erkennen. Neben dem natürlichen Klang der Trommel hört man ein synthetisches Geräusch, das von der Stärke des Schlages abhängt. Auch hier wird der Systemzustand wieder in der Umgebung verkörpert, es handelt sich jedoch um eine vollständige Metapher, das reale System, die Trommel, wird hier tatsächlich genutzt, der produzierte Klang nur mit zusätzlichem akustischen Output angereichert. In Abbildung 5.9 wird das dreidimensionale Taxonomie-Schema (siehe Abschnitt 5.2.2) dargestellt. Die Intreraktionskonzepte der in den Abbildungen 5.3 bis 5.8 dargestellten beispielhaften digitalen Musikinstrumente A, B, C, D, E und F sollen nun zur Veranschaulichung im grafischen Schema eingeordnet werden. 5.4 Zusammenfassung In diesem Kapitel wurden Tangible User Interfaces – greifbare Benutzerschnittstellen – und Tangible Interaction – vergegenständlichte Interaktion – definiert. Wenn physische Objekte zur Repräsentation und Kontrolle rechnerinterner Abstraktionen verwendet werden, bezeichnet man solche Benutzerschnittstellen als Tangible User Interfaces. Erweitert man den Blickwinkel, indem man weniger die Benutzerschnittstelle sondern die vergegenständlichte Interaktion mit einem System in den Mittelpunkt stellt, spricht man von Tangible Interaction. Für die Gestaltung von digitalen Musikinstrumenten und interaktiven Installationen ist Tangible Interaction ein wertvolles Konzept. Durch die Entkopplung von Controller und Klangerzeugung kann der Controller bzw. die Interaktion mit dem Instrument aus der Virtualität in die Realität verlagert werden. 66 5.4 Zusammenfassung Abbildung 5.9: Taxonomie zur Einordnung von Tangible Interaction Systemen mit den drei Dimensionen Verkörperung, Metapher und Körper und Raum Verschiedene in Kapitel 4 beschriebene Gestaltungsüberlegungen für Musikinstrumente und Klanginstallationen profitieren von den grundlegenden Eigenschaften von Tangible Interaction: Körperliche Interaktion, Greifbarkeit, Materialität und Einbettung in den realen Raum sowie Verkörperung von Daten. So können die Freiheitsgrade zur Steuerung von musikalischen Eigenschaften erweitert werden, die Nachvollziehbarkeit der Interaktion kann durch Feedback des Instrumentes zusätzlich zur akustischen Ausgabe verbessert werden. Exploratives Benutzen wird auch für ungeübte Nutzer möglich. Die Mehrbenutzerfähigkeit ergibt sich automatisch durch die Verlagerung der Interaktion in die reale Umgebung. 67 6 Das KlangHolz – ein digitales Musikinstrument Das KlangHolz ist ein digitales Musikinstrument, das im Rahmen dieser Arbeit entwickelt wurde. Ausgangspunkt des KlangHolzes ist ein Controller mit einer einfachen greifbaren Benutzerschnittstelle (Tangible User Interface). Die aktive Oberfläche besteht aus einem Holzbrett mit eingelassenen Vertiefungen, insgesamt 17, wobei 16 in einer 4 mal 4 Matrix angeordnet sind. Eine weitere befindet sich als Einzelloch außerhalb der Matrix. Auf diesen Vertiefungen können die physischen Objekte, kleine Glaskugeln, angeordnet werden. Außerdem können die Vertiefungen durch Handbewegungen abgedeckt werden. Es gibt zwei Typen von Glaskugeln mit unterschiedlicher Lichtdurchlässigkeit. Der Lichteinfall in den einzelnen Vertiefungen des Bretts wird gemessen, die Werte werden digitalisiert und im Rechner verarbeitet (zur technischen Umsetzung siehe auch Abschnitt 6.3, Seite 86). Eine Inspiration für die äußere Gestaltung des Instrumentes war die Installation Sound Marbles von Yoon Chung Han (vgl. [Han08]). Hier werden ebenfalls Kugeln auf einem Brett platziert. Auch weitere, in Abschnitt 3.2.4 (Seite 30 ff.) vorgestellte, tischbasierte Instrumente, wie Audio D-Touch oder ReacTable basieren auf dem Konzept, physische Objekte auf einer Oberfläche anzuordnen, wobei virtuelle Daten in der realen Welt repräsentiert werden. Die Leistung der vorliegenden Arbeit besteht unter anderem in der Entwicklung eines eigenständigen Interaktionskonzeptes. Das Potential für musikalische Ausdrucksfähigkeit, das eine solche Anordnung bietet, soll in diesem Rahmen untersucht und ausgelotet werden. Dazu wird das entwickelte Interaktionskonzept in verschiedenen Mappings programmiertechnisch umgesetzt. Das hier entworfene KlangHolz zeichnet sich in seinem Design vor allem durch erweiterte Dimensionen der Kontrolle aus, 69 6 Das KlangHolz – ein digitales Musikinstrument unter anderem die Möglichkeit, verschiedene physische Objekte mithilfe von Sensoren identifizieren zu können. Damit das KlangHolz zu einem Musikinstrument wird, muss dem Controller eine Klangerzeugungs-Komponente hinzugefügt werden. In diesem Zusammenhang soll der Frage nachgegangen werden, wie die genannten Messwerte auf die Erzeugung von Klängen übertragen werden können, denn, wie in Abschnitt 2.1.3 beschrieben, ist es möglich, diese Daten des Controllers auf beliebige Parameter verschiedener Algorithmen zur Klangerzeugung abzubilden. Entscheidend ist das Mapping zwischen beiden Teilen. Zu diesem Zweck soll zunächst ein Interaktionskonzept für das KlangHolz entwickelt werden. Dabei wird untersucht, wie mithilfe des beschriebenen Controllers die Parameter und die Struktur von Musik beeinflusst werden können und welche virtuellen Daten mit den physischen Objekten verknüpft werden sollen, das heißt, welche Klangerzeugungs-Parameter durch die Glaskugeln und die Holzoberfläche repräsentiert werden können. Im Anschluss werden Werkzeuge zur Konstruktion digitaler Musikinstrumente, die auf Konzepten der Tangible Interaction basieren, vorgestellt. Daten müssen, nach der Erfassung in der realen Welt, digitalisiert und verarbeitet werden. Akustisches, und unter Umständen auch nicht-akustisches, Feedback muss generiert werden. Die geeigneten Werkzeuge für diese Aufgaben werden vorgestellt und untersucht. Abschließend wird die technische Realisierung des KlangHolz-Instrumentes, mithilfe einer Auswahl der zuvor beschriebenen Technologien, erläutert. 6.1 Entwicklung eines Interaktionskonzeptes Bei der Konstruktion eines digitalen Musikinstrumentes ist es möglich, die Steuerung von computergenerierter Musik aus der virtuellen Welt in die Realität zu verlagern. Dabei werden an reale Gegenstände digitale Informationen gebunden. Es entsteht eine greifbare Benutzerschnittstelle, ein Tangible User Interface. Die Interaktion mit einem solchen System basiert auf den Prinzipien der Tangible Interaction, wie in Kapitel 5 beschrieben. Beim KlangHolz handelt es sich um ein TangibleUser-Interface-System im engeren Sinne mit den folgenden typischen Bestandteilen: Physische Objekte und eine aktive Oberfläche. Durch die Anordnung der physischen Objekte, also der Glaskugeln, auf dem Holzbrett, ist der Zustand des Systems – 70 6.1 Entwicklung eines Interaktionskonzeptes neben der akustischen Ausgabe – direkt am Eingabegerät sichtbar. Repräsentation und Kontrolle des Systemzustandes sind somit teilweise integriert. Das KlangHolz erfüllt somit auch die grundlegenden Eigenschaften von Tangible-Interaction-Systemen (siehe Abschnitt 5.2, Seite 55). Das System besteht aus einem Holzbrett und Glaskugeln, beruht also auf Greifbarkeit und Materialität seiner Bestandteile. Je nach konkretem Mapping-Konzept werden bestimmte Daten – Parameter von Klängen, Musik oder musikalischer Struktur – in den physischen Objekten oder in der aktiven Oberfläche verkörpert. Körperliche Interaktion und Körperbewegung – Handbewegungen und das Bewegen der physischen Objekte, also der Glaskugeln – machen die Interaktion aus. Nicht zuletzt ist das System in den realen Raum eingebettet. Bei der Entwicklung eines Interaktionskonzepts geht es nun darum, welche Daten von den physischen Objekten und aktiven Oberflächen repräsentiert werden, wie die physischen Objekte verwendet werden und ihre Anordnung interpretiert wird, außerdem welche körperlichen Aktionen Bestandteil der Interaktion mit dem System sind. Als Vorbild werden akustische Musikinstrumente betrachtet, wobei ebenfalls ein Blick auf elektronische und digitale Instrumente und entsprechende Controller geworfen werden soll. Grundlage dieser Überlegungen sind die Erkenntnisse aus Kapitel 4 sowie die allgemeinen und strukturellen Eigenschaften von Musik und Klängen, wie sie in Abschnitt 2.2 auf Seite 15 beschrieben und in Abbildung 2.4 zusammengefasst dargestellt wurden. 6.1.1 Dimensionen der Kontrolle Zur Interaktion mit dem KlangHolz stehen verschiedene Dimensionen der Kontrolle zur Verfügung: • Der Objekttyp, eine helle oder dunkle Glaskugel, kann ausgewählt werden, • Objekte können auf den Löchern der aktiven Oberfläche hinzugefügt oder entfernt werden, die Löcher können ebenfalls mit der Hand abgedeckt werden, • das Einzelloch kann in bestimmtem Maße mit der Hand abgedeckt oder geöffnet werden oder auch mit einer Kugel besetzt werden. Im Weiteren muss geklärt werden, wie diese Kontrolldimensionen auf Parameter der Klangerzeugung verteilt werden können. 71 6 Das KlangHolz – ein digitales Musikinstrument 6.1.2 Beeinflussung der musikalischen Struktur Grundsätzlich ist es möglich, mit dem KlangHolz verschiedene Varianten zur Steuerung der musikalischen Struktur umzusetzen. Die beiden Möglichkeiten zur Erzeugung und Steuerung musikalischer Struktur wurden bereits in Abschnitt 2.2 beschriebenen: • Die „vertikale“, zeitliche Anordnung akustischer Ereignisse, also einzelner Töne und Klänge oder größerer Sequenzen, • die „horizontale“ Anordnung paralleler Stimmen. Auslösen und Anordnen akustischer Ereignisse Für die „vertikale“ Struktur der Musik gibt es zwei Möglichkeiten. 1. Akustische Ereignisse können durch direktes Auslösen zu einem bestimmten Zeitpunkt gesteuert werden. Das heißt eine Aktion hat das akustische Ereignis zur unmittelbaren Folge. 2. Außerdem ist es möglich, nach dem Vorbild einer Notenrolle1 , die akustischen Ereignisse im Vorhinein anzuordnen und während der Wiedergabe Veränderungen an der Anordnung vorzunehmen. Für das KlangHolz bedeutet das: 1. Ein akustisches Ereignis kann ausgelöst werden, indem eine Kugel an eine bestimmte Position gesetzt wird (siehe Abbildung 6.1(a)) und gestoppt werden, indem die Kugel wieder entfernt wird. Alternativ kann eine Handbewegung über einem Loch einen Klang auslösen oder stoppen. 2. Das Prinzip der Anordnung von akustischen Objekten im Vorhinein kann umgesetzt werden, indem die physischen Objekte, also Kugeln, akustische Ereignisse repräsentieren und auf der aktiven Oberfläche angeordnet werden (siehe Abbildung 6.1(b)). Die aktive Oberfläche steht in diesem Fall für einen Zeitablauf, so dass die übereinander liegenden Löcher nacheinander interpretiert werden. Weitere musikalische Parameter könnten durch die Auswahl entsprechender Objekte beeinflusst werden. 1 72 Die Notenrolle ist ein Element mechanischer Klaviere. Auf der Rolle sind Metallstifte angeordnet, die, während sich die Rolle dreht, Töne bestimmter Höhe auslösen. Die grafischen Oberflächen von Sequenzerprogrammen folgen oft demselben Prinzip. In der horizontalen Dimension wird die Zeit und in der vertikalen die Tonhöhe repräsentiert. In der aufgespannten Fläche können akustische Ereignisse angeordnet werden. 6.1 Entwicklung eines Interaktionskonzeptes (a) Auslösen (b) Anordnen (c) Auswählen Abbildung 6.1: Möglichkeiten zur Beeinflussung der musikalischen Struktur beim KlangHolz Auswahl und Steuerung von Stimmen Das Steuern einzelner Stimmen, also der „horizontalen“ Struktur, kann nach dem Vorbild eines Mischpults durchgeführt werden. Dabei können Stimmen ausgewählt, das heißt aktiviert und deaktiviert werden. Zusätzlich können musikalische Parameter der einzelnen Stimmen modifiziert werden. Für das KlangHolz hieße das, dass physische Objekte einzelne Stimmen repräsentieren und hinzugefügt oder entfernt werden können. Der Ort auf dem Brett kann dann Einfluss auf bestimmte musikalische Parameter haben (siehe Abbildung 6.1(c)). Auch die umgekehrte Interpretation ist möglich: Die Stimmen sind auf dem Brett verteilt und können durch Aufsetzen eines Objektes aktiviert werden. Tabelle 6.1: Steuern der musikalischen Struktur Prinzip Auslösen Anordnen Auswählen physische Objekte Auslöser akustische Ereignisse Stimmen aktive Fläche akustische Ereignisse Notenrolle beliebiger Parameter In Tabelle 6.1 sind die drei Prinzipien mit den jeweiligen Funktionen der physischen Objekte und der aktiven Oberfläche zusammengefasst. 6.1.3 Steuerung musikalischer Parameter Mithilfe von Musikinstrumenten können die Eigenschaften einzelner akustischer Ereignisse – Tonhöhe, Lautstärke, Dauer, Klangfarbe und räumliche Position – gesteuert werden. Außerdem kann der Verlauf dieser Parameter über der Zeit beeinflusst werden. 73 6 Das KlangHolz – ein digitales Musikinstrument Parameter akustischer Ereignisse können durch die in Abschnitt 6.1.1 beschriebenen Dimensionen der Kontrolle gesteuert werden. Das heißt, ein bestimmter Wert eines Parameters des aktuellen akustischen Ereignisses kann repräsentiert werden durch: • den Ort auf der aktiven Oberfläche, also eines der 16 Löcher auf dem Holzbrett, • ein bestimmtes physisches Objekt oder einen Objekttyp • oder eine Geste, das heißt die Position bzw. Höhe der Hand über einer bestimmten Zone der aktiven Oberfläche, dem Einzelloch. Abbildung 6.2 verdeutlicht die Kontrollmöglichkeiten am KlangHolz. Abbildung 6.2: Dimensionen der Kontrolle beim KlangHolz Zunächst wird betrachtet, wie diese Parameter bei akustischen Instrumenten beeinflusst werden können und anschließend jeweils die Frage gestellt, wie die Steuerung des Parameters in einem Tangible-Interaction-System, speziell beim KlangHolz, ablaufen kann, so dass sie für den aktiven und passiven Nutzer nachvollziehbar wird. Tonhöhe Die Tonhöhe, und in der zeitlichen Dimension die Melodie, kann bei akustischen Musikinstrumenten entweder durch die Veränderung oder die Auswahl des klangerzeugenden Mediums gesteuert werden. 74 6.1 Entwicklung eines Interaktionskonzeptes So kann etwa bei der Violine die Saite durch Fingerdruck an einer bestimmten Position verkürzt werden, bei einer Flöte kann die schwingende Luftsäule durch die Position der Finger auf bestimmten Löchern verändert werden. Beim Klavier wird eine Saite entsprechender Tonhöhe ausgewählt, indem eine bestimmte Taste angeschlagen bzw. eine Position auf der Klaviatur gewählt wird. Beide Verfahren können auch kombiniert sein. Bei der Violine etwa können die Saiten nicht nur „verändert“, sondern auch ausgewählt werden. Zudem unterscheiden sich die Instrumente darin, ob nur bestimmte, abgestufte oder stufenlose Tonhöhenänderungen spielbar sind. Bei der Übertragung der Prinzipien auf das KlangHolz ist zu beachten, dass die Steuerung der Tonhöhe bei akustischen Instrumenten oft mit dem Positionieren der Finger oder von Objekten verbunden ist. Es können also physische Objekte auf der aktiven Oberfläche angeordnet werden, wobei verschiedene Positionen auf der Oberfläche diskrete Tonhöhen repräsentieren. Die Tonhöhe kann ebenso an physische Objekte gebunden sein, so dass sie durch die Auswahl oder die Veränderung eines Objektes gesteuert werden kann. Für die stufenlose Steuerung eignet sich zum Beispiel eine Bewegung im Raum, also zum Beispiel eine Handbewegung, mit der ein Loch auf dem Brett abgedeckt werden kann. Lautstärke und Tondauer Die Lautstärke und die Dynamik werden im Allgemeinen durch die Anregung des klangerzeugenden Mediums, also eine dosierte Energiezufuhr, wie zum Beispiel einen Bewegungsimpuls, beeinflusst. Tondauer und Rhythmus ergeben sich ebenfalls durch die Anregung des klangerzeugenden Mediums, also durch dieselbe Energiezufuhr, wobei deren zeitliche Verteilung und der Verlauf der Lautstärke entscheidend sind. Bei der Violine ist es die Bewegung des Bogens auf den Saiten, beim Akkordeon eine Druck- und Ziehbewegung, das Blasen bei Blasinstrumenten und beim Klavier zum Beispiel der mit einer bestimmten Kraft ausgeführte Anschlag einer Saite mithilfe einer Taste, die Lautstärke und Tondauer regulieren. Die Reichweite und Sichtbarkeit dieser Bewegungen sind ganz verschieden. Es handelt sich allerdings oft um eine dynamische Geste, die Körpereinsatz seitens des Musikers erfordert. Für das KlangHolz lässt sich der Lautstärkeverlauf, und damit auch die Dauer eines Klanges als kontinuierliche Größe, wiederum am ehesten als Geste oder körperliche 75 6 Das KlangHolz – ein digitales Musikinstrument Bewegung im realen Raum umsetzen, also zum Beispiel mit einer Handbewegung, die ein Loch auf dem KlangHolz abdeckt. Das unter Abschnitt 6.1.2 beschriebene, zur zeitlichen Strukturierung dienende Prinzip des „Auslösens“ eines Klanges, ist ebenfalls zur Steuerung der Dauer und des Rhythmus geeignet. Klangfarbe Die Klangfarbe ist bei den meisten akustischen Instrumenten innerhalb eines relativ engen Spektrums festgelegt. Eine Violine oder ein Klavier werden immer als solche am Klang erkennbar sein, feine Abstufungen der Klangfarbe sind allerdings durch die Spielweise, also die oben beschriebenen Mechanismen, möglich. Einige akustische Instrumente erlauben die Auswahl einer Klangfarbe, indem eine Veränderung oder ein Austausch am klangerzeugenden Mechanismus vorgenommen wird. Bei Blechblasinstrumenten wie der Trompete kann zum Beispiel ein Dämpfer aufgesetzt, bei Akkordeon oder Orgel können Register gewählt, also ein bestimmter Satz an Pfeifen oder Zungen kann zu- oder abgeschaltet werden. Bei elektronischen oder digitalen Instrumenten sind vielfältige Beeinflussungen der Klangfarbe möglich, indem Parameter der Klangerzeugung direkt gesteuert werden. So kann zum Beispiel beim Synthesizer die Cutoff-Frequenz eines Filters über einen Drehregler direkt beeinflusst werden. Außerdem ist die Veränderung durch die Kombination verschiedener Module möglich, wie etwa beim modularen Synthesizer oder bei Softwaresystemen wie Max oder Pure Data. Beim KlangHolz gibt es entsprechend mehrere Möglichkeiten zur Steuerung der Klangfarbe. Die unterschiedlichen, durch verschiedene Farben gekennzeichneten, physischen Objekte können bestimmte Klangfarben repräsentieren, wobei die Anordnung auf dem Brett zur Steuerung anderer Parameter dienen kann. Die Klangfarbe kann allerdings auch durch die aktive Oberfläche repräsentiert werden, so dass Orte verschiedener Klangfarbe existieren, die mit beliebigen Objekten besetzt werden können. Weiterhin ist die Steuerung durch Kombination der physischen Objekte auf der aktiven Oberfläche möglich, so dass die Aktivierung bestimmter Parameter der Klangfarbe interpretiert wird. In Tabelle 6.2 wird versucht, zusammenfassend die Eignung der Kontrollmöglichkeiten für die Repräsentation der unterschiedlichen Klangparameter darzustellen. Die Anzahl der Punkte drückt aus, wie gut die jeweilige Zuordnung zur Abbildung des 76 6.1 Entwicklung eines Interaktionskonzeptes Tabelle 6.2: Mapping von Kontrolldimensionen auf Klangparameter Tonhöhe Lautstärke und Dauer Klangfarbe Objekte • •• ••• aktive Oberfläche ••• •• ••• Geste •• ••• • betreffenden Klangparameters geeignet ist. So wird zum Beispiel die Tonhöhe am besten (drei Punkte) durch die aktive Oberfläche bzw. die Position repräsentiert. 6.1.4 Konzeption alternativer Mappings Für die Verbindung zwischen dem Controller und der Klangerzeugung existieren vielfältige Abbildungsmöglichkeiten. Unter Beachtung der Ergebnisse aus den Abschnitten 6.1.2 und 6.1.3 werden nun drei alternative Mappings vom KlangHolz-Controller auf Parameter von Klangerzeugungs-Algorithmen definiert. Die verschiedenen Varianten sollen die Möglichkeiten verdeutlichen, strukturelle und klangliche Parameter von Musik zu steuern. 6.1.4.1 Mapping-Varianten Mapping-Variante A Bei diesem Mapping wird die musikalische Struktur durch das Prinzip Auslösen gesteuert, wobei dafür eine Handbewegung über dem Einzelloch genutzt wird. Bleibt das Loch bedeckt, herrscht Stille, wird es geöffnet, kann der Klang „entweichen“. Die Parameter Klangfarbe und Lautstärke werden mit derselben Bewegung beeinflusst. Wird das Loch geöffnet, nehmen die Lautstärke und gleichzeitig die Cutoff-Frequenz eines Tiefpassfilters kontinuierlich zu. Der Ort, an dem die Kugel auf der aktiven Oberfläche platziert wird, ist bei dieser Konfiguration lediglich für die Steuerung der Tonhöhe verantwortlich. Durch das Positionieren von Kugeln auf verschiedenen Löchern wird hier also eine Klangfläche zusammengestellt, die durch Handbewegungen über dem Einzelloch zum Erklingen gebracht werden kann. Mapping-Variante B Die Struktur bzw. zeitliche Anordnung der akustischen Ereignisse soll hier durch das Prinzip Anordnen hergestellt werden: Durch die aktive Oberfläche, also die Löcher auf dem Holzbrett, wird ein Zeitablauf in horizontaler 77 6 Das KlangHolz – ein digitales Musikinstrument Richtung repräsentiert, der sich in einer Schleife wiederholt. Indem die Glaskugeln auf der Fläche angeordnet werden, kann ein rhythmisches Muster erstellt und in jedem Durchlauf verändert werden. Die musikalischen Parameter und die Parameter der Einzelklänge sollen nach folgendem Schema gesteuert werden: Die Klangfarbe wird als Ort auf der aktiven Oberfläche in vertikaler Richtung repräsentiert. Die Tonhöhe aller Klänge kann mittels einer Handbewegung über dem Einzelloch beeinflusst werden. Mit zunehmender Abdeckung durch die Hand sinkt die Tonhöhe aller aktiven Klänge. Mapping-Variante C In einer weiteren Variante wir das Prinzip Auswählen zur Steuerung der musikalischen Struktur genutzt. Hierbei werden zwei verschiedene, identifizierbare Glaskugeln verwendet. Die helle Kugel repräsentiert eine SchlagzeugSequenz, die dunkle eine Bass-Sequenz. Durch das Auflegen der Kugeln an einer beliebigen Stelle der aktiven Oberfläche wird die jeweilige Sequenz hörbar. Durch den Ort auf der aktiven Oberfläche wird die Klangfarbe und die räumliche Position der beiden Sequenzen beeinflusst. Die horizontale Anordnung ist für die räumliche Position im Stereo-Spektrum verantwortlich, also die Positionierung einer Kugel auf der linken Seite bewegt die durch sie repräsentierte Stimme ebenfalls auf die linke Seite des Stereo-Spektrums. Die vertikale Position beeinflusst eine Filter-Einstellung der jeweiligen Sequenz. Am unteren Rand des Brettes werden die tiefen Frequenzen hervorgehoben, am oberen Rand die hohen. Die beiliegende CD-Rom enthält Videobeispiele, in denen die drei Varianten demonstriert werden.2 6.1.4.2 Bewertung Jedes Mapping gibt dem Instrument einen eigenen Charakter und damit einen eigenen Einsatzbereich. Im Hinblick auf die Betrachtungen, die in Kapitel 4 zu Thema Konzepte digitaler Musikinstrumente vorgenommen wurden, sollen die konzipierten Mapping-Varianten bewertet werden. 2 78 Die Videobeispiele zu den drei verschiedenen Mapping-Varianten befinden sich auf der beiliegenden CD-Rom: Mapping-Variante A: Videos/KlangHolz_Demo_A.mp4, Mapping-Variante B: Videos/KlangHolz_Demo_B.mp4 und Mapping-Variante C: Videos/KlangHolz_Demo_C.mp4. 6.1 Entwicklung eines Interaktionskonzeptes Alle drei Varianten bilden den Zustand des Controllers relativ deterministisch auf die Klangerzeugung ab, während bei Variante B zusätzlich die zeitliche Komponente eine Rolle spielt. Die Objekte werden hier zeitlich im Voraus angeordnet. Im Spektrum zwischen interaktiven Klanginstallationen und professionellen Musikinstrumenten bewegt sich das KlangHolz eher auf der Seite der Installationen. Das lässt sich insbesondere an der Mittleren Diversität ablesen: Alle drei Mappingvarianten erlauben das Spiel in einem relativ begrenzten musikalischen Rahmen, das heißt, die verschiedenen Performances mit ein und demselben Mapping ähneln sich. Das Instrument ist allerdings mit allen drei Mappings von musikalischen Laien spielbar, erlaubt das Improvisieren und Experimentieren, aber ist in der vorliegenden Form sicher nicht für die Erlangung musikalischer Virtuosität geeignet. Der große Vorteil des KlangHolzes ist, dass das nicht-akustische bzw. visuelle Feedback bereits durch die Anordnung der Kugeln auf der aktiven Oberfläche gegeben ist. Das ist eine Eigenschaft, die das KlangHolz mit akustischen Instrumenten teilt. Zudem wird durch die Gesten des Anordnens und die Handbewegungen zur Steuerung des zusätzlichen Sensors das Spiel des Instrumentes für Zuschauer nachvollziehbar und für den Benutzer selbst leicht verständlich. Körperliche Interaktion ist klar mit akustischen Ereignissen verbunden. Das zeigt, dass derartige Interfaces durchaus das Potential tragen, die Darbietung elektronischer Musik dem Zuhör- und Zuseherlebnis akustischer Instrumente anzunähern. Die Bauweise, also die Verlagerung der Benutzerschnittstelle in die reale Umgebung, impliziert ebenso die Möglichkeit der gemeinsamen Nutzung. Die Kugeln, als physische Objekte, können von verschiedenen Teilnehmern aufgesetzt und entfernt werden. Abschließend soll das KlangHolz in die Taxonomie für Tangible-Interaction-Systeme, die im Abschnitt 5.2.2 (Seite 57) entwickelt wurde, eingeordnet werden. Die Verkörperung des Systemzustandes findet zum einen natürlich durch die akustische Ausgabe in der Umgebung statt. Bezüglich der Anordnung der Glaskugeln und der daraus entstehenden visuellen Information über den Systemzustand kann außerdem von einer vollständigen Verkörperung gesprochen werden, da in dieser Hinsicht Eingabeund Ausgabegerät identisch sind. Die drei, den Mapping-Varianten zugrunde liegenden, Prinzipien, Auslösen, Anordnen und Auswählen, profitieren jeweils von einer Metapher der Tätigkeit. Schließlich nimmt die körperliche Interaktion und deren Einbettung in den realen Raum beim KlangHolz eine mittlere Bedeutung ein. 79 6 Das KlangHolz – ein digitales Musikinstrument 6.2 Werkzeugkasten für digitale Musikinstrumente Ausgangspunkt für die technische Realisierung eines digitalen Musikinstrumentes im Rahmen der Konzepte von Tangible Interaction bildet das allgemeine Schema der Mensch-Maschine-Interaktion (siehe Abbildung 6.3). Abbildung 6.3: Schema der Mensch-Maschine-Interaktion nach [Bon00] Betrachtet man das Musikinstrument als spezialisierte Maschine ergibt sich die erweiterte Darstellung in Abbildung 6.4. Der Mensch kann mithilfe seiner motorischen Fähigkeiten Aktionen in seiner Umwelt ausführen. Sensoren, zum Beispiel zum Erkennen von Bewegung, Druck, oder anderen Aktionen sowie Kameras für die Detektion von Bewegungen liefern dem Musikinstrument die nötigen Daten über den Zustand der Umgebung. Diese Werte werden digtalisiert, verarbeitet und auf Parameter eines Klangerzeugungs-Algorithmus abgebildet. Schließlich erfolgt eine akustische Ausgabe, die von visuellem oder haptischem Feedback begleitet werden kann und wiederum dem Menschen durch seine sensorischen Fähigkeiten zugänglich wird. Im Folgenden soll ein Überblick über Technologien gegeben werden, die für diese Aufgaben auf Seiten des digitalen Musikinstrumentes geeignet sein können. 6.2.1 Controller 6.2.1.1 Sensoren Ausgehend von den Möglichkeiten des Menschen, den Zustand seiner Umwelt zu ändern, können Sensoren kategorisiert werden. Muskelaktivität ist die Grundlage aller Aktionen, das Resultat kann Bewegung, ein Luftstrom oder der Klang der menschlichen Stimme sein. Dieses Resultat soll von Sensoren erkannt werden und die Grundlage für das Mapping auf die Klänge eines Musikinstrumentes bilden. 80 6.2 Werkzeugkasten für digitale Musikinstrumente Abbildung 6.4: Interaktion zwischen Mensch und digitalem Musikinstrument (nach [Bon00]) Für Muskelaktivität kann unterschieden werden, ob eine Bewegung ausgelöst wird, oder lediglich Druck ausgeübt wird. Druck kann zum Beispiel mit Drucksensoren oder Tastern gemessen werden. Die Bewegung kann mit mechanischem Kontakt festgestellt werden: Rotation zum Beispiel durch Drehpotentiometer, Joysticks oder Biegungssensoren, lineare Bewegung durch Schiebepotentiometer oder Standardeingabegeräte wie Mäuse oder Grafiktabletts. Kontatklose Bewegungsmessung kann mit Magnetfeldsensoren, Neigungsschaltern, Beschleunigungssensoren oder Fotowiderständen durchgeführt werden (vgl. [Bon00]) . Darüber hinaus kann eine durch Atemluft erzeugte Strömung gemessen werden, die Stimme kann mit Mikrofonen erfasst werden und auch andere Körperwerte, die nicht willentlich beeinflussbar sind, wie Körpertemperatur oder Blutdruck, können mit speziellen Sensoren gemessen werden. Alle möglichen körperlichen Aktionen des Menschen können somit zur Kontrolle digitaler Musikinstrumete genutzt werden. 6.2.1.2 I/O-Boards Um die Messwerte von Sensoren zu digitalisieren und rechnerintern zur Klangerzeugung weiterverwenden zu können, sind spezielle Hardwaregeräte notwendig. Es gibt verschiedene Input/Output-Boards, die relativ einfach handhabbare Schnittstellen für die unkomplizierte Kommunikation mit Sensoren und Aktoren zur Verfügung stellen. 81 6 Das KlangHolz – ein digitales Musikinstrument Phidgets Phidgets (vgl. [GF08]) sind ein beliebtes Prototyping-Werkzeug zur Entwicklung physischer Benutzerschnittstellen. Analog zu Widgets, Komponenten für das Zusammensetzen grafischer Benutzerschnittstellen, sind Phidgets „physical widgets“, also Bausteine für physische Benutzerschnittstellen. Die Komponenten, Sensoren, etc. können also einfach zusammengefügt werden. Außerdem existieren APIs für C, .NET, Java und Flash/Flex; via USB kommunizieren die Phidgets mit dem Computer. Die Preise für Board und Bauelemente sind allerdings im Vergleich zu anderen Projekten relativ hoch. Arduino und Wiring Arduino (vgl. [Ard07]) und Wiring (vgl. [Wir07]) sind elektronische Plattformen, mit dem hauptsächlichen Anwendungsgebiet der prototypischen Entwicklung interaktiver Objekte und Umgebungen. Es handelt sich um eine Kombination aus Open-Source-Hardware und -Software zu relativ geringen Kosten. Durch die gute Dokumentation und große Community sind beide Tools auch hervorragend für weniger elektronikorientierte Anwender aus dem Kunst- oder Designbereich geeignet. Beide Hardware-Boards sind mit einem Microcontroller ausgestattet und nutzen für dessen Programmierung eine High-Level-Programmiersprache, deren Syntax an C/C++ angelehnt ist. Die zugehörige Entwicklungsumgebung basiert auf Processing. Durch Einsatz eines programmierbaren Microcontrollers ist das Arduino-Board sowohl für die serielle Kommunikation via USB mit einem Rechner geeignet, als auch unabhängig lauffähig. Es stehen mehrere analoge Eingänge sowie digitale Einund Ausgänge zur Verfügung, um über Sensoren Messwerte aus der physischen Umgebung aufzunehmen, beziehungsweise durch Steuerung von Aktoren, wie zum Beispiel Lichtern oder Motoren die Umwelt zu beeinflussen. Doepfer MIDI Interfaces Hierbei handelt es sich um verschiedene ElektronikBoards zum Bau von MIDI-Controllern (vgl. [Doe08]). Der Anschluss beliebiger Sensoren mit einem bestimmten Spannungsbereich ist möglich, hier ist allerdings nur die Ausgabe von MIDI-Nachrichten möglich. Es können keine Aktoren betrieben werden, und es ist kein Microcontroller vorhanden. In Tabelle 6.3 werden die verschiedenen I/O-Boards hinsichtlich ihrer Eigenschaften bewertet. Der Punkt zeigt die Verfügbarkeit, das Minus das Fehlen der jeweiligen Eigenschaft an. Die Höhe der Kosten verhält sich entsprechend der Anzahl der 82 6.2 Werkzeugkasten für digitale Musikinstrumente Tabelle 6.3: Übersicht zu den verschiedenen I/O-Boards Programmierbarer Microcontroller MIDI Serielle Kommunikation Aktoren Kosten Phidgets – – • • ••• Arduino • • • • • Wiring • • • • •• Doepfer – • – – •• Punkte. Aufgrund der Vielzahl an Kommunikationseigenschaften sowie der Programmierbarkeit bei gleichzeitig geringen Kosten fällt für das KlangHolz die Wahl auf Arduino. 6.2.1.3 Computervision Bewegungen von Objekten oder Menschen können ebenfalls mit Kameras erfasst und algorithmisch ausgewertet werden. Dafür stehen die folgenden Werkzeuge zur Verfügung: Reactivision Reactivision (vgl. [Mus08b]) ist ein relativ ausgereiftes, gut dokumentiertes und frei verfügbares Framework für das Tracking von Markierungen, so genannten Fiducials, die an physischen Objekten angebracht werden können. Das System wurde an der Universitat Pompeu Fabra in Barcelona entwickelt für das Design von tischbasierten Tangible-User-Interface-Systemen oder interaktiven Oberflächen. Reactivision ist eine Software-Anwendung, die Bilder von einer Videokamera empfängt und Open-Sound-Control-Nachrichten bezüglich der Position und Ausrichtung der Fiducials ausgibt. Außerdem ist mit einem einfachen Sticker, der an der Fingerspitze angebracht werden muss, das Tracking von Fingerbewegungen auf einer Oberfläche möglich. Im Allgemeinen wird die Kamera dabei unter einem Tisch mit trasparenter Oberfläche angebracht, während die markierten Objekte auf dem Tisch bewegt werden. PDP und PiDiP PDP (Pure Data Packet) und PiDiP (PiDiP Is Definitely In Pieces) sind Erweiterungen für die Musik-Programmierumgebung Pure Data. Es handelt sich um eine Zusammenstellung verschiedener Videoverarbeitungs-Tools. Die Pakete enthalten ein Farb-Tracking-Werkzeug, einen gitterbasierten Bewegungsdetektor und 83 6 Das KlangHolz – ein digitales Musikinstrument außerdem ein Tool zum Tracking von Formen. Die Erweiterungen sind quelloffen und frei verfügbar, aber relativ spärlich dokumentiert (vgl. [Deg07]). 6.2.2 Controller und Klangerzeugung 6.2.2.1 Musik-Programmierumgebungen Bekannte Musik-Programmiersprachen und Audiosynthese-Environments sind zum Beispiel Max/MSP [Cyc08], Pure Data [IEM08a], ChucK [WC08] oder SuperCollider [McC07]. Allen gemeinsam ist das grundlegende Konzept des Unit-Generators, das aus den Anfängen der Computer-Musik stammt (siehe Abschnitt 3.2.3, Seite 28). Es ist abgeleitet aus den Verfahren der analogen Klangsynthese. Module werden hierbei zusammengeschaltet, um einen bestimmten Klangsynthese-Algorithmus zu realisieren. Alle Module kommunizieren über die gleiche Art von Signalen und können daher beliebig verschaltet werden. Der Unit-Generator ist die Übertragung diese Konzeptes in den digitalen Bereich. Instrumente bestehen aus mehreren, zusammengeschalteten Unit-Generatoren. Dieses Konzept wird auf die eine oder andere Weise in allen betrachteten Sprachen implementiert. Darüber hinaus gibt es oft zwei verschiedene Kommunikationsmodi zwischen den Unit-Generatoren. Zum einen können Berechnungen mit Audiorate, also sample-genauer Geschwindigkeit oder, für weniger strikte Timing-Anforderungen, mit Kontrollrate durchgeführt werden. Unterschiede zwischen den einzelnen Systemen finden sich hauptsächlich in Bezug auf das Anwendungsgebiet, die Art der Benutzerschnittstelle, die Qualität der Dokumentation, den Reifegrad, die verfügbaren Erweiterungen und die Möglichkeiten der Interoperabilität mit Hardware, zum Beispiel den genannten I/O-Boards, oder anderen Anwendungen. Pure Data Pure Data (Pd) ist eine Programmierumgebung, die mit einer grafischen Programmiersprache, einer sogenannten Patcher-Sprache, arbeitet. Dabei können Objekte grafisch angeordnet und, nach dem Vorbild modularer Synthesizer, durch virtuelle Kabel verbunden werden. Pd erlaubt Echtzeitverarbeitung für Computermusikund Multimedia-Anwendungen. 84 6.2 Werkzeugkasten für digitale Musikinstrumente Bei Pd handelt es sich um einen der Hauptzweige der Programmiersprachenfamilie Max, die auf die MUSIC-Programme von Max Mathews zurückgeht, wobei heute der bekannteste Ableger das kommerzielle Max/MSP ist. Pd-Programme werden als Patches bezeichnet. Es existieren zahlreiche Bibliotheken sogenannter Abstractions und Externals, also vorgefertigter Patches und Zusatzmodule für Standardaufgaben. Um Pd schart sich eine lebendige Community, der ausgereifte Sprachkern ist gut dokumentiert. Erweiterungen und Zusatzmodule befinden sich allerdings teilweise noch in experimentellen Stadien. Pd steht kostenfrei und für alle wichtigen Betriebssysteme zur Verfügung. SuperCollider SuperCollider ist eine Programmierumgebung zur Echtzeit-Audiosynthese und algorithmischen Komposition. Die Besonderheit von SuperCollider ist eine Client-Server-Architektur. Beide Bestandteile kommunizieren via Open Sound Control und können auch unabhängig betrieben werden. Das System kann via MIDI und OSC angesprochen werden. Grundlage ist eine objektorientierte Programmiersprache nach dem Vorbild von Smalltalk. SuperCollider ist frei verfügbar, allerdings nur für Mac OS und Linux. ChucK ChucK ist ein, relativ neues und noch im Entwicklungsstadium befindliches, System zur Echtzeit-Audiosynthese und algorithmischen Komposition. Die besondere Stärke von ChucK ist das On-the-fly-Programming. Das heißt, Modifikationen können am laufenden Programm vorgenommen werden. Bei ChucK besteht im Gegensatz zu den anderen betrachteten Systemen keine Trennung zwischen Audio- und Kontrollrate. Das System bietet native Unterstützung für verschiedenste Ein -und Ausgabegeräte und wird über eine imperative Programmiersprache kontrolliert (vgl. [WC03]). In Tabelle 6.4 werden die beschriebenen Musik-Programmierungen noch einmal übersichtlich im Hinblick auf die genannten Kriterien verglichen. 6.2.2.2 Nicht-akustisches Feedback des Instrumentes Neben den Musik-Programmierumgebungen zur Erzeugung akustischer Ausgaben existieren auch Werkzeuge zum Generieren nicht-akustischer Rückmeldungen eines 85 6 Das KlangHolz – ein digitales Musikinstrument Tabelle 6.4: Übersicht zu den verschiedenen Musik-Programmierumgebungen Pure Data EchtzeitAudiosynthese, Multimedia SuperCollider EchtzeitAudiosynthese, algorithmische Programmierung ChucK AnwendungsgeEchtzeitbiet Audiosynthese, algorithmische Programmierung, Live-Coding BenutzerschnittGrafische Pro- Objektorientierte Imperative ProProgrammierspra- grammiersprache stelle grammiersprache che Umfang und Qua- • • • • •• lität der Dokumentation Reifegrad Stabil Stabil Nicht ausgereift Verfügbarkeit von • • • • • Erweiterungen Interoperabilität ••• ••• ••• Kosten frei frei frei Betriebssysteme Linux, Mac OS, Mac OS, Linux Linux, Solaris, Windows Mac OS, Windows Musikinstrumentes. Wichtigstes Kriterium bei der Auswahl der geeigneten Technologien ist die Interoperabilität mit den verwendeten Musik-Programmiersprachen, so dass das zusätzliche Feedback von demselben Algorithmus wie die Klänge erzeugt werden kann. Visuelles Feedback Eine Option für die Generierung visuellen Feedbacks ist die Nutzung der Grafik-Programmiersprache Processing, für Pure Data gibt es MultimediaErweiterungen wie GEM (Graphics Environment for Multimedia, [IEM08b]) oder das bereits erwähnte PDP. Haptisches Feedback Pure Data stellt Objekte für die Steuerung von Standardeingabageräten mit Force-Feedback-Fähigkeiten zur Verfügung, wie zum Beispiel das HID-Toolkit (vgl. [Ste05b]). Auch I/O-Boards, wie Arduino und Wiring, bieten die Möglichkeit, Motoren zu kontrollieren, um anhand eigener Geräte Vibration als fühlbare Rückkopplung zu erzeugen. 86 6.2 Werkzeugkasten für digitale Musikinstrumente Die genannten Möglichkeiten sollen in dieser Arbeit allerdings nicht weiter vertieft werden, für das KlangHolz ist in diesem Rahmen kein zusätzliches nicht-akustisches Feedback vorgesehen. Hier liefern die Positionen der Kugeln auf der aktiven Oberfläche sowie die Handbewegungen an sich schon visuelle Informationen über den Zustand des Instrumentes. 6.2.3 Kommunikation zwischen Controller und Klangerzeugung MIDI MIDI (Musical Instruments Digital Interface) ist ein Protokoll zur Übertragung von Steuerinformationen zwischen Instrumenten oder Computern. Es werden keine Klänge, sondern nur Steuerinformationen, sogenannte MIDI-Befehle, übermittelt. Mit deren Hilfe ist die Steuerung anderer Klangerzeuger oder auch die Aufzeichnung der Steuerdaten möglich. MIDI-Befehle sind zum Beispiel der Note-onoder der Note-off-Befehl zum An- und Abschalten eines Tones. Ein solcher Befehl setzt sich aus mehreren Komponenten – Kanalnummer, Tonhöhe und Anschlagstärke – zusammen. Dem MIDI-Protokoll liegt eine serielle Datenübertragung mit einer Übertragungsrate von 31250 Bit/s ohne Flusskontrolle zuggrunde. Sechzehn Kanäle stehen zur gleichzeitigen Steuerung mehrerer Instrumente zur Verfügung. Durch die geringe Übertragungsrate und die serielle Übertragung können Timing-Probleme entstehen, Steuerbefehle werden verzögert umgesetzt. MIDI kann ebenfalls via USB oder FireWire mit mehreren virtuellen Verbindungen übertragen werden, die Kanalanzahl spielt dann keine Rolle mehr, die zeitlichen Probleme können umgangen werden. Das Protokoll ist mit musikalischen Einschränkungen verbunden: Bei der Entwicklung waren tastengesteuerte orgelähnliche Synthesizer der Ausgangspunkt. Die Interaktion mit solchen Instrumenten lässt sich relativ gut abbilden. Andere Formen, zum Beispiel das Spielen einer Violine, sind dagegen nur schwer zu fassen. Eine weitere Einschränkung ist die Stimmung nach westlichem Tonsystem mit 12 Halbtönen pro Oktave. Für andere Skalen ist MIDI nicht vorgesehen. Darüber hinaus kann die Beschränkung auf 128 Stufen, zum Beispiel bei der Dynamiksteuerung nicht ausreichend sein. Open Sound Control Open Sound Control (OSC) ist ein Verfahren zur Kommunikation zwischen Computern, Synthesizern und anderen Multimedia-Geräten. OSC basiert auf Netzwerktechnologie. Anders als bei MIDI ist keine spezielle Hardware 87 6 Das KlangHolz – ein digitales Musikinstrument notwendig, sondern die Nutzung basiert auf herkömmlichen Netzwerkinfrastrukturen. Dabei ist OSC unabhängig vom verwendeten Transportprotokoll. Die OSC-Kommunikation setzt sich aus Paketen zusammen, die Nachrichten an einen bestimmten Adressaten enthalten. Eine hohe Auflösung bei Steuerdaten und Zeitstempeln wird geboten, die Gleichzeitigkeit von Nachrichten ist möglich. Es wird ein URL-artiges Adressierungsschema verwendet. Anders als bei MIDI, existieren keine Standards für die zu übertragenden Nachrichten. So kann zum Beispiel der oben beschriebene Note-on-Befehl in verschiedenen Implementierungen des Protokolls völlig unterschiedlich umgesetzt werden. Spezielle Protokolle Für bestimmte Übertragungsaufgaben kann es außerdem sinnvoll sein, eigene spezielle Protokolle zu definieren. Arduino unterstützt zum Beispiel serielle Kommunikation mit Datenraten von bis zu 115200 Bit/s, also eines Vielfachen des MIDI-Protokolls. Für das KlangHolz wurde ein spezielles Protokoll für den Datenaustausch zwischen Arduino-Board und Rechner definiert. Es basiert, wie MIDI, auf serieller Übertragung, verwendet aber eine höhere Datenrate und ist auf die Anforderungen der Anwendung zugeschnitten. Für die rechnerinterne Übertragung von Steuerinformationen zur Klangerzeugungs-Komponente wird beim KlangHolz das MIDI-Protokoll verwendet. 6.3 Technische Umsetzung des KlangHolzes Das KlangHolz setzt sich aus verschiedenen Hardware- und Software-Komponenten zusammen. In Abbildung 6.5 werden die beteiligten Komponenten dargestellt und ihre Verteilung sowie die Kommunikationsabläufe verdeutlicht. Sensoren übermitteln ihre Messdaten an ein Arduino-I/O-Board. Diese werden dort digitalisiert, und von einem Programm verarbeitet. Über ein serielles Protokoll findet ein Datenaustausch zwischen diesem Microcontroller-Programm und einem Pure-Data-Patch statt. Dort werden die Nachrichten weiter verarbeitet und die in Abschnitt 6.1.4 vorgestellten Mappings realisiert. Die Klangerzeugung findet in einem externen Software-Synthesizer bzw. -Sampler statt, der von Pure Data über 88 6.3 Technische Umsetzung des KlangHolzes Abbildung 6.5: KlangHolz: beteiligte Hardware- und Software-Komponenten MIDI-Befehle gesteuert wird. Im Folgenden sollen die einzelnen Komponenten und ihre Funktionen genauer beschrieben werden. 6.3.1 Hardware Sensoren Ein durch Sensoren erweitertes Holzbrett bildet die Grundlage des Instrumentes. Sechzehn Fotowiderstände wurden, wie in Abbildung 6.6(b) zu erkennen, in Löcher im KlangHolz integriert. Mithilfe dieser Sensoren kann erkannt werden, ob sich ein physisches Objekt, eine Glaskugel wie in Abbildung 6.6(c), über einem bestimmten Bereich der aktiven Oberfläche befindet. In diesem Fall sinkt der Lichteinfall für den betreffenden Sensor unter einen bestimmten Wert, abhängig von der Lichtdurchlässigkeit des aufgelegten Objektes. Die Messwerte der Sensoren werden mithilfe eines Arduino-I/O-Boards digitalisiert und an den Computer übertragen. Ein zusätzlicher Fotowiderstand wurde in das außerhalb der Matrix angeordnete Loch integriert. Hier wird nicht nur das Absinken des Lichteinfalls unter einen bestimmten Wert registriert, sondern es ist auch eine stufenlose Steuerung möglich. I/O-Board Aufgrund der Untersuchungen in Abschnitt 6.2.1.2 (Seite 79), insbesondere wegen seiner Programmierbarkeit und günstigen Verfügbarkeit, wurde 89 6 Das KlangHolz – ein digitales Musikinstrument (a) Arduino I/O-Board (b) Sensor in der aktiven Oberfläche des KlangHolzes (c) Eine Glaskugel als physisches Objekt des KlangHolzes Abbildung 6.6: KlangHolz: Details der Umsetzung das Arduino-Board (siehe Abbildung 6.6(a)) für die Realisierung des KlangHolzes ausgewählt. Das Arduino-Board verfügt über fünf analoge Eingänge. Um alle siebzehn Fotowiderstände lesen zu können, müssen die analogen Eingangsmöglichkeiten durch zwei Multiplexer (analoge Multiplexer/Demultiplexer-ICs 4051) erweitert werden. Auf diese Weise kann ein analoger Eingang des Arduino-Boards zum Lesen von acht Sensoren benutzt werden. Drei digitale Ausgänge des Arduino Boards steuern die Select-Pins des Multiplexers an, die abwechselnd die zur Verfügung stehenden Eingänge abfragen. Das Schaltbild (Abbildung 6.7) zeigt die Verkabelung der verwendeten Komponenten. An den Eingängen analog1 und analog2 des Arduino-Boards ist je ein analoger Multiplexer vom Typ 4051 angeschlossen. Über die digitalen Ausgänge pin3, pin4 und pin5 kann eine dreistellige Binärzahl an die Multiplexer übertragen werden. Auf diese Weise werden nacheinander die Eingänge y0 bis y7 der beiden Multiplexer aktiviert und können ausgelesen werden. Mit jedem dieser Eingänge ist ein Fotowiderstand verbunden, wie links im Bild zu sehen ist. Ein weiterer Fotowiderstand ist auf die gleiche Weise direkt mit dem Arduino-Eingang analog0 verbunden. Hiermit wird der Helligkeitswert des 17. Loches ermittelt. 6.3.2 Software Für die softwareseitige Umsetzung ist auf der Hardware-Ebene ein Programm für den Microcontroller des Arduino-Boards verantwortlich. Die Mapping-Komponente des KlangHolzes wird mithilfe der Musik- und Multimedia-Programmierumgebung Pure 90 6.3 Technische Umsetzung des KlangHolzes Abbildung 6.7: Schaltplan für die Elektronik des KlangHolzes Data, besonders aufgrund ihrer guten Eignung zur Kommunikation mit Arduino und wegen ihrer guten Dokumentation, umgesetzt. Microcontroller Für den Microcontroller des Arduino-Boards wurde ein Programm erzeugt, das für die Steuerung der Multiplexer und das Lesen der Sensorwerte zuständig ist. In einer Endlosschleife werden sequentiell die Werte der 17 Sensoren gelesen. Wenn bestimmte Schwellwerte über- oder unterschritten werden, wird eine Nachricht über die serielle Verbindung an den Rechner verschickt. Dazu wurde ein einfaches eigenes Protokoll definiert. Eine Nachricht besteht aus drei Werten: der Nummer des analogen Eingangs am Arduino-Board, dem aktiven Eingang des Multiplexers und dem aktuellen Messwert. Durch die beiden ersten 91 6 Das KlangHolz – ein digitales Musikinstrument Werte kann der Sensor identifiziert und der Messwert entsprechend zugeordnet werden. Darüber hinaus können die Sensoren kalibriert werden. Wenn das I/O-Board vom Computer eine entsprechende Nachricht empfängt, wird der Kalibrierungsvorgang gestartet. Der Nutzer wird aufgefordert, die Sensorfelder nacheinander mit einer dunklen Glaskugel zu besetzen. Auf diese Weise werden für jeden Sensor, abhängig vom Umgebungslicht und den verwendeten Glaskugeln, eigene Schwellwerte erzeugt, und es ist sichergestellt, dass jeder Sensor die verschiedenen Kugeln bzw. Kugeltypen identifizieren kann. Auswertung der Sensor-Daten und Mapping Mithilfe eines Pure-Data-Patches (siehe Abbildung 6.8) werden die, vom Arduino-Board gesendeten, Nachrichten empfangen und ausgewertet. Dafür ist das [kh_arduinoCom]-Objekt zuständig, das entsprechende Konvertierungen und Zuordnungen durchführt. Die einfache grafische Benutzeroberfläche erlaubt, neben der Steuerung der seriellen Verbindung zum Arduino-Board, die Durchführung des Kalibrierungsvorganges und die Auswahl eines der drei, in Abschnitt 6.1.4 konzipierten, hier umgesetzten Mappings. Dazu wird der Nachrichtenstrom an eines der drei Objekte [pd pianoRollMIDI], [pd triggerMIDI] oder [pd selectMIDI] weitergeleitet. Die genannten Objekte realisieren die konkreten Mappings und erzeugen die MIDISteuerbefehle für die Klangerzeugung. Klangerzeugung Die Klangerzeugung findet in einem externen Synthesizer- bzw. Sampler-Programm statt, das zu diesem Zweck von Pure Data mit MIDI-Steuerinformationen versorgt wird. Bei der Umsetzung des KlangHolzes unter Mac OS X kann der systemeigene IAC-Treiber (Inter-Application Communication) für das Routing von MIDI-Verbindungen zwischen den verschiedenen Anwendungen genutzt werden. 6.4 Zusammenfassung In diesem Kapitel wurde ein eigenes digitales Musikinstrument, das KlangHolz, entwickelt. Das KlangHolz ist ein Tangible-Interaction-System. Der Controller besteht aus 92 6.4 Zusammenfassung Abbildung 6.8: KlangHolz Pd-Patch einem, durch Sensoren erweiterten, Holzbrett, der aktiven Oberfläche, und verschiedenfarbigen Glaskugeln, den physischen Objekten. Durch die aktive Oberfläche und die physischen Objekte, sowie deren Anordnung, können verschiedenste musikalische Parameter und Eigenschaften repräsentiert werden. Zur Erkundung dieser Möglichkeiten wurde ein Interaktionskonzept erarbeitet. Verschiedene Prinzipien zur Steuerung musikalischer Struktur – Auslösen, Anordnen und Auswählen – sowie Möglichkeiten der Beeinflussung von Parametern akustischer Ereignisse und deren Verlauf konnten identifiziert werden. Auf dieser Grundlage wurden drei verschiedene Mapping-Varianten für das KlangHolz konzipiert. Diese drei Konzepte wurden schließlich praktisch umgesetzt und, auf Grundlage der Erkenntnisse zu Eigenschaften digitaler Instrumente aus Kapitel 4 und zu Tangible Interaction aus Kapitel 5, bewertet. Technologien, die zur Umsetzung digitaler Musikinstrumente auf Basis greifbarer Benutzerschnittstellen geeignet sind, wurden untersucht. Für die, abschließend beschriebene, technische Umsetzung des KlangHolzes wurde eine Kombination aus Lichtsensoren bzw. Fotowiderständen, einem Arduino-I/O-Board zur Digitalisierung und Verarbeitung der Messwerte und Pure Data zur Programmierung der Kommunikation mit dem Controller sowie der Mapping-Varianten gewählt. 93 7 Schlussbetrachtungen In diesem abschließenden Kapitel werden die betrachteten Themen sowie die im Verlauf der Arbeit entstandenen Ergebnisse zusammengefasst. Ein Ausblick auf mögliche weitere Arbeiten soll zudem aufgezeigt werden. 7.1 Zusammenfassung Digitale Musikinstrumente bieten die Freiheit, durch beliebige Controller gesteuert zu werden. Die Interaktion mit ihnen muss nicht auf Bildschirmanwendungen, Standardeingabegeräte oder etwa handelsübliche Faderboxen beschränkt bleiben. Aus diesem Grund kann die Interaktion mit digitalen Musikinstrumenten aus der virtuellen in die reale Welt verlagert werden. Im Rahmen der vorliegenden Arbeit wurden zunächst grundlegende Begriffe definiert. Der schematische Aufbau von Musik wurde umrissen und geklärt, was unter Musikinstrumenten, zu deren Erzeugung und Steuerung, zu verstehen ist. Auf die Besonderheiten digitaler Musikinstrumente, hauptsächlich auf die vollständige Entkopplung von Controller- und Klangerzeugungskomponente, wurde eingegangen. Im Weiteren wurde die Historie von Musikinstrumenten, insbesondere im Hinblick auf die Verknüpfung von Technologie und Erzeugung von Musik, nachvollzogen. Wichtige Etappen dieser, die Menschheitsgeschichte begleitenden, Entwicklung konnten identifiziert werden. Unter diesem Gesichtspunkt wurden historische Musikinstrumente mit richtungsweisender Funktion und interessanten Benutzerschnittstellen, Ansätze der Computerisierung der Musik sowie aktuelle digitale Instrumente und interaktive Installationen aus dem Forschungsumfeld vorgestellt. Abseits der technologischen Aspekte wurden allgemeine Konzepte digitaler Musikinstrumente vorgestellt. Dabei wurde insbesondere der Frage nachgegangen, was die Tradition akustischer Instrumente dem Instrumentenbauer in der digitalen Domäne 95 7 Schlussbetrachtungen mit auf den Weg geben kann. Schließlich konnte geklärt werden, welche Eigenschaften ein digitales Instrument oder eine Installation interessant und attraktiv für Musiker bzw. Benutzer und auch das Publikum machen. Die Konzepte der Tangible Interaction und Tangible User Interfaces bilden das theoretische Fundament der Möglichkeit, die Interaktion mit digitalen Musikinstrumenten in Anlehnung an die akustischen Instrumente aus der virtuellen Bildschirmwelt heraus zu lösen. Dabei werden digitale Informationen an physische Gegenstände in der realen Welt gebunden, die somit zu Interaktionsmedien werden. Im Rahmen der Betrachtungen wurde eine bestehende Taxonomie für Tangible-Interaction-Systeme erweitert, so dass ein Leitfaden für den Entwurf und die Analyse solcher Systeme entstand. Explizit wurde der Bogen von Tangible Interaction zu digitalen Musikinstrumenten gespannt, indem verschiedene einfache Beispielinstrumente unter Beachtung der identifizierten Kriterien – verwendete Metapher, Verkörperung von Daten und Bedeutung von körperlicher Interaktion und Einbettung in den realen Raum – ausgewertet wurden. Alle gewonnenen Erkenntnisse münden im Anschluss in den praktischen Teil dieser Arbeit, innerhalb dessen ein eigenes digitales Musikinstrument – das KlangHolz – konzipiert wurde. Die Interaktion findet über das Anordnen von Glaskugeln auf einem Holzbrett statt. Sensoren messen die Position der Kugeln und identifizieren die Kugeln. Die Messwerte werden digitalisiert, verarbeitet und in einer bestimmten Weise auf einen Klangerzeugungs-Algorithmus abgebildet. Zu diesem Zweck wurden Technologien zur Realisierung digitaler Musikinstrumente mit greifbaren Benutzerschnittstellen analysiert. Tangible Interaction beinhaltet, dass die physische Welt zur Benutzerschnittstelle wird. Daher umfassen die betrachteten Themenbereiche sowohl Sensortechnologie, als auch Elektronik, also Möglichkeiten der Digitalisierung von Sensor-Daten sowie Musik-Programmiersprachen, das heißt Möglichkeiten der Klangerzeugung. Für die Umsetzung des praktischen Teils wurde eine Kombination aus einem eigenen, mit Sensoren erweiterten, Hardware-Controller und Elektronik auf der Basis des Open-Hardware-I/O-Boards Arduino gewählt. Für die Kommunikation zwischen Hardware und Software wurde eigens ein einfaches serielles Protokoll definiert. Die Software für das Mapping der Daten auf die Klangerzeugung wurde unter Verwendung der Musik-Programmiersprache Pure Data entwickelt. 96 7.2 Fazit Der Realisierung des KlangHolzes liegt ein Interaktionskonzept zugrunde. Ausgehend von den Gegebenheiten des Controllers wurden Möglichkeiten zur Steuerung der musikalischen Struktur entwickelt. Hierbei konnten drei grundlegende Konzepte – Auslösen, Anordnen und Auswählen – identifiziert werden. Weiterhin wurde untersucht, welche Varianten der Einflussnahme auf Parameter einzelner Klänge und der sich im zeitlichen Zusammenhang daraus ergebenden musikalischen Parameter möglich sind. Hierzu wurde die Eignung der verschiedenen Dimensionen der Kontrolle untersucht, wobei, im Sinne der Nachvollziehbarkeit der Interaktion, die Mechanismen akustischer Musikinstrumente als Anhaltspunkt dienten. Schließlich wurden für das KlangHolz, den drei Konzepten zur strukturellen Steuerung entsprechend, verschiedene Mapping-Konzepte von Controller auf Klangerzeugung entwickelt, prototypisch umgesetzt und ausgewertet. Jedes dieser Konzepte stattet das Instrument mit einem eigenen Charakter aus und positioniert es auf eine bestimmte Weise im Kontinuum zwischen interaktiver Klanginstallation und anspruchsvollem digitalem Musikinstrument. Das KlangHolz erfüllt weiterhin verschiedene Ansprüche: Neben der akustischen Ausgabe vermittelt das Instrument visuelle Information über seinen Zustand bereits durch das Anordnen der Kugeln auf der Holzoberfläche sowie durch die an der Interaktion beteiligten Gesten. Als Tangible-Interaction-System ist es per se für die gleichzeitige Verwendung durch mehrere Benutzer geeignet. Anwendungen sind vor allem im Rahmen interaktiver Installationen oder auch in der musikalischen Ausbildung denkbar. 7.2 Fazit Es konnte gezeigt werden, dass das in der Einleitung beschriebene Szenario umgangen werden kann: Die Aufführung von Computer-Musik muss nicht bewegungslos hinter Monitor und Tastatur stattfinden, sondern kann, ähnlich dem Spiel konventioneller Musikinstrumente, ein lebendiger körperlicher Interaktionsprozess sein. Dazu wurde eine Verbindung von Konzepten des Baus digitaler Musikinstrumente, der Tangible Interaction sowie von Technologien zur Erzeugung greifbarer Benutzerschnittstellen und musikalischer Anwendungen hergestellt und darauf aufbauend ein eigenes Interaktionskonzept sowie ein digitales Musikinstrument entwickelt. 97 7 Schlussbetrachtungen Der prototypische Bau von Tangible-User-Interface-Systemen ist ein mit vielen Problemquellen behaftetes Unterfangen. Das Zusammenspiel verschiedenster Technologien, zum Beispiel Sensoren, Elektronik oder Programmierung, und die Realisierung des Systems als Verbindung von virtueller und physischer Welt, stellten besondere Herausforderungen bei der Umsetzung dar. 7.3 Ausblick Die Ergebnisse der vorliegenden Arbeit können die Grundlage für weitere Schritte sein – sowohl weitere Experimente, als auch Forschungsthemen im Bereich digitaler Musikinstrumente mit Tangible User Interfaces. Das KlangHolz-Instrument selbst kann um verschiedene Konzepte erweitert werden. Denkbar wäre die Einführung nicht-akustischen Feedbacks, um dem Musiker und dem Publikum weitere Informationskanäle über den aktuellen Zustand des Instrumentes zur Verfügung zu stellen. Hierfür wären zusätzlich generierte visuelle Rückkopplungen des Instrumentes möglich, etwa Projektionen auf der Oberfläche des Instrumentes oder im umgebenden Raum. Eine weitere Variante wäre die Bereitstellung haptischen Feedbacks, also beispielsweise Vibrationen der verwendeten physischen Objekte, um deren Aktivität zu signalisieren. Die entwickelten Interaktionskonzepte können bei der Gestaltung weiterer digitaler Musikinstrumente oder interaktiver Klanginstallationen angewendet werden. In diesem Rahmen wären weiterführende Forschungen zu geeigneten Technologien für die Konstruktion von Controllern digitaler Musikinstrumente mit greifbaren Benutzerschnittstellen angebracht. Schließlich kann eine weitergehende Differenzierung der Einsatzbereiche, zum Beispiel in Live-Aufführungen, als Bestandteil interaktiver Installationen oder auch in der Verwendung für musikalische Ausbildung, vorgenommen werden. Außerdem sind entsprechende Verfeinerungen der Interaktionskonzepte möglich. Insbesondere für den Ausbildungsbereich ist die Fragestellung denkbar, wie das Greifbar-Machen der Musik auch in andere Anwendungsgebiete übertragen werden kann. Letztendlich ist zu bedenken, dass Grenzüberschreitungen und das Loslösen von vertrauten Formen und Regeln gerade in der Musik neue Wege eröffnen sowie kreative Ergebnisse und Erlebnisse mit sich bringen können. Aber auch Einschränkungen und Limitationen stellen oft eine Quelle der Inspiration und Kreativität dar. Diese 98 7.3 Ausblick Gedanken können bezüglich der Konzeption und technischen Umsetzung von greifbaren Benutzerschnittstellen digitaler Musikinstrumente fortgeführt werden und zu weiteren interessanten Ergebnissen führen. 99 A KlangHolz – System-Entwurf Für den Entwurf der KlangHolz-Software wurde die Use-Case-Maps-Notation verwendet (siehe Abbildungen A.1, A.2 und A.3). Auf diese Weise können Verhalten und Struktur einer komplexen Anwendung gut beschrieben werden. Da es sich bei Pure Data um eine grafische Programmiersprache handelt, liefern die entwickelten Patches gleichzeitig detailliertere Entwurfsbeschreibungen.1 Abbildung A.1: KlangHolz-Entwurf: Root-Map für das gesamte System 1 Die Pd-Patches sind auf der beiliegenden CD-Rom gespeichert: Als Pd-Dateien unter Quellcode/PureData-Patches, außerdem im Postscript-Format im Ordner Quellcode/PureData-Patches/postscript 101 A KlangHolz – System-Entwurf Abbildung A.2: KlangHolz-Entwurf: Plugins (Verfeinerungen) für den Arduino-Microcontroller Abbildung A.3: KlangHolz-Entwurf: Plugins für die Pd-Patches 102 B KlangHolz – Bilder Abbildung B.1 zeigt eine Ansicht des KlangHolzes mit verschiedenfarbigen Glaskugeln. Die Abbildungen B.2(a) und B.2(b) dokumentieren den Bau des Controllers. Abbildung B.1: Das KlangHolz 103 B KlangHolz – Bilder (a) Bohrung (b) Rückseite Abbildung B.2: Bau des KlangHolzes 104 Literaturverzeichnis [Ard07] Arduino. Arduino. 2007. URL: http://arduino.cc/ [Stand vom 11.08.2008]. [BFH+ 07] Alan F. Blackwell, George Fitzmaurice, Lars Erik Holmquist, Hiroshi Ishii und Brygg Ullmer. Tangible user interfaces in context and theory. In CHI ’07: CHI ’07 extended abstracts on Human factors in computing systems, 2007. [BK04] Nick Bryan-Kinns. Computers in Support of Musical Expression. Technical report, Queen Mary University of London, 2004. [BMHS03] Rodney Berry, Mao Makino, Naoto Hikawa und Masumi Suzuki. The Augmented Composer Project: The Music Table. In Proceedings of the Second IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR ’03), 2003. [Bon00] Bert Bongers. Physical Interfaces in the Electronic Arts: Interaction Theory and Interfacing Techniques for Real-time Performance. Technical report, Engineering Design Centre, University of Cambridge, 2000. [CSR03] Enrico Constanza, Simon B. Shelley und John Robinson. Introducing Audio D-Touch: A Tangible User interface for Music Composition and Performance. In Proceedings of the 6th International Conference on Digital Audio Effects (DAFX-03), 2003. [Cyc08] Cycling ’74. Cycling ’47 || Tools For Media. 2008. URL: http://www. cycling74.com/ [Stand vom 20.02.2008]. [Deg07] Yves Degoyon. PiDiP Is Definitely In Pieces. 2007. URL: http:// ydegoyon.free.fr/pidip.html [Stand vom 04.02.2008]. [Doe08] Doepfer Musikelektronik. MIDI-Interfaces. 2008. URL: http://www. doepfer.de/prod_d.htm#MIDI-Interfaces [Stand vom 04.02.2008]. 105 Literaturverzeichnis [End05] Bernd Enders, Hrsg. Mathematische Musik - musikalische Mathematik. Pfau-Verlag, Saarbrücken, 2005. [Fis04] Kenneth P. Fishkin. A taxonomy for and analysis of tangible interfaces. Personal and Ubiquitous Computing, 8(5):347–358, 2004. [Föl04] Golo Föllmer. Medien Kunst Netz (2004): Cahill, Thaddeus: Telharmonium. 2004. URL: http://www.mediaartnet.org/werke/telharmonium/ [Stand vom 06.07.2007]. [FWC07] Rebecca Fiebrink, Ge Wang und Perry R. Cook. Don’t Forget the Laptop: Using Native Input Capabilities for Expressive Musical Control. In Proceedings of the 2007 Conference in New interfaces for Musical Expression (NIME07), 2007. [Gan01] Seum-Lim Gan. Squeezables. 2001. URL: http://xenia.media. mit.edu/~gan/Gan/Education/MIT/MediaLab/Research/Squeezables/ [Stand vom 08.01.2008]. [GF08] Saul Greenberg und Peter Fitchett. Phidgets – Physical widgets for prototyping physical user interfaces. 2008. URL: http://grouplab.cpsc. ucalgary.ca/phidgets/ [Stand vom 04.02.2008]. [Han08] Yoon Chung Han. Sound Marble. 2008. URL: http://mohoya.com/ soundmarble/ [Stand vom 04.02.2008]. [Hil07] Jürgen Hiller. Trautonium. 2007. URL: http://trautonium.de/ [Stand vom 11.07.2009]. [Hor07] Eva Hornecker. Die Rückkehr des Sensorischen: Tangible Interfaces und Tangible Interaction. In Hans Dieter Hellige, Hrsg., Engpass MenschComputer-Interface. Historische, aktuelle und zukünftige Lösungsansätze für die Computerbedienung. Transcript Verlag (in press), 2007. [HSU04] Lars Erik Holmquist, Albrecht Schmidt und Brygg Ullmer. Tangible interfaces in perspective. Personal and Ubiquitous Computing, 8(5):291– 293, 2004. [IEM08a] IEM – Institute of Electronic Music and Acoustics. About Pure Data – PD Community Site. 2008. URL: http://puredata.info/ [Stand vom 20.02.2008]. [IEM08b] IEM – Institute of Electronic Music and Acoustics. Gem – PD Community Site. 2008. URL: http://gem.iem.at/ [Stand vom 20.02.2008]. 106 Literaturverzeichnis [IML01] Hiroshi Ishii, Ali Mazalek und Jay Lee. Bottles as a minimal interface to access digital information. In CHI ’01: CHI ’01 extended abstracts on Human factors in computing systems, 2001. [IU97] Hiroshii Ishii und Byrgg Ullmer. Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms. In Proceedings of CHI ’97, March 1997. [JKGB05] Sergi Jordà, Martin Kaltenbrunner, Gunter Geiger und Ross Bencina. The reacTable*. In Proceedings of the International Computer Music Conference (ICMC2005), 2005. [Jor01] Sergi Jordà. New Musical Interfaces and New Music-making Paradigms. In Proceedings of New Interfaces for Musical Expression. CHI 2001, 2001. [Jor04a] Sergi Jordà. Digital Instruments and Players: Part I – Efficiency and Apprenticeship. In Proceedings of International Conference on New Interfaces for Musical Expression, 2004. [Jor04b] Sergi Jordà. Digital Instruments and Players: Part II – Diversity, Freedom and Control. In Proceedings of International Computer Music Conference 2004, 2004. [Jor05] Sergi Jordà. Multi-user Instruments: Models, Examples and Promises. In Proceedings of 2005 International Conference on New Interfaces for Musical Expression, 2005. [Kis06] Spencer Kiser. SpinCycle: a color-tracking turntable sequencer. In NIME ’06: Proceedings of the 2006 conference on New interfaces for musical expression, 2006. [KJGA06] Martin Kaltenbrunner, Sergi Jordà, Gunter Geiger und Marcos Alonso. The reacTable*: A Collaborative Musical Instrument. In WETICE ’06: Proceedings of the 15th IEEE International Workshops on Enabling Technologies: Infrastructure for Collaborative Enterprises, Seiten 406–411, 2006. [Les07] Charles Richard Lester. Theremins. 2007. URL: http://www.137.com/ theremin/ [Stand vom 11.07.2009]. [Mas36] C. P. Mason. Theremin “Terpsitone”: A New Electronic Novelty. Radio Craft, Seite 365, 1936. [McC07] James McCartney. The SuperCollider Home Page. 2007. URL: http: //www.audiosynth.com/ [Stand vom 20.02.2008]. 107 Literaturverzeichnis [MM07] Thor Magnusson und Enrike Hurtado Mendieta. The Acoustic, the Digital and the Body: A Survey on Musical Instruments. In Proceedings of the 2007 Conference in New interfaces for Musical Expression (NIME07), 2007. [Moo05] David Mooney. Opaque Melodies: The Rythmicon. 2005. URL: http: //www.city-net.com/~moko/rhome.html [Stand vom 09.07.2007]. [Mus08a] Music Technology Group – Pompeu Fabra University – Barcelona. Reactable Media. 2008. URL: http://mtg.upf.edu/reactable/?media [Stand vom 08.01.2008]. [Mus08b] Music Technology Group – Pompeu Fabra University – Barcelona. reacTIVision 1.3. 2008. URL: http://mtg.upf.edu/reactable/?software [Stand vom 04.02.2008]. [obs05a] obsolete.com. 120 Years of Electronic Music: Mellotrons and Chamberlins. 2005. URL: http://www.obsolete.com/120_years/machines/ mellotron/index.html [Stand vom 10.08.2008]. [obs05b] obsolete.com. 120 Years of Electronic Music: The Electro- phon, Sphäraphon, Partiturophon and the Kaleidophon (19211930). 2005. URL: http://www.obsolete.com/120_years/machines/ spharaphon/index.html [Stand vom 10.08.2008]. [obs05c] obsolete.com. 120 Years of Electronic Music: The Theremin. 2005. URL: http://www.obsolete.com/120_years/machines/theremin/index. html [Stand vom 09.07.2007]. [Pie99] John R. Pierce. Klang – Musik mit den Ohren der Physik. Spektrum Akademischer Verlag, 1999. [PO03] Joseph A. Paradiso und Sile O’Modhrain. Current Trends in Electronic Music Interfaces. Journal of New Music Research, Special Issue on New Musical Interfaces, 32(4), 2003. [Rus98] André Ruschkowski. Elektronische Klänge und musikalische Entdeckungen. Philipp Reclam jun. Stuttgart, 1998. [Sac13] Curt Sachs. Reallexilon der Musikinstrumente. Georg Olms Verlag, Berlin, 1913. [Sta07] Kurt Stallmann. An Interview with Max Mathews. Society for ElectroAcoustic Music in the United States Newsletter, July 2007. 108 Literaturverzeichnis [Ste05a] Hans-Christoph Steiner. Building your own instrument with Pd. In Proceedings of the 1st International Pd Conference, Graz, Austria, 2005. [Ste05b] Hans-Christoph Steiner. [hid] toolkit: a unified framework for instrument design. In Proceedings of the 2005 conference on New Interfaces for Musical Expression (NIME05), 2005. [The07] Theremin Center. Theremin Center: Rhythmicon. 2007. URL: http: //theremin.ru/ [Stand vom 11.07.2009]. [UI00] Brygg Ullmer und Hiroshi Ishii. Emerging frameworks for tangible user interfaces. IBM Systems Journal, 39(3-4):915–931, 2000. [Wai06] Michel Waisvisz. The Hands. 2006. URL: http://www.crackle.org/ TheHands.htm [Stand vom 08.08.2007]. [WC03] Ge Wang und Perry Cook. ChucK: A Concurrent, On-the-fly, Audio Programming Language. In Proceedings of the International Computer Music Conference. ICMA, 2003, Seiten 219–226, 2003. [WC08] Ge Wang und Perry Cook. ChucK => Strongly-timed, On-the-fly Audio Programming Language. 2008. URL: http://chuck.cs.princeton.edu/ [Stand vom 20.02.2008]. [Wei07] Kristine Weißbarth. Klangsichten – Musikalische Perspektiven des Klangeinsatzes für interaktive Interfaces. Diplomarbeit, Technische Universität Dresden, 2007. [WG01] Gil Weinberg und Seum-Lim Gan. The Squeezables: Toward an Expressive and Interdependent Multi-player Musical Instrument. Computer Music Journal, 25(2):37–45, 2001. [Wir07] Wiring. Wiring. 2007. URL: http://www.wiring.org.co/ [Stand vom 11.08.2008]. 109 Abbildungsverzeichnis 2.1 Bestandteile eines digitalen Musikinstrumentes . . . . . . . . . . . . 12 2.2 Einfaches Beispiel für ein digitales Musikinstrument 13 2.3 Allgemeine Funktion der Abbildung zwischen Controller und Klanger- . . . . . . . . . zeugung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4 14 Schematischer Aufbau von Musik (Darstellung in Anlehnung an [Wei07, Seite 57]) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.1 Schritte in der Entwicklung der Musikinstrumente bis heute . . . . . 20 3.2 Theremin und Rhythmicon . . . . . . . . . . . . . . . . . . . . . . . 24 3.3 Das Terpsiton und das Trautonium . . . . . . . . . . . . . . . . . . . 25 3.4 The Hands 31 3.5 Die tischbasierten Musikinstrumente Audio D-Touch, ReacTable und . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Music Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.6 Die digitalen Musikinstrumente SpinCycle, MusicBottles und The Squeezables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1 32 34 Interaktion zwischen Benutzer (Musiker oder Publikum) und einem Musikinstrument (oder einer interaktiven Installation) . . . . . . . . 37 4.2 Ebenen der Kontrolle eines Instrumentes über Musik . . . . . . . . . 41 4.3 Diversität eines Musikinstrumentes nach [Jor04b] . . . . . . . . . . . 43 4.4 Feedback eines Musikinstrumentes . . . . . . . . . . . . . . . . . . . 45 5.1 MVC-Interaktionsmodell nach [UI00] . . . . . . . . . . . . . . . . . . 56 5.2 MCRpd-Interaktionsmodell für TUIs nach [UI00] . . . . . . . . . . . 57 5.3 Beispielinstrument A . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.4 Beispielinstrument B . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.5 Beispielinstrument C . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.6 Beispielinstrument D . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.7 Beispielinstrument E . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 111 Abbildungsverzeichnis 5.8 Beispielinstrument F . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.9 Taxonomie zur Einordnung von Tangible Interaction Systemen mit 64 den drei Dimensionen Verkörperung, Metapher und Körper und Raum 65 6.1 Möglichkeiten zur Beeinflussung der musikalischen Struktur beim KlangHolz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6.2 Dimensionen der Kontrolle beim KlangHolz . . . . . . . . . . . . . . 72 6.3 Schema der Mensch-Maschine-Interaktion nach [Bon00] . . . . . . . . 78 6.4 Interaktion zwischen Mensch und digitalem Musikinstrument (nach [Bon00]) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 6.5 KlangHolz: beteiligte Hardware- und Software-Komponenten . . . . . 87 6.6 KlangHolz: Details der Umsetzung . . . . . . . . . . . . . . . . . . . 88 6.7 Schaltplan für die Elektronik des KlangHolzes . . . . . . . . . . . . . 89 6.8 KlangHolz Pd-Patch . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 A.1 KlangHolz-Entwurf: Root-Map für das gesamte System . . . . . . . . 99 A.2 KlangHolz-Entwurf: Plugins (Verfeinerungen) für den Arduino-Microcontroller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 A.3 KlangHolz-Entwurf: Plugins für die Pd-Patches . . . . . . . . . . . . 100 B.1 Das KlangHolz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 B.2 Bau des KlangHolzes . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 112 Tabellenverzeichnis 6.1 Steuern der musikalischen Struktur . . . . . . . . . . . . . . . . . . . 71 6.2 Mapping von Kontrolldimensionen auf Klangparameter . . . . . . . . 75 6.3 Übersicht zu den verschiedenen I/O-Boards . . . . . . . . . . . . . . 81 6.4 Übersicht zu den verschiedenen Musik-Programmierumgebungen . . 84 113
