TouchDesigner
TouchDesigner ist eine knoten-basierte Programmiersprache und Plattform zur Entwicklung von Echtzeit-Anwendungen. Das Programm findet man häufig bei Installationen, Aufführungen und anderen festen Medienarbeiten.
Die Möglichkeiten der Software sind sehr vielfältig. So kann man verschiedene Inputs mithilfe der sogenannten Dialoge verändern, kombinieren und miteinander interagieren lassen. Durch die Aneinanderreihung und Verknüpfung dieser Knotenpunkte können dann verschiedene Outputs generiert werden. Hierbei kann es sich um Audio, Video, dreidimensionale Darstellungen, oder simple Daten wie Tabellen oder Graphen handeln.
Integration in Worlds Of Sound
TouchDesigner spielt in unserer Installation die entscheidende Rolle für die Realisierung der Visuals. Das Audio wird über die DAW (Digital Audio Workstation) Ableton Live kontrolliert, was allerdings keine Möglichkeiten bietet um Bilder darzustellen. Um die Projektionsbilder ebenfalls auf die Interaktion reagieren zu lassen, benötigen wir also eine Schnittstelle zwischen Ableton und TouchDesigner.
TD-Ableton
TD-Ableton ist eine vorgefertigte TouchDesigner-Komponente, die es erlaubt die beiden Softwares miteinander zu verknüpfen und laufend zu synchronisieren. Um eine Verbindung herzustellen werden mehrere Plugins für Ableton Live benötigt, da es keinen nativen Support für TouchDesigner gibt.
Um die Kommunikation der Programme zu starten, muss das sogenannte TDA-Master Device auf den Master-Bus des Ableton-Projekts gelegt werden. Nachdem die richtige Port-Konfiguration getroffen ist, werden fortan beide Programme miteinander synchronisiert. Sowohl die Kontrolle von Ableton über TouchDesigner als auch umgekehrt ist damit möglich.
Die TD-Ableton-Komponente bietet verschiedene Zugriffsmöglichkeiten auf das Ableton Set:
abletonSong
Der AbletonSong-Dialog ruft die grundlegenden Rahmendaten des Tracks ab. Hier werden Tempo, Playhead-Position, Zeit, Cuepoints und Taktinformationen dargestellt.
Dadurch können Abschnitte des Ableton-Sets einfach in TouchDesigner übertragen werden und dort zwischen unterschiedlichen Visualisierungen wechseln. Die Beats und Ticks eignen sich gut für die Synchronisations der beiden Softwares.
abletonMIDI
AbletonMIDI gibt, wie der Name schon sagt, MIDI-Werte von Ableton aus. Dafür muss zunächst ein Track aus dem Ableton-Set ausgewählt werden. Wichtig ist hier zu beachten, dass falls die gewünschten Werte durch einen Arpeggiator- oder Delay-Effekt in einer Chain erzeugt werden, die Post-FX-Werte gesendet werden. Dies kann in Ableton in der Spurübersicht rechts eingestellt werden.
Der Übersicht halber empfiehlt es sich, für die Post-FX-Werte einen eigenen Track anzulegen der über einen Bus-Port seperat gelegt wird.
In der Abbildung sieht man beispielhaft die MIDI-Werte des Würfel-Controllers. Ableton empfängt die Ausrichtung des Controllers über den virtuellen MIDI-Eingang, und gibt über einen Post-FX-Bus die Werte an TouchDesigner weiter. Hier kommen dieselben Werte an, die Ableton auch im Synthesizer triggert, der letztendlich die Töne generiert. Somit ist eine punktgenaue Übertragung der Tonhöhe, Lautstärke, und Zeitpunkt des Klangs möglich.
abletonTrack
Um auf die Eigenschaften eines gesamten Ableton-Tracks zugreifen zu können, ist die abletonTrack-Komponente bestens geeignet. Hiermit können der Pegel-Output, Balance und Panning, sowie Lautstärke und Stummschaltung ausgegeben, als auch kontrolliert werden.
Für das Abbildungsbeispiel ist diesmal der CUBE-Track und nicht der CUBE-MIDI-Track verknüpft. Der Grund ist, dass der MIDI-Track keinen Level-Output, also hörbare Audio-Signale ausgibt. Dieser liefert nur die Daten für den abletonMIDI-Dialog. Der CUBE-Track jedoch ist die Spur die das Audio-Signal liefert was auch zu hören ist, demnach also auch einen Pegel-Output hat.
abletonDeviceParameters / abletonParameter
Der feinste Zugriff auf unser Set ist mit den abletonParameter-Dialogen von TD-Ableton möglich. Beide Dialoge ermöglichen den Zugriff auf jede Einstellung der Synthesizer und Effekte in der Ableton Track-Chain.
Über die Dialog-Parameter von TouchDesigner kann jetzt genau eingestellt werden auf welchen Knob in der Chain zugegriffen werden soll.
In diesem Beispiel soll der Parameter „Sync Rate“ eines Arpeggio-Effekts für den CUBE-Track verändert werden. Dazu stellen wir die Dropdowns in TouchDesigner entsprechend des Chain-Pfads in Ableton ein: CUBE/Instrument Rack/Wavetable/Arpeggiator/Synced Rate
Der abletonDeviceParameters-Dialog ist allerdings deutlich nützlicher, da hier nicht nur auf einen, sondern alle Parameter eines Chain-Devices zugegriffen werden kann. So werden, wenn wir wieder über den Pfad CUBE/Instrument Rack/Wavetable/Arpeggiator zugreifen, alle Werte des Arpeggiators in TouchDesigner angezeigt.
Damit ist sowohl eine sehr feine Anpassung der Sounds über TouchDesigner, aber auch eine ebenso feine Bearbeitung der visuellen Komponente über Ableton möglich.