S. Kranz: Du forscht zurzeit am Max Delbrück Zentrum für Molekulare Medizin in Berlin und am Kölner Institut für Softwaretechnologie des Deutschen Zentrums für Luft- und Raumfahrt in Köln. Wie kam es dazu?
M. Hennecke: Ich habe mich mit meinem Projekt »The Unanswered Question« für das Austauschprogramm »Kunst trifft Wissenschaft« beworben. Dieses Programm wurde gemeinsam von der Helmholtz Information and Data Science Academy und der Akademie für Theater und Digitalität in dieser Spielzeit erstmalig initiiert. Voraussetzung für die Bewerbung war, dass man eine Forschungseinrichtung der Helmholtz-Gemeinschaft findet, die das Projekt unterstützt und einen Studienaufenthalt ermöglicht. Ich hatte das Glück, dass gleich zwei Einrichtungen mir ihre Unterstützung zugesagt haben und nach einem gemeinsamen Gespräch, haben wir dann beschlossen, uns mit beiden Helmholtz Einrichtungen zu bewerben. Das hat geklappt.
S. Kranz: Woran forscht ihr genau?
M. Hennecke: Was mich schon länger beschäftigt, ist die Frage, wie man es schaffen kann, das Publikum mehr in die Konzerte oder die Theateraufführungen einzubinden. Jeder, der auf der Bühne agiert, weiß, welchen großen Einfluss das jeweils vor Ort anwesende Publikum auf die Vorstellung oder das Konzert hat. Deswegen habe ich nach einer Möglichkeit gesucht, Daten der Zuschauer zu erfassen und sie als Teil des Konzertabends zu nutzen. Diese Daten sollen durch Künstliche Intelligenz bearbeitet werden, um daraus einen Orchester-Liveremix zu generieren. Der Titel des Projektes bezieht sich auf das gleichnamige Orchesterwerk »The Unanswered Question« des amerikanischen Komponisten Charles Ives. Ives ließ sich zu diesem Musikstück von dem Gedicht »The Sphinx« des Lyrikers Ralph Waldo Emerson inspirieren. Darin geht es um die Sphinx, die die Stadt Theben belagert. Um an ihr vorbei zu kommen, muss man ein Rätsel lösen. Wer falsch antwortet, wird gefressen. Einzig der thebanische König Ödipus kann ihr entkommen, indem er erkennt, dass der Mensch die Lösung des Rätsels ist. Es geht also um die Frage nach dem menschlichen Sein. Ich fand es spannend, mich dieser Frage mit Hilfe der künstlichen Intelligenz zu nähern und für die Entwicklung eines Prototyps diese Komposition zu nutzen.
S. Kranz: Wie geht ihr das Forschungsvorhaben konkret an?
M. Hennecke: Nach einem ersten Aufenthalt an der Akademie für Theater und Digitalität im Herbst letzten Jahres, bei dem ich an der künstlerischen Umsetzung des Projektes gearbeitet habe, war ich mit dem Schauspieler Raimund Widra am Max Delbrück Zentrum für Molekulare Medizin in Berlin.
Dort forscht das Ultrahigh Field Facility an MRTs, die 2 ½ mal so stark sind, wie ein normales MRT. Raimund Widra hat sich in diese MRT gelegt und das Gedicht rezitiert und dabei wurde sein Herz aufgenommen. Dabei wurde eine Vielzahl von Daten generiert, die im Projekt als Datenmaterial und Input für die Künstliche Intelligenz dienen sollen. Zurzeit bin ich am Institut für Softwaretechnologie des Deutschen Zentrums für Luft- und Raumfahrt. Dort beschäftigen wir uns gerade mit der Erfassung der Zuschauerdaten und der Programmierung der künstlichen Intelligenz, die für das Projekt nötig sind.
S. Kranz: Du sprichst von der Erfassung von Zuschauerdaten, was ja aus Datenschutz-Gründen ein brisantes Thema ist. Was sind das für Daten und wie werden sie erfasst?
M. Hennecke: Also wir sammeln humanoide Daten, welche das ganz konkret sein werden und wie wir das während des Konzertes bewerkstelligen, ist gerade eine unserer Forschungsfragen. In der engeren Auswahl sind drei Möglichkeiten. Da ist erstmal die Aufzeichnung des Pulsschlags der Zuschauer, das kennt man ja von Sport-Apps, es gibt so Armbänder, die den Pulsschlag an das eigene Smartphone weitergegeben. Aus dieser Aufzeichnung kann man dann die Herzfrequenz errechnen. Diese Herangehensweise würde sich gut anbieten, weil die Technik schon vorhanden ist und es relativ einfach zu bewerkstelligen wäre. Die zweite Möglichkeit, mit der wir experimentieren, sind Gesichtserkennungs-Kameras. Auch da gibt es schon Software, die erkennen kann, ob sich jemand freut oder ob jemand traurig ist, aber auch zum Beispiel ob sich jemand bewegt oder gestikuliert, ob er ruhig ist oder unruhig. Die Gesichtserkennung zur Generierung von Daten zu nutzen hätte den Vorteil, dass man keine Leute verkabeln muss, sondern einfach ein paar Kameras hinstellt und das Publikum aufnimmt. Die dritte Möglichkeit, die wir gerade noch untersuchen ist, ob man über Apps einen Fragebogen ans Publikum leitet und aus den unterschiedlichen Antworten Scores, also ein Punktesystem kreiert. Am elegantesten wäre es, da weiß ich aber noch nicht ob wir das hinkriegen, wenn wir jetzt diese drei Möglichkeiten alle gleichzeitig nutzen und miteinander verbinden.
S. Kranz: Und diese Daten sollen dann die Komposition von Charles Ives verändern?
M. Hennecke: Ja, bei der Aufführung planen wir, das Publikum in zwei Gruppen zu teilen, sodass zwei Remixe entstehen, die dann nacheinander gespielt werden. So kann man die Veränderung der Komposition besser nachvollziehen.
S. Kranz: Und hast du keine Sorge, dass die Zuschauer nicht bereit sind, ihre Daten zur Verfügung zu stellen?
M. Hennecke: Es wird ja niemand gezwungen, in das Konzert zu gehen. Aber die Datensicherheit muss man natürlich im Blick behalten, das ist klar. Auf der anderen Seite kann das natürlich auch ein schönes Themenfeld eröffnen, diese Techniken gehören ja zu unserem Alltag. Wie steht es mit der Privatsphäre und Überwachung im öffentlichen Raum? Auf was lassen wir uns da ein? Es kann sehr spannend sein, da thematisch drauf einzusteigen.
S. Kranz: Indem man im Anschluss an so einem Konzert darüber spricht?
M. Hennecke: Ja genau oder auch in Folgeprojekten, also wenn andere Komponisten vielleicht mit der Technologie Stücke schreiben, die sich dann genau so einem Thema widmen.
S. Kranz: Und wie sieht das praktisch aus? Nehmen wir mal an, da sitzen hundert Zuschauer, die hören diese Originalkomposition und strahlen alle wie die Honigkuchenpferde, weil es ihnen wahnsinnig gut gefällt und gleichzeitig geht ihr Puls total hoch. Wie verändert das dann die Musik, wird sie schneller, kommt da eine bestimmte Tonalität dazu? Du bist ja wahrscheinlich derjenige, der das festlegen wird.
M. Hennecke: Ich muss die Eckpfeile setzen, aber es ist ein bisschen komplizierter. Denn nicht die unmittelbare Reaktion der Zuschauer steuert den Remix, sondern diese Daten werden dann mit den Daten von Raimund Widras Herz korreliert. Eine Künstliche Intelligenz wird unterschiedlichste Relationen zwischen diesen Daten feststellen, es gibt da sehr viele Möglichkeiten.
S. Kranz: Aber trotzdem bleibt ja die Frage: Wie verändert sich die Komposition dadurch? Also, schneller, lauter, leiser, andere Tonart, …?
M. Hennecke: Da gibt es unendlich viele Möglichkeiten, man kann auch mit dem Raum spielen, aus den Worten des Schauspielers könnte ein kleines Drumset entstehen und so weiter und so weiter. Mir wäre es allerdings am liebsten, wenn ich das nicht so kleinlich festlegen müsste, sondern ich hoffe, dass wir ein Programm schreiben, das selbst entscheidet. Für eine Relation wie »schnellerer Pulsschlag = schnelleres Tempo« braucht man ja keine Künstliche Intelligenz. Im Idealfall sollte die Künstliche Intelligenz, die wir angelernt haben, selbst entscheiden, was daraus entsteht. Das wäre eigentlich das spannendste Ergebnis des Ganzen, vielleicht sogar eine der Antworten auf »The Unanswered Question«.
Nachsatz: Das Projekt von Martin Hennecke soll als Prototyp in einer Voraufführung im Mai, in der Akademie für Theater und Digitalität gezeigt werden. In Saarbrücken kann man die Aufführung in der kommenden Spielzeit in der Alten Feuerwache erleben.
Das Gespräch entstand in Mitarbeit von Emma Berber.