Konvergente Raumakustik für die Virtuelle Realität

„EarKAR“ steht für „Erzeugung von audiovisueller räumlicher Konvergenz für Augmented Reality-Anwendungen und Systeme“ und wird geleitet durch die Dear Reality GmbH und Prof. Dr. Christoph Pörschmann vom Institut für Nachrichtentechnik. Im Projekt sollen technologische Verfahren für Augmented Reality-Anwendungen (AR) entwickelt werden, um die raumakustischen Eigenschaften virtueller Schallquellen so anzupassen, dass sie adäquat in die reale Umgebung des AR-Nutzers eingebettet werden können.

Was versteht man darunter? Ein Szenario: In einem Saal einer mittelalterlichen Burg findet ein Galaempfang statt. Vier Musiker spielen auf historischen Instrumenten. Doch die Besucherinnen und Besucher tragen eine Virtual Reality-Brille und Kopfhörer und fühlen sich wie in einer Zeitreise 600 Jahre zurückversetzt: Alle sind sich darin einig, dass sich der Klang der Instrumente perfekt in die Raumakustik des großen Saales anpasst. Doch das Konzert und die Musiker sind nur mit der Brille sicht- und hörbar. Das sogenannte Augmented Reality-Device ermöglicht es, dass künstlich dargebotene Objekte sowohl auditiv als auch visuell in den Darbietungsraum eingebettet werden. Die Reflexionen des Schalls, der Nachhall, die gesamte Raumakustik der vier Musikinstrumente werden in Echtzeit gerechnet.

Um jede Diskrepanz zwischen den natürlichen Schallereignissen, den virtuell im Raum platzierten Musikern und der visuellen Darbietung zu vermeiden, wird dabei großen Wert auf eine audiovisuelle Konvergenz gelegt – also dem zeitgleichen Zusammenspiel von Bild und Ton. Würde dieses mittelalterliche Konzert virtuell in eine kleine Kapelle verlegt werden, müsste die Raumakustik auf den baulichen Klangkörper der Kapelle angepasst und hörbar gemacht werden. Ziel des Projektes „EarKAR“ ist es, die jeweils passende Raumakustik automatisch durch das AR-Device zu ermitteln, wenn die Zuhörerinnen und Zuhörer den Raum betreten. Das Projekt startet im Februar 2019 und hat eine Laufzeit von zwei Jahren.