Besseres Hörerlebnis bei Augmented-Reality-Anwendungen

Mithilfe von Augmented-Reality (AR) werden virtuelle Elemente in das reale Umfeld der Nutzerinnen und Nutzer eingebettet. Wenn der Ton in der digitalen Anwendung aber nicht zur Raumakustik passt, wird das bruchlose Eintauchen in die erweiterte Realität, die Immersion, gestört. Augmented Reality schafft eine sogenannte Mixed Reality, eine Kombination aus realer und computergenerierter Wirklichkeit. Im Gegensatz zur Virtual Reality wird dabei keine neue Welt, sondern eine Erweiterung der physischen Umgebung kreiert– etwa über mobile Endgeräte oder Datenbrillen. Mithilfe dieser Technik kann zum Beispiel ein Videochat-Gesprächspartner als Hologramm im Raum abgebildet werden. Damit diese Einbettung in die reale Welt möglichst realistisch ist, müssen verschiedene Kriterien wie korrekte Maßstäbe und Schatten, aber auch eine Anpassung des virtuellen Tons an die vorhandene Raumakustik, erfüllt sein.

„Wenn ein Mensch einen Raum betritt, hat er aufgrund der optischen Eindrücke eine gewisse Erwartungshaltung, wie dieser klingt. In Kirchen oder Turnhallen zum Beispiel erwartet man ein langes Nachhallen. Bei Augmented-Reality-Anwendungen, die das nicht berücksichtigen, wird das immersive Erlebnis gestört“, sagt Johannes Arend, wissenschaftlicher Mitarbeiter am Institut für Nachrichtentechnik. „Deshalb haben wir ein Verfahren entwickelt, mit dem raumakustische Eigenschaften der Umgebung ermittelt werden können und eine Anpassung der Darbietung virtueller Schallquellen an die gegebene Raumakustik ermöglicht wird“, ergänzt der wissenschaftliche Mitarbeiter Tim Lübeck.

Künstliche Intelligenz ermittelt raumakustische Eigenschaften

Das Team des Instituts forschte an einer Software, die mithilfe von Künstlicher Intelligenz (KI) verschiedene raumakustische Parameter extrahiert und eine Voraussage über die Raumakustik des realen Umfelds trifft. „Die KI ermittelt anhand von Bildinformationen, um welche Art von Umgebung es sich handelt – also ob sich die AR-Nutzerinnen und Nutzer zum Beispiel in einer Kirche oder einem Badezimmer aufhalten. Die Darbietung der virtuellen Schallquelle wird anschließend basierend auf dieser Erkennung an die passende Raumakustik des realen Umfelds angepasst“, sagt der wissenschaftliche Mitarbeiter Damian Dziwis. Diese Lösung soll in gängige Augmented-Reality-Systeme integriert werden können.

Die Ergebnisse des abgeschlossenen Forschungsprojekts unter der Leitung von Prof. Dr. Christoph Pörschmann vom Institut für Nachrichtentechnik der Fakultät für Informations-, Medien- und Elektrotechnik bilden die Grundlage für weitere wissenschaftliche Arbeiten. Im Rahmen von Promotionen sollen zusätzliche Modifikationen des Verfahrens erforscht und entwickelt werden. „Die Promovierenden wollen das KI-Modell mit zusätzlichen Sensoriken bestücken. Zudem versuchen sie in Hörversuchen zu ermitteln, wie schnell und exakt die Anpassung der Darbietung tatsächlich erfolgen muss, um Immersion zu gewährleisten, und welchen Einfluss es auf das Hörerlebnis hat, wenn die Darbietung während der Nutzung der AR-Anwendung optimiert wird“, so Pörschmann.

Das Forschungsprojekt „Erzeugung von audiovisueller räumlicher Konvergenz für Augmented Reality Anwendungen und Systeme“ (EarKAR) wurde in Kooperation mit der Dear Reality GmbH bearbeitet und über den NRW-Leitmarktwettbewerb CreateMedia.NRW im Rahmen des Europäischen Fonds für regionale Entwicklung (EFRE) gefördert.