Verbundprojekt AVASAG – gemeinsam für digitale, barrierefreie Kommunikation

Digitale Kommunikation unterliegt einem schnelllebigen Wandel. Nimmt sie aber jeden mit? Weltweit leben ca. 70 Millionen Gehörlose. Für die meisten ist Textsprache eine Fremdsprache. Der Gesetzgeber hat auf den spezifischen Informationsbedarf von Menschen mit Handicap reagiert und verpflichtet in Deutschland Behörden und öffentliche Stellen zu barrierefreier digitaler Kommunikation. Digitale Barrierefreiheit wird immer wichtiger, um Inhalte dynamisch und für alle Zielgruppen richtig aufbereitet zu kommunizieren. Automatisierte Instrumente helfen bei einer barrierefreien Kommunikation.

Im Projekt wird eine neuartige Gebärdenanimations-Methode für 3D-Avatare geschaffen. Sie kombiniert Methoden des maschinellen Lernens mit regel-basierten Synthesemethoden, die Text in Gebärden abbilden. Dabei werden zeitliche und räumliche Abhängigkeiten der Gebärdenelemente sehr genau aufgelöst.

Das Ziel des Verbundprojekts AVASAG (Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) wird ein echtzeitgesteuerter 3D-Gebärdensprach-Avatar zur automatischen Übersetzung deutscher Texte in Gebärdensprache sein. Hierdurch soll eine qualitativ realistische Darstellung eines 3D-Gebärdensprach-Avatars eine digitale und barrierefreie Kommunikation ermöglichen, um so einen Mehrwert für Gehörlose zu bieten, die besser an der Digitalen Gesellschaft teilhaben können. Unternehmen bietet AVASAG die Möglichkeit, Inhalte automatisiert und dynamisch generieren zu können und so die Interaktion und Kommunikation auf digitalen Kanälen zu optimieren. Als Demonstrator wird ein Gebärdensprach-Avatar zur automatisierten Übersetzung im Bereich Reiseinformation und -service mit Fokus auf Verkehr und Tourismus realisiert.

Unter Leitung von Charamel arbeiten folgende Forscher und Entwickler aus Deutschland die nächsten drei Jahre zusammen: yomma GmbH – Experten für Gebärdensprache in Hamburg; Ergosign GmbH, Pionier für User Experience Design in Saarbrücken; DFKI GmbH – Kognitive Assistenzsysteme und Language Technology (DFKI), in Saarbrücken, Technische Hochschule Köln / Institut für Medien- und Phototechnik, Köln sowie die Universität Augsburg / Human Centered Multimedia (HCM) in Augsburg.

Die Technische Hochschule Köln bearbeitet das Teilvorhaben "Automatisierte Erfassung von Gebärden mittels simultaner Aufnahme von Körper-, Finger-, und Gesichtsbewegungen" und wird dabei folgende Aspekte und technische Herausforderungen im Rahmen des Projektes näher untersuchen:

• Neuartige Aufnahmetechniken mittels Sensorfusion
• Umsetzung geeigneter Verfahren zur Abbildung von detaillierten Gesichtsausdrücken
• Umsetzung und Evaluierung von Verfahren zur synchronen Aufnahme von Körper- und Fingerbewegungen
• Erstellen eines umfangreichen Motion-Capture Datensatzes zur Animation eines 3D-Gebärdensprach-Avatars

Weitere Information

Beitrag zum Projekt im BR Fernsehen – Avatare & Co.: Mehr digitale Teilhabe durch Künstliche Intelligenz?