Wie McCann mit einem digitalen Gebärdensprache-Tool Inklusion fördern will

Gebärden werden von einer Kamera identifiziert und mit dem neu entwickelten Tool 'Signs' in ein Format gebracht, das Sprachassistenten verstehen (Foto: McCann)

Wie können Menschen mit einer Hörbehinderung Sprachassistenten nutzen? Mit dieser Frage beschäftigten sich die Bundesjugend – der Verband junger Menschen mit Hörbehinderung e.V., Mainz, und die Frankfurter Agentur MRM//McCann. Ihre Antwort darauf ist ein gemeinsam entwickeltes Gebärdensprache-Tool für Sprachassistenten wie Amazon Alexa, Google Assistant oder Microsoft Cortana. 'Signs', so der Name der Anwendung, erkennt und übersetzt Gebärdensprache in Echtzeit und kommuniziert direkt mit dem Sprachassistenten. Es basiert auf einem Machine Learning Framework. Gebärden werden mit Hilfe einer integrierten Kamera identifiziert und in ein Data-Format konvertiert, das Sprachassistenten verstehen.

'Signs' kann mit den gängigen Sprachassistenten verbunden werden und funktioniert auf jedem browserbasierten Betriebssystem mit integrierter Kamera wie Laptops oder Tablets. Die Sprachassistenten verarbeiten die Daten in Echtzeit und können 'Signs' direkt antworten. Diese Antworten übersetzt das Tool dann zurück - in Textform oder als visuelles Feedback für Menschen mit Hörbehinderung.

Ziel ist, dass "Signs" langfristig als allgemein zugängliche Software und auch für Smartphones zur Verfügung steht und weltweit neue Gebärden und Gebärdensprachen lernen kann. Das Smart Tool soll so im digitalen Zeitalter für Barrierefreiheit und Inklusion sorgen.

"Das digitale Zeitalter birgt riesige Chancen für Inklusion. Aber es gibt auch zahlreiche Herausforderungen wie beispielweise bei Sprachassistenten für Menschen mit Hörbehinderung. Die Idee von 'Signs' stellt einen wichtigen Schritt dar, uns alle an neuen Technologien teilhaben zu lassen", sagt Michelle Mohring, 1. Bundesjugendleiterin, Verband junger Menschen mit Hörbehinderung e.V.

"Unser Ziel ist, dass jeder Mensch mit Hörbehinderung uneingeschränkt Zugang zu neuesten Technologien hat. Gerade jetzt, wo Sprachassistenten unsere Wohnungen, Autos und die Freizeitgestaltung erobern", sagt Martin Biela, ECD MRM//McCann.

Das Projekt entstand in Zusammenarbeit mit Lab13, der interdisziplinären Innovation Unit der IPG-Agentur MRM//McCann. "Sprachsteuerung verändert unsere Art einzukaufen, im Internet zu recherchieren und zu kommunizieren. Mit 'Signs' können wir die natürliche Kommunikationsform einer Gruppe von Menschen unterstützen, die bisher nur bedingt Zugang zu vielen Assistenzsystemen hatte", sagt Mark Hollering, Director Creative Technology, MRM//McCann, und Leiter des Lab13.

Weitere Informationen gibt es unter: https://projectsigns.org

zurück

Anna Jäger 02.05.2019