StorySign: App hilft gehörlosen Kindern beim Lesen
Gehörlose Kinder haben öfter Schwierigkeiten Sprache zu kommunizieren und ein bestimmtes Pensum zu erreichen als Kinder ohne Hörprobleme. Nach einer gewissen Zeit entstehen dadurch Defizite und unerfüllte Erfahrungen, die sich im Alltag und in der Entwicklung des Kindes bemerkbar machen. Zu diesen fehlenden Erfahrungen zählt auch das Lesen von Geschichten und Märchen. Oftmals bleibt nämlich diesen Kindern die wundersame Welt der Literatur verschlossen.
Eine App soll jetzt helfen Lautsprache in Gebärdensprache zu transformieren. Huawei hat mit der App StorySign eine Software entwickelt, die mit künstlicher Intelligenz arbeitet und dabei hilft gehörlosen Menschen das Lesen zu erleichtern.
Viele hörgeschädigte Kinder kommen nicht in den Genuss von echtem Storytelling und den damit verbundenen Leseerlebnissen. Während für viele Elternteile das gemeinsame (Vor-)Lesen den rituellen Abend anstimmt und das Eltern-Kind-Verhältnis stärkt, bleiben gehörlosen Kindern solche Vorzüge größtenteils verschlossen. Die Komplexität der Gebärdensprache macht es für Eltern praktisch unmöglich, die passende literarische Note zu finden, denen man häufig im Sprachzweig literarischer Texte begegnet. Der chinesische Technologieriese Huawei hat sich kurzerhand mit der europäischen Vereinigung für Gehörlose (European Union of Deaf) zusammengeschlossen und dieser wichtigen Aufgabe gestellt.
So funktioniert StorySign
Die App ist kostenlos und in seiner Funktion einfach und verständlich zu bedienen. Sie enthält eine Bibliothek mit ausgewählten Kinderbüchern und Klassikern. Das Buch, das man dabei lesen will, muss in der Bibliotheksliste enthalten sein. Man öffnet die App und klickt auf das gesuchte Buch. Anschließend hält man die Kamera auf die Wörter im Buch. Ein Avatar namens Star übersetzt dann die Wörter in die Zeichensprache, indem sie die entsprechenden Wörter optisch hervorhebt. Eine auf Texterkennung basierte künstliche Intelligenz sorgt dabei für ein ruckelfreies und flüssiges Lesen. Star beginnt also den Inhalt mit Handgesten und detaillierter Mimik in die Gebärdensprache zu übersetzen. Eltern und Kinder lernen dadurch gemeinsam in Gebärdensprache zu kommunizieren. Allerdings schränkt der technische Aufwand die Kapazitäten ein. Bisher ist für deutschsprachige Leser lediglich das Kinderbuch „Peter Hase: Ein Guckloch-Abenteuer“ verfasst.
Motion Capture macht es möglich
Um eine detailgetreue Darstellung der Zeichensprache zu erreichen, hat sich Huawei mit dem namhaften Animationsstudio Aardman Animations zusammengetan. Viele kennen das Studio für seine preisgekrönten Animationen wie „Shaun das Schaf“ oder „Wallace und Gromit“. Das Resultat dieser Fusion ist das virtuelle Mädchen „Star“, ein Teenager-Avatar mit großen, freundlichen Kulleraugen und grünen Haaren im gelben Sweatshirt, Bluejeans und gelben Boots. Die Ähnlichkeit zu bekannten Animationsfiguren ist erkennbar, aber auch bewusst gewählt, um Vertrauen bei den Kindern zu erwecken. Mit modernster Motion-Capture Technologie wurde die Figur zum Leben erweckt.
Die technologische Herausforderung schriftliche Sprache in Gebärdensprache zu übersetzen war jedoch gewaltig. Aufgrund der Feinheiten in der Sprache erforderte das Verfahren eine aufwendige Lösung. Jeder Satz musste von einem, mit Motion-Capturing-Sensoren ausgerüsteten Gebärdendolmetscher eingesprochen werden. Die Bewegungen wurden dann auf die CGI-Figur übertragen. Insgesamt ist das ein sehr aufwendiger Prozess und sicherlich wird in Zukunft die Liste um einige Bücher erweitert werden. StorySign ist momentan nur für Android Smartphones erhältlich.
