DSD-Blog

Kommunikation 3.0? Computer lernen das Lippenlesen

Beitrag von

14.04.2016

Lautlose Passworteingabe, Computerbefehle in lauten Umgebungen oder die Überwachung von Gesprächen Verdächtiger – hieran forschen britische Wissenschaftler an der University of East Anglia. Genauer: Sie erforschen, wie man Computern das Lippenlesen beibringt.

Derzeit stehen die Forscher allerdings noch vor einigen Herausforderungen. Vor allem die Identifizierung ähnlich klingender und lautender Buchstaben wie p und b erfordern viel Geschick. Darüber hinaus ist spontan Gesprochenes für die Computer kaum zu entziffern. Bisher muss man sich noch deutlich artikulieren, damit das System einen versteht.

Buchstaben sind nicht genug

Immerhin geht aus der Studie der East Anglia University hervor, dass der Ansatz vielversprechender ist als diejenigen zuvor. Allerdings sieht Sprache zum einen bei jedem anders aus, zum anderen sind die verschiedenen Sprachen auch unterschiedlich schwer zu lesen. Bisher ist es noch nicht gelungen, den Computern diese feinen Nuancen beizubringen.

Hinzu kommt, dass einem Computer zunächst alle möglichen Informationen fehlen, die einem menschlichen Lippenleser zur Verfügung stehen. Beispielsweise der Kontext einer Äußerung oder Redewendungen. Darüber hinaus muss der Computer erst anhand von Phonemketten und Satzkonstruktionen entscheiden, um welche Sprache es sich handelt.

Lückenhafte Lerntechniken

Computer müssen daher abgesehen vom klassischen Training also noch vieles zusätzlich lernen. Bisher sieht es so aus, dass der Computer die Lippenbewegungen (Viseme) und die geäußerten Laute (Phoneme) aufnimmt und schließlich lernt, wie beides miteinander zusammenhängt. Ein unerlässlicher Schritt, allerdings nicht ausreichend.

Zwar gibt es auch Ansätze, die mit künstlicher Intelligenz arbeiten und dank neuronaler Netze eine bessere Spracherkennung erzielen. Bis die Technik allerdings ausgereift ist und digitale Fingerabdrücke ersetzt oder Befehle zu 100 Prozent versteht, werden wir noch viel tippen müssen. (tl)