Heidelberg. Unsere Sinne funktionieren nicht wie separate Informationskanäle, sondern als eng verflochtenes Netzwerk. Was wir hören, hängt stark davon ab, was wir gleichzeitig sehen.
In den 1970er Jahren standen FBI-Agenten vor dem Problem, dass ihre Überwachungskamera zwei Verdächtige im Gespräch zeigten – nur leider ohne Ton. Da fiel ihnen ein, dass eine gehörlose Mitarbeiterin sich trotz ihrer Behinderung mit den Kollegen verständigen konnte, solange sie deren Mund sah. Wie erwartet deutete die Gehörlose den Dialog der Verdächtigen ohne weiteres: Die beiden waren dabei, illegale Glücksspiele zu organisieren. So begann die Karriere der ersten FBI-Expertin für Lippenlesen.
Wie Rosenblum in der Januar-Ausgabe von Spektrum der Wissenschaft berichtet, hat sich durch die Erforschung der multisensorischen Sprachwahrnehmung unser Bild von der Arbeitsweise des Gehirns radikal gewandelt. Neurowissenschaftler meinten früher, das Gehirn bestehe wie ein Schweizer Taschenmesser aus separaten Modulen, die für unterschiedliche Sinne zuständig seien. Gemäß dem neuen Bild förderte die Evolution vielmehr die Wechselwirkung aller Sinne: Die sensorischen Regionen des Gehirns sind neuronal vernetzt.
Visuelle und akustische Eindrücke können sogar den Geschmack verändern. Besonders verblüffend ist, dass Orangensaft nach Kirsche schmeckt, wenn er rot gefärbt wird, und umgekehrt. Kaugeräusche, die man Versuchspersonen beim Probieren von Kartoffelchips vorspielt, beeinflussen das Geschmackserlebnis von Frische und Knusprigkeit. Das multisenorische Modell unterstreicht die unglaubliche Plastizität unseres Gehirns: Es kann die Hauptfunktion eines Areals quasi umschalten, wenn der Zustrom von Sinnesdaten auch nur kurz unterbrochen oder eingeschränkt wird. Zum Beispiel haben Hirnforscher in den vergangenen Jahren bestätigt, dass die Sehrinde einer Person, der nur eineinhalb Stunden lang die Augen verbunden werden, auf Tasteindrücke zu reagieren beginnt. Tatsächlich steigt dabei auch die Empfindlichkeit des Tastsinns. Ähnlich wirkt Kurzsichtigkeit: Oft verbessert sie das Gehör und die räumliche Orientierung.
Generell kommt eine gegenseitige Hilfestellung der Sinne viel häufiger vor als früher angenommen. Diese Erkenntnis nützt bereits heute Gehörlosen. So hat sich gezeigt, dass ein Cochleaimplantat schlechter funktioniert, wenn das Gehirn schon allzu lange Zeit hatte, den vernachlässigten auditiven Kortex auf andere Wahrnehmungsformen wie Sehen und Fühlen umzuprogrammieren. Darum empfehlen Experten, gehörlos geborene Kinder möglichst früh mit Cochleaimplantaten auszustatten. Danach sollen die kleinen Patienten Filmszenen mit Sprechenden betrachten, damit sie lernen, die Lippenbewegungen mit der gehörten Sprache zusammenzuführen.
Auch Techniker, die Geräte zur Gesichts- und Spracherkennung entwickeln, profitieren von der Erforschung der multisensorischen Wahrnehmung. Spracherkennungssysteme versagen oft schon bei mäßigem Hintergrundlärm. Wenn man solchen Programmen beibringt, Aufnahmen von Mundbewegungen zu analysieren, arbeiten sie viel genauer; die Methode funktioniert bereits mit den in Smartphones und Laptops installierten Kameras.