Alle Storys
Folgen
Keine Story von Schweizerischer Nationalfonds / Fonds national suisse mehr verpassen.

Schweizerischer Nationalfonds / Fonds national suisse

Zuhören oder Lippen lesen - wie neuronale Schwingungen Sprache entschlüsseln

Bern (ots)

Ein vom Schweizerischen Nationalfonds unterstütztes Forschungsteam hat herausgefunden, wie Schwingungen im Gehirn am Verstehen von gesprochener Sprache beteiligt sind: Sie bestimmen, welcher Sinn - Hören oder Sehen - hauptsächlich beiträgt.

Wenn wir verstehen wollen, was uns jemand sagt, verlassen wir uns nicht nur auf das Gehör, sondern auch darauf, was wir sehen: Wir beobachten die Lippenbewegungen und den Gesichtsausdruck. Bisher war nicht bekannt, wie das Gehirn zwischen auditiven und visuellen Zeichen wählt. Doch eine vom Schweizerischen Nationalfonds (SNF) unterstützte Forschungsgruppe konnte nun zeigen, dass die Schwingungen der Neuronen im Gehirn an diesem Prozess beteiligt sind. Ausschlaggebend ist, in welcher Phase sich diese Oszillationen befinden: Je nachdem, wie die exakte Schwingungsposition unmittelbar vor dem entscheidenden Moment ist, wird hauptsächlich der eine oder der andere Sinneskanal zum Verständnis eingesetzt. Die Ergebnisse der Studie, unter der Leitung des Neurologen Pierre Mégevand von der Universität Genf, wurden vor Kurzem in der Fachzeitschrift Science Advances (*) veröffentlicht.

Verwirrende audiovisuelle Signale

Zu den Ergebnissen gelangten Pierre Mégevand und seine Kollegen Raphaël Thézé und Anne-Lise Giraud mit einem neuartigen Versuchssetting, das verwirrende audiovisuelle Eindrücke erzeugt. Sie platzierten die französischsprachigen Versuchspersonen vor einem Bildschirm, auf dem eine virtuelle Person Satzpaare sagt, die sehr ähnlich klingen, zum Beispiel "Il n'y a rien à boire" und "Il n'y a rien à voir" (Es gibt nichts zu trinken/nichts zu sehen). Bei gewissen, von der virtuellen Person gesprochenen Sätzen, wurde ein Konflikt programmiert: Die Versuchsperson hörte den einen Satz, sah aber (auf den Lippen) den anderen Satz. Zum Beispiel sprach die Person ein "b", die Lippen formten ein "v". Die Versuchspersonen wurden nun aufgefordert, den Satz zu wiederholen, den sie verstanden hatten. Dabei wurde die elektrische Aktivität in ihrem Gehirn mit Elektroden aufgezeichnet.

Die Forschenden beobachteten, dass in den Fällen, bei denen die Informationen über Ohr und Auge identisch waren, die Sätze meistens korrekt wiederholt wurden. Widersprachen sich hingegen die auditiven und die visuellen Informationen, dann verliessen sich die Versuchspersonen entweder eher auf das, was sie hörten, oder auf das, was sie sahen. Wenn sie zum Beispiel ein "v" hörten, aber ein "b" sahen, wurde die Wahrnehmung in etwa zwei Dritteln der Fälle durch das Hören dominiert. In den übrigen Fällen war das Sehen für die Interpretation ausschlaggebend.

Der Sinneskanal wird im Voraus festgelegt

Die Forschenden suchten nach Zusammenhängen zwischen diesen Ergebnissen und der elektrischen Aktivität im Gehirn. Dabei zeigten sich Unterschiede zwischen Personen, die sich auf ihr Gehör verlassen, und denjenigen, die ihren Augen vertrauen: Rund 300 Millisekunden vor dem Zeitpunkt, in dem es zu einer Übereinstimmung beziehungsweise zu einem Konflikt zwischen auditiven und visuellen Zeichen kam, befanden sich die zerebralen Schwingungen im hinteren Temporal- und Okzipitallappen der beiden Personengruppen in jeweils anderen Phasen.

"Wir wissen seit den 1970er-Jahren, dass in gewissen Situationen das Gehirn die visuellen Anhaltspunkte den auditiven vorzieht, und zwar verstärkt dann, wenn das Tonsignal gestört ist, zum Beispiel durch Umgebungslärm. Wir können nun zeigen, dass die Neuronenschwingungen an diesem Prozess beteiligt sind. Doch ihre exakte Rolle bleibt ein Rätsel", erklärt Pierre Mégevand.

(*) R. Thézé, A.-L. Giraud, P. Mégevand. The phase of cortical oscillations determines the perceptual fate of visual cues in naturalistic audiovisual speech. Science Advances (2020). https://doi.org/10.1126/sciadv.abc6348

   --------------------------

Genaue Lokalisierung der Gehirnaktivität

Für das Experiment wurde jeder Satz nacheinander von sechs virtuellen Personen gesprochen - mit Hintergrundlärm, der das Hörverständnis störte. Nach jedem der insgesamt 240 Sätze des Experiments hatten die Versuchspersonen eine Sekunde Zeit, um zu wiederholen, was sie verstanden hatten.

Ursprünglich beteiligten sich 25 Freiwillige am Experiment, jedoch konnten nur 15 Aufnahmen der Gehirnaktivitäten ausgewertet werden. Für diese Art von Studie ist das eine relativ kleine Zahl. "Doch wir hatten das Glück, dass eine Person am Experiment teilnahm, die im Gehirn - wegen Epilepsie - implantierte Elektroden trägt, was uns sehr genaue Daten für die Lokalisierung der Gehirnaktivität verschaffte", erklärt Pierre Mégevand. Gewisse Ergebnisse der Studie müssen aber noch genauer untersucht werden. So konnte der Zusammenhang zwischen der Oszillationsphase und der Wahrnehmung der Sätze nur in der rechten Hirnhälfte hergestellt werden. Dabei werden diese Informationen normalerweise eher in der linken Hirnhälfte aufgenommen.

   ---------------------------
   ---------------------------

Unterstützung für unabhängige Wissenschaft

Dieses Projekt wurde vom Schweizerischen Nationalfonds im Rahmen des Förderinstruments "Ambizione" unterstützt. Die Ambizione-Beiträge richten sich an junge Forscherinnen und Forscher, die ein selbstständig geplantes Projekt an einer Schweizer Hochschule durchführen, verwalten und leiten möchten. Die Beiträge werden für maximal vier Jahre zugesprochen.

   ---------------------------

Der Text dieser Medienmitteilung, ein Download-Bild und weitere Informationen stehen auf der Webseite des Schweizerischen Nationalfonds zur Verfügung: http://www.snf.ch/de/fokusForschung/newsroom/Seiten/news-201105-medienmitteilung-wie-das-gehirn-gesprochene-sprache-entschluesselt.aspx

Pressekontakt:

Pierre Mégevand
Universität Genf
Tel. +41 22 379 08 91
E-Mail: pierre.megevand@unige.ch

Weitere Storys: Schweizerischer Nationalfonds / Fonds national suisse
Weitere Storys: Schweizerischer Nationalfonds / Fonds national suisse
  • 21.10.2020 – 08:00

    Tierschutz in einer globalisierten Welt

    Bern (ots) - Die Forscherin Charlotte Blattner erhält den diesjährigen Marie Heim-Vögtlin-Preis des Schweizerischen Nationalfonds. In ihrer Dissertation zum Tierrecht hat sie gezeigt, wie Staaten Tiere über die Landesgrenzen hinweg schützen könnten. Jedes Jahr werden weltweit Milliarden von männlichen Küken geschreddert - sie können weder gemästet noch anderweitig in der Tierindustrie verwendet werden und gelten ...

  • 27.08.2020 – 10:30

    Die Begrenzungsinitiative schadet Bildung, Forschung und Innovation

    Bern (ots) - Die Schweizer Hochschulen und Organisationen der Forschungs- und Innovationsförderung lehnen die Volksinitiative "Für eine massvolle Zuwanderung" ab. Die Initiative gefährdet grundlegende Rahmenbedingungen des Denk- und Werkplatzes Schweiz. Eine Annahme dieser Initiative hätte die Kündigung der Personenfreizügigkeit und somit auch das Ende des Forschungsabkommens mit der EU zur Folge. Um ...

  • 04.08.2020 – 08:00

    NFP "Covid-19" fördert 28 neue Corona-Forschungsprojekte

    Bern (ots) - Neue Forschung soll den Umgang mit Covid-19 verbessern. Mit 18,6 Millionen Franken werden innovative Lösungen erforscht und Empfehlungen für das Gesundheitswesen erarbeitet. Im Auftrag des Bundesrats lancierte der SNF am 30. April 2020 das Nationale Forschungsprogramm "Covid-19" (NFP 78) mit dem Ziel, neue Erkenntnisse zur Coronavirus-Erkrankung 2019 (Covid-19) zu gewinnen, Empfehlungen für das klinische ...