Hvordan det, du ser, kan påvirke det, du hører

Udgivet: 22. august 2022

Forfattere

Paula C. Stacey, Christian J. Sumner

Vi bruger automatisk mere end én af vores sanser til at forstå verden omkring os. Når vi har en samtale, bruger de fleste af os vores ører til at lytte til, hvad andre mennesker siger. Men du vil måske blive overrasket over at vide, at det, du ser, også er meget vigtigt for at kunne forstå andre. Denne artikel ser på, hvordan hørelse og syn kombineres, og forklarer, hvordan begge disse sanser hjælper os med at forstå tale. Vi demonstrerer, hvor vigtigt det er at se ansigterne på folk, der taler, især når vi befinder os på støjende steder. Dette emne har vigtige implikationer for brugen af ansigtsmasker! Det er virkelig vigtigt, at vi tænker over, hvordan ansigtsmasker kan påvirke menneskers evne til at kommunikere med hinanden.

Introduktion

Har du nogensinde svært ved at forstå, hvad dine venner eller lærere siger, når de har ansigtsmasker på? Hvorfor er det sådan? Næsten alle har gavn af at se folks ansigter, når de taler. De forskellige lyde, folk laver, når de taler, kræver, at de bevæger munden på unikke måder, og selvom du måske ikke er klar over det, forstår din hjerne disse specifikke mundformer! Formerne gør det lettere for os at forstå folk, når vi kan se dem tale.

Hjernen har specialiserede områder, der behandler information fra sanserne og giver os mulighed for at forstå verden. Nogle af disse hjerneområder kombinerer automatisk information på tværs af flere sanser. Når information fra én sans (f.eks. hørelsen) er upålidelig, så stoler vi automatisk mere på information fra en anden sans (f.eks. synet). Det er derfor, du især vil bemærke fordelene ved at se folk tale, når du er på et støjende sted.

I denne artikel vil vi begynde med at introducere dig til forskellen mellem sansning og perception, og vi vil bruge en velkendt visuel illusion til at demonstrere, hvordan perception nogle gange kan være unøjagtig. Det vil hjælpe dig til at forstå, at det, du opfatter, ikke nødvendigvis svarer til den information, der er i verden. Vi vil derefter forklare, hvordan vores hjerner kombinerer information på tværs af forskellige sanser, især syn og hørelse.

At give verden mening

Dine ører opfanger lydbølger, og du hører dem som lyd. Dine øjne opfanger lysenergi, som giver dig synet. Vi kalder disse processer sensation. Det, din hjerne derefter gør med informationerne fra dine sanser, kaldes perception. Det meste af tiden antager vi, at det, vi sanser, og det, vi opfatter, er det samme. Men nogle gange kommer vores hjerner til de forkerte konklusioner om, hvad der er derude! Perception kan være et vanskeligt job: Det indebærer at kombinere det, vores sanser fortæller os, med det, vi allerede ved om verden, for at få det bedst mulige gæt på, hvad der sker. Vi kan misforstå eller fejlfortolke sanseindtryk og så opfatte noget, som bare ikke er sandt.

Visuelle illusioner kan være fascinerende at se på, og de giver os et rigtig godt eksempel på, hvordan hjernen nogle gange kan fejlfortolke sanseindtryk og give os den forkerte opfattelse. Tag et kig på figur 1. Hvilken bil tror du er den største? Tag nu en lineal frem og mål dem. Havde du ret?

Figur 1: Visuel illusion. Disse biler har samme størrelse, men alligevel opfattes den øverste bil som regel som større. Det skyldes, at signalerne i billedet fortæller os, at den øverste bil er længere væk, så hjernen “opskalerer” automatisk billedet. Dette eksempel viser os, at det, vores sanser observerer, og det, vores hjerner opfatter, ikke altid er det samme.

Ved første øjekast tror du måske, at den øverste bil er større end den nederste, men de er faktisk lige store! Vi kalder dette en visuel illusion, fordi billedet narrer din hjerne til at tro, at bilerne er forskellige størrelser. Det fungerer, fordi spor i billedet (vejens form i dette eksempel) får den øverste bil til at se ud til at være længere væk end den nederste bil. Normalt ser ting, der er langt væk, mindre ud end ting, der er tæt på os (næste gang du er på en biltur, så se på størrelsen af bilerne i det fjerne sammenlignet med dem tæt på), så bilen øverst på vejen burde se mindre ud, fordi den er længere væk. På en eller anden måde ved hjernen dette, så den “opskalerer” automatisk opfattelsen af bilens størrelse. I det virkelige liv fungerer denne mentale justering normalt godt og hjælper vores opfattelse af verden til at give mening.

Kombination af vores sanser

Vi ved, at vores hjerner ofte bruger både syn og hørelse til at forstå verden. Det kan gøre det lettere for vores hjerne at afgøre, hvad der foregår, end hvis vi kun brugte én sans. Men på samme måde som en visuel illusion kan spille hjernen et puds via øjnene, kan en audiovisuel illusion forvirre opfattelsen, hvis informationerne fra hørelsen og synet ikke stemmer overens. Dette blev illustreret af et eksperiment udført af Harry McGurk og John McDonald i 1976 [1]. Disse forskere optog en person, der sagde lyden “ba”. Derefter lavede de en stum video af den samme person, der sagde lyden “ga”. De afspillede lydoptagelsen (“ba”) sammen med videoen (“ga”) og bad frivillige om at sige, hvilken lyd de hørte. Du bliver måske overrasket over at høre, at de fleste frivillige sagde, at de hørte lyden “da”! Det skyldes, at deres hjerner blandede det, de så og hørte, sammen og gættede på, hvad lyden egentlig var. Det fantastiske ved dette eksperiment er, at det virkelig ændrer den måde, ordene lyder på, hvilket kaldes McGurk-effekten. (figur 2). Eksperimentet viste, at det at se et talende ansigt kan have en stærk effekt på de lyde, folk opfatter1. Effekten findes også med andre kombinationer af lyde. Opfattelsen af tale er i virkeligheden resultatet af, at hjernen gør sit bedste gæt ud fra det, vi ser, det, vi hører, og det, vi allerede ved om sprog.

Figur 2: McGurk-effekten. I denne illusion resulterer det at høre en lyd (f.eks. “ba”), mens man også ser de mundbevægelser, der normalt ledsager en anden lyd (f.eks. “ga”), ofte i, at lytteren opfatter en ny lyd (f.eks. “da”). Det fortæller os, at hjernen automatisk kombinerer information på tværs af sanserne for at hjælpe os med at forstå verden.

Hvordan synet hjælper os med at høre på støjende steder

I den virkelige verden matcher læbernes bevægelser normalt de lyde, der kommer fra folks munde, så at se nogen tale hjælper os normalt med at opfatte det rigtige ord. Denne visuelle information har en tendens til at være mere nyttig til at forstå tale, når samtalen finder sted i støjende omgivelser. Prøv at sidde i et stille rum sammen med en ven. Du vil sandsynligvis finde det ret nemt at forstå, hvad din ven siger. Tænd nu for fjernsynet med høj lydstyrke. Hvor let er det at forstå din ven nu? Det er meget sværere at høre og forstå, hvad nogen siger, hvis baggrunden er meget støjende. Hvis du ser på din vens ansigt og læber, er der større sandsynlighed for, at du gætter rigtigt på, hvad der bliver sagt.

Måling af, hvordan synet påvirker forståelsen af tale

Vi udførte nogle eksperimenter om, hvordan baggrundsstøj påvirker forståelsen af en sætning [2]. Først filmede og optog vi en frivillig, der sagde flere forskellige sætninger (såsom “En stor størrelse i sko er svær at sælge.”). Derefter afspillede vi disse optagelser for andre frivillige og bad dem gentage, hvad de hørte, og vi talte, hvor mange ord de fik rigtigt. Vi gentog dette eksperiment med mange frivillige, tilføjede forskellige niveauer af baggrundsstøj eller reducerede lydstyrken af talesignalet. Forholdet mellem talesignalet og baggrundsstøjen kaldes signal-to-noise ratio. Nogle gange afspillede vi kun lyden af den person, der talte, og andre gange viste vi også videoen af personen, så de frivillige både kunne se og høre den talende person.

Vi plottede de indsamlede oplysninger ind i en graf (figur 3). Når baggrundsstøjen var meget højere end den person, der talte, kunne vores frivillige ikke identificere nogen ord korrekt. Men når sætningerne var højere end baggrundsstøjen, hørte vores frivillige de fleste af ordene korrekt. Mellem disse to situationer kunne de frivillige identificere nogle, men ikke alle ordene korrekt. Vores resultater viser tydeligt, at folk kan forstå tale med mere baggrundsstøj til stede, hvis de kan se talernes ansigter. Denne effekt forklarer din oplevelse af at høre bedre, når du kan se folk tale, især når du befinder dig på et støjende sted. Tidligere undersøgelser har fundet lignende resultater [3].

Figur 3: Når baggrundsstøjen var meget højere end den person, der talte (lavt signal/støj-forhold), kunne de frivillige ikke identificere nogen ord korrekt (A). Men når sætningerne var højere end baggrundsstøjen, hørte de frivillige de fleste af ordene korrekt (C). Ind imellem kunne de frivillige identificere nogle, men ikke alle ord korrekt (B). Når de frivillige både kunne se og høre den person, der talte (rød linje), fik de flere ord korrekt, end når de kun kunne høre den talende (blå linje). Det er altså lettere at forstå tale, når vi både kan se og høre den, der taler.

Hvorfor er det vigtigt? Forestil dig, at du arbejder på en støjende fabrik med larmende, farlige maskiner. Forestil dig nu, at din kollega forsøger at forklare dig præcis, hvordan du bruger en maskine. Med al den støj i baggrunden, tror du så, at du ville være i stand til at høre instruktionerne tydeligt? Hvad nu, hvis din kollega havde en sikkerhedsmaske på, mens han talte? I et sådant miljø kan det være meget farligt at begå en fejl, og det kan endda resultere i skader.

Fordele ved visuel information for mennesker med høretab

Har du nogensinde prøvet at forstå, hvad nogen siger, ved bare at se på deres ansigt uden at høre, hvad de siger? Du vil måske opdage, at du er bedre til denne opgave, hvis du har dårligere hørelse. Mennesker, der er døve eller har nedsat hørelse, er generelt bedre til mundaflæsning end folk med normal hørelse [4]. Denne evne udviklede sig sandsynligvis over tid, da disse mennesker mistede deres hørelse og var nødt til at være mere opmærksomme på deres andre sanser.

Under coronavirus-udbruddet var det ofte et krav at bære mundbind. Masker gør mundaflæsning meget vanskelig for folk, der har brug for det. I Storbritannien hjalp kampagnefolk med at overtale regeringen til at levere gennemsigtige ansigtsmasker for at hjælpe døve med at kommunikere. I vores forskning forsøger vi at forstå, hvordan mundaflæsning hjælper kommunikation, og især hvordan det hjælper mennesker med høreproblemer.

Konklusion

Visuel information er virkelig vigtig for at hjælpe os med at forstå de lyde, vi hører. Det, vi ser, er især vigtigt for at forstå tale, når den lyd, vi lytter til, er påvirket af enten baggrundsstøj eller dårlig hørelse. Der er stadig meget, vi ikke forstår om, hvordan hjernen kombinerer det, vi ser, og det, vi hører. Næste gang du befinder dig i et støjende miljø, så tænk over, hvor afhængig du er af at se ansigterne på dem, der taler, og hvad der kan gøres for at gøre visuel taleinformation mere tilgængelig for folk, der har problemer med at høre.

 

Fodnote

  1. Se denne video for en demonstration af effekten: https://www.youtube.com/watch?v=jtsfidRq2tw&t=20s.

Ordliste

Sansning: Den proces, hvor vores sanser opfanger information i verden.

Perception: Den proces, hvor vores hjerner giver mening til de informationer, vi får fra sanserne.

McGurk-effekten: En audiovisuel illusion, der opstår, når man hører en lyd (f.eks. “ba”) og samtidig ser de mundbevægelser, der ledsager en anden lyd (f.eks. “ga”), hvilket resulterer i opfattelsen af en ny lyd (f.eks. “da”).

Signal-til-støj-forhold: Et mål for styrken af “signalet” (i vores tilfælde tale) i forhold til baggrundsstøjen.

Læbelæsning: Forståelse af tale ud fra mundbevægelser alene.

Information om artiklen

Forfatterne erklærer, at forskningen blev udført i fravær af kommercielle eller økonomiske relationer, der kunne opfattes som en potentiel interessekonflikt.

[1] McGurk, H., og MacDonald, J. 1976. At høre læber og se stemmer. Nature 264:746-8.

[2] Stacey, P. C., Kitterick, P. T., Morris, S. D. og Sumner, C. J. 2016. Bidraget fra visuel information til opfattelsen af tale i støj med og uden informativ temporal finstruktur. Hear. Res. 336:17-28. doi: 10.1016/j.heares.2016.04.002

[3] Sumby, W. H., og Pollack, I. 1954. Visuelt bidrag til taleforståelighed i støj. J. Acoust. Soc. Am. 26:212-5.

[4] Schreitmüller, S., Frenken, M., Bentz, L., Ortmann, M., Walger, M. og Meister, H. 2018. Validering af en metode til vurdering af mundaflæsning, audiovisuel forstærkning og integration under talemodtagelse med cochlear-implanterede og normalthørende personer ved hjælp af et talende hoved. Ear Hear. 39:503-16. doi: 10.1097/AUD.0000000000000502

Stacey PC og Sumner CJ (2022) Hvordan det, du ser, kan påvirke det, du hører. Forsiden. Young Minds. 10:705956. doi: 10.3389/frym.2022.705956
Guilherme Lucas
Indsendt: 6. maj 2021; Accepteret: 4. august 2022; Offentliggjort online: 22. august 2022.
Copyright © 2022 Stacey og Sumner

Læs videre

Du ser bolden flyve mod dig, kun en halv meter væk. Du sprinter for at gribe den, mens du pumper dine ben så hårdt, du kan. Du griber bolden og holder fast i den med fingrene. Så hører du pludselig din mors stemme kalde på dig. Det går op for dig, at det er tid til aftensmad, så du skynder dig hjem igen. Hvordan kan alt dette ske? Du ved selvfølgelig, at din hjerne styrer din krop, men hvordan ved den, hvad dine øjne ser, eller hvordan får den dine ben til at løbe? Din hjerne består af milliarder af celler, der kaldes neuroner. Dine neuroner bærer information i form af elektriske impulser. Neuronerne kommunikerer med hinanden og resten af din krop ved særlige mødepunkter, der kaldes synapser.

Vores hjerner er som utroligt komplekse puslespil med milliarder af brikker, der har vokset og udviklet sig, siden før vi blev født. Men vidste du, at små, hårlignende strukturer på vores celler kaldet primære cilier spiller en stor rolle i denne proces? Primære cilier fungerer som antenner, der hjælper vores hjerneceller med at kommunikere, rejse og endda opbygge forbindelser ved at styre samlingen af dette store puslespil. Men når de primære fimrehår ikke kan dannes ordentligt eller ikke kan fungere problemfrit, kan det påvirke udviklingen af mange organer, herunder hjernen. Forskere har fundet ud af, at kortere eller færre primære cilier er forbundet med tilstande, der kan påvirke hjernens udvikling, herunder en gruppe lidelser, der kaldes ciliopatier. Ved at forstå betydningen af primære cilier kan vi finde ud af mere om hjernens udvikling og den rolle, cilier spiller i samlingen af dette store puslespil.

Som mennesker kan vi bruge ord som “sulten” og “mæt” til at kommunikere, hvornår vi har brug for at spise i løbet af dagen. Men mus, som ofte bruges til at studere spiseadfærd i laboratoriet, kan ikke fortælle os, hvad de føler. Vi trænede mus til at fortælle os, om de var sultne eller mætte. Derefter tændte og slukkede vi for bestemte celler i et hjerneområde kaldet hypothalamus for at se, om disse specifikke celletyper kunne få en mus til at føle sig sulten eller mæt. Vores forskning viste, at når vi tændte for bestemte hjerneceller i et område kaldet hypothalamus’ bueformede kerne, fik det musene til at rapportere, at de var sultne, selv om de lige havde spist, og deres maver burde føles fyldte. Disse resultater giver os et fingerpeg om, hvordan hjernen arbejder med at kontrollere sult.

Nogle gange kan børn ikke bo hos deres biologiske (biologiske) forældre. Det kan være, fordi forældrene er syge eller ude af stand til at tage sig af deres børn på grund af de udfordringer, forældrene står over for. I sådanne tilfælde kan plejefamilier træde til og hjælpe. En plejefamilie er som en anden familie, hvor børn kan bo midlertidigt, eller indtil de bliver voksne. Plejeforældrenes opgaver er de samme som alle andre forældres: De leger med børnene, tilbyder følelsesmæssig støtte, hjælper med lektier, sørger for mad og drikke, og sørger for et trygt hjemmemiljø. Ikke desto mindre er det en stor forandring at flytte til en ny familie, og det kan være en udfordring. Nogle børn kan være vrede eller kede af det, have svært ved at stole på nye mennesker eller have oplevet slemme ting. Det vigtigste er dog, at børn og plejeforældre ikke er alene i disse situationer. Der er et stort team, kaldet familieplejesystemet, som sørger for, at børn og forældre har det bedst muligt.

Tak for din tilmelding.

Du modtager om et øjeblik en e-mail med et link, hvor du bekræfter tilmeldingen.

Med venlig hilsen
MiLife