fbpx
Søg
Close this search box.

Sådan bruger forskere webkameraer til at spore det menneskelige blik

Forfattere

Anatolii Evdokimov, Alina Enikeeva, Lovsang til Luby, Arryn Robbins

Eyetracking er en teknologi, der kan registrere folks øjenbevægelser og fortælle forskere, hvad folk ser på på skærme eller ude i verden. Forskere bruger eyetracking til at forstå, hvad folk lægger mærke til eller husker; marketingforskere, der laver reklamer, bruger eyetracking til at se, hvilken type reklamer eller produkter der fanger folks opmærksomhed; og videospildesignere bruger eyetracking til at se, hvilke dele af et spil der forvirrer spillerne, så designerne kan rette på spillet. Eyetracking-udstyr kan være dyrt og tidskrævende for forskere at bruge, så er der en anden måde at registrere øjenbevægelser på uden at købe en eyetracker? Ja, det er der! Dataloger kan bruge en computerbaseret metode kaldet maskinlæring til at forvandle et almindeligt webkamera til en eyetracker. De kan endda gøre det med mobiltelefoner! I denne artikel kan du læse om, hvordan eyetrackere fungerer, og hvilke fordele og ulemper der er ved at bruge webkameraer til at spore øjne.

Øjne er vinduer til sindet

Har du nogensinde haft en samtale med en ven og lagt mærke til, at din vens øjne ikke længere kiggede dig, men pludselig kiggede bag dig? Hvad gjorde du så? Du vendte dig sikkert om for at se, hvad din ven kiggede på. Dette illustrerer, at øjenbevægelser fortæller os, hvor folk er opmærksomme. Forskere måler øjenbevægelser for at forstå, hvad folk husker og er opmærksomme på, hvordan folk læser, og endda for at screene for visse lidelser. En eye tracker er et kamera, der tager billeder af en persons øjne [1]. Eye trackere studerer oplysninger fra disse billeder (som f.eks. pupillernes form) for at finde ud af, hvor en person kigger hen. Disse kameraer tager hundredvis eller endda tusindvis af billeder hvert sekund! Det store antal øjenbilleder gør det muligt for eyetrackere at være meget præcise, når de skal finde ud af, hvor og hvornår en person kigger på noget.

Hvis en eyetracker registrerede dine øjenbevægelser, mens du så en video, kunne en forsker bruge dine øjenbevægelser til at forstå, hvad du var opmærksom på på skærmen og i hvor lang tid. For eksempel kunne en eyetracker registrere dine fikseringer: når det ser ud, som om dine øjne er holdt op med at bevæge sig for at se på noget. Længere fikseringer (som når du stirrer på noget) kan betyde, at du virkelig er fokuseret på en karakter i videoen, mens kortere og hyppige fikseringer kan betyde, at du enten er distraheret af andre karakterer eller objekter, eller at du har problemer med at forstå, hvad der sker på skærmen. Trackeren kan også registrere, at dine øjne følger figurernes bevægelser, uden at du selv lægger mærke til det (figur 1). De store, fejende bevægelser, som dine øjne foretager mellem fikseringer, kaldes saccades (For mere information om øjenbevægelser, se denne Frontiers for Young Minds artikel).

Figur 1: En tablet viser en video med øjenscanningsstier på.

En scanningssti henviser til den sti, som øjnene tager, når en person kigger på noget. De store cirkler repræsenterer fikseringer, hvor personens øjne ser ud til at stoppe, og linjerne viser de saccader, som personens øjne foretog mellem fikseringerne. Hvilke dele af denne video kiggede personen på?

Lær computere at forudsige blikkets placering

I laboratoriet bruger forskerne særligt eye-tracking-udstyr, som er ekstremt godt til at finde ud af, hvor en persons øjne kigger hen på en skærm, hvilket kaldes gaze location (figur 2). Selv om eyetrackere er fremragende værktøjer, har de nogle udfordringer. For det første kan eye-tracking-udstyr være meget dyrt, så det er ikke alle forskere, der ønsker at forske i øjenbevægelser, der kan købe udstyret til deres laboratorium. Desuden kan eyetrackere kun måle øjenbevægelser personligt og med én person ad gangen. Det betyder, at forskning, der kræver mange mennesker, kan tage lang tid at gennemføre. Det kan være en udfordring at finde folk, der vil deltage i forskning, når deltagerne skal tage til et laboratorium for at gøre det.

Figur 2: (A) En deltager arbejder på en computer med et eyetracking-system.

Eyetracking-systemet bruger en masse teknisk udstyr og kræver, at deltageren holder hovedet stille på en hagestøtte. Alt dette udstyr gør, at systemet meget nøjagtigt kan finde ud af, hvor deltageren kigger hen på computerskærmen. (B) En person arbejder på en bærbar computer med indbygget webkamera. Webkameraet kræver ikke så meget udstyr, og deltageren kan sidde behageligt og kan frit bevæge hovedet.

Disse udfordringer med at bruge eyetracking-udstyr kan overvindes ved at bruge webkameraer til at spore øjnene. Webkameraer findes i de fleste almindelige personlige enheder (som telefoner eller bærbare computere), hvilket gør det nemt for forskere at nå ud til en bred gruppe af mennesker, uden at deltagerne behøver at komme til et laboratorium. Webkameraer er også meget billigere end eyetracking-udstyr. Forskere kan bruge webkameraer til at indsamle øjenbevægelsesdata på afstand, hvilket kan spare tid og penge [2]. Webkameraer blev ikke designet til at spore øjne, så hvordan får forskere øjenbevægelsesdata fra dem? Der er flere måder at bruge webkameraer som eyetrackere på, men en populær måde er med machine learning [3].

Maskinlæring er en måde, hvorpå computere kan bruge data (som billeder eller tal) og et sæt matematiske beregninger til at lære af erfaringer og finde mønstre i verden. Ved hjælp af maskinlæring kan computere lære af masser af billeder af folks ansigter. Når du leger med dine venner, har du så nogensinde lagt mærke til, hvor de kigger hen, f.eks. på et sejt stykke legetøj eller en lækker snack? Du bruger ledetråde til at finde ud af, hvor din ven kigger hen, f.eks. deres øjenbevægelser, hvordan deres hoved er drejet, eller hvor tæt de er på noget. Computere kan gøre noget lignende. De ser på tusindvis af billeder af folks ansigter og forsøger at finde mønstre i disse billeder, ligesom din hjerne finder mønstre i dine venners handlinger. Computere bruger disse mønstre til at gætte, hvor nogen kigger hen, når de f.eks. kigger på et ansigt. Forskere har forbedret maskinlæring til at give mere præcise forudsigelser af, hvor en person kigger hen, ved at bruge andre nyttige oplysninger som øjne og ansigt landemærker der peger på kanter i et ansigt (figur 3); dybdeinformation, som hvor langt væk en person er fra webkameraet; og endda information fra scenen på skærmen [4].

Figur 3: Webcam-billeder med pejlemærker i ansigtet.

Prikkerne (pejlemærkerne) på denne kvindes ansigt er på vigtige kanter og hjørner af ansigtet, såsom hendes kæbe, mund, øjenbryn og ikke mindst hendes øjne. Maskinlæring kan bruge pejlemærker til at lave bedre forudsigelser af blikkets placering ud fra webcam-billeder som disse.

Udfordringer med øjenstyring via webcam

Selv om eyetracking med webcam kan hjælpe forskere med at drage konklusioner om folks blikplaceringer for få penge, er det langt fra perfekt. Webcam eye tracking har ikke stor præcision eller nøjagtigheden i at sige, hvor øjnene virkelig kigger hen. Sammenlignet med en laboratorie-eyetracker er webcam-eyetracking ikke særlig god til at adskille forskellige typer af øjenbevægelser fra hinanden. Det skyldes, at de billeder, der tages med et webkamera, er af lavere kvalitet end dem, der tages med en laboratorietracker. Desuden er billedhastighederne (hvor hurtigt kameraerne kan tage billeder) meget forskellige. Et webkamera kan tage omkring 30 billeder i sekundet. Det lyder måske af meget, men eyetrackere i laboratorier kan tage hundredvis eller endda tusindvis af billeder i sekundet! At tage færre billeder i sekundet betyder, at webkameraet ikke kan fange visse typer øjenbevægelser, som sker meget hurtigt.

Forskere kan bruge webkameraer til at spore det generelle mønster af øjenbevægelser, men målingerne er ikke nøjagtige for finere øjenbevægelser. Når nogen vil spore øjenbevægelser til store figurer og scener i en video eller en reklame, er lav præcision måske ikke noget problem. Men når forskere laver eksperimenter, har de brug for bedre præcision til at spore små eller hurtige øjenbevægelser, som de øjenbevægelser, der sker under læsning eller søgning efter små objekter i en scene. Lad os sige, at du fokuserer på en person, der taler i en video, så flytter du blikket for at se et dyr, der bevæger sig i baggrunden lige bag personen, og så flytter du øjnene tilbage til personen, der taler. Disse små skift i blikket bliver måske ikke registreret i webkameraets eyetracking. Tænk også over, hvor og hvordan du normalt ser videoer, surfer på internettet eller bruger et kamera. Er du i mørke, og bevæger du dig måske nogle gange rundt? Da webkameraer har lavere billedkvalitet end laboratorie-eyetrackere, er det ideelt, at folk befinder sig i rum med god belysning og sidder stille, mens de tracker. Det er ikke altid muligt at sikre, at folk gør disse ting, mens forskere indsamler webcam-billeder på afstand.

Vi ser fremad: Fremtiden for eyetracking

Webcam eye tracking kan være en omkostningseffektiv og tidsbesparende metode for forskere, der ønsker at studere øjenbevægelser. Der er dog begrænsninger ved at bruge webkameraer til eyetracking, da de ikke er lige så nøjagtige som laboratorie-eyetrackere til at forudsige, hvor en person kigger hen. Forskere arbejder på at forbedre webcams eyetracking-metoder, f.eks. ved at bruge maskinlæring, så de mere præcist kan forudsige øjenbevægelser ved hjælp af billeder fra webcams. Dette arbejde er vigtigt, fordi det er med til at gøre eyetracking-teknologi let at bruge for alle, så forskerne kan lære mere om, hvordan vi ser og interagerer med verden omkring os, selv når vi sidder derhjemme.

Ordliste

Eye Tracker: Teknologi, der kan registrere folks øjenbevægelser og fortælle forskerne, hvad deltagerne kigger på og hvor længe.

Fiksering: Tiden mellem store øjenbevægelser, hvor det ser ud, som om øjnene er stoppet op for at se på noget.

Sakkade: En stor, fejende bevægelse, som dine øjne laver mellem fikseringer.

Maskinlæring: En måde at analysere data på, som gør det muligt for computere at lære af erfaring.

Landemærker: Mærker, der hjælper en computer med at forstå, hvor kanterne af vigtige dele af et ansigt er på et billede, som f.eks. øjenkroge eller hagen.

Præcision: Nøjagtighed, eller i hvor høj grad sporingssystemet har ret i at sige, hvor en person kigger hen.

Information om artiklen

Der blev indhentet skriftligt informeret samtykke fra personerne til offentliggørelse af identificerbare billeder eller data, der indgår i denne artikel.
Forfatterne erklærer, at forskningen blev udført i fravær af kommercielle eller økonomiske relationer, der kunne opfattes som en potentiel interessekonflikt.

[1] Robbins, A., og Hout, M. C. 2015. Kig ind i mine øjne. Sci. Am. Mind 26:54-61. doi: 10.1038/scientificamericanmind0115-54

[2] Papoutsaki, A., Laskey, J. og Huang, J. 2017. “Searchgazer: Webcam eye tracking for remote studies of web search”, i Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval (New York, NY: ACM), 17-26.

[3] Valliappan, N., Dai, N., Steinberg, E., He, J., Rogers, K., Ramachandran, V., et al. 2020. Accelererende øjenbevægelsesforskning via nøjagtig og overkommelig smartphone-øjesporing. Nat. Commun. 11:4553. doi: 10.1038/s41467-020-18360-5

[4] Park, S., Aksan, E., Zhang, X. og Hilliges, O. 2020. “Towards end-to-end video-based eye-tracking”, i Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XII 16 (Berlin: Springer International Publishing), 747-63.

Evdokimov A, Enikeeva A, Luby P og Robbins A (2024) How Scientists Use Webcams to Track Human Gaze. På forsiden. Young Minds. 12:1259404. doi: 10.3389/frym.2024.1259404
Kristina Shea
Indsendt: 15. juli 2023; Accepteret: 22. marts 2024; Udgivet online: 9. april 2024.
Copyright © 2024 Evdokimov, Enikeeva, Luby og Robbins

Læs videre

Vores fantastiske hjerner giver os mulighed for at gøre utrolige ting, men alligevel er de stadig mystiske på mange måder. Forskere har opdaget nogle situationer, hvor hjernen kan “narres”, og denne indsigt i hjernens indre arbejde har ført til nogle spændende nye teknologier, herunder virtual reality (VR). Ud over sin velkendte rolle inden for spil og underholdning har VR nogle fantastiske anvendelsesmuligheder inden for medicin. VR kan hjælpe patienter med at håndtere smerter, og det kan også hjælpe kirurger med at øve delikate procedurer og vejlede dem under operationer. Andre fremskridt kaldet hjerne-maskine-grænseflader kan lytte til hjernens snak og oversætte tanker til kommandoer til computere eller endda robotlemmer, hvilket i høj grad kan forbedre livet for mennesker med visse handicap. I denne artikel vil vi forklare, hvordan forskere bruger resultater fra banebrydende hjerneforskning til at producere spændende nye teknologier, der kan helbrede eller endda forbedre hjernens funktioner.

Dette studie undersøger, hvordan opmærksomhedsunderskud/hyperaktivitetsforstyrrelse (ADHD) påvirker gravide kvinder med fokus på, hvad det betyder for deres helbred. Forskningen er rettet mod unge og teenagere og hjælper med at forklare komplekse videnskabelige ideer på en måde, der er let at forstå. Den starter med at forklare, hvad ADHD er: en almindelig tilstand, der begynder i barndommen og kan fortsætte ind i voksenalderen. Derefter ser forskningen på de specifikke problemer, som kvinder med ADHD kan have, når de er gravide, f.eks. en højere risiko for depression, angst og komplikationer under graviditeten. Ved at undersøge detaljerede sundhedsjournaler fra mange forskellige kilder og sammenligne erfaringerne fra gravide kvinder med og uden ADHD finder undersøgelsen, at kvinder med ADHD er mere tilbøjelige til at få alvorlige helbredsproblemer, når de er gravide. Den viser dog også, at de, der tager ADHD-medicin, mens de er gravide, kan opleve et fald i disse helbredsproblemer, hvilket understreger vigtigheden af sikker brug af medicin. Undersøgelsen slutter med et råd til teenagere: Tal åbent med lægen, og træf informerede sundhedsvalg under graviditeten.

Alle får influenza eller forkølelse fra tid til anden. Vi designede et eksperiment for at undersøge, hvordan det påvirker hjernen at være syg oftere. For at gøre det brugte vi et stykke af en bakterie til at få voksne hanmus til at opleve symptomer på sygdom. Vi gav musene dette stof fem gange i alt. Musene fik det bedre i løbet af et par dage og holdt to ugers pause mellem eksponeringerne. Derefter målte vi, hvordan musene lærte og huskede ny information, og hvor godt deres hjerneceller arbejdede for at hjælpe dem med at lære. Vores eksperimenter tyder på, at sygdom ofte forstyrrer kommunikationen mellem hjernecellerne, så musene får problemer med at lære og huske. Vores data kan hjælpe læger med at forudsige, hvilke patienter der kan få hukommelsesproblemer, når de bliver ældre. Vores undersøgelse viser også, hvor vigtigt det er at holde sig så sund som muligt og tage skridt til at beskytte os selv og andre, når vi bliver syge.

Vidste du, at dine celler kan fortælle, hvad klokken er? Hver eneste celle i din krop har sit helt eget ur. Disse ure er ulig alle andre. Der er ingen tandhjul eller gear. Tiden indstilles af jordens rotation, så vores kroppe er perfekt afstemt med nat og dag. Selv om du måske ikke engang er klar over deres eksistens, styrer disse ure mange aspekter af dit liv. Fra hvornår du spiser og sover til din evne til at koncentrere dig eller løbe hurtigt – urene styrer det hele. Hvordan fungerer disse ure, og hvordan fortæller de tiden? Hvad sker der med vores ure, hvis vi ser tv sent om aftenen eller flyver til den anden side af jorden? Denne artikel undersøger disse spørgsmål og forklarer de videnskabelige opdagelser, der har hjulpet os med at forstå svarene.

Tak for din tilmelding.

Du modtager om et øjeblik en e-mail med et link, hvor du bekræfter tilmeldingen.

Med venlig hilsen
MiLife