Sådan bruger forskere webkameraer til at spore det menneskelige blik

Udgivet: 9. april 2024

Forfattere

Anatolii Evdokimov, Alina Enikeeva, Lovsang til Luby, Arryn Robbins

Eyetracking er en teknologi, der kan registrere folks øjenbevægelser og fortælle forskere, hvad folk ser på på skærme eller ude i verden. Forskere bruger eyetracking til at forstå, hvad folk lægger mærke til eller husker; marketingforskere, der laver reklamer, bruger eyetracking til at se, hvilken type reklamer eller produkter der fanger folks opmærksomhed; og videospildesignere bruger eyetracking til at se, hvilke dele af et spil der forvirrer spillerne, så designerne kan rette på spillet. Eyetracking-udstyr kan være dyrt og tidskrævende for forskere at bruge, så er der en anden måde at registrere øjenbevægelser på uden at købe en eyetracker? Ja, det er der! Dataloger kan bruge en computerbaseret metode kaldet maskinlæring til at forvandle et almindeligt webkamera til en eyetracker. De kan endda gøre det med mobiltelefoner! I denne artikel kan du læse om, hvordan eyetrackere fungerer, og hvilke fordele og ulemper der er ved at bruge webkameraer til at spore øjne.

Øjne er vinduer til sindet

Har du nogensinde haft en samtale med en ven og lagt mærke til, at din vens øjne ikke længere kiggede dig, men pludselig kiggede bag dig? Hvad gjorde du så? Du vendte dig sikkert om for at se, hvad din ven kiggede på. Dette illustrerer, at øjenbevægelser fortæller os, hvor folk er opmærksomme. Forskere måler øjenbevægelser for at forstå, hvad folk husker og er opmærksomme på, hvordan folk læser, og endda for at screene for visse lidelser. En eye tracker er et kamera, der tager billeder af en persons øjne [1]. Eye trackere studerer oplysninger fra disse billeder (som f.eks. pupillernes form) for at finde ud af, hvor en person kigger hen. Disse kameraer tager hundredvis eller endda tusindvis af billeder hvert sekund! Det store antal øjenbilleder gør det muligt for eyetrackere at være meget præcise, når de skal finde ud af, hvor og hvornår en person kigger på noget.

Hvis en eyetracker registrerede dine øjenbevægelser, mens du så en video, kunne en forsker bruge dine øjenbevægelser til at forstå, hvad du var opmærksom på på skærmen og i hvor lang tid. For eksempel kunne en eyetracker registrere dine fikseringer: når det ser ud, som om dine øjne er holdt op med at bevæge sig for at se på noget. Længere fikseringer (som når du stirrer på noget) kan betyde, at du virkelig er fokuseret på en karakter i videoen, mens kortere og hyppige fikseringer kan betyde, at du enten er distraheret af andre karakterer eller objekter, eller at du har problemer med at forstå, hvad der sker på skærmen. Trackeren kan også registrere, at dine øjne følger figurernes bevægelser, uden at du selv lægger mærke til det (figur 1). De store, fejende bevægelser, som dine øjne foretager mellem fikseringer, kaldes saccades (For mere information om øjenbevægelser, se denne Frontiers for Young Minds artikel).

Figur 1: En tablet viser en video med øjenscanningsstier på.

En scanningssti henviser til den sti, som øjnene tager, når en person kigger på noget. De store cirkler repræsenterer fikseringer, hvor personens øjne ser ud til at stoppe, og linjerne viser de saccader, som personens øjne foretog mellem fikseringerne. Hvilke dele af denne video kiggede personen på?

Lær computere at forudsige blikkets placering

I laboratoriet bruger forskerne særligt eye-tracking-udstyr, som er ekstremt godt til at finde ud af, hvor en persons øjne kigger hen på en skærm, hvilket kaldes gaze location (figur 2). Selv om eyetrackere er fremragende værktøjer, har de nogle udfordringer. For det første kan eye-tracking-udstyr være meget dyrt, så det er ikke alle forskere, der ønsker at forske i øjenbevægelser, der kan købe udstyret til deres laboratorium. Desuden kan eyetrackere kun måle øjenbevægelser personligt og med én person ad gangen. Det betyder, at forskning, der kræver mange mennesker, kan tage lang tid at gennemføre. Det kan være en udfordring at finde folk, der vil deltage i forskning, når deltagerne skal tage til et laboratorium for at gøre det.

Figur 2: (A) En deltager arbejder på en computer med et eyetracking-system.

Eyetracking-systemet bruger en masse teknisk udstyr og kræver, at deltageren holder hovedet stille på en hagestøtte. Alt dette udstyr gør, at systemet meget nøjagtigt kan finde ud af, hvor deltageren kigger hen på computerskærmen. (B) En person arbejder på en bærbar computer med indbygget webkamera. Webkameraet kræver ikke så meget udstyr, og deltageren kan sidde behageligt og kan frit bevæge hovedet.

Disse udfordringer med at bruge eyetracking-udstyr kan overvindes ved at bruge webkameraer til at spore øjnene. Webkameraer findes i de fleste almindelige personlige enheder (som telefoner eller bærbare computere), hvilket gør det nemt for forskere at nå ud til en bred gruppe af mennesker, uden at deltagerne behøver at komme til et laboratorium. Webkameraer er også meget billigere end eyetracking-udstyr. Forskere kan bruge webkameraer til at indsamle øjenbevægelsesdata på afstand, hvilket kan spare tid og penge [2]. Webkameraer blev ikke designet til at spore øjne, så hvordan får forskere øjenbevægelsesdata fra dem? Der er flere måder at bruge webkameraer som eyetrackere på, men en populær måde er med machine learning [3].

Maskinlæring er en måde, hvorpå computere kan bruge data (som billeder eller tal) og et sæt matematiske beregninger til at lære af erfaringer og finde mønstre i verden. Ved hjælp af maskinlæring kan computere lære af masser af billeder af folks ansigter. Når du leger med dine venner, har du så nogensinde lagt mærke til, hvor de kigger hen, f.eks. på et sejt stykke legetøj eller en lækker snack? Du bruger ledetråde til at finde ud af, hvor din ven kigger hen, f.eks. deres øjenbevægelser, hvordan deres hoved er drejet, eller hvor tæt de er på noget. Computere kan gøre noget lignende. De ser på tusindvis af billeder af folks ansigter og forsøger at finde mønstre i disse billeder, ligesom din hjerne finder mønstre i dine venners handlinger. Computere bruger disse mønstre til at gætte, hvor nogen kigger hen, når de f.eks. kigger på et ansigt. Forskere har forbedret maskinlæring til at give mere præcise forudsigelser af, hvor en person kigger hen, ved at bruge andre nyttige oplysninger som øjne og ansigt landemærker der peger på kanter i et ansigt (figur 3); dybdeinformation, som hvor langt væk en person er fra webkameraet; og endda information fra scenen på skærmen [4].

Figur 3: Webcam-billeder med pejlemærker i ansigtet.

Prikkerne (pejlemærkerne) på denne kvindes ansigt er på vigtige kanter og hjørner af ansigtet, såsom hendes kæbe, mund, øjenbryn og ikke mindst hendes øjne. Maskinlæring kan bruge pejlemærker til at lave bedre forudsigelser af blikkets placering ud fra webcam-billeder som disse.

Udfordringer med øjenstyring via webcam

Selv om eyetracking med webcam kan hjælpe forskere med at drage konklusioner om folks blikplaceringer for få penge, er det langt fra perfekt. Webcam eye tracking har ikke stor præcision eller nøjagtigheden i at sige, hvor øjnene virkelig kigger hen. Sammenlignet med en laboratorie-eyetracker er webcam-eyetracking ikke særlig god til at adskille forskellige typer af øjenbevægelser fra hinanden. Det skyldes, at de billeder, der tages med et webkamera, er af lavere kvalitet end dem, der tages med en laboratorietracker. Desuden er billedhastighederne (hvor hurtigt kameraerne kan tage billeder) meget forskellige. Et webkamera kan tage omkring 30 billeder i sekundet. Det lyder måske af meget, men eyetrackere i laboratorier kan tage hundredvis eller endda tusindvis af billeder i sekundet! At tage færre billeder i sekundet betyder, at webkameraet ikke kan fange visse typer øjenbevægelser, som sker meget hurtigt.

Forskere kan bruge webkameraer til at spore det generelle mønster af øjenbevægelser, men målingerne er ikke nøjagtige for finere øjenbevægelser. Når nogen vil spore øjenbevægelser til store figurer og scener i en video eller en reklame, er lav præcision måske ikke noget problem. Men når forskere laver eksperimenter, har de brug for bedre præcision til at spore små eller hurtige øjenbevægelser, som de øjenbevægelser, der sker under læsning eller søgning efter små objekter i en scene. Lad os sige, at du fokuserer på en person, der taler i en video, så flytter du blikket for at se et dyr, der bevæger sig i baggrunden lige bag personen, og så flytter du øjnene tilbage til personen, der taler. Disse små skift i blikket bliver måske ikke registreret i webkameraets eyetracking. Tænk også over, hvor og hvordan du normalt ser videoer, surfer på internettet eller bruger et kamera. Er du i mørke, og bevæger du dig måske nogle gange rundt? Da webkameraer har lavere billedkvalitet end laboratorie-eyetrackere, er det ideelt, at folk befinder sig i rum med god belysning og sidder stille, mens de tracker. Det er ikke altid muligt at sikre, at folk gør disse ting, mens forskere indsamler webcam-billeder på afstand.

Vi ser fremad: Fremtiden for eyetracking

Webcam eye tracking kan være en omkostningseffektiv og tidsbesparende metode for forskere, der ønsker at studere øjenbevægelser. Der er dog begrænsninger ved at bruge webkameraer til eyetracking, da de ikke er lige så nøjagtige som laboratorie-eyetrackere til at forudsige, hvor en person kigger hen. Forskere arbejder på at forbedre webcams eyetracking-metoder, f.eks. ved at bruge maskinlæring, så de mere præcist kan forudsige øjenbevægelser ved hjælp af billeder fra webcams. Dette arbejde er vigtigt, fordi det er med til at gøre eyetracking-teknologi let at bruge for alle, så forskerne kan lære mere om, hvordan vi ser og interagerer med verden omkring os, selv når vi sidder derhjemme.

Ordliste

Eye Tracker: Teknologi, der kan registrere folks øjenbevægelser og fortælle forskerne, hvad deltagerne kigger på og hvor længe.

Fiksering: Tiden mellem store øjenbevægelser, hvor det ser ud, som om øjnene er stoppet op for at se på noget.

Sakkade: En stor, fejende bevægelse, som dine øjne laver mellem fikseringer.

Maskinlæring: En måde at analysere data på, som gør det muligt for computere at lære af erfaring.

Landemærker: Mærker, der hjælper en computer med at forstå, hvor kanterne af vigtige dele af et ansigt er på et billede, som f.eks. øjenkroge eller hagen.

Præcision: Nøjagtighed, eller i hvor høj grad sporingssystemet har ret i at sige, hvor en person kigger hen.

Information om artiklen

Der blev indhentet skriftligt informeret samtykke fra personerne til offentliggørelse af identificerbare billeder eller data, der indgår i denne artikel.
Forfatterne erklærer, at forskningen blev udført i fravær af kommercielle eller økonomiske relationer, der kunne opfattes som en potentiel interessekonflikt.

[1] Robbins, A., og Hout, M. C. 2015. Kig ind i mine øjne. Sci. Am. Mind 26:54-61. doi: 10.1038/scientificamericanmind0115-54

[2] Papoutsaki, A., Laskey, J. og Huang, J. 2017. “Searchgazer: Webcam eye tracking for remote studies of web search”, i Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval (New York, NY: ACM), 17-26.

[3] Valliappan, N., Dai, N., Steinberg, E., He, J., Rogers, K., Ramachandran, V., et al. 2020. Accelererende øjenbevægelsesforskning via nøjagtig og overkommelig smartphone-øjesporing. Nat. Commun. 11:4553. doi: 10.1038/s41467-020-18360-5

[4] Park, S., Aksan, E., Zhang, X. og Hilliges, O. 2020. “Towards end-to-end video-based eye-tracking”, i Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XII 16 (Berlin: Springer International Publishing), 747-63.

Evdokimov A, Enikeeva A, Luby P og Robbins A (2024) How Scientists Use Webcams to Track Human Gaze. På forsiden. Young Minds. 12:1259404. doi: 10.3389/frym.2024.1259404
Kristina Shea
Indsendt: 15. juli 2023; Accepteret: 22. marts 2024; Udgivet online: 9. april 2024.
Copyright © 2024 Evdokimov, Enikeeva, Luby og Robbins

Læs videre

Forbrændinger er almindelige skader, der opstår, når varme, varme væsker, kemikalier, elektricitet eller endda solen beskadiger huden. Nogle forbrændinger er milde, som f.eks. solskoldning, mens andre kan være så alvorlige, at de beskadiger muskler, knogler eller endda organer. Mens de fleste forbrændinger er smertefulde, kan de mest alvorlige faktisk være smertefri, fordi de ødelægger nerverne. Forbrændinger svækker også hudens naturlige barriere, hvilket øger risikoen for infektion. Kroppen heler forbrændinger i tre faser, men dybere forbrændinger tager længere tid at komme sig over og kan efterlade permanente ar. Behandlingen afhænger af sværhedsgraden – nogle forbrændinger kan køles med vand, mens andre kræver akut lægehjælp. Denne artikel undersøger, hvad der forårsager forbrændinger, hvordan de klassificeres, og hvordan de heler, hvilket hjælper børn og deres omsorgspersoner med at forstå, hvordan man forebygger, håndterer og kommer sig efter disse skader.

Forestil dig dine knogler som fundamentet i et hus – de holder ikke kun din krop oprejst, men beskytter også dine organer og hjælper endda med at producere blodceller. Knogler består af en kombination af kollagen, som giver dem fleksibilitet, og mineraler som calcium, som giver dem styrke, og de spiller en afgørende rolle i kroppen. Vidste du, at dine tænder også er afhængige af stærke knogler? Alveolærknoglen, som støtter dine tænder, skal forblive sund for at sikre, at dit smil forbliver stabilt. Inde i knoglerne findes der specielle celler: osteoblaster opbygger ny knogle, mens osteoklaster “nedbryder” den gamle knogle. Når disse celler er ude af balance, kan der opstå knogletab omkring tænderne, som det ses ved parodontitis, en almindelig mundsygdom hos voksne. For at forebygge parodontitis er det afgørende at opretholde god mundhygiejne, en sund kost og en afbalanceret livsstil. Disse ting øger chancerne for, at dine knogler og tænder forbliver stærke og beskyttede gennem hele dit liv.

Bæredygtigt udviklingsmål 8: Anstændigt arbejde og økonomisk vækst har til formål at hjælpe mennesker med at få sikre og retfærdige jobs og tjene nok penge til at forsørge deres familier og lokalsamfund. Dette mål handler om at hjælpe virksomheder med at vokse på en bedre måde og behandle arbejdstagere retfærdigt. At skabe et nyt produkt, hæve eller sænke arbejdstagernes lønninger eller ændre måden, hvorpå arbejdet udføres, indebærer risikable beslutninger, som virksomhedsejere skal overveje. I øjeblikket er et stort spørgsmål, om virksomhederne skal holde fast i traditionelle metoder eller investere i smarte robotter og kunstig intelligens, som kan hjælpe dem med at arbejde hurtigere og bedre. Disse valg kan se enkle ud, men de har vigtige konsekvenser: hvor mange mennesker der får arbejde, hvilken slags arbejde de udfører, og endda hvor meget penge de tjener. I denne artikel vil vi undersøge, hvordan teknologi kan forandre den måde, mennesker arbejder på, og hvordan forskere kan bruge matematiske modeller til at få et indblik i, hvordan fremtidens arbejdspladser kan komme til at se ud.

Alle føler sig bange nogle gange, men når en frygt bliver så stærk, at den forhindrer os i at gøre ting, vi gerne vil eller skal, og forstyrrer vores dagligdag, kan det betragtes som en fobi. At være bange for skræmmende ting, som højder, havet eller rotter, er godt og vigtigt for overlevelsen, men for meget frygt kan være skadelig og forårsage psykisk eller fysisk lidelse. Fobier udvikles på grund af mange faktorer. En faktor er genetik, hvilket betyder, at fobier kan nedarves i familien. Fobier kan også skyldes miljømæssige påvirkninger, såsom særligt skræmmende oplevelser. Derudover kan fobier opstå på grund af noget, der kaldes frygtkonditionering, hvor hjernen lærer at forbinde noget harmløst med en følelse af fare. Fobier kan endda udvikle sig ved at se en anden være bange for noget ( ). I denne artikel diskuterer vi nogle af de måder, hvorpå en fobi kan udvikle sig, og hvordan de kan behandles.