När vi pratar använder vi inte bara ord – vi kommunicerar också med gester. Nu visar en ny studie att lyssnare använder talarens handrörelser för att förutsäga vad som kommer att sägas härnäst. Resultaten ger ny insikt i hur kroppen bidrar till språkförståelsen.
Hur påverkar du klimatet?
Testa ClimateHero – en snabb och gratis klimatkalkylator baserad på vetenskap.
Svara på några enkla frågor och få personliga tips för att minska ditt klimatavtryck – ofta med fördelar för både hälsa och plånbok.
Gör testet genom att klicka på länken nedan – och stöd samtidigt Mikroskops arbete med att göra ny forskning om kroppen tillgänglig för fler.
Handgester är en naturlig del av samtal, men deras betydelse för språkbearbetning har ofta underskattats. Forskare vid Max Planck-institutet för psykolingvistik och Radboud-universitetet i Nijmegen visar nu att lyssnare aktivt använder handrörelser för att förutse kommande tal. Studien understryker hur människans kommunikation är multimodal – vi lyssnar inte bara med öronen, utan tolkar också visuella signaler med ögonen.
Rörelser som avslöjar orden
När vi människor talar gestikulerar vi ofta spontant. Ett vanligt exempel är att vifta med fingrarna i luften när man pratar om att skriva på ett tangentbord. Sådana ikoniska gester, som avbildar innebörden i orden, hjälper inte bara till att förstärka budskapet – de påverkar också hur lyssnaren bearbetar språket.
– Vi vet redan att frågor som ställs tillsammans med ikoniska gester får snabbare svar i samtal, säger Marlijn ter Bekke, försteförfattare till studien, i ett pressmeddelande.
En anledning är att gester tenderar att föregå de ord de hör ihop med. Genom att exempelvis visa en skrivrörelse redan innan ordet ”skriva” uttalas, kan gesten ge lyssnaren en ledtråd om vad som ska komma.
Avatarer gav kontrollerad miljö
För att undersöka fenomenet använde forskarna virtuella avatarer. Genom att styra både tal och rörelser noggrant kunde de skapa en kontrollerad miljö som ändå kändes naturlig för deltagarna.
I det första experimentet fick deltagarna lyssna på ofullständiga frågor, till exempel ”Hur gammal var du när du lärde dig att…,” följt av en paus innan målordet. Under pausen kunde avataren antingen göra en relevant ikonisk gest (som en skrivrörelse), en meningslös rörelse (som att klia sig på armen), eller ingen rörelse alls. Deltagarna ombads gissa vilket ord som skulle komma.
Resultaten var tydliga: deltagarna som såg en ikonisk gest förutsade det rätta ordet betydligt oftare än de som såg en kontrollrörelse eller ingen gest alls.
Fakta. Vad är ikoniska gester?
Ikoniska gester är handrörelser som visuellt illustrerar innebörden i det som sägs. Exempel: Att vifta med fingrarna i luften för att visa ”skriva på tangentbord” samtidigt som man pratar om att skriva. Sådana gester hjälper lyssnare att snabbare tolka och förutse talat språk.
Gester formar hjärnans förväntningar
I ett andra experiment mätte forskarna deltagarnas hjärnaktivitet med elektroencefalografi (EEG) medan de lyssnade på frågorna i sin helhet. Resultaten visade att gester påverkade hjärnvågor kopplade till förväntan under pausen innan målordet.
Efter att målordet presenterats såg forskarna en minskad N400-respons – en hjärnreaktion som normalt förstärks när hjärnan möter oväntad eller svårtolkad information. Detta tyder på att när lyssnare hade sett en gest, var det lättare för dem att förstå och bearbeta det kommande ordet.
– Våra resultat visar att även när människor bara lyssnar använder de gester aktivt för att förutsäga vad som kommer att sägas, säger Marlijn ter Bekke.
Fakta. Hur mäter EEG hjärnans aktivitet?
EEG (elektroencefalografi) registrerar hjärnans elektriska aktivitet med hjälp av elektroder på skalpen. I språkforskning används EEG för att mäta hjärnvågor som avslöjar hur vi bearbetar och förutser ord. En särskild signal, kallad N400, visar hur lätt eller svårt det är att förstå ett ord i sitt sammanhang.
Betydelse för framtida AI och robotar
Fynden har också praktiska konsekvenser för utvecklingen av artificiella agenter, som robotar och virtuella assistenter. Om dessa ska kommunicera på ett mänskligt och effektivt sätt räcker det inte att de talar – de bör också använda meningsfulla handgester.
– Vår studie visar att även gester som produceras av en virtuell avatar underlättar språkförståelsen. Om vi vill att framtidens robotar ska vara lättare att förstå måste vi ge dem inte bara röst, utan även kroppsspråk, konstaterar Marlijn ter Bekke.
Genom att bättre förstå samspelet mellan språk och gester tar vi ännu ett steg mot att bygga teknologier som kommunicerar på ett sätt som känns naturligt – både för ögon och öron.
Publikation
Marlijn ter Bekke, Linda Drijvers, Judith Holler. Co-Speech Hand Gestures Are Used to Predict Upcoming Meaning. Psychological Science, 2025; DOI: 10.1177/09567976251331041
Ta del av mer forskning relaterat till språkförståelse här.
