07 december 2020

Det är lätt att föreställa sig att kommunikation främst består av tal. Men en stor del sker genom gester, kroppshållning, ansiktsuttryck och läten. Vid Linköpings universitet studeras hur vi använder så mycket mer än ord i vår kommunikation – både i samspel med varandra och med robotar.

Hannah Pelikan och roboten Cozmo, vars samspel med människor hon studerar. Fotograf: Thor Balkhed

– Det är ruggigt hur välsynkroniserade vi människor är när vi är tillsammans. Hur skickliga vi är på att tolka andra och hur känsliga vi är för avvikelser. Jag upphör aldrig att fascineras av det, säger Mathias Broth, professor i språk och kultur.

Mathias Broth forskar ihop med kollegorna Leelo Keevallik, även hon professor i språk och kultur, och doktoranden Hannah Pelikan, om hur vi människor kommunicerar tillsammans. De tittar på hur vi utför handlingar gemensamt – eller med en robot – och hur den ordlösa kommunikationen ser ut.Bild på interaktionsforskarna Mathias Broth och Leelo Keevallik.Mathias Broth och Leelo Keevallik.

Det är detaljerna som står i centrum för forskarna när de studerar den ordlösa kommunikationen och därför spelas studieobjekten alltid in. Genom att studera videoinspelningar blir det uppenbart hur människor använder röst, ansikte och kropp för att samspela.

– Jag gjorde en studie av ett franskt tv-team och hur de kommunicerade i sändning. När det gick upp för tv-producenten hur ingående vi studerade honom, och vilka till synes obetydliga detaljer vi lade märke till, blev han smickrad, säger Mathias Broth.

Men, varför är det av betydelse att veta i detalj vad vi gör när vi kommunicerar?

– I varje liten handling som vi utför så upprätthåller vi roller och normer. I varje suck och i varje ögonkast. Genom att studera det här i detalj lägger vi märke till det systematiska i det människor gör. I det större perspektivet ger de här studierna kunskap om hur vi människor upprätthåller samhället, säger Leelo Keevallik.

Eh, ah, mm - Ljud som ett sätt att samspela

Leelo Keevalliks forskning är inriktad på ljud som till synes inte betyder något. Ljud som används för att uttrycka exempelvis ansträngning, smärta och om man gillar maten står i fokus för hennes forskning.

– Länge betraktades de här lätena som obetydliga, eftersom de inte var ord. Men forskningen har visat att de här ljuden har en relativt fast form och vi använder dem som verktyg i vårt sociala samspel. När någon suckar vid ett visst tillfälle vet vi vad det kan betyda, säger Leelo Keevallik.

Att lära robotar samspela med människor

Men samspel behöver inte bara involvera människor, man kan också studera hur människor samspelar med teknik. Doktoranden Hannah Pelikan studerar hur robotar använder ljud för att interagera med människor. Till sin hjälp har hon leksaksroboten Cozmo. Den pratar nästan inte alls, men kan röra på sig, känner igen ansikten och använder sig av ljud. Foto Thor Balkhed

– Den är väldigt simpel, men kan ändå interagera med människor. Hur gör den det, hur förstår vi vad roboten gör och vill? Och hur använder vi vår förståelse för att interagera med den?

De frågorna står i fokus för Hannah Pelikan. Hon har speciellt undersökt hur människor reagerar på Cozmos sätt att visa känslor med ljud.

– Den ordlösa interaktionen kan verka vag, men det finns en annan flexibilitet i ljud än i ord. Med ljud kan Cozmo kommunicera snabbare och i fler kontexter. När Cozmo visar glädje tolkar vi människor det generellt som ett positivt svar, och det fungerar därmed i många olika sammanhang. Det kan till exempel passa både som reaktion på att Cozmo träffar en ny person eller får en leksak.

Ord däremot är inte lika flexibla i olika kontexter. Det är svårt att förprogrammera roboten så att den med ord kan svara på allt som en människa kan tänkas säga till den, menar Hannah Pelikan.

Hennes studier har bland annat visat att interaktionen med Cozmo flyter på när roboten visar glädje men att den stannar upp när Cozmo visar ledsamma känslor. Då omprövar studiens deltagare det de sagt eller gjort. Att visa ledsamma känslor kan vara ett effektivt sätt för roboten att signalera att någonting i interaktionen gått fel.

Robotar som fungerar tillsammans med människor

För att robotar ska kunna fungera i samhället behöver de följa de oskrivna regler som ligger till grund för den mänskliga interaktionen. Foto Thor Balkhed

– Om vi vill bygga maskiner som är enkla för oss att interagera med och som fungerar långsiktigt så måste vi utgå från vår kunskap om mänsklig interaktion och studera interaktionen mellan robotar och människor i praktiken.

Så kan robotar använda ljud för att interagera med människor

Hej, Cozmo!

Hannah Pelikan studerar hur robotar använder ljud för att interagera med människor. Till sin hjälp har hon leksaksroboten Cozmo. Hur använder Cozmo ljud och hur tolkar människor de ljuden? Det är frågor som står i fokus för hennes forskning.

Film av Thor Balkhed.

Vad planerar bussen?

Hon studerar också hur självkörande bussar kan använda sig av ljud för att samspela med människor i trafiken. Trafiken är en social situation där samspelet mellan trafikanterna måste fungera.

Film av Thor Balkhed.

Olika ljud hör ihop med olika handlingar och känslor

Varför grymtar man på gymmet?

Människor uttalar olika märkliga ljud, såsom att man säger mmm när maten smakar gott eller utbrister ett besviket uaaah när motspelaren gör ett vinnande slag i ett brädspel. Olika ljud hör ihop med olika kroppsliga handlingar och känslor. Här får du veta hur vi förstår varandra ”utan ord”, när vi till exempel dansar eller lyfter något tungt. Inspelning från Populärvetenskapliga Veckan 2020.

Läs mer om forskning inom språk och kultur

Kontakt

Senaste nytt från LiU

Nathalie Hallin och Hajdi Moche i samtal.

Religiösa är inte mer generösa – med ett undantag

Troende är inte mer generösa än ateister – så länge de inte vet vad mottagaren tror på. Då ökar givmildheten påtagligt, men framför allt för att man ger mer till dem med samma religion. Det visar en undersökning från Linköpings universitet.

Många blå sladdar som går in i en dator.

Europeisk AI-nod med ny superdator till Sverige

Sverige är utvalt som värd för en av sju europeiska AI-noder som ska stärka EU:s konkurrenskraft inom området. Ansvarig för AI-noden blir NAISS med Linköpings universitet som värd.

Två personer i ett rum (kvatkryptolabb) med massor av sladdar och instrument.

Nytt experiment bekräftar kvantmekanisk teori

Forskare vid LiU har lyckats bekräfta att en av de mest fundamentala aspekterna inom kvantmekaniken – komplementaritet – kan kopplas ihop med så kallad informationsteori. Fyndet banar väg för bättre kvantkommunikation, mätteknik och kryptografi.

Relaterat innehåll