Musikalisk sonifiering

Vi forskar om musikalisk sonifiering. Sonifiering innebär att ljud läggs till som ett komplement till en visuell representation för att förenkla förståelsen av denna, eller för att avslöja nya samband i forskningsdata, eller för att öka utbytet av en interaktion. Fokus för våra studier är att utforska användandet av medvetet designade och komponerade musikaliska ljud i sonifiering. Sonifiering kan användas till mätdata om klimatförändringar, biosensordata inom medicinsk vetenskap, processtyrning och transportledning, och mycket annat. För att sonifiering ska bli lyckad krävs ett nära samarbete med domänexperter för tillämpning och utvärdering av sonifieringen. Vi välkomnar samarbeten och förslag på områden och applikationer för sonifiering.

Sonifiering och informationsvisualisering

Forskning producerar data inom många olika forskningsområden, från medicin via beslutstöd för flygledare till klimatförändringar. Dessa forskningsresultat presenteras för andra forskare och för allmänheten genom vetenskapliga texter och visuella representationer. Ofta kan dessa visuella representationer vara svårtolkade och belastar det visuella kognitiva systemet. Genom att använda ljud som en kompletterande modalitet kan tolkningen av den visuella informationen underlättas. Exempelvis kan sonifiering undvika visuella feltolkningar på grund av simultan ljushetskontrast, förenkla förståelsen av densitet i en visualisering, eller skilja på olika datamängder som visas i en och samma visualisering.

Sonifering och beslutsstöd

Sonifiering kan också användas i samband med automation och beslutsstöd. Inom flygledning, till exempel, kan sonifiering ge perifer information som flygledaren inte har tillgänglig på den visuella displayen. Vidare skulle sonifiering kunna ge auditiv information om exempelvis maskiners status, något som tekniker och maskinoperatörer förr fick direkt på verkstadsgolvet men som idag inte är tillgänglig i tysta kontrollrum. Sonifiering kan i dessa exempel skapa en ljudatmosfär som ger konstant tillgänglig statusinformation i bakgrunden, utan att tvinga operatören att skifta fokus från pågående arbetsuppgifter. 

Sonifiering och interaktion

I en situation där en människa interagerar med en maskin, kan sonifiering användas för att ge information till användaren. Denna information kan överföras genom kort auditiv feedback, så kallade interfaceljud, eller genom förändringar i en mer holistisk ljudatmosfär. Sonifieringen kan på så sätt användas för att påverka ett beteende hos en användare, eller skapa en immersiv miljö där användarens upplevelse av en interaktion förstärks.

Musikaliska element i sonifiering

Grundforskning inom sonifiering inkluderar utforskning och utvärdering av musikaliska element och strukturer, som exempelvis harmonik, tonhöjd, amplitud och tempo. Vi undersöker vilka musikaliska element som är lämpliga att använda i sonifiering, samt hur dessa upplevs av användare. Vidare studerar vi vilka visuella eller interaktiva element som är lämpliga att sonifiera, samt hur kopplingen mellan dessa och ljudförändringar i sonifieringen görs, för bästa resultat och användarupplevelse.