07 februari 2023

I projektet ”Sound of Art” har kända nordiska konstverk förstärkts med nyskrivna låtar av olika artister. Musiken har skapats efter att LiU-forskaren Niklas Rönnberg avkodat konstverken genom musikalisk sonifiering. ”Det har varit väldigt spännande. Ljudet kan tillgängliggöra konsten på ett annat sätt och förhoppningsvis skapa en ny upplevelse”, säger han.

En person står på ett museum.
" Jag använde min kod som jag har sedan tidigare för att analysera färg. Jag gjorde om koden så att tavlan blev som ett musikinstrument", säger Niklas Rönnberg som här står på Norrköpings konstmuseum. THOR BALKHED

Niklas Rönnberg är lektor och docent på ITN, institutionen för teknik och naturvetenskap. Han undervisar främst i ljudteknik på campus Norrköping och har sedan 2016 forskat inom sonifiering. Ett forskningsområde där han, tillsammans med några kollegor på KTH i Stockholm, är unik i Sverige.

– Sonifiering är ljudvarianten av visualisering, kan man säga, och för mig är det ett komplement till någonting, exempelvis en visualisering av data eller en interaktion. Sonifiering kan ske på olika sätt, ibland görs data om till ljud, andra gånger skapas ljud och kopplas till data, säger Niklas Rönnberg

Avkodade konstverken

Under hösten 2022 blev han engagerad i ett projekt initierat av teknikföretaget Samsung. En bild på färgglad tavla.Hilma af Klints klassiska målning Ynglingaåldern har fått nytt liv med musik av artisten Esther. "Jag är nöjd med att jag lyckats få till musikinstrument utifrån en tavla", säger Niklas Rönnberg. Foto THOR BALKHED Målet med ”Sound of Art” är att visa hur musik och ljud kan förstärka upplevelsen av det vi annars bara kan se. Fyra artister från Sverige, Norge, Danmark och Finland har tolkat ett klassiskt konstverk från respektive land. Från Sverige har artisten Esther tolkat Hilma af Klints målning ”Ynglingaåldern” från 1907 – men i stället för att bara göra en ny musikalisk komposition inspirerat av konsten använde man sig av sonifiering. Niklas Rönnberg avkodade alla fyra konstverken, så att olika färger ger olika toner och harmonier. Mörkare och dovare färger ger lägre tonhöjd jämfört med ljusare färger. 

– Jag använde min kod som jag har sedan tidigare för att analysera färg. Jag gjorde om koden så att tavlan blev som ett musikinstrument. Enkelt uttryckt kan man säga att i stället för att de tar ett ackord på en klaviatur, så klickar de i tavlan och får ett ackord utifrån vilken färg de klickar på. En person sitter med lurar vid en dator."Det är ett coolt projekt och det är stort för mig som forskare att mina tankar och idéer når ut på det här sättet.", säger Niklas Rönnberg. Foto THOR BALKHED

Han är nöjd med resultatet som blev till under några intensiva månader.

– Jag är nöjd med att jag lyckats få till musikinstrument utifrån en tavla. Det är ett coolt projekt och det är stort för mig som forskare att mina tankar och idéer når ut på det här sättet.

– Om man tittar på det rent sonifieringsmässigt är det ganska förenklat, men för att det ska vara användbart för en musiker kan jag inte ha tio toner i varje färg. Då blir det oändligt många kombinationer och några av dem skulle säkert låta hemskt.

Vill utforska i publik miljö

Det är inte klart vad som blir nästa steg i projektet.

– Det vore spännande att kunna utforska det här i en publik miljö på ett museum. Man kan tänka sig att ha en stor touchskärm, som står bredvid den riktiga tavlan, där man kan zooma in och utforska det rent visuella och även sonifieringen och ljudet. 

Niklas Rönnbergs egen forskning har som syfte att undersöka hur det han själv kallar för musikalisk sonifiering kan användas och var det är mest användbart.

Förenkla och berätta

– Ljud och sonifiering är annorlunda än visuella saker och som komplement kan det förenkla och berätta något annat än det vi ser. Tänk dig att du jobbar på ett kärnkraftverk eller sitter i ett flygledningstorn med en massa skärmar, där dyker det hela tiden upp situationer där du riskerar att missa något viktigt. Då kan ett speciellt ljud vara ett viktigt komplement som hjälper dig.

I sin forskning tittar Niklas Rönnberg på hur man skulle kunna återinföra ljud i en del kontrollmiljöer – till exempel i ett maskinrum.
– Förr i tiden kunde verkmästaren höra att var fel utan att behöva titta på maskinen. I dag har vi tappat lite av den kunskapen, så det vore superspännande att återinföra lite av den perifera ljudmiljön. I dag skulle vi kunna berätta saker och underlätta en arbetssituation med väldesignade ljud som inte innebär maskinskrammel eller risk för hörselskador.

Viktigaste konferensen i Norrköping

Begreppet sonifiering och den mesta av forskningen förekommer i dag inom akademin. Det vill Niklas Rönnberg gärna ändra på. I slutet av juni arrangerar Linköpings universitet ICAD (International conference on auditory display) i Norrköping – den största och viktigaste konferensen inom sonifiering. I år med temat ”Sonification for the masses”. En person vandrar i ett museum. "Det vore spännande att kunna utforska det här i en publik miljö på ett museum", säger Niklas Rönnberg. Foto THOR BALKHED

– Sonifiering är lite obskyrt och det är synd. Det går att använda på så många sätt och konferensen i sommar går ut på att vi vill försöka nå ut till människor utanför akademin och göra sonifiering både förståelig och användbar för alla.

Lyssna på låtarna och läs mer om projektet Sound of Art.

 

FAKTA: Niklas Rönnberg

Gör: Lektor i ljudteknologi och sonifieringsforskare vid ITN, institutionen för teknik och naturvetenskap, campus Norrköping. Akademisk resa: Varit student och anställd vid LiU sedan 1992. Magisterexamen i kommunikationsvetenskap. Doktorsexamen i teknisk audiologi 2014.
Varför intresset för ljud: ”Ljud har alltid varit en passion för mig, jag gör mycket ljud och musik på fritiden. Det är häftigt att nu kunna jobba med ljud och musik, utan att vara musiker”.

Läs mer om forskningen

Senaste nytt från LiU

Flaggor vajar utanför Studenthuset.

LiU:s nya universitetsdirektör – en erfaren och driven chef

Anna Thörn blir ny universitetsdirektör vid LiU. Hon jobbar för närvarande som regiondirektör i Region Dalarna och har tidigare haft flera chefsbefattningar i Östergötland, bland annat som kommundirektör i både Norrköping och Söderköping.

Studentsångare tågar på Valborg

Valborgstradition fyller 50 år

På valborgsmässoafton blir det som traditionen bjuder, vårsånger, vårtal och mösspåtagning med manskören Linköpings Studentsångare på Borggården utanför Linköpings slott. I år firar traditionen 50-årsjubileum.

En man som håller händerna runt en illustration av ett hjärta.

Pristagaren: ” Jag vill lära mig så mycket som möjligt om hur kroppen fungerar”

Tino Ebbers är 2024 års mottagare av Onkel Adams pris för framstående forskning vid Medicinska fakulteten. Hans forskning befinner sig i gränslandet mellan medicin och teknik och fokuserar på sjukdomar i hjärtat och blodkärlen.