Niklas Rönnberg är lektor och docent på ITN, institutionen för teknik och naturvetenskap. Han undervisar främst i ljudteknik på campus Norrköping och har sedan 2016 forskat inom sonifiering. Ett forskningsområde där han, tillsammans med några kollegor på KTH i Stockholm, är unik i Sverige.
– Sonifiering är ljudvarianten av visualisering, kan man säga, och för mig är det ett komplement till någonting, exempelvis en visualisering av data eller en interaktion. Sonifiering kan ske på olika sätt, ibland görs data om till ljud, andra gånger skapas ljud och kopplas till data, säger Niklas Rönnberg
Avkodade konstverken
Under hösten 2022 blev han engagerad i ett projekt initierat av teknikföretaget Samsung. Hilma af Klints klassiska målning Ynglingaåldern har fått nytt liv med musik av artisten Esther. "Jag är nöjd med att jag lyckats få till musikinstrument utifrån en tavla", säger Niklas Rönnberg. Foto THOR BALKHED Målet med ”Sound of Art” är att visa hur musik och ljud kan förstärka upplevelsen av det vi annars bara kan se. Fyra artister från Sverige, Norge, Danmark och Finland har tolkat ett klassiskt konstverk från respektive land. Från Sverige har artisten Esther tolkat Hilma af Klints målning ”Ynglingaåldern” från 1907 – men i stället för att bara göra en ny musikalisk komposition inspirerat av konsten använde man sig av sonifiering. Niklas Rönnberg avkodade alla fyra konstverken, så att olika färger ger olika toner och harmonier. Mörkare och dovare färger ger lägre tonhöjd jämfört med ljusare färger.
– Jag använde min kod som jag har sedan tidigare för att analysera färg. Jag gjorde om koden så att tavlan blev som ett musikinstrument. Enkelt uttryckt kan man säga att i stället för att de tar ett ackord på en klaviatur, så klickar de i tavlan och får ett ackord utifrån vilken färg de klickar på. "Det är ett coolt projekt och det är stort för mig som forskare att mina tankar och idéer når ut på det här sättet.", säger Niklas Rönnberg. Foto THOR BALKHED
Han är nöjd med resultatet som blev till under några intensiva månader.
– Jag är nöjd med att jag lyckats få till musikinstrument utifrån en tavla. Det är ett coolt projekt och det är stort för mig som forskare att mina tankar och idéer når ut på det här sättet.
– Om man tittar på det rent sonifieringsmässigt är det ganska förenklat, men för att det ska vara användbart för en musiker kan jag inte ha tio toner i varje färg. Då blir det oändligt många kombinationer och några av dem skulle säkert låta hemskt.
Vill utforska i publik miljö
Det är inte klart vad som blir nästa steg i projektet.
– Det vore spännande att kunna utforska det här i en publik miljö på ett museum. Man kan tänka sig att ha en stor touchskärm, som står bredvid den riktiga tavlan, där man kan zooma in och utforska det rent visuella och även sonifieringen och ljudet.
Niklas Rönnbergs egen forskning har som syfte att undersöka hur det han själv kallar för musikalisk sonifiering kan användas och var det är mest användbart.
Förenkla och berätta
– Ljud och sonifiering är annorlunda än visuella saker och som komplement kan det förenkla och berätta något annat än det vi ser. Tänk dig att du jobbar på ett kärnkraftverk eller sitter i ett flygledningstorn med en massa skärmar, där dyker det hela tiden upp situationer där du riskerar att missa något viktigt. Då kan ett speciellt ljud vara ett viktigt komplement som hjälper dig.
I sin forskning tittar Niklas Rönnberg på hur man skulle kunna återinföra ljud i en del kontrollmiljöer – till exempel i ett maskinrum.
– Förr i tiden kunde verkmästaren höra att var fel utan att behöva titta på maskinen. I dag har vi tappat lite av den kunskapen, så det vore superspännande att återinföra lite av den perifera ljudmiljön. I dag skulle vi kunna berätta saker och underlätta en arbetssituation med väldesignade ljud som inte innebär maskinskrammel eller risk för hörselskador.
Viktigaste konferensen i Norrköping
Begreppet sonifiering och den mesta av forskningen förekommer i dag inom akademin. Det vill Niklas Rönnberg gärna ändra på. I slutet av juni arrangerar Linköpings universitet ICAD (International conference on auditory display) i Norrköping – den största och viktigaste konferensen inom sonifiering. I år med temat ”Sonification for the masses”. "Det vore spännande att kunna utforska det här i en publik miljö på ett museum", säger Niklas Rönnberg. Foto THOR BALKHED
– Sonifiering är lite obskyrt och det är synd. Det går att använda på så många sätt och konferensen i sommar går ut på att vi vill försöka nå ut till människor utanför akademin och göra sonifiering både förståelig och användbar för alla.
Lyssna på låtarna och läs mer om projektet Sound of Art.
FAKTA: Niklas Rönnberg
Gör: Lektor i ljudteknologi och sonifieringsforskare vid ITN, institutionen för teknik och naturvetenskap, campus Norrköping. Akademisk resa: Varit student och anställd vid LiU sedan 1992. Magisterexamen i kommunikationsvetenskap. Doktorsexamen i teknisk audiologi 2014.Varför intresset för ljud: ”Ljud har alltid varit en passion för mig, jag gör mycket ljud och musik på fritiden. Det är häftigt att nu kunna jobba med ljud och musik, utan att vara musiker”.
