Vad krävs för att skapa en riktigt stark konsertupplevelse för den som sitter hemma i soffan och streamar ljud och bild? I ett unikt samarbete mellan akademi, kultursektor och näringsliv testas hur hemmapubliken kan ges möjlighet att själv välja kameravinkel, ljudupplevelse, zoomning och klippning medan konserten pågår. I slutet av april spelades Tjajkovskijs fjärde symfoni in med Malmö Musikhögskolas Symfoniorkester på Malmö Live. Detta gjordes med hjälp av 176 mikrofoner i fem olika inspelningstekniker, sex Axis-kameror och en 360°-kamera. Nu är det dags för experterna att tillsammans bearbeta och analysera materialet för att utforska den nya teknikens stora möjligheter!
Det var söndagen den 28 april som Malmö Musikhögskolans Symfoniorkester spelade Tjajkovskijs fjärde symfoni under ledning av dirigenten Daniela Musca på Malmö Live och det första inspelningstestet gjordes. Testet görs inom arbetet med Kalaudioscope/LUDICH-projekten, som är ett forsknings- och innovationsinitiativ i samarbete mellan Lunds universitet, Malmö Live Konserthus/MSO, Axis Communications, Amazon, Cinfo, Capgemini, Ericsson, Future by Lund med flera. I projekten vill man skapa helt nya möjligheter för en virtuell upplevelse med hjälp av en kombination av olika inspelningstekniker för ljud och bild. Därmed ska det gå att sitta hemma i soffan och välja en egen version av en konsert – kanske till och med bestämma från vilken position i konsertsalen man vill lyssna.
Projektledare för ljudinspelningen är Sebastian Hastrup.
- Det här kan vara en de mest heltäckande inspelningarna av en symfoniorkester som har genomförts, både i antal mikrofonkapslar men också vad gäller bredden av olika teknologier. Det var väldigt spännande att samordna och genomföra det här projektet tillsammans med mina ljudkollegor. Våra preliminära lyssningstester visar redan att det finns stort potential i materialet specifikt för Kalaudioscope, men också för många andra utbildnings- och forskningsscenarion framöver, säger Sebastian Hastrup.
Konserten spelades in med hjälp av totalt 176 mikrofonkapslar i fem olika ljudtekniker och sex Axis-kameror tillsammans med en 360°-kamera på scenen. De olika inspelningsteknikerna för ljud är: Decca Tree, som är en av de traditionella teknikerna för att spela in symfoniorkestrar, High Order Ambisonics som ger både en högupplöst 360-gradersrepresentation av inspelningsplatsen samt möjlighet att fokusera in på specifika ljudkällor, Binaural recording som innefattar ett konstgjort människohuvud med mikrofoner placerade i öronen. Denna teknik bygger på HRTF (head-related transfer function) vilket är en överföringsfunktion som beskriver hur den mänskliga stereohörseln fungerar, samt slutligen en speciell inspelningsteknik designad av Yann Coppier, forskare på Lunds universitet/Malmö Academy of Music, där 16 rundupptagande mikrofoner placeras ut runt omkring i konsertsalen. Slutligen användes även en fysisk ”klappa” av typen som man använder för filminspelningar för att alla inspelningar (ljud och bild) ska kunna synkas med samma startpunkt. Bland experterna i inspelningsgruppen finns Nedelko Grbic, specialist i signalbehandling. Han bearbetar alla signaler i efterhand så att de blir synkade.
Inspelningen gjordes för att utforska vilken inspelningsteknik, eller kombination av inspelningstekniker, som fungerar bäst för att ”zooma” ljud i en immersiv produktion för att skapa material till en omfattande virtuell produktion. I detta ingår också ett test av vilken teknik som ger bäst ljudkvalitet när man ska ”zooma” ljud vilket behövs för att förstärka hemmapublikens upplevelse. Den fjärde juni hålls en öppen workshop där det ges möjlighet till ett första prova-på-test på Malmö Live. Innan workshopen utvärderas och bearbetas materialet så att deltagarna kan uppleva olika versioner och utforska den interaktiva potentialen i streamade konserter. Arbetet med inspelningen finansieras av Region Skåne/ERUF.
Det tematiska samverkansinitiativet koordineras av Jesper Larsson, som har gedigen bakgrund i kultursektorn från tidigare chefskap för Malmö Live och Kulturhuset Stadsteatern i Stockholm och nu arbetar på Konstnärliga fakulteten på Lunds universitet.
- Genom Kalaudioscope vill vi demokratisera konsertupplevelsen för att kunna nå många fler med den offentligt finansierade kulturen. Med framtidens teknik kan vi bli mycket mer tillgängliga och erbjuda många fler versioner och kanske även samskapa med publiken och hitta nya konstnärliga format. På workshopen kommer vi både prova prototyper av möjliga upplevelser och diskutera vilken ytterligare utveckling som behövs, säger Jesper Larsson.
Workshopen är kostnadsfri och vänder sig främst till den som jobbar med att utveckla liveupplevelser eller områden som tangerar detta (musiker, VR, affärsmodeller, plattformar med mera) men även såklart de som representerar publikperspektivet. Anmäl dig här
LUDICH-projektet syftar till att skapa de bästa möjliga förutsättningar för en ny generation digitala liveframträdanden. I projektet arbetar aktörerna med interaktiva streaming-lösningar och digitala format som gör att användaren själv kan välja och skräddarsy sin konsertupplevelse. Det här blir möjligt med hjälp av den senaste tekniken och den samlade expertisen hos projektets samverkanspartners, som är sex fakulteter på Lunds universitet, Malmö Live Concert Hall/MSO, Axis, Amazon, Cinfo, Capgemini, Ericsson, Future by Lund, Helsingborg Arena och Scen och Science Village Hall.
Läs mer: Lund University Digital Interactive Concert Hall - LUDICH