Bild: Musiker ur Malmö Operaorkester under ledning av Anton Lasine på Science Village Hall.

I projektet Kalaudioscope/LUDICH arbetar flera aktörer tillsammans för att skapa möjligheter till individualiserad streaming av konserter och scenkonst. Tanken är att publiken ska kunna få sin egen specialdesignade bild- och ljudupplevelse, så att man till exempel kan sitta hemma i lugn och ro och följa en digital konsert live och själv välja vilken kameravinkel och vilket ljud som föredras. Det här innebär att fler människor skulle kunna få tillgång till konsertupplevelser och att branschen skulle nå ut till en ny publik med ett delvis nytt innehåll.

Nu har två av de tre åren med projektet gått och flera tester har gjorts av hur man kan kombinera mikrofoner och kameror för att skapa ett riktigt bra resultat. Ett nytt tillfälle för test blev det när Operaorkestern från Malmö Opera i januari 2025 var på plats i den alldeles nyöppnade konsertlokalen Science Village Hall i the Loop, intill ESS på Brunnshög. Under kvällen gav stråkensemblen ett program som bland annat innehöll Vivaldis De fyra årstiderna. Bolaget OnstageAI fick tillfälle att demonstrera sin mjukvara innan konserten. Mjukvaran kan lyssna till musik och genom att jämföra ljudvågor avgöra var i ett partitur man befinner sig. Utifrån detta kan till exempel en producent ge förhandsinstruktioner när det är dags för kamerzoomningar och -rörelser.

- Programvaran utgår från ett referensmaterial och gör en inspelning utifrån förutbestämda anvisningar. Det har ju även tidigare gått att styra kameror efter något förutbestämt. Det nya med denna mjukvara är att den genom att använda AI vet var i ett partitur musikerna är och att den kan anpassa sig till att musikerna spelar i ett annat tempo eller kanske till och med att de har hoppat till att annat stället i partituret, säger Jesper Larsson, chef för Malmö Operas produktions-, planerings- och publiksektion och projektledare för Kalaudiscope/LUDICH.

Testet genomfördes under musikernas generalrepetition inför konserten. Sex nätverkskameror fanns utplacerade för att skicka olika bilder till systemet. Bolaget OnstageAI hade också förberett visningen genom att markera kamerabyten, zoomningar och andra kameraförändringar i mjukvaran som följer partituret. Musikerna fick spela samma stycke två gånger i olika tempo. Resultatet blev att mjukvaran i båda fallen kunde hålla reda på var i noterna musikerna var och utifrån detta byta kamera efter de instruktioner som var inlagda i programmet och därmed skapa en färdigklippt inspelning av konserten.

- Den huvudsakliga delen i detta är att hjälpa en bildproducent men man skulle såklart kunna tänka sig att man lägger in markeringar i partituren som triggar helt andra saker – larm, sms eller texter. Det skulle kunna hjälpa en ljud- eller ljustekniker att veta när ett visst moment i en föreställning sker eller stödja inspicientens ”cueande” av scenskiften och så vidare. Allt som kan triggas med datasignal kan då styras av musikernas spelande. Det är detta som vi hoppas kunna använda i vårt projekt, berättar Jesper Larsson.

OnstageAI är långt framme i sin utveckling av programvaran. Nu har de alltså börjat testa skarpt med olika orkestrar och står precis inför en kommersiell lansering av sin produkt. I februari genomfördes ett lyckat test med Londons symfoniorkester genom två symfoniska konserter på The Barbican. Mjukvaran passar för allt från kammarmusik och små orkestrar till full symfonisk skala med solister. Traditionella inspelningstekniker kan användas, och bytena planeras med en väldigt stor precision. Ljudet som används är det som kommer från ljudteknikernas mixerbord. Även om det kommer en färdig videoinspelning ur detta finns materialet från alla kameror sparat och om man vill ändra klippningen i efterhand och göra andra mixningar, kanske till och med göra flera versioner, är det möjligt.

LUDICH-projektet syftar till att skapa de bästa möjliga förutsättningar för en ny generation digitala liveframträdanden. I projektet arbetar aktörerna med interaktiva streaming-lösningar och digitala format som gör att användaren själv kan välja och skräddarsy sin konsertupplevelse. Det här blir möjligt med hjälp av den senaste tekniken och den samlade expertisen hos projektets samverkanspartners, som är sex fakulteter på Lunds universitet, Malmö Opera, Malmö Live Concert Hall/MSO, Axis Communications, Amazon Web Services, Cinfo, Capgemini, Future by Lund, Helsingborg Arena och Scen och Science Village Hall med flera.