Foto från föreställningen Spöket på Canterville: Sören Vilks

‍

Det var redan under 2021 som Riksteatern Crea kontaktade Lunds universitets humanistlaboratorium med en idé om att ha en avatar på scen styrd av motion capture för en uppsättning för teckenspråkstalande.

- Anledningen till att de kontaktade oss var att vi i många år har använt motion capture (mocap) för att spela in kroppsrörelser åt forskare som undersöker språk och kommunikation, berättar Stefan Lindgren på Lunds universitets humanistlaboratorium. Vi tyckte det lät spännande och lovade att vi i alla fall skulle kunna försöka.

Uppgiften innebar att skapa en teckenspråkstalande avatar. Att göra det ställer högre krav än att enbart återge kroppsspråk, för man behöver också kunna spegla fina fingerrörelser och ansiktsuttryck. Dessutom behöver avataren baseras på en person som står bakom scen och talar teckenspråk och som sedan strömmas live.

Efter ett halvår hade Lunds universitets Humanistlaboratorium tagit fram en lösning genom en kombination av tre tekniker. Ansiktsmimiken förmedlas med hjälp av en vanlig telefon, fingerrörelserna med ett par specialhandskar som fångar fingerrörelser och kroppsrörelser genom motion capture. Dessa tre källor strömmas till en dator som kombinerar dem och genererar spöket, avataren, som en projektion på en tunn duk på scen.

- Regissören var mycket nöjd och tog det vidare till sina konstnärliga experter som arbetade vidare med formgivningen av avataren, berättar Stefan Lindgren. Spöket har till exempel formats med stora ögon och ögonbryn så att det blir ett starkt uttryck.

I början av 2025 startade Riksteatern Crea sin turné med Spöket i Canterville runt om i Sverige och gav bland annat flera föreställningar på Lunds stadsteater. Lösningen med spöket fungerade mycket väl och föreställningen riktar sig till både ickehörande och hörande.

Lunds universitets humanistlaboratorium är en forskningsinfrastruktur som ger tillgång till avancerad utrustning och expertis till forskare och studenter. För personer på universitet är detta gratis, men för andra kostar det oftast att använda kompetensen. Samtidigt är det viktigt med externa konkreta utmaningar som kan ge forskningen nya ytor att arbeta kring.

- I fallet med Spöket på Canterville ser vi det som ett metodutvecklingsprojekt som vi lär oss och gagnas av, menar Stefan Lindgren. I och med att detta kan vi erbjuda ny teknik till forskare och vi kan göra sådant som vi inte tidigare kunde.

Tekniken är bland annat viktig för forskare inom kommunikation och kognition. Genom detta skulle det till exempel gå att jämföra hur kroppsspråket skiljer sig åt för olika språk eller analysera detaljer i hur man gestikulerar. Lunds universitets humanistlaboratorium tar varje år emot 500 forskare och ungefär tio av dem använder mocap-teknik. I labbet finns många olika tekniska möjligheter, som en avdelning för ögonrörelsemätning, en annan där man mäter signaler i hjärnan och en med ett system för att undersöka hur den mänskliga talapparaten fungerar. Dessutom jobbar man med arkeologidokumentation genom bland annat 3D.

- En av poängerna att samla så mycket teknisk utrustning på ett ställe är att man kan kombinera olika saker med varandra. Det finns andra labb som är experter på delar av det vi har men få kopplar ihop det, berättar Stefan Lindgren.

Lunds universitets humanistlaboratorium undersöker just nu möjligheterna för en medverkan i Unexpected den 4 juni för att se vad det kan leda till. Eventuellt skulle humanistlaboratoriet kunna ge smakprov på tekniker som används hos dem, och en del skulle kunna vara att visa hur en så komplicerad kommunikationsform som teckenspråk kan överföras till en avatar.

- Lunds universitets humanistlaboratorium är en forskningsplats med funktioner och arbetssätt som är unika, säger Katarina Scott på Future by Lund. Det är en lite gömd pärla - nu hoppas vi kunna visa aktiviteten och föra ihop den med innovationsekosystemet.

Stefan Lindgren ser att ett samarbete med Lunds universitets samverkansavdelning och Future by Lund kan vara en intressant möjlighet i framtiden.

- Ett sådant samarbete kan ge oss möjlighet att nå ut till fler och till att få utforska fler områden, menar Stefan Lindgren. Vi har resurser som skulle kunna komma organisationer och företag till gagn, men eftersom vi ju framför allt är inriktade på forskning får det vara på ett sätt som vi kan ha akademisk nytta av. Samverkan med företag skulle också kunna vara ett sätt för oss att föra ut lösningar i samhället.

Den teknik som tas fram skulle också kunna skalas upp som en innovation.

- Vi vill förstås gärna ha med Riksteatern Crea och Sveriges dövas riksförbund i ett sådant arbete. Jag kan se att tekniken till exempel skulle kunna användas för att anonymisera ett dövt vittne i en rättegång eller att man genom att göra många inspelningar kan lära AI-system teckenspråk, avslutar Stefan Lindgren.

‍