Unexpected

Ett forum där konst, vetenskap, näringsliv, kreativa näringar och filosofi möts för att forma framtiden.

Teateruppsättning ger språkforskare nya möjligheter

Publicerad
March 11, 2025
Nyligen spelades Spöket på Canterville på Lunds stadsteater med ett spöke som är en interaktiv teckenspråkstalande avatar. Spöket skapas i realtid genom en kombination av olika tekniker som läser av rörelserna hos en teckenspråkstalande skådespelare bakom scenen. Riksteatern Crea har skapat lösningen med hjälp av Lunds universitets humanistlaboratorium – som nu också kan ge forskare möjlighet att använda samma sorts teknik.

Foto från föreställningen Spöket på Canterville: Sören Vilks

In English below.

Det var redan under 2021 som Riksteatern Crea kontaktade Lunds universitets humanistlaboratorium med en idé om att ha en avatar på scen styrd av motion capture för en uppsättning för teckenspråkstalande.

- Anledningen till att de kontaktade oss var att vi i många år har använt motion capture (mocap) för att spela in kroppsrörelser åt forskare som undersöker språk och kommunikation, berättar Stefan Lindgren på Lunds universitets humanistlaboratorium. Vi tyckte det lät spännande och lovade att vi i alla fall skulle kunna försöka.

Uppgiften innebar att skapa en teckenspråkstalande avatar. Att göra det ställer högre krav än att enbart återge kroppsspråk, för man behöver också kunna spegla fina fingerrörelser och ansiktsuttryck. Dessutom behöver avataren baseras på en person som står bakom scen och talar teckenspråk och som sedan strömmas live.

Efter ett halvår hade Lunds universitets Humanistlaboratorium tagit fram en lösning genom en kombination av tre tekniker. Ansiktsmimiken förmedlas med hjälp av en vanlig telefon, fingerrörelserna med ett par specialhandskar som fångar fingerrörelser och kroppsrörelser genom motion capture. Dessa tre källor strömmas till en dator som kombinerar dem och genererar spöket, avataren, som en projektion på en tunn duk på scen.

- Regissören var mycket nöjd och tog det vidare till sina konstnärliga experter som arbetade vidare med formgivningen av avataren, berättar Stefan Lindgren. Spöket har till exempel formats med stora ögon och ögonbryn så att det blir ett starkt uttryck.

I början av 2025 startade Riksteatern Crea sin turné med Spöket i Canterville runt om i Sverige och gav bland annat flera föreställningar på Lunds stadsteater. Lösningen med spöket fungerade mycket väl och föreställningen riktar sig till både ickehörande och hörande.

Stefan Lindgren på Lunds universitets humanistlaboratorium

Lunds universitets humanistlaboratorium är en forskningsinfrastruktur som ger tillgång till avancerad utrustning och expertis till forskare och studenter. För personer på universitet är detta gratis, men för andra kostar det oftast att använda kompetensen. Samtidigt är det viktigt med externa konkreta utmaningar som kan ge forskningen nya ytor att arbeta kring.

- I fallet med Spöket på Canterville ser vi det som ett metodutvecklingsprojekt som vi lär oss och gagnas av, menar Stefan Lindgren. I och med att detta kan vi erbjuda ny teknik till forskare och vi kan göra sådant som vi inte tidigare kunde.

Tekniken är bland annat viktig för forskare inom kommunikation och kognition. Genom detta skulle det till exempel gå att jämföra hur kroppsspråket skiljer sig åt för olika språk eller analysera detaljer i hur man gestikulerar. Lunds universitets humanistlaboratorium tar varje år emot 500 forskare och ungefär tio av dem använder mocap-teknik. I labbet finns många olika tekniska möjligheter, som en avdelning för ögonrörelsemätning, en annan där man mäter signaler i hjärnan och en med ett system för att undersöka hur den mänskliga talapparaten fungerar. Dessutom jobbar man med arkeologidokumentation genom bland annat 3D.

- En av poängerna att samla så mycket teknisk utrustning på ett ställe är att man kan kombinera olika saker med varandra. Det finns andra labb som är experter på delar av det vi har men få kopplar ihop det, berättar Stefan Lindgren.

Lunds universitets humanistlaboratorium undersöker just nu möjligheterna för en medverkan i Unexpected den 4 juni för att se vad det kan leda till. Eventuellt skulle humanistlaboratoriet kunna ge smakprov på tekniker som används hos dem, och en del skulle kunna vara att visa hur en så komplicerad kommunikationsform som teckenspråk kan överföras till en avatar.

- Lunds universitets humanistlaboratorium är en forskningsplats med funktioner och arbetssätt som är unika, säger Katarina Scott på Future by Lund. Det är en lite gömd pärla - nu hoppas vi kunna visa aktiviteten och föra ihop den med innovationsekosystemet.

Stefan Lindgren ser att ett samarbete med Lunds universitets samverkansavdelning och Future by Lund kan vara en intressant möjlighet i framtiden.

- Ett sådant samarbete kan ge oss möjlighet att nå ut till fler och till att få utforska fler områden, menar Stefan Lindgren. Vi har resurser som skulle kunna komma organisationer och företag till gagn, men eftersom vi ju framför allt är inriktade på forskning får det vara på ett sätt som vi kan ha akademisk nytta av. Samverkan med företag skulle också kunna vara ett sätt för oss att föra ut lösningar i samhället.

Den teknik som tas fram skulle också kunna skalas upp som en innovation.

- Vi vill förstås gärna ha med Riksteatern Crea och Sveriges dövas riksförbund i ett sådant arbete. Jag kan se att tekniken till exempel skulle kunna användas för att anonymisera ett dövt vittne i en rättegång eller att man genom att göra många inspelningar kan lära AI-system teckenspråk, avslutar Stefan Lindgren.

This translation is made mainly by translation tools.

Theatrical Production Offers New Opportunities for Language Researchers

Recently, The Canterville Ghost was staged at Lund City Theatre, featuring a ghost that is an interactive, sign-language-speaking avatar. The ghost is created in real-time using a combination of various technologies that capture the movements of a sign-language actor behind the scenes. Riksteatern Crea developed the solution with the help of Lund University’s Humanities Laboratory—an innovation that could now also provide researchers with new opportunities to use similar technology.

It was back in 2021 that Riksteatern Crea contacted Lund University’s Humanities Laboratory with the idea of featuring an avatar on stage, controlled via motion capture, for a production aimed at sign-language users.

- The reason they reached out to us was that we had been using motion capture (mocap) for years to record body movements for researchers studying language and communication, explains Stefan Lindgren from Lund University’s Humanities Laboratory. - We thought it sounded exciting and promised that we would at least give it a try.

The challenge was to create a sign-language-speaking avatar. This posed greater demands than simply reproducing body language, as it also required accurately reflecting detailed finger movements and facial expressions. Additionally, the avatar needed to be controlled live by an actor behind the scenes who was communicating in sign language.

After six months, Lund University’s Humanities Laboratory had developed a solution using a combination of three different technologies. Facial expressions were captured using a standard smartphone, finger movements were tracked using specialized gloves, and body movements were recorded via motion capture. These three data sources were streamed to a computer, which combined them to generate the ghost avatar, projected onto a thin screen on stage.

- The director was very pleased and took the concept to their artistic team, who further refined the avatar’s design, says Stefan Lindgren. - For example, the ghost was given large eyes and expressive eyebrows to enhance its visual impact.

In early 2025, Riksteatern Crea launched its national tour of The Canterville Ghost, performing across Sweden, including multiple shows at Lund City Theatre. The ghost’s technical solution worked exceptionally well, and the production was designed to engage both deaf and hearing audiences alike.

Lund University’s Humanities Laboratory serves as a research infrastructure, providing advanced equipment and expertise to researchers and students. For university affiliates, access is free, but external users typically pay for the service. At the same time, external projects present valuable real-world challenges that can help expand research perspectives.

- In the case of The Canterville Ghost, we view it as a method-development project from which we have learned and benefited, explains Stefan Lindgren. - Thanks to this work, we can now offer new technology to researchers and explore areas that were previously beyond our reach.

The technology is particularly significant for researchers in communication and cognition. For example, it could enable comparisons of body language variations across different languages or facilitate detailed analysis of gestures. Each year, about 500 researchers work at Lund University’s Humanities Laboratory, with roughly ten utilizing mocap technology. The lab also offers numerous other technological capabilities, including an eye-tracking division, a brain-signal measurement unit, and a system for studying human speech production. Additionally, the lab engages in archaeological documentation using 3D technology.

- One of the advantages of concentrating so much technical equipment in one place is that it allows for cross-disciplinary combinations, explains Stefan Lindgren. - There are other labs that specialize in individual aspects of what we do, but few integrate them the way we do.

Lund University’s Humanities Laboratory is currently exploring the possibility of participating in Unexpected, an international innovation forum on June 4, to see what opportunities it might bring. There is potential for the lab to showcase some of its technologies, including how a complex communication form like sign language can be translated into an avatar.

- Lund University’s Humanities Laboratory is a research facility with unique functions and methods, says Katarina Scott from Future by Lund. - It’s a bit of a hidden gem—now we hope to highlight its work and connect it with the innovation ecosystem.

Stefan Lindgren sees a potential future in collaborating with Lund University’s collaboration department and Future by Lund.

- Such a partnership could allow us to reach more people and explore new areas, says Stefan Lindgren. - We have resources that could benefit organizations and companies, but since our primary focus is research, it has to be done in a way that provides academic value. Collaboration with businesses could also be a way for us to bring our solutions into society.

The technology developed through this project could also be scaled up as an innovation.

- Of course, we would love to involve Riksteatern Crea and the Swedish National Association of the Deaf in such an initiative. I can see the technology being used, for example, to anonymize a deaf witness in a court trial or to train AI systems in sign language by analyzing large datasets of recorded gestures, concludes Stefan Lindgren.