Kan AI översätta känslor? Vad AI-tolkar klarar av i dag

”Det här är ju fantastiskt.” En kort mening, men beroende på betoningen uttrycker den äkta entusiasm eller raka motsatsen. Människor uppfattar ofta sådana skillnader intuitivt. För en AI-tolk är känslor däremot en särskild utmaning. I det här inlägget visar vi hur klassisk talöversättning fungerar, vad forskningen arbetar med och var gränserna går.

Språk förmedlar mer än information

Den som lyssnar uppmärksammar inte bara orden. Tonhöjd, taltempo, pauser och situationens sammanhang bär en del av betydelsen. Ironi, entusiasm eller återhållsamhet ligger ofta just i detta extra lager.

För AI-system är detta betydelselager svårt att fånga. Det finns i den talade signalen, men inte nödvändigtvis i själva orden.

Hur AI-tolkar traditionellt bearbetar tal

Många AI-tolkningssystem arbetar med bearbetning i flera steg:

• Taligenkänning: En modell känner igen det talade innehållet.
• Översättning: Den igenkända texten överförs till målspråket.
• Talsyntes: En syntetisk röst återger översättningen.

Detta tillvägagångssätt är tekniskt flexibelt, men har en svaghet: när tal omvandlas till text kan information om det känslomässiga uttrycket gå förlorad. Det som inte längre finns i texten kan talsyntesen i slutändan inte heller återge.

Expressive Speech-to-Speech Translation: att även överföra känslor

Ett viktigt forskningsområde är så kallad Expressive Speech-to-Speech Translation. Här ska inte bara orden överföras, utan så långt som möjligt även egenskaper hos det ursprungliga sättet att tala – till exempel betoning, rytm, taltempo och känslomässiga uttrycksdrag.

Moderna ljudmodeller kan i allt högre grad bearbeta information direkt ur talsignaler. Det öppnar möjligheter som går utöver klassiska textbaserade översättningsprocesser.

Att känna igen känslor är inte detsamma som att förstå dem

En avgörande begränsning kvarstår. AI kan analysera vissa akustiska drag och utifrån dem härleda sannolikheter för känslotillstånd. Det betyder dock inte att den på ett tillförlitligt sätt känner igen en människas faktiska känslor.

En hög röst kan betyda entusiasm, ilska – eller helt enkelt dålig mikrofonering. Varför ljudet står i början av varje översättning beskriver vi utförligt i inlägget AI-tolkning och ljudteknik: Varför allt börjar vid mikrofonen.

Till detta kommer att även kulturella skillnader påverkar hur känslor uttrycks.

Risken med artificiell tolkning

En känslomässigt förstärkt översättning kan bli problematisk om systemet lägger till känslor som talaren inte alls ville uttrycka.

Därför måste utvecklingen av sådana system noggrant skilja mellan autentisk överföring och artificiell tolkning.

MILA:s perspektiv

För oss är känslomässig talöverföring ett av de mest spännande forskningsområdena inom modern ljud-AI. Framtiden för professionella tolkningssystem ligger inte enbart i en korrekt översättning av talade ord, utan också i en så autentisk överföring som möjligt av mänsklig kommunikation.

Fram till dess är det avgörande att realistiskt bedöma de förmågor som finns och att öppet redovisa teknikens begränsningar. På MILA satsar vi därför på det som går att planera vid evenemang: fackuttryck och egennamn från programmet lägger vi in i förväg, AI-simultantolkningen körs lokalt på vår egen teknik på evenemangsplatsen och en systemtekniker ansvarar för tolkningen på plats.

Om ni vill veta hur det kan se ut för ert evenemang hittar ni alla detaljer om teknik och genomförande på vår sida om våra tjänster.