Dokáže AI rozlišovat hlasy? Rozpoznávání mluvčích a klonování hlasu vysvětleno

Kdo právě mluví? U klasické přednášky tato otázka téměř nevzniká: mluví jedna osoba, publikum poslouchá. Na pódiu je to jinak. Několik osob se střídá, skáče si do řeči nebo mluví současně. Pro simultánní tlumočení s podporou AI tím vzniká další úkol: systém musí nejen rozumět tomu, co se říká, ale pokud možno také rozpoznat, kdo právě mluví. Přesně o tom je rozpoznávání mluvčích. V tomto článku vysvětlujeme, jak funguje speaker diarization, proč je překrývající se řeč tak náročná, co by voice cloning mohl znamenat pro tlumočení – a jaká odpovědnost je spojena s napodobováním lidských hlasů.

Od přednášky k pódiu: Proč je otázka „Kdo mluví?“ důležitá

Ať jde o člověka, nebo o AI: pro každé tlumočení je formát velmi podstatný. U keynote na kongresu nebo prezentace na firemní akci existuje jasný zdroj: mikrofon u řečnického pultu nebo headset osoby na pódiu. Kdo právě mluví, je jednoznačné.

U panelové diskuse se to mění. Moderátor položí otázku, jeden host odpoví, druhý oponuje, třetí doplní uprostřed věty. Takové střídání je žádoucí, dodává diskusi živost. Pro systém AI však znamená, že musí řešit dva úkoly současně:

• Co se říká? To je základ každého tlumočení.
• Kdo to říká? Tato informace pomáhá od sebe jednotlivé příspěvky odlišit a zachovat srozumitelné souvislosti.

Kdo sleduje diskusi v tlumočení, potřebuje, aby střídání mluvčích zůstalo rozpoznatelné. Jinak řeč a protiřeč rychle splynou v jediný proud.

Rozpoznávání mluvčích pomocí AI: Co dokáže speaker diarization

Odborný termín pro časové přiřazení úseků řeči jednotlivým mluvčím zní speaker diarization. Takový systém analyzuje akustické vlastnosti signálu a snaží se od sebe odlišit různé hlasy.

Výsledkem je časová struktura. Zjednodušeně může vypadat takto:

• mluvčí A mluví v prvním úseku,
• slova se ujímá mluvčí B,
• hlásí se mluvčí C,
• poté opět mluví mluvčí A.

Důležitý je přitom bod, který se často přehlíží: speaker diarization není totéž co identifikace osob. Systém nemusí nutně vědět, kteří skuteční lidé za hlasy stojí. Stačí, když rozpozná hlas A a hlas B jako různé hlasy. Zda je A moderátorka a B člen představenstva, zůstává pro tento úkol zatím otevřené.

Pro simultánní tlumočení je relevantní právě tato schopnost. Už samotná informace, že nyní mluví jiná osoba než předtím, může pomoci diskusi srozumitelněji zprostředkovat.

Když mluví všichni najednou: Oddělení mluvčích při překrývající se řeči

Obzvlášť obtížné je to ve chvíli, kdy mluví několik lidí současně. V živé panelové diskusi se to stává pravidelně – krátká poznámka, souhlasné slovo, dvě odpovědi, které se překrývají.

Zde přicházejí ke slovu metody audio source separation. Mají od sebe oddělit různé řečové signály, které se navzájem překrývají. V ideálním případě tak ze směsi opět vzniknou jednotlivé, srozumitelné hlasy.

Kvalita takových metod však silně závisí na výchozím materiálu a akustických podmínkách. Čím zřetelněji jsou jednotlivé hlasy v signálu obsaženy, tím lépe je lze od sebe odlišit. Co už ve zvuku zaniklo, nedokáže spolehlivě obnovit ani propracované oddělení.

Co to znamená pro Vaše plánování

Pro pořadatele to znamená: otázka, jak dobře dokáže AI rozlišovat mluvčí, je vždy také otázkou zvukové techniky. Jak ozvučení pódií pomocí mikrofonů vytváří základ každého tlumočení, jsme podrobně popsali v článku AI tlumočení a audiotechnika: Proč vše začíná u mikrofonu. Pokud plánujete simultánní tlumočení panelové diskuse, vyplatí se zvuk včas společně vyladit.

Voice cloning: Může tlumočení zachovat hlas?

Druhá oblast výzkumu jde ještě o krok dál. Zabývá se syntetickým napodobením lidských hlasů, často označovaným jako voice cloning.

Moderní syntéza řeči dokáže převzít určité vlastnosti hlasu a použít je pro nový jazykový obsah. Pro tlumočení se tím otevírají nové možnosti: řečník by mohl být reprodukován v jiném jazyce, přičemž charakteristické vlastnosti jeho hlasu by částečně zůstaly zachovány.

Slovo „částečně“ je přitom zvoleno záměrně. Nejde o to, osobu zcela zkopírovat, ale o to, aby tlumočení již neznělo jako cizí hlas, nýbrž neslo rysy originálu.

V kombinaci s rozpoznáváním mluvčích je potenciál zřejmý: pokud systém rozpozná, že právě mluví mluvčí B, a zachová vlastnosti jeho hlasu v cílovém jazyce, mohla by být tlumočená panelová diskuse výrazně snáze sledovatelná. Podobné otázky vyvstávají u přenosu důrazu a výrazu – více se dočtete v našem článku Dokáže AI tlumočit emoce?

Technické možnosti a etické otázky

Ať je technika jakkoli zajímavá: napodobování lidských hlasů s sebou nese značnou odpovědnost. Hlas je něco velmi osobního. Kdo jej synteticky vytváří, pohybuje se v citlivé oblasti.

Z našeho pohledu jsou zásadní tři předpoklady:

• Souhlas: Osoba, jejíž hlas je napodobován, s tím musí souhlasit.
• Transparentnost: Zejména v profesionálním prostředí musí být jasné, kdy je použit syntetický hlas. Publikum by mělo vědět, že poslouchá tlumočení, a ne samotnou osobu.
• Ochrana před zneužitím: Napodobené hlasy se nesmí používat mimo dohodnutý účel.

Pro firmy, svazy a veřejné instituce nejsou tyto otázky abstraktní. Na valné hromadě, odborné konferenci nebo veřejném zasedání musí být kdykoli zřejmé, kdo co řekl – a v jaké podobě je to reprodukováno.

Pohled MILA na rozpoznávání mluvčích a zachování hlasu

Pro budoucí systémy AI tlumočení jsou rozpoznávání mluvčích a zachování hlasu důležitými oblastmi vývoje. Zejména u panelových diskusí by spolehlivé přiřazení příspěvků jednotlivým mluvčím mohlo zlepšit srozumitelnost. Proto tyto technologie pozorně sledujeme.

Naše měřítko přitom zůstává stejné: technická inovace musí přinášet skutečnou přidanou hodnotu pro komunikaci. Nová funkce má pro nás smysl teprve tehdy, když pomáhá Vašim hostům lépe sledovat akci.

Na Vaší akci dnes sázíme na to, co lze spolehlivě naplánovat. AI simultánní tlumočení běží lokálně na naší vlastní technice v místě konání, bez cloudu – vyslovené slovo akci neopouští. Odborné termíny a vlastní jména z programu nastavujeme předem. Každý jazyk jde na samostatném kanálu do stávajícího tlumočnického zařízení nebo konferenční techniky, na přání s přijímači a sluchátky pro hosty. A systémový technik je vždy na místě: naplánuje vše s Vámi, provede instalaci, zajišťuje tlumočení během akce a vše opět demontuje.

Plánujete kongres, konferenci nebo firemní akci s panelovou diskusí a chcete vědět, jak lze tlumočení realizovat? Všechny podrobnosti o technice a průběhu najdete na naší stránce Služby. Jaké formáty zajišťujeme, ukazují naše Oblasti využití – neváhejte nás kontaktovat.