A IA consegue distinguir vozes? Reconhecimento de oradores e voice cloning explicados

Quem está a falar neste momento? Numa palestra clássica, esta questão quase não se coloca: uma pessoa fala e o público ouve. Num painel, a situação é diferente. Várias pessoas alternam entre si, interrompem-se ou falam em simultâneo. Para a interpretação simultânea assistida por IA, isto cria uma tarefa adicional: o sistema não tem apenas de compreender o que é dito, mas também, na medida do possível, reconhecer quem está a falar. É exatamente disso que trata o reconhecimento de oradores. Neste artigo, explicamos como funciona a Speaker Diarization, porque é que a fala sobreposta é tão exigente, o que o Voice Cloning poderá significar para a interpretação – e que responsabilidade está associada à reprodução de vozes humanas.

Da palestra ao painel: porque é que a pergunta „Quem está a falar?“ ganha importância

Seja um ser humano ou uma IA: para qualquer interpretação, o formato faz uma grande diferença. Numa keynote num congresso ou numa apresentação num evento empresarial, existe uma fonte clara: o microfone no púlpito ou o headset da pessoa em palco. Quem está a falar é inequívoco.

Num debate em painel, isso altera-se. A moderação faz uma pergunta, um convidado responde, um segundo contesta, um terceiro acrescenta algo a meio da frase. Estas alternâncias são desejadas, tornam um debate vivo. Para um sistema de IA, porém, significam que há duas tarefas a resolver em simultâneo:

• O que é dito? Esta é a base de qualquer interpretação.
• Quem o diz? Esta informação ajuda a distinguir as intervenções e a tornar as relações entre elas compreensíveis.

Quem acompanha um debate através da interpretação depende de que as mudanças entre oradoras e oradores continuem reconhecíveis. Caso contrário, intervenção e réplica fundem-se rapidamente num único fluxo.

Reconhecimento de oradores por IA: o que a Speaker Diarization consegue fazer

O termo técnico para a atribuição temporal de segmentos de fala a diferentes oradores é Speaker Diarization. Um sistema deste tipo analisa as propriedades acústicas do sinal e procura distinguir diferentes vozes umas das outras.

O resultado é uma estrutura temporal. De forma simplificada, pode ter o seguinte aspeto:

• o orador A fala no primeiro segmento,
• o orador B toma a palavra,
• o orador C intervém,
• em seguida, volta a falar o orador A.

Há aqui um ponto importante que é frequentemente ignorado: a Speaker Diarization não é o mesmo que a identificação de pessoas. O sistema não tem necessariamente de saber que pessoas reais estão por detrás das vozes. Basta que reconheça a voz A e a voz B como vozes diferentes. Se A é a moderadora e B o membro da administração, fica, para esta tarefa, inicialmente em aberto.

Para a interpretação simultânea, é precisamente esta capacidade que é relevante. A simples informação de que está a falar uma pessoa diferente da anterior pode ajudar a reproduzir um debate de forma mais compreensível.

Quando todos falam ao mesmo tempo: separação de oradores em fala sobreposta

A situação torna-se particularmente difícil quando várias pessoas falam ao mesmo tempo. Num debate em painel animado, isso acontece com regularidade – um breve aparte, uma palavra de concordância, duas respostas que se sobrepõem.

É aqui que entram os métodos de Audio Source Separation. O seu objetivo é separar diferentes sinais de fala que se sobrepõem. No melhor dos casos, a partir de uma mistura voltam a surgir vozes individuais e compreensíveis.

A qualidade destes métodos depende, contudo, fortemente do material de origem e das condições acústicas. Quanto mais nítidas estiverem as vozes individuais no sinal, melhor se conseguem distinguir. O que já se perdeu no som não pode ser recuperado de forma fiável, nem mesmo por uma separação sofisticada.

O que isto significa para o seu planeamento

Para os organizadores, isto significa: a questão de quão bem uma IA consegue distinguir oradores é sempre também uma questão de técnica de som. A forma como a microfonia em painéis estabelece a base de qualquer interpretação foi descrita em detalhe no nosso artigo Interpretação por IA e técnica de áudio: porque tudo começa no microfone. Se está a planear interpretação simultânea para um debate em painel, vale a pena coordenar o som em conjunto desde cedo.

Voice Cloning: pode uma interpretação preservar a voz?

Um segundo campo de investigação vai ainda um passo mais longe. Dedica-se à reprodução sintética de vozes humanas, frequentemente designada por Voice Cloning.

A síntese de voz moderna consegue adotar determinadas características de uma voz e utilizá-las para novos conteúdos linguísticos. Para a interpretação, abrem-se assim novas possibilidades: um orador poderia ser reproduzido noutra língua, mantendo-se parcialmente características distintivas da sua voz.

A palavra „parcialmente“ foi escolhida de forma deliberada. Não se trata de copiar uma pessoa por completo, mas sim de fazer com que a interpretação deixe de soar como uma voz estranha e transporte traços do original.

Em combinação com o reconhecimento de oradores, o potencial torna-se visível: se um sistema reconhecer que está a falar o orador B e preservar as características da sua voz na língua de destino, um debate em painel interpretado poderia ser bastante mais fácil de acompanhar. Questões semelhantes colocam-se na transmissão da entoação e da expressão – saiba mais no nosso artigo Pode a IA traduzir emoções?

Possibilidades técnicas e questões éticas

Por mais fascinante que a tecnologia seja: a reprodução de vozes humanas acarreta uma responsabilidade considerável. Uma voz é algo muito pessoal. Quem a gera sinteticamente move-se num terreno sensível.

Na nossa perspetiva, há três requisitos fundamentais:

• Consentimento: a pessoa cuja voz é reproduzida tem de dar o seu consentimento.
• Transparência: sobretudo em contexto profissional, tem de ficar claro quando é utilizada uma voz sintética. O público deve saber que está a ouvir uma interpretação e não a própria pessoa.
• Proteção contra abusos: as vozes reproduzidas não podem ser utilizadas fora da finalidade acordada.

Para empresas, associações e instituições públicas, estas questões não são abstratas. Numa assembleia geral, numa conferência da especialidade ou numa sessão pública, tem de ser possível, a qualquer momento, saber quem disse o quê – e de que forma isso é reproduzido.

A perspetiva da MILA sobre o reconhecimento de oradores e a preservação da voz

Para os futuros sistemas de interpretação por IA, o reconhecimento de oradores e a preservação da voz são áreas de desenvolvimento importantes. Sobretudo em debates em painel, uma atribuição fiável das intervenções a cada orador poderia melhorar a compreensibilidade. Por isso, acompanhamos estas tecnologias com atenção.

O nosso critério mantém-se, contudo, o mesmo: a inovação técnica tem de criar um valor acrescentado real para a comunicação. Para nós, uma nova funcionalidade só faz sentido quando ajuda os seus convidados a acompanhar melhor um evento.

No seu evento, apostamos hoje naquilo que se pode planear com fiabilidade. A interpretação simultânea por IA funciona localmente no nosso próprio equipamento no local do evento, sem cloud – o que é dito não sai do evento. Configuramos previamente os termos técnicos e os nomes próprios do programa. Cada língua é transmitida num canal próprio para o sistema de interpretação ou a técnica de conferência existentes, e, se desejar, com recetores e auscultadores para os convidados. E há sempre um técnico de sistemas no local: planeia consigo, faz a montagem, acompanha a interpretação durante o evento e faz a desmontagem.

Está a planear um congresso, uma conferência ou um evento empresarial com debate em painel e gostaria de saber como a interpretação pode ser implementada? Encontra todos os detalhes sobre a técnica e o processo na nossa página de Serviços. Os formatos que acompanhamos são apresentados nas nossas Áreas de aplicação – não hesite em contactar-nos.