¿Puede la IA distinguir voces? Reconocimiento de hablantes y clonación de voz explicados

¿Quién está hablando en este momento? En una ponencia clásica, esta pregunta apenas se plantea: una persona habla y el público escucha. En una mesa redonda, la situación es distinta. Varias personas se turnan, se interrumpen o hablan a la vez. Para una interpretación simultánea con IA, esto supone una tarea adicional: el sistema no solo tiene que entender lo que se dice, sino también, en la medida de lo posible, reconocer quién está hablando. De eso trata precisamente el reconocimiento de hablantes. En este artículo explicamos cómo funciona la Speaker Diarization, por qué el habla superpuesta resulta tan exigente, qué podría significar el Voice Cloning para la interpretación y qué responsabilidad conlleva la reproducción de voces humanas.

De la ponencia a la mesa redonda: por qué la pregunta «¿Quién habla?» cobra importancia

Ya sea un ser humano o una IA: para cualquier interpretación, el formato marca una gran diferencia. En una keynote en un congreso o en una presentación en un evento corporativo hay una fuente clara: el micrófono del atril o el headset de la persona que está en el escenario. Quién está hablando es evidente.

En una mesa redonda, esto cambia. La moderación plantea una pregunta, un invitado responde, un segundo le contradice, un tercero añade algo a mitad de frase. Estos cambios son deseados, ya que dan vida al debate. Pero para un sistema de IA significan que hay que resolver dos tareas al mismo tiempo:

• ¿Qué se dice? Es la base de toda interpretación.
• ¿Quién lo dice? Esta información ayuda a distinguir las intervenciones y a que se entiendan las relaciones entre ellas.

Quien sigue un debate a través de la interpretación depende de que los cambios entre oradoras y oradores sigan siendo reconocibles. De lo contrario, el discurso y la réplica se funden rápidamente en un único flujo.

Reconocimiento de hablantes mediante IA: qué aporta la Speaker Diarization

El término técnico para la asignación temporal de fragmentos de habla a distintos hablantes es Speaker Diarization. Un sistema de este tipo analiza las propiedades acústicas de la señal e intenta distinguir las diferentes voces entre sí.

El resultado es una estructura temporal. De forma simplificada, puede tener este aspecto:

• el hablante A habla en el primer fragmento,
• el hablante B toma la palabra,
• el hablante C interviene,
• a continuación vuelve a hablar el hablante A.

Hay un punto importante que a menudo se pasa por alto: la Speaker Diarization no es lo mismo que la identificación de personas. El sistema no tiene por qué saber necesariamente qué personas reales hay detrás de las voces. Basta con que reconozca la voz A y la voz B como voces diferentes. Si A es la moderadora y B el miembro del consejo de administración es algo que, para esta tarea, queda abierto en un primer momento.

Para una interpretación simultánea, es precisamente esta capacidad la que resulta relevante. La mera información de que ahora habla una persona distinta a la anterior ya puede ayudar a reproducir un debate de forma más comprensible.

Cuando todos hablan a la vez: separación de hablantes en el habla superpuesta

La cosa se complica especialmente cuando varias personas hablan al mismo tiempo. En una mesa redonda animada, esto ocurre con regularidad: una breve interjección, una palabra de aprobación, dos respuestas que se solapan.

Aquí entran en juego los métodos de Audio Source Separation. Su objetivo es separar entre sí distintas señales de voz que se superponen. En el mejor de los casos, a partir de una mezcla vuelven a obtenerse voces individuales y comprensibles.

Sin embargo, la calidad de estos métodos depende en gran medida del material de partida y de las condiciones acústicas. Cuanto más nítidas estén las voces individuales en la señal, mejor se pueden distinguir. Lo que ya se ha perdido en el sonido no puede recuperarse de forma fiable ni siquiera con una separación sofisticada.

Qué significa esto para su planificación

Para los organizadores, esto significa que la cuestión de lo bien que una IA puede distinguir a los hablantes es siempre también una cuestión de técnica de sonido. Cómo la microfonía en las mesas redondas sienta las bases de toda interpretación lo hemos descrito en detalle en el artículo Interpretación con IA y técnica de audio: por qué todo empieza en el micrófono. Si está planificando una interpretación simultánea en una mesa redonda, merece la pena coordinar el sonido conjuntamente desde el principio.

Voice Cloning: ¿puede una interpretación conservar la voz?

Un segundo campo de investigación va un paso más allá. Se ocupa de la reproducción sintética de voces humanas, a menudo denominada Voice Cloning.

La síntesis de voz moderna puede adoptar determinadas características de una voz y utilizarlas para nuevos contenidos lingüísticos. Esto abre nuevas posibilidades para la interpretación: un orador podría reproducirse en otro idioma conservando parcialmente rasgos característicos de su voz.

La palabra «parcialmente» está elegida a conciencia. No se trata de copiar a una persona por completo, sino de que la interpretación deje de sonar como una voz ajena y transmita rasgos del original.

En combinación con el reconocimiento de hablantes, el potencial se hace visible: si un sistema reconoce que está hablando el hablante B y conserva las características de su voz en el idioma de destino, una mesa redonda interpretada podría resultar mucho más fácil de seguir. Cuestiones similares se plantean en la transmisión de la entonación y la expresión; puede leer más al respecto en nuestro artículo ¿Puede la IA traducir emociones?

Posibilidades técnicas y cuestiones éticas

Por muy apasionante que sea la tecnología, la reproducción de voces humanas conlleva una responsabilidad considerable. Una voz es algo muy personal. Quien la genera de forma sintética se mueve en un ámbito delicado.

Desde nuestro punto de vista, hay tres requisitos fundamentales:

• Consentimiento: la persona cuya voz se reproduce debe dar su consentimiento.
• Transparencia: precisamente en el entorno profesional debe quedar claro cuándo se utiliza una voz sintética. El público debe saber que está escuchando una interpretación y no a la propia persona.
• Protección frente al uso indebido: las voces reproducidas no deben utilizarse fuera del fin acordado.

Para empresas, asociaciones e instituciones públicas, estas cuestiones no son abstractas. En una junta general de accionistas, una conferencia especializada o una sesión pública debe poder comprobarse en todo momento quién ha dicho qué y de qué forma se reproduce.

La perspectiva de MILA sobre el reconocimiento de hablantes y la conservación de la voz

Para los futuros sistemas de interpretación con IA, el reconocimiento de hablantes y la conservación de la voz son campos de desarrollo importantes. Especialmente en las mesas redondas, una asignación fiable de las intervenciones a cada hablante podría mejorar la comprensión. Por eso seguimos de cerca estas tecnologías.

Nuestro criterio sigue siendo el mismo: la innovación técnica debe aportar un valor añadido real a la comunicación. Para nosotros, una nueva función solo tiene sentido cuando ayuda a sus invitados a seguir mejor un evento.

En su evento, hoy apostamos por lo que se puede planificar de forma fiable. La interpretación simultánea con IA funciona localmente en nuestro propio equipo técnico en el lugar del evento, sin nube: lo que se dice no sale del evento. Configuramos de antemano los términos técnicos y los nombres propios del programa. Cada idioma llega por un canal propio al sistema de interpretación o al equipo de conferencias existente y, si lo desea, con receptores y auriculares para los invitados. Y siempre hay un técnico de sistemas in situ: planifica con usted, realiza el montaje, supervisa la interpretación durante el evento y se encarga del desmontaje.

¿Está planificando un congreso, una conferencia o un evento corporativo con mesa redonda y quiere saber cómo puede llevarse a cabo la interpretación? Encontrará todos los detalles sobre la técnica y el desarrollo en nuestra página de servicios. Los formatos que acompañamos se muestran en nuestros ámbitos de aplicación. No dude en ponerse en contacto con nosotros.