Agente de voz vs. agente humano: el marco técnico con el que Xternus evalúa si la IA está lista para tus clientes

"¿De verdad un agente de voz va a atender mejor que mi equipo?"

Es la pregunta que más nos hacen cuando una empresa está a punto de dar el paso. Y es legítima: tu equipo humano conoce a los clientes, improvisa, capta el tono de alguien enfadado y sabe cuándo saltarse el guion.

En Xternus implantamos agentes de voz todos los días, así que nuestra respuesta no es un eslogan: un agente de voz bien evaluado no sustituye lo mejor de un humano; lo iguala en las conversaciones repetitivas y lo supera en las tres cosas que más frustran a tus clientes: la espera, los horarios y la consistencia. La clave está en bien evaluado. Esta guía te enseña, sin atajos, el marco técnico con el que decidimos si un agente sale a producción o no.

Por qué evaluar un agente de voz es más difícil que evaluar un chatbot

Un agente de voz no es un chatbot con altavoz. Cada interacción atraviesa, en tiempo real, al menos tres tecnologías apiladas:

• ASR (reconocimiento automático de voz): convierte lo que dice el cliente en texto. Aquí se originan la mayoría de errores en cascada.
• LLM (modelo de lenguaje): interpreta la intención, razona y decide la respuesta.
• TTS (síntesis de voz): convierte la respuesta en audio natural.

El problema es que los errores se componen: si el ASR transcribe mal, el LLM razona sobre una entrada incorrecta y el TTS locuta con total naturalidad una respuesta equivocada. Por eso no basta con preguntar "¿suena bien?": medimos cada capa por separado y también el resultado extremo a extremo. Un fallo en cualquier eslabón —o una latencia acumulada de dos segundos— arruina toda la experiencia.

Qué es (para nosotros) un marco de evaluación de agentes de voz

Es un sistema estructurado de métricas y umbrales que responde a una única pregunta de negocio: ¿este agente es apto para este caso de uso concreto, con estos clientes y este nivel de riesgo? No es una nota global; son seis pilares independientes, cada uno con métricas propias, que juntos determinan la aptitud para producción. Ninguno se salva solo: un agente puede tener una voz espectacular y ser inservible si su latencia P99 se dispara.

Pilar 1 — Calidad de voz (TTS): que no suene a robot

Es lo primero que percibe tu cliente, y donde una décima marca la diferencia entre "atención premium" y "centralita de los noventa".

Métrica principal: MOS (Mean Opinion Score). Definida por la ITU-T, es una escala del 1 (inutilizable) al 5 (excelente) en la que oyentes reales puntúan la naturalidad de la voz. Cualquier voz que baje del rango medio queda descartada sin discusión. Nuestro umbral de producción es MOS mayor o igual a 4,3 (objetivo 4,3 a 4,5).

• Consistencia de tono (pitch) y jitter. El pitch es la entonación que sube y baja de forma natural (por ejemplo, al final de una pregunta). El jitter es la microvariación indeseada que delata a una voz sintética.
• Expresividad emocional. Una voz técnicamente limpia suena mal si la emoción no encaja con el contenido. Verificamos que el registro sea coherente con el mensaje.
• Ruido de fondo, en dos direcciones. En la salida, algo de ruido ambiente controlado hace que el agente suene más humano. En la entrada, el agente debe entender al cliente aunque haya ruido.

Cómo lo escalamos. Un panel humano no es viable en monitorización continua, así que combinamos MOS humano en el diseño con predictores automáticos como UTMOS y NISQA, que estiman el MOS de forma programática. Así vigilamos la calidad cada día, no solo el del lanzamiento.

Pilar 2 — Calidad de la conversación: entender, no solo oír

Este pilar conecta la voz con la resolución. Mide si el agente capta la intención real, gestiona los turnos y sostiene un diálogo de varias intervenciones.

Métrica principal: precisión en la clasificación de intenciones. El sector se mueve entre el 85 % y el 92 %; los mejores modelos superan el 96 %. Exigimos más del 90 %, porque un 85 % significa que 15 de cada 100 llamadas se enrutan mal. Los factores técnicos que lo sostienen:

• WER (Word Error Rate) de la capa ASR. Si el reconocimiento de voz transcribe mal, el LLM razona sobre basura. Vigilamos el WER porque uno bajo se traduce en menos fallbacks y una clasificación de intenciones más fina. Como referencia, los mejores modelos de voz a texto rondan hoy un WER del 2 % (ver benchmark de Artificial Analysis más abajo).
• Gestión de turnos e interrupciones (barge-in). El agente debe saber cuándo escuchar, cuándo responder y cuándo cancelar su propia locución si el cliente retoma la palabra. Una arquitectura de streaming con contexto múltiple gestiona estas interrupciones sin cortes bruscos.
• Tasa de fallback. Mide cuántas veces el agente no entiende y pide repetición; se calcula como el número de fallbacks dividido entre el total de interacciones, y depende casi siempre de la precisión del STT.
• Latencia (time-to-first-audio). El tiempo desde que el cliente calla hasta que el agente empieza a hablar. Exigimos menos de 500 ms, idealmente menos de 300 ms. A esa velocidad la conversación deja de "sentirse con una máquina".

Pilar 3 — Uso de herramientas y finalización de tareas: que resuelva de verdad

La calidad mide cómo se sintió la conversación; este pilar mide si se consiguió el resultado. Es el que más miran nuestros clientes, porque conecta directamente con el negocio.

Métrica principal: Tasa de Éxito de Tareas (TSR). Es el porcentaje de gestiones que el agente completa de principio a fin, integrándose con tus sistemas (CRM, bases de datos, RAG, bases de conocimiento internas y APIs) sin intervención humana. Su fórmula:

TSR (%) = (Tareas completadas ÷ Total de tareas intentadas) × 100

No sacamos a producción un agente con una TSR por debajo del 85 %. Además vigilamos la precisión de slot-filling (relleno de campos): mide si el agente extrae y coloca correctamente los datos del cliente en cada campo (nombre, póliza, fecha) al pasar de la conversación a la acción. Un slot-filling pobre genera gestiones "completadas" pero con datos erróneos, que es peor que un fallo visible.

Para que la TSR no se degrade, ejecutamos pruebas de regresión ante cualquier cambio de prompt, de modelo LLM o de una integración. Una desviación mínima puede costar cientos de gestiones fallidas a escala.

Pilar 4 — Inteligencia: que razone y no se invente las cosas

Este pilar separa un agente de voz de la vieja centralita con menús ("pulse 1 para..."). Evaluamos cuatro dimensiones:

• Riesgo de alucinación. Que no dé información incorrecta o incoherente con tu documentación. En voz es especialmente peligroso porque una alucinación suena igual de convincente que un dato correcto. Como referencia externa, medimos con marcos como TruthfulQA (frecuencia de respuestas falsas) y HELM de Stanford (rendimiento de LLM por categorías).
• Gestión de temas fuera de alcance. El agente debe reconocer cuándo una pregunta está fuera de su dominio y redirigir o transferir, en lugar de improvisar.
• Retención de contexto. ¿Mantiene entidades y compromisos a lo largo de varios turnos? Sin esto, el cliente se repite o recibe respuestas contradictorias.
• Razonamiento y lógica de varios pasos. Clave en casos con lógica condicional (por ejemplo, decidir la ruta de una reclamación según coberturas).

Nuestra ventaja de arquitectura: no atamos tu agente a un único modelo. Podemos cambiar por completo la capa LLM y elegir el que mejor razone para tu caso de uso, y sustituirlo cuando aparezca uno superior. Muchas plataformas te encierran en un solo modelo; nosotros no.

Pilar 5 — Cumplimiento y seguridad: la parte que no se ve pero te protege

Un agente que atiende llamadas maneja datos sensibles. Por eso exigimos barreras de seguridad independientes del modelo: comprobaciones que se ejecutan fuera del LLM, evalúan cada salida antes de que llegue a tu cliente y cortan la conversación si se desvía a terreno peligroso. A diferencia de las instrucciones de sistema en el prompt (que se pueden sortear con jailbreaks), esta capa externa no depende de la buena voluntad del modelo.

Segundo requisito: auditabilidad. Los agentes en producción deben registrar cada decisión y salida en un formato revisable a posteriori. En sectores regulados, poder demostrar el cumplimiento después es tan importante como cumplir durante la llamada.

Las normativas que aplican dependen de tu sector. Las más habituales:

• RGPD — privacidad de datos para la UE y cualquier empresa con clientes europeos.
• PCI-DSS — obligatorio para cualquier agente que gestione datos de tarjetas de pago.
• HIPAA — datos de salud protegidos (sanidad en EE. UU.).

Pilar 6 — Fiabilidad: que aguante el día que más te importa

De nada sirve un agente brillante que se cae en tu pico de llamadas. Aquí medimos tres cosas:

• Disponibilidad. Exigimos 99,9 % en despliegues de cara al cliente, especialmente en casos 24/7 como soporte entrante.
• Degradación controlada. Si un componente falla, el agente debe derivar a un humano en lugar de seguir funcionando con errores. La regla es: ante la duda, transferir.
• Rendimiento bajo carga. Hacemos pruebas de estrés simulando al menos el doble de tu pico esperado de concurrencia. Muchos problemas de latencia solo aparecen a gran escala, y es ahí donde vigilamos los percentiles altos (P95 y, sobre todo, P99).

Cómo medimos el MOS en la práctica (paso a paso)

Cuando el MOS lo evaluamos con panel humano, seguimos un protocolo reproducible:

1. Preparar el conjunto de prueba. Seleccionamos una muestra representativa de salidas de audio del agente: al menos 100 clips de conversaciones distintas, incluyendo casos difíciles (ruido, acentos, interrupciones), no solo audio limpio.
2. Sesión de valoración. Un panel de oyentes puntúa cada clip del 1 al 5 según la calidad percibida, en condiciones controladas.
3. Agregar y calcular. Promediamos las puntuaciones de cada clip y luego el conjunto para obtener el MOS global. Un MOS ≥ 4,3 indica aptitud para producción.

Para monitorización continua sustituimos el panel humano por predictores automáticos (NISQA, UTMOS) integrados en el flujo, de modo que detectamos regresiones de calidad en tiempo casi real.

Entonces, ¿supera al humano? Depende de la conversación

Aquí está la respuesta honesta. Calcular el MOS y las métricas por pilar sirve para saber si el agente mejora o empeora; para saber si está a la altura, lo comparamos contra el rendimiento de un agente humano en el mismo rol. Estos son los tres indicadores de negocio que usamos como referencia en atención al cliente:

• Resolución en primera llamada (FCR): referencia humana ~70 %; objetivo del agente ~75 %.
• Tiempo medio de gestión (AHT): referencia humana ~6 minutos; objetivo del agente 2–4 minutos.
• Satisfacción del cliente (CSAT): referencia humana 70–85 %; objetivo del agente ~85 %.

El patrón es claro: el objetivo no es humillar a tu equipo, es igualarlo en FCR y CSAT mientras se recorta el AHT casi a la mitad. El agente gana en volumen, velocidad y consistencia; tu equipo gana tiempo para las conversaciones que de verdad requieren criterio humano. Por eso la mayoría de nuestras implantaciones usan la IA como primera línea y reservan a las personas para lo complejo. Los datos públicos de agregadores del sector (como Poe) muestran que los mejores modelos de voz ya resuelven en torno al 74 % de las solicitudes de extremo a extremo, un nivel que hace un par de años era impensable.

Velocidad de inferencia: por qué importan los caracteres por segundo

La latencia percibida depende en buena parte de la velocidad de generación del TTS, medida en caracteres por segundo. Cuanto más rápido genera el modelo, antes empieza a hablar el agente y más natural resulta el turno. El siguiente benchmark de Artificial Analysis compara esa velocidad entre modelos: es exactamente el tipo de dato objetivo que cruzamos con tu caso antes de recomendar una arquitectura.

Los errores de evaluación que hunden proyectos (y que nosotros no cometemos)

La mayoría de pilotos de agentes de voz fracasan no por la tecnología, sino por cómo se evaluó. Los tres errores más frecuentes:

• Probar solo el "camino fácil". Medir con audio limpio y clientes que vocalizan perfecto da una foto irreal. Nosotros incluimos ruido de fondo, acentos, solapamientos y casos límite en el conjunto de prueba, porque así es como llaman tus clientes de verdad.
• Confundir contención con resolución. Retener al cliente dentro del sistema no es un éxito si no resuelve su problema. Si la tasa de contención es alta pero el FCR bajo, el agente solo está haciendo que la gente dé vueltas. Siempre dejamos una vía clara de escalado a un humano.
• Mirar solo la latencia media. El promedio engaña. Un SLA fijado en P95 ignora que ese 5 % restante también son clientes reales: en un sistema de 10.000 llamadas diarias, son 500 personas al día con una conversación lenta. Por eso fijamos el objetivo en P99, no en la mediana ni en el P95.

Cada sector pondera los pilares de forma distinta

Los seis pilares son los mismos, pero su peso cambia según el negocio. No aplicamos una plantilla genérica; ajustamos la evaluación a lo que mueve tu operación:

• Servicios financieros y seguros: el foco se desplaza a cumplimiento (PCI-DSS, RGPD) e inteligencia (razonamiento de varios pasos para reclamaciones y coberturas).
• Sanidad: sector muy regulado; cumplimiento (HIPAA) e inteligencia dominan, por el triaje de síntomas, la gestión de citas y las consultas de seguros.
• Atención al cliente y contact centers: priorizamos calidad de conversación (gestión de turnos, tasa de fallback), FCR y AHT. Según referencias del sector, un contact center puede reducir hasta la mitad el volumen que llega a agentes humanos con un agente de voz bien afinado.
• Retail, consumo y telco: pesa más la calidad y calidez de la voz (TTS) por su impacto en marca, junto con la fiabilidad en picos de campaña.

Cuándo te diremos que NO uses un agente de voz

Puede sonar raro viniendo de quien implanta agentes de voz, pero esta honestidad es lo que nos separa de quien solo quiere vender tecnología. Hay conversaciones que hoy siguen siendo territorio humano: reclamaciones emocionalmente delicadas, negociaciones complejas o situaciones de crisis, donde el valor está en la empatía y el criterio, no en la eficiencia. Ahí el agente hace su trabajo detectándolas y derivándolas cuanto antes a una persona.

También te frenaremos si tus procesos no están listos: un agente solo resuelve tareas si tiene acceso limpio a tus sistemas. Si tu CRM está desordenado o tus flujos no están documentados, primero ordenamos eso. Un agente rápido conectado a datos malos solo comete errores más rápido.