En el modo avanzado, la pestaña Análisis lee cada conversación real cuando el agente termina de atenderla y responde dos cosas:
  • Criterios: si salió bien o mal (o un puntaje de 1 a 5), con el motivo.
  • Datos: lo que dijo el cliente, con su tipo, para usarlo en tus reportes o guardarlo en el contacto.
Corre con tu API key del mismo proveedor que usa el agente. Las conversaciones del chat de prueba y de los casos de prueba no se analizan.

Criterios

Cada criterio tiene un nombre, qué se evalúa (en palabras, lo lee la IA) y cómo se mide: Por ejemplo: Puedes tener hasta 10 criterios.

Datos a extraer

Cada dato tiene una clave (letras, números y guion bajo), una descripción y un tipo: Si el dato no aparece en la conversación, queda vacío: la IA no lo inventa. Con Guardar en el campo, el valor se escribe en ese campo del contacto (los de tipo Sí o no se guardan como Sí o No). Puedes tener hasta 15 datos.

Cuándo se analiza

Se analiza una vez por cada tramo del agente en una conversación, cuando termina:
  • El agente cumplió el objetivo o derivó a una persona (se espera un par de minutos para que entren los últimos mensajes).
  • O pasó 1 hora sin mensajes desde la última respuesta del agente.
La IA lee los últimos 60 mensajes de la conversación. El análisis se hace en tandas cada 10 minutos, así que puede tardar un poco en aparecer. Si el agente vuelve a atender la misma conversación más adelante (por ejemplo, una nueva ejecución de la automatización), ese nuevo tramo se analiza aparte.

Se versiona

La configuración del análisis es parte de la versión: se aplica cuando publicas. Cada conversación se analiza con los criterios de la versión que la atendió, así en una prueba A/B cada versión se mide con lo suyo. Para prenderlo: marca Analizar las conversaciones reales, arma los criterios y los datos, guarda y publica una versión.

Resultados

En Análisis › Resultados ves los últimos 30 días:
  • Por criterio, el % de conversaciones que salieron bien (o el puntaje promedio), cuántas salieron mal y cuántas quedaron en No se sabe.
  • Un filtro por versión.
  • Si hay una prueba A/B en curso, la versión publicada y la de la prueba lado a lado. Espera a tener al menos 30 conversaciones analizadas en la prueba antes de decidir.
  • La lista de conversaciones analizadas, con el resumen, el resultado de cada criterio, los datos extraídos y un link a la conversación en el chat.
Si un análisis falla (por ejemplo, tu API key no tiene saldo), queda el error en la lista y puedes tocar Reanalizar. También sirve para volver a analizar una conversación después de cambiar los criterios.

Modelo y costo

Por defecto usa el mismo modelo del agente. En Modelo puedes elegir uno más chico de tu misma clave: alcanza para evaluar y gasta menos. Los tokens de cada análisis se muestran en la lista y te los cobra Anthropic u OpenAI directamente.
Para cuidar tu clave, eltick analiza hasta 500 conversaciones por día en tu cuenta (sumando todos los agentes y los reanálisis). Lo que pasa del tope se analiza al día siguiente, dentro de los 3 días.

Webhook

Cada análisis terminado manda el evento agent.conversation_reviewed a tus webhooks, con los resultados y los datos, para llevarlos a tu CRM o a tu planilla.