Como testar um agente de IA antes de colocar no ar

Quase todo agente de atendimento vai ao ar do mesmo jeito. Alguém da equipe conversa com ele por meia hora, faz as perguntas mais comuns, gosta das respostas, ajusta uma instrução e publica.

O defeito desse teste está na escolha das perguntas, mais do que na duração. As perguntas que você lembra de fazer são justamente as que você tinha em mente quando escreveu as instruções. O agente passa na prova que foi escrita para ele passar.

Uma conversa certa não prova nada

Em 2024, pesquisadores da Sierra publicaram o τ-bench, um teste que simula clientes conversando com agentes de IA que precisam seguir políticas e usar sistemas, como num atendimento de varejo ou de companhia aérea. Além de contar quantas tarefas o agente resolve, o τ-bench mede outra coisa: se ele resolve a mesma tarefa todas as vezes.

O melhor modelo testado na época, o gpt-4o, resolvia menos da metade das tarefas. No varejo, a chance de resolver a mesma tarefa em oito tentativas seguidas ficava abaixo de 25%.

Os modelos melhoraram muito desde então. O que continua valendo é a métrica que os autores criaram, chamada pass^k: a chance de o agente acertar a mesma situação em todas as k tentativas. É a pergunta certa para quem atende cliente, porque o cliente não vê a média do agente. Ele vê a vez dele.

Escreva a régua antes de testar

Um cenário é uma situação e o que precisa ser verdade quando ela terminar. Escreva antes de rodar. Uma régua escrita depois de ver a resposta descreve o que o agente fez em vez de julgar, e um agente aprovado assim foi aprovado por ele mesmo.

Um cenário bem escrito tem quatro partes:

Duas regras fazem a diferença.

Teste o resultado, não a frase. Não exija que o agente escreva "O valor é R$ 2.760". Exija que o valor dito seja o da tabela, que a pré-reserva tenha os campos certos e que a conversa tenha ido para a equipe quando devia. Medir redação transforma cada ajuste de tom numa falsa falha.

Varie a forma, não a intenção. A mesma pergunta escrita de três jeitos tem que levar à mesma decisão. Um agente que acerta com uma frase e erra com a equivalente não entendeu o pedido. Decorou o exemplo.

Teste também o que não pode acontecer

Os cenários mais valiosos são os de fronteira, onde o agente tem que parar.

• O cliente pede desconto. O agente não pode conceder, e a conversa deve chegar à equipe.
• O cliente pergunta algo que não está na base. O agente não pode responder com um palpite, pelos motivos que explicamos em O melhor agente de atendimento é o que sabe dizer "não sei".
• O cliente insiste que "a atendente de ontem prometeu" um valor menor. O agente não pode aceitar.
• O cliente some no meio da conversa. O agente deve retomar uma vez, no dia seguinte, sem insistir.

Para cada um, declare o que não deve acontecer: nenhum desconto concedido, nenhuma vaga confirmada, nenhuma cobrança enviada. Proibir o ato que tem consequência é o jeito mais barato de saber que ele não vai acontecer em produção sem você ver.

Repita cada cenário

Um modelo de linguagem não faz o mesmo caminho a cada execução. Uma passagem bem-sucedida prova que o caminho existe, mas não que ele é percorrido sempre.

Rode cada cenário pelo menos três vezes. Três é o menor número que já mostra variação: se um cenário passa duas vezes e falha uma, você tem um problema de frequência que nenhuma conversa isolada revelaria.

E desconfie de melhoras pequenas. Se uma rodada acertou um caso a mais ou gastou 10% menos que a anterior, compare com a variação entre as repetições. Diferença que cabe dentro dessa variação é sorte.

Mude uma coisa por vez

Você ajusta a instrução de tom, reescreve um documento da base e troca o modelo. O resultado melhora. Qual das três mudanças ajudou?

Não há como saber, e uma delas pode ter piorado algo que as outras duas esconderam. Altere uma coisa, meça, compare, e só então passe à próxima. Parece lento, mas é o único jeito de a calibragem convergir em vez de andar em círculos.

Transforme o teste em portão

Até aqui, testar é um hábito. O passo seguinte é torná-lo obrigatório.

Escolha os cenários que não podem regredir de jeito nenhum, como o preço, a fronteira do desconto e a transferência para a equipe, e faça deles um portão: toda nova versão do agente só vai ao ar se todos passarem, em todas as repetições.

Isso muda a rotina do time. Sem portão, a segurança de uma publicação depende da cautela de quem publicou. Todo mundo passa a publicar menos e em lotes maiores, e cada publicação fica mais arriscada. Com portão, a evidência é a mesma às 10h de uma segunda e às 22h de uma sexta.

Uma publicação bloqueada é o teste fazendo o trabalho dele antes que o cliente faça por você.

Por onde começar: oito cenários

Se o seu agente atende e vende por mensagem, estes oito cobrem a maior parte do risco:

1. A pergunta de preço mais comum, escrita de três jeitos e mandada em áudio.
2. A combinação de preço mais rara que a sua tabela cobre.
3. Uma combinação que a tabela não cobre.
4. Uma pergunta que a base não responde.
5. Um pedido de desconto.
6. O cliente que muda de ideia no meio da conversa, trocando a data ou o produto.
7. O cliente que some e volta no dia seguinte.
8. Um pedido para falar com uma pessoa.

Os três primeiros testam a parte mais cara de errar, que é o preço. O motivo de ele vir de uma tabela, e não do modelo, está em Seu agente de IA não deveria calcular preço.

Escreva as expectativas antes, rode cada cenário três vezes e só publique quando todos passarem.

Na Sublime

Cenários, repetições e portão fazem parte da publicação de todo agente. A versão é congelada, os cenários marcados como portão rodam contra ela, e ela só entra em produção se passar. Enquanto isso, quem está no ar continua atendendo na versão anterior. Os detalhes estão em Cenário e Portão.