Na demonstração, a IA responde “qual é o horário de atendimento?” sem hesitar. Parece pronta. Então um cliente escreve: “Comprei ontem, veio diferente e preciso resolver hoje. Posso trocar ou vocês vão me deixar esperando de novo?” A resposta continua útil, respeitosa e correta? É aí que começa a avaliação de verdade. Antes de contratar, teste o agente com mensagens reais e perguntas que não parecem uma FAQ bem-comportada. O objetivo não é fazer a IA tropeçar por esporte. É descobrir se ela entende o pedido, consulta informações confiáveis, admite quando não sabe e chama uma pessoa quando precisa. Por que testar fora do roteiro? Uma apresentação comercial costuma mostrar o melhor caminho: pergunta clara, resposta na base, conversa sem interrupção. No WhatsApp real, o cliente mistura assuntos, escreve pela metade, muda de ideia e espera que a empresa entenda o contexto. Se o agente só funciona quando a pessoa escolhe o botão certo ou repete a pergunta com as palavras exatas, você não está avaliando o atendimento do dia a dia. Está avaliando uma demonstração ensaiada. A própria documentação da Meta descreve testes e avaliação antes de colocar o Meta Business Agent no ar. A orientação é simples: valide o comportamento em cenários de teste e ajuste antes de liberar para clientes. O mesmo princípio vale ao comparar fornecedores, mesmo que cada plataforma tenha seu próprio modo de teste. Monte um teste justo, não uma pegadinha Comece pelas conversas que sua equipe recebe de verdade. Remova nomes, telefones, números de pedido e outros dados que identifiquem clientes. Para cada cenário, anote quatro coisas: a mensagem enviada, o que uma boa resposta deve fazer, o que não pode fazer e quando deve passar a conversa para uma pessoa. Não precisa começar com uma planilha sofisticada. Um documento com exemplos e critérios já ajuda a comparar soluções sem depender de “gostei da resposta”. Sete testes para fazer antes de contratar 1. Pergunte algo que não está na base Exemplo: “Vocês entregam em uma ilha que não aparece na lista?” Se a informação não foi fornecida, observe se o agente admite que não consegue confirmar e oferece um próximo passo. Resposta segura não é inventar uma política para parecer prestativo. 2. Faça uma pergunta ambígua Exemplo: “Quero aquele mais barato, mas que aguente chuva.” Se houver vários produtos possíveis, a IA deve pedir uma informação que ajude a identificar o item ou explicar as opções. Veja se ela esclarece a dúvida em vez de escolher um produto no chute. 3. Misture pedidos na mesma mensagem Exemplo: “Tem o tamanho M? Quanto custa e chega antes de sexta?” Confira se a resposta trata de disponibilidade, preço e prazo. Se algum dado depender de estoque ou consulta externa, veja se o agente realmente consultou essa fonte ou se deixou claro que precisa confirmar. 4. Mude o assunto e volte ao anterior Pergunte sobre um produto, faça outra pergunta e depois diga: “E aquele que mencionei primeiro, tem em azul?” O agente deve acompanhar o contexto disponível e, se houver mais de uma interpretação, confirmar a que você quis dizer. Não deve fingir lembrar de uma informação que não apareceu na conversa. 5. Use abreviações, erros e linguagem natural Teste “qto fica c frete p/ amanhã?” ou uma frase escrita com erro. O ponto não é exigir perfeição linguística. É verificar se o sistema entende o sentido sem transformar uma suposição em fato. Se faltar o CEP para calcular entrega, por exemplo, deve perguntar pelo CEP. 6. Peça uma ação que o sistema talvez não possa executar Exemplo: “Cancela meu pedido agora” ou “Reserva duas unidades para mim”. Descubra se o agente tem integração e permissão para realizar aquela ação. Se não tiver, não pode confirmar que concluiu. Deve explicar o limite e encaminhar ou indicar o procedimento correto. 7. Peça um atendente e teste um caso delicado Escreva “quero falar com uma pessoa” e também teste uma reclamação, uma cobrança contestada ou uma situação que sua empresa não quer automatizar. Observe se a transferência é clara, se o cliente sabe o que acontece em seguida e se a equipe recebe contexto suficiente para continuar. O que avaliar em cada resposta Para cada conversa, avalie critérios que você consegue observar. Uma lista simples ajuda: Entendeu o pedido completo ou deixou uma parte sem resposta? Usou informação atual da empresa, em vez de inventar uma regra? Pediu o dado que faltava ou deixou explícita a incerteza? Respeitou os limites de acesso e não afirmou ter feito uma ação não executada? Encaminhou o caso quando necessário e preservou o contexto? Registre a resposta e o motivo da aprovação ou reprovação. Depois da demonstração, peça para repetir os casos que falharam após um ajuste. Uma resposta errada pode apontar para uma base desatualizada, falta de integração, instrução confusa ou limite mal definido. Cada causa pede uma correção diferente. Não confunda fluência com confiabilidade Uma resposta bem escrita pode estar errada. Peça ao fornecedor para mostrar de onde veio uma informação importante e como a base de conhecimento é atualizada. Teste também o que acontece quando não existe uma fonte para responder. A Meta descreve fontes como informações comerciais, perguntas frequentes, arquivos e sites para fundamentar respostas do Meta Business Agent. A disponibilidade e o funcionamento variam de solução para solução. Pergunte qual é a fonte real usada pelo produto que você está avaliando, não presuma que todos trabalham igual. Também vale pedir uma demonstração do caminho de transferência para humano. Não basta ouvir que “tem handoff”. Veja o que o cliente recebe, quem assume a conversa e quais informações chegam junto. A documentação da Meta prevê transferência em situações como baixa confiança ou solicitação do cliente; em qualquer plataforma, confirme na prática como esse recurso foi configurado. Uma regra simples para decidir Não contrate com base em uma conversa perfeita. Peça para testar os mesmos cenários em todas as opções finalistas, com os mesmos dados e critérios. Se o fornecedor não permite testar o agente ou não consegue explicar como ele lida com informação ausente, ações e transferência, isso é algo para esclarecer antes de assinar. A Simplí Agent oferece atendimento com IA 24 horas no WhatsApp e RAG nativo treinado com os dados do negócio em todos os planos. Ainda assim, o resultado depende de uma base correta, de limites bem definidos e de testes alinhados à operação. Comece pelas conversas que hoje mais tomam tempo da sua equipe. Quer avaliar como um agente pode funcionar no atendimento da sua empresa? Conheça a Simplí Agent e leve para a conversa os exemplos reais que você quer ver testados: https://www.simpli.ia.br/solucoes/simpli-agent Fontes consultadas Meta for Developers, “Meta Business Agent capabilities”: https://developers.facebook.com/documentation/meta-business-agent/capabilities. WhatsApp for Business, “Concentre-se no crescimento da sua empresa com o Meta Business Agent no WhatsApp”: https://whatsappbusiness.com/pt-br/resources/resource-library/meta-business-agent-whatsapp/. OpenAI API, “Red teaming”: https://developers.openai.com/pt-BR/api/docs/guides/red-teaming.