Na demonstração, a IA responde com segurança e parece conhecer a empresa. Mas será que consultou uma fonte interna ou apenas completou a frase com algo plausível? A diferença aparece quando o cliente pergunta sobre uma regra, uma exceção ou um dado que muda. RAG no atendimento ao cliente deve ser testado na prática. Não basta ouvir que a plataforma usa documentos ou ver uma resposta bem escrita. Faça estas cinco perguntas e confira o que a IA encontrou, como usou a informação e o que faz quando não há resposta. RAG não é só conectar arquivos Em um fluxo RAG, o sistema busca trechos relacionados à pergunta e os fornece como contexto para o modelo formular a resposta. São duas etapas que precisam funcionar: recuperar a informação certa e responder sem distorcê-la. Um arquivo carregado não prova que a busca encontrou o trecho certo. E encontrar o trecho também não garante que a resposta o respeite. A Microsoft recomenda avaliar a qualidade da recuperação e da resposta, incluindo relevância e fundamentação no contexto. Para uma empresa, isso pode começar com perguntas reais, respostas esperadas e as fontes que deveriam sustentá-las. Veja como fazer um teste rápido. 1. “Qual é a nossa regra para este caso?” Escolha uma dúvida recorrente cuja resposta esteja escrita em uma fonte oficial: prazo de entrega, área atendida, política de troca ou condição comercial aprovada. Pergunte de forma direta e compare a resposta com o documento vigente. O que observar: a resposta preserva detalhes e condições? Se a política diz “até cinco dias úteis após a confirmação”, a IA não pode transformar isso em uma promessa de entrega em cinco dias corridos. Peça para indicar qual trecho ou fonte usou, se a plataforma permite inspecionar isso. 2. “E se eu perguntar de outro jeito?” Repita a mesma intenção com palavras diferentes, como um cliente faria: “vocês entregam em Recife?”, “atendem Recife?” ou “posso comprar morando em Recife?”. Não precisa decorar o termo exato usado no documento. Se a resposta certa só aparece quando você copia a frase do manual, pode haver um problema na busca, na organização do conteúdo ou na forma como a pergunta é interpretada. Teste também mensagens curtas, erros de digitação comuns e perguntas com contexto. 3. “Qual é a exceção ou condição?” Pergunte sobre uma exceção documentada: “a troca também vale para produto usado?” ou “o prazo muda para compras feitas sob encomenda?”. A IA precisa recuperar a regra junto com seus limites, não apenas repetir a parte mais simples. Inclua casos em que duas regras pareçam se aplicar. Se houver uma política geral e uma exceção, verifique se o agente usa a informação mais específica e sinaliza a condição. Uma resposta parcialmente correta pode induzir o cliente ao erro. 4. “O que você responde quando a informação não está na base?” Pergunte algo que a empresa não documentou. Por exemplo, invente uma condição que não existe ou peça uma política sobre um produto fora do catálogo. Não alimente o sistema com a resposta antes do teste. O comportamento esperado não é improvisar um fato. O agente deve dizer que não encontrou informação suficiente e, conforme o processo da empresa, encaminhar a conversa para uma pessoa. Se responde com confiança a qualquer pergunta, isso não é prova de conhecimento. É um risco a investigar. 5. “Esse dado está atualizado e vale para este cliente?” Confira uma informação que mudou recentemente, como horário de atendimento, condição vigente ou disponibilidade. Atualize a fonte oficial e repita a pergunta. Veja se o agente continua usando um conteúdo antigo. Há uma ressalva importante: RAG não substitui automaticamente a consulta a dados individuais que mudam o tempo todo. O status de um pedido, o saldo de uma conta ou a disponibilidade em tempo real podem exigir integração com o sistema responsável. Pergunte se a plataforma busca esse dado ao vivo ou se está respondendo a partir de um documento estático. Como avaliar sem depender de uma boa impressão Monte uma pequena planilha com pergunta, resposta esperada, fonte correta e resultado do teste. Inclua casos cobertos, variações de linguagem, exceções, informação ausente e conteúdo atualizado. Registre se a IA encontrou a fonte, se respondeu fielmente e se pediu ajuda quando necessário. Se errou, descubra em qual etapa. A fonte correta não foi recuperada? Revise a base e a busca. A fonte apareceu, mas a resposta alterou uma condição? Revise as instruções e o comportamento do agente. Separar os problemas ajuda mais do que trocar frases no prompt sem diagnóstico. Repita os testes depois de mudanças na base ou na configuração. Uma resposta pode variar entre tentativas, então avalie um conjunto de casos, não uma única demonstração. Fluência é fácil de notar. Confiabilidade exige evidência. Comece pelas dúvidas que custam tempo e confiança Liste as perguntas que sua equipe mais recebe e teste o agente com as cinco verificações acima. A Simplí Agent usa RAG nativo treinado com os dados do negócio em todos os planos e atende pelo WhatsApp. Para entender se esse modelo faz sentido para a operação da sua empresa, conheça a Simplí Agent e avalie o atendimento com perguntas reais, fontes corretas e critérios claros. Fontes consultadas: Microsoft Learn, “Large Language Model End-to-End Evaluation Phase” (learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase); Microsoft Learn, “RAG Evaluators for Generative AI” (learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators); Thoughtworks, “How to perform a structured evaluation of AI conversational solutions” (thoughtworks.com/insights/blog/generative-ai/how-to-perform-a-structured-evaluation-of-ai-conversational-solutions).