Como avaliar um piloto de IA no WhatsApp: métricas, controles e limites

1. Comece pela decisão que o piloto precisa apoiar

Um escritório pequeno costuma procurar IA porque a mesma conversa inicial volta muitas vezes: pedido de informação, relato longo, dúvida sobre disponibilidade ou solicitação de retorno. Isso descreve uma fricção, mas ainda não define um piloto.

A pergunta útil é qual decisão será tomada ao fim do teste.

Pode ser manter apenas uma recepção que coleta contexto, revisar o roteiro antes de contratar ou concluir que aquele canal não comporta automação na configuração examinada.

Escreva essa decisão antes de escolher indicadores. Sem ela, a equipe tende a acumular números disponíveis na plataforma e, depois, procurar neles uma justificativa para uma escolha já feita.

Delimite também o trecho da jornada. Receber uma mensagem e encaminhá-la para uma pessoa é diferente de agendar, enviar documentos, alimentar CRM ou acompanhar proposta.

Cada trecho depende de integrações e responsáveis próprios.

Para contratar ou comparar soluções, vale usar as perguntas de diligência de fornecedor de IA para atendimento jurídico. Elas ajudam a separar uma função demonstrada de uma função apenas mencionada na proposta.

Confira se o piloto cabe no escopo da IA e triagem no WhatsApp, conforme canal, integrações e critérios aprovados pelo escritório.

Um bom enunciado de piloto é específico sem prometer resultado: verificar se um roteiro aprovado consegue registrar informações mínimas e direcionar conversas selecionadas para a pessoa certa, preservando a possibilidade de intervenção humana.

2. Registre a linha de base antes de ativar a automação

Sem descrever o atendimento anterior, qualquer mudança pode parecer melhora ou piora por impressão.

A linha de base não precisa transformar a rotina em pesquisa acadêmica; precisa tornar comparável o mesmo fluxo antes e durante o piloto.

Escolha uma janela que represente a rotina, sem tratar uma duração como universal. Feriados, campanhas, troca de número, ausência de quem atende e mudança de área podem alterar o perfil das conversas.

Monte a amostra com os registros que o escritório já pode consultar legitimamente. Para cada conversa incluída, registre estes dados.

• horário de entrada
• primeiro retorno identificável
• destino dado ao contato
• se houve necessidade de intervenção
• se o resumo permitiu continuidade

Defina o primeiro retorno: confirmação automática, pergunta de triagem e resposta lida são eventos distintos. Aplique o mesmo critério à linha de base e ao período automatizado.

Registre também as exclusões: contatos já em atendimento, mensagens enviadas pela equipe, spam, testes internos e conversas sem autorização de acesso podem ficar fora da comparação.

Essa regra evita adaptar a amostra depois de ver o resultado.

Guarde evidência revisável da linha de base: identificador interno pseudonimizado, data, classificação e origem. Evite copiar relatos sensíveis integralmente para a planilha.

Descreva o limite da comparação: ela retrata a amostra e o fluxo escolhidos. Não indica como todos os clientes reagirão nem prevê contratações, receita ou impacto em outros escritórios.

3. Escolha poucas métricas que possam ser verificadas

Antes de usar um painel, defina a métrica: evento observado, fonte do registro, responsável pela conferência, periodicidade e exclusões. Métrica é a regra de medição, não um número isolado.

O tempo até o primeiro retorno ajuda a entender a disponibilidade do fluxo, desde que os marcos inicial e final sejam claros.

Esse tempo não mede, por si só, qualidade, solução da demanda ou satisfação de quem escreveu.

A taxa de conversas encaminhadas com contexto suficiente pode ser mais útil para uma recepção. Para auditá-la, estabeleça estes campos mínimos.

• assunto relatado
• canal de retorno
• urgência, quando declarada
• dúvida que precisa de análise humana

Registre também as intervenções humanas e seus motivos: pedido de atendimento direto, limite reconhecido pela automação, falha de compreensão ou revisão decidida pela equipe.

Registre à parte as respostas que exigiram correção e mantenha esses erros no denominador. Identificar confusões sobre área, disponibilidade ou orientação ajuda a ajustar ou interromper a configuração.

Se houver agenda ou CRM, valide o efeito fora da conversa. Dizer que agendou não prova que um evento foi criado; exibir um resumo não prova que ele chegou ao responsável.

Verifique os sistemas de destino com dados de teste ou casos autorizados.

Não misture indicadores operacionais e financeiros. Menos perguntas repetidas não justifica necessariamente um contrato maior; receita, honorários, comparecimento e contratação dependem de fatores externos ao piloto.

4. Leia conversas selecionadas, não apenas o painel

Painéis resumem eventos, mas não mostram se a pergunta foi adequada ao relato ou se a pessoa entendeu o próximo passo.

Reserve uma revisão qualitativa de conversas selecionadas por uma regra definida antes da leitura.

A seleção pode incluir todas as conversas transferidas, as corrigidas e uma parte aleatória das que terminaram sem alerta. Explique o critério para que os casos difíceis não sejam excluídos por conveniência.

Uma ficha simples pode verificar se houve transparência sobre a automação, se os dados solicitados eram necessários, se a conversa preservou a dúvida e se o encaminhamento correspondeu ao combinado.

Não transforme uma resposta fluente em prova de precisão. Um resumo pode parecer organizado e ainda trocar uma data, supor um fato ou omitir incerteza.

Quem receber o caso precisa distinguir o relato da interpretação automática.

Quando duas pessoas revisarem exemplos, mantenha a discordância registrada. Ela revela que o critério está vago ou que a classificação exige julgamento profissional. Forçar consenso sem explicação torna a auditoria menos útil para a próxima revisão.

Para treinar o roteiro, prefira cenários fictícios. Se precisar examinar uma conversa real, limite o acesso ao necessário e siga as regras de sigilo, privacidade e governança do escritório.

O artigo sobre IA no atendimento jurídico, LGPD e sigilo aprofunda as perguntas sobre dados e responsabilidades. A revisão de qualidade deve conversar com esses controles, não funcionar como relatório isolado.

5. Transforme limites profissionais em regras de encaminhamento

O piloto precisa declarar o que a IA não fará. Receber o contato e organizar informações iniciais não autoriza interpretar documentos, concluir sobre direitos, recomendar medidas ou substituir a análise de um advogado.

O Anexo Único do Provimento CFOAB nº 205/2021 admite chatbots como recursos auxiliares, sob observância das regras profissionais. No desenho do piloto, isso pede transparência, supervisão e limites explícitos para a conversa automatizada.

Estes sinais exigem transferência para uma pessoa.

• pedido de avaliação jurídica
• relato de urgência
• intenção de enviar documento sigiloso
• dúvida fora das áreas previstas
• insatisfação com a resposta
• solicitação de falar com uma pessoa

Quem responde pelo atendimento deve revisar essa lista.

Defina como a transferência será comunicada. Se não houver alguém disponível, a mensagem deve explicar com honestidade qual é o próximo passo.

Uma resposta automática fora do horário não representa presença de advogado nem suporte imediato.

Teste os limites com roteiros fictícios: pergunta jurídica direta, informação contraditória, pedido de segredo, mudança de assunto e insistência por uma conclusão. O objetivo é identificar falhas contíveis, não provar invulnerabilidade.

O responsável deve ler as recomendações do CFOAB para IA generativa antes da operação. Elas destacam cautela com confidencialidade, verificação e uso responsável, inclusive quando o fornecedor oferece recursos prontos.

A regra de encaminhamento deve dizer quem recebe, onde o aviso aparece e o que ocorre se ninguém assumir.

Um limite escrito no roteiro não protege o atendimento se a tarefa não chegar a alguém com responsabilidade definida.

6. Documente dados, acessos e retenção antes de usar casos reais

Mapeie o percurso da mensagem: WhatsApp, plataforma, modelo de IA, armazenamento, integração e destino interno. Em cada etapa, identifique quem opera, quais dados recebe e a finalidade informada ao escritório.

A Lei Geral de Proteção de Dados traz princípios de finalidade, adequação, necessidade, segurança e prestação de contas. Use-os para limitar campos, acessos e cópias; não colete dados para análises futuras.

Peça ao fornecedor documentos e configurações sobre retenção, cópias de segurança, uso para treinamento, acesso de suporte e suboperadores.

Uma frase comercial ampla não substitui as condições do plano e das integrações contratados.

Crie perfis de acesso compatíveis com as tarefas. Quem revisa apenas um indicador não precisa de acesso irrestrito às conversas.

Quem altera instruções, horários ou regras de encaminhamento deve ter permissão individual e registro das mudanças.

Defina como pausar o fluxo e revogar credenciais; teste o procedimento antes de operar. Em uma interrupção, a equipe precisa saber qual conta controla o canal e quais integrações continuam ativas.

O guia da ANPD sobre agentes de tratamento ajuda a examinar os papéis de controlador, operador e suboperadores. A classificação depende do tratamento concreto e deve ser analisada pelo escritório.

Sem essa documentação, o resultado do piloto não elimina a pendência. Antes de continuar, pode ser necessário reduzir o escopo, substituir uma integração ou escolher outra forma de recepção para dados sensíveis.

7. Controle versões e mudanças durante o piloto

Um piloto perde valor quando roteiro, modelo, integrações e horários mudam sem registro. Se o comportamento melhora ou piora, a equipe precisa saber qual configuração estava ativa em cada período observado.

Registre a data, o responsável, o objetivo, o texto alterado, o teste e a decisão de liberar cada versão.

Uma planilha simples pode bastar, desde que a equipe relacione cada conversa à regra que a orientava.

Evite agrupar alterações e atribuir o efeito a uma delas. Quando seguro, mude uma hipótese por vez — pergunta de triagem, destino ou condição de transferência — para reduzir inferências apressadas.

Anote mudanças institucionais que possam afetar os resultados: novo serviço, horário, responsável ou campanha que altere o perfil dos contatos. Elas mudam o contexto das métricas.

Defina quem pode aprovar ajustes. O fornecedor pode sugerir uma formulação, mas o escritório deve validar critérios de atendimento, informações institucionais e limites da própria operação.

A autorização não deve ficar implícita em uma conversa de suporte.

Inclua um procedimento de reversão. Antes de liberar uma regra, confirme como voltar à versão anterior, pausar a automação e avisar a equipe. Assim, uma resposta inadequada fica menos tempo em circulação.

Os registros de versão também tornam a conversa contratual mais precisa. Eles distinguem uma falha reproduzível, uma solicitação de melhoria e uma condição não incluída no escopo, evitando que a expectativa seja sustentada apenas por memória.

8. Decida entre continuar, corrigir, pausar ou encerrar

Critérios de continuidade devem existir antes da revisão final. Eles não precisam impor uma meta universal; precisam indicar que combinação de evidências é suficiente para liberar o próximo passo naquele escritório e naquele fluxo.

Separe critérios que podem exigir pausa dos que admitem correção e novo teste. Os seguintes podem exigir pausa.

• falha de transferência quando uma pessoa é necessária
• acesso sem autorização
• orientação jurídica indevida
• registro insuficiente de dados

Uma formulação pouco natural pode ser corrigida e testada de novo.

Para cada critério, defina a evidência e quem a verifica: a pessoa responsável pelo atendimento confere os encaminhamentos; quem administra acessos verifica permissões; o advogado responsável valida os limites profissionais.

A decisão pode ser parcial: manter a coleta inicial em uma área, retirar uma integração instável e deixar o agendamento para depois.

Isso é mais honesto do que apresentar um teste limitado como automação completa.

Não trate uma melhora observada como causalidade certa. Um período com conversas mais simples, equipe mais disponível ou menor volume pode elevar indicadores sem que a IA seja a causa. Registre hipóteses concorrentes quando elas forem plausíveis.

A decisão final deve citar a amostra, as mudanças de versão, os incidentes, os itens não verificados e as condições para reavaliar.

Assim, quem assumir a operação entende o alcance da evidência e não herda uma conclusão sem contexto.

Se houver contratação, use o piloto para negociar escopo e responsabilidades. As métricas ajudam a formular perguntas, mas não substituem contrato, avaliação técnica das integrações nem aprovação das regras de atendimento.