Um cliente pergunta onde está seu cartão. O agente de IA consulta o sistema e informa que a entrega está prevista para três dias. No meio da conversa, porém, o cliente menciona que mudou de endereço na semana passada. De repente, a resposta que parecia resolver o problema criou outro: o cartão pode estar indo para o lugar errado. O agente, então, precisa perceber a mudança, decidir o que perguntar, acionar a ferramenta de atualização de endereço e, possivelmente, solicitar um novo envio, tudo isso sem perder o fio da conversa e sem que o cliente precise explicar tudo de novo.
Esse tipo de situação é trivial para um atendente humano experiente. Para uma IA, é um dos testes mais difíceis que existem, porque não se trata de dar uma resposta correta a uma pergunta isolada, mas sim de se acompanhar uma conversa que muda de direção de repente, de interpretar o conteúdo que ficou implícito, de decidir entre ferramentas diferentes e saber quando é melhor resolver sozinha ou algum humano para o bate-papo. Mas, quando essa conversa envolve o dinheiro do cliente, o cartão que ele espera e a confiança que deposita no banco, o custo de errar não se mede em bugs de uma IA que teve um funcionamento abaixo do esperado, mas mede-se na confiança que pode ser perdida para com aquela pessoa.
Esse é, portanto, o tipo de problema que levou o Nubank a desenvolver uma etapa intermediária no processo de criação dos seus agentes de IA. Antes de colocar uma nova versão diante de clientes reais, a empresa cria o que chama de clientes (ou personas) sintéticas: perfis artificiais que simulam pessoas com necessidades, estilos de conversa e situações diferentes que podem ocorrer no dia a dia financeiro de toda uma clientela. Essas personas conversam com o agente em ambientes controlados, com dados fictícios, sem acessar os sistemas de produção. A equipe observa como o agente se comporta diante de conversas de várias etapas, inclusive aquelas em que o cliente muda de assunto, acrescenta uma informação inesperada ou faz um pedido que o sistema não previa, para, assim, prever, em diversos cenários, as reações de seu sistema de assistência automatizado, bem como são falhas que serão corrigidas durante o processo.
O método, então, responde a um dilema que qualquer empresa que opera agentes de IA em escala reconhece. Roteiros escritos manualmente cobrem os cenários que alguém lembrou de incluir, ou seja, previsões sobre cenários gerais e abstratos, deixando de fora, porém, exatamente aquilo que ninguém antecipou, que é a situação fática de uma relação conversacional comum, e é justamente nessa etapa de cenários imprevistos que os agentes costumam falhar. Deste modo, testes A/B com clientes reais medem o que acontece na prática, mas só depois que a versão experimental já chegou às mãos de milhões de pessoas – algo que pode, para os “clientes cobaias”, ser um estorvo que ele terá que lidar ao abrir o app, ou até mesmo uma razão para ele deixar de ser um consumidor. Assim, a simulação fica entre as duas coisas: permite que a equipe examine mais situações antes de decidir qual versão merece ser testada ao vivo, não necessariamente substituindo o teste real, mas fazendo boa parte desse e, principalmente, melhorando o conteúdo final que chega até o cliente final.
Diante disso, os resultados obtidos pelo neobanco ajudam a entender o impacto concreto desse filtro. De acordo com o relatório, o tempo médio para desenvolver uma nova versão de seu agente caiu de 21 para pouco mais de quatro dias – um enorme ganho de capacidade de treinamento. E, veja, isso não significa apenas que o processo ficou mais rápido, mas demonstra que a equipe consegue explorar mais alternativas no mesmo período, testar mais hipóteses e descartar mais caminhos ruins antes de expor qualquer mudança aos clientes. Já como resultado concreto, em uma das avaliações, o novo agente de gestão de cartões reduziu os encaminhamentos desnecessários para atendimento humano de 22% para 16%, afunilando, cada vez mais, os casos estritamente complexos para a ação humana. Ainda, em um teste A/B com clientes reais – feito depois da simulação, não no lugar dela –, a versão filtrada registrou quase cinco pontos percentuais a mais de autoatendimento e uma satisfação significativamente maior.
Contudo, é importante não tratar esses números como prova de que a simulação por si só resolve todos os problemas relacionada ao atendimento agêntico, muito em função de que as conversas simuladas eram, em média, mais longas do que as reais – seis turnos contra três –, o que sugere que as personas sintéticas se comportam de maneira um pouco diferente dos clientes. Com isso, uma taxa maior de autoatendimento não prova, sozinha, que o problema do cliente foi resolvido, e está tudo bem com isso, uma vez que os próprios autores do estudo reconhecem que parte dos ganhos pode refletir diferenças entre os tipos de atendimento comparados, não apenas a qualidade do agente. Sob essa ótica, a simulação é uma lente, não um espelho perfeito. Mas é uma lente que permite ver problemas antes de eles chegarem ao cliente, e isso, para quem opera atendimento em escala, já muda o jogo.
O que torna essa abordagem relevante para além do Nubank é o que ela revela sobre a provável próxima fase da IA empresarial. Enquanto os agentes se limitavam a responder perguntas, testar era relativamente simples: a resposta estava certa ou errada. Agora que as IAs passam a executar ações – seja alterar endereços, bloquear cartões, reclassificar cobranças ou renegociar prazos –, o que está em jogo muda de natureza. Afinal, uma resposta incorreta pode ser corrigida na mensagem seguinte, já uma ação incorreta cria um problema que existe fora da tela, isto é, um cartão enviado para o endereço errado ou até um pagamento processado no valor errado e um serviço cancelado sem que o cliente quisesse. Diante disso, a passagem da IA que responde para a IA que age, que temos acompanhado ao longo de diversas edições, com o avança com modelos de pensamento, torna o teste não apenas uma etapa do desenvolvimento, mas uma camada de proteção entre o sistema e, neste caso, a vida financeira do cliente.
Assim, é aqui que a abordagem se conecta a um desafio mais amplo que praticamente toda empresa que integra IA ao atendimento enfrenta, que é o de como garantir que o agente funcione bem nos casos fáceis e falhe de forma controlada nos casos difíceis? Porque o objetivo razoável não é um agente que nunca erra – isso ainda não existe. É um agente que reconhece quando não sabe o que fazer e, em vez de inventar uma resposta ou executar uma ação equivocada, encaminha a conversa para alguém que possa resolvê-la. Nesse sentido, a simulação ajuda justamente nesse ponto, porque permite observar como o agente se comporta quando a conversa sai do roteiro – e se ele tem a capacidade de perceber que saiu.
A PwC, por exemplo, já oferece plataformas que simulam entrevistas e grupos focais com consumidores artificiais para testar produtos e mensagens antes de pesquisas mais amplas. No mesmo sentido, pesquisadores da Columbia recomendam o uso destes programas especialmente nas etapas iniciais, para refinar perguntas e orientar estudos-piloto em seus agentes, mas alertam que respostas sintéticas não devem ser tratadas como substitutas de consumidores reais. O Nubank, como anunciado, usa essa lógica de forma mais delimitada, não tentando entender o que um cliente pensaria sobre um produto novo, mas testando como uma máquina conduz tarefas de atendimento em conversas que simulam a complexidade do mundo real.
Entre no canal Entrelinhas no WhatsApp e siga nosso Instagram: informação rápida, em tempo real, que tangibilizam as transformações.
Enfim, para quem lidera negócios e acompanha a integração da IA às operações do dia a dia dos negócios, a lição mais prática dessa abordagem talvez não esteja nos números de satisfação ou nos dias economizados no desenvolvimento. Esteja na ideia de que, quando um agente de IA passa a agir sobre a vida do cliente, testá-lo deixa de ser um detalhe técnico e se torna parte da experiência que a empresa entrega. Frente a isso, o Nubank dando o exemplo de como podemos construir um processo para que seus autômatos passam errar menos antes de chegar ao cliente e, quando errar, errar nos cenários que a equipe já examinou e para os quais já preparou uma resposta. Portanto, em uma indústria onde a confiança é o produto principal da relação empresa-consumidor, a capacidade de testar antes de agir pode se tornar tão importante quanto a capacidade de agir.
