Previsões que se sustentam no uso

Os resultados nos testes são fortes, às vezes de forma surpreendente. Os resultados no uso diário são claramente mais fracos, e o retreinamento não fecha a diferença. Os clientes no topo da lista muitas vezes já tinham começado a sair ou a atrasar antes que alguém pudesse agir. As equipes deixam de confiar na lista e escolhem por conta própria quem contatar, e assim o modelo perde o retorno de que precisa.

Os pesquisadores chamam isso de vazamento: informação sobre o resultado que chega ao modelo por entradas que ele nunca deveria ter tido. Kaufman e colegas (2012), citando profissionais anteriores, observam que resultados bons demais para ser verdade estão entre os sinais mais claros desse problema.

Os fatos que mais dizem sobre um cliente muitas vezes chegam depois da decisão. Um chargeback é registrado semanas depois do pagamento. Uma reclamação, uma nota de cobrança ou uma revisão de conta geralmente vêm depois de um pagamento atrasado. O data warehouse guarda tudo isso hoje, e um modelo treinado com o warehouse de hoje aprende com esses fatos.

Alguns vazamentos são óbvios depois que recebem um nome. Kaufman e colegas descrevem um modelo de churn que usava o nome do membro da equipe que havia falado por último com cada cliente. O campo parecia inofensivo até se descobrir que um vendedor assumia clientes que já tinham dito que iriam embora. Outros vazamentos são mais discretos, como um saldo ou um indicador de risco sobrescrito no próprio registro, de modo que o valor guardado reflete a semana passada, e não o dia da decisão.

Kapoor e Narayanan (2023) encontraram vazamento relatado em 17 áreas de pesquisa publicada, afetando 294 artigos, e listam entre as causas o uso de dados do futuro.

O remédio é uma regra estrita sobre o tempo. Para cada decisão passada, cada entrada é reconstruída como estava naquele momento e não depois. Uma contagem de reclamações significa as reclamações registradas naquele momento. Um saldo significa o saldo de então. O mesmo vale para listas de vigilância, histórico de dispositivos, resultados de bureaus e qualquer resposta de um serviço externo.

Na prática, isso significa uma marca de tempo em cada evento e em cada alteração de um registro, em vez de atualizar os registros no próprio lugar. Kaufman e colegas chamam isso de separação entre aprender e prever: marcar cada observação com o momento em que passou a ser conhecida e depois cortar os dados em um ponto no tempo, de modo que o treinamento use apenas o que veio antes. Onde o histórico foi sobrescrito, registre o fato e deixe essas entradas de fora até que possam ser reconstruídas.

Arquive as entradas exatas que cada decisão em produção usou, como chegaram, e compare-as com a sua versão reconstruída para as mesmas decisões, coluna por coluna. Onde diferirem, registre o motivo, como um arquivo atrasado, uma definição alterada, um fuso horário ou uma consulta externa que respondeu de outra forma naquele dia. Trate uma diferença sem explicação como um vazamento até poder demonstrar o contrário.

Os relatos de fraude e os chargebacks continuam chegando por semanas depois de um pagamento, e um empréstimo que vai entrar em inadimplência pode parecer saudável por meses. Por isso, os períodos recentes parecem mais limpos do que acabarão sendo. Compare modelos e períodos apenas com clientes que tiveram o mesmo tempo para que os resultados chegassem, e trate os resultados mais recentes como provisórios.

Um modelo preditivo dá um número que pode ser conferido. Tome todos os solicitantes que um modelo pontuou com 7 em 100 de chance de inadimplência: cerca de 7 em 100 deles devem ficar inadimplentes. Se forem 12, o modelo está errado, e você sabe por quanto. Faça essa conferência em cada faixa de pontuação e em cada grupo-chave de clientes.

Teste em períodos posteriores, nunca em uma amostra aleatória do mesmo período. Treine em um intervalo de tempo, teste nos meses seguintes e repita à medida que a janela avança. Uma divisão aleatória mostra ao modelo os mesmos clientes e as mesmas condições no treinamento e no teste, o que esconde o problema descrito aqui.

Os supervisores bancários dos Estados Unidos esperam o mesmo. A orientação sobre risco de modelos, revisada em abril de 2026 como SR 26-2, descreve a análise de resultados como a comparação das saídas do modelo com os resultados reais, inclusive por backtesting, e diz que uma recalibração ou um novo desenvolvimento do modelo pode ser necessário quando os resultados saem dos limites acordados.

Um modelo de crédito só aprende sobre o pagamento a partir dos empréstimos que foram concedidos, e um modelo de fraude aprende principalmente com os pagamentos que passaram. Os clientes recusados nunca geram um resultado, então um modelo pode perpetuar as decisões de ontem. O risco é maior quando um credor entra em um segmento novo em que as decisões passadas foram cautelosas, como quem toma crédito pela primeira vez ou residentes recém-chegados ao país, um caso comum entre os credores do Golfo.

Duas práticas ajudam. Mantenha um pequeno grupo de controle no processo anterior, para que o efeito real do modelo possa ser medido. Depois, aprove uma parcela pequena e controlada dos casos que o modelo recusaria, dentro do apetite de risco, para que ele continue aprendendo sobre clientes que de outro modo nunca veria. Os métodos de inferência de rejeitados podem complementar, mas não substituem os resultados reais.

Escolha o modelo em que as suas equipes mais confiam e faça duas conferências neste mês: as taxas previstas e as reais por faixa no período mais recente cujos resultados já amadureceram, e uma amostra de entradas reconstruídas em comparação com as que o sistema em produção registrou. Juntas, elas mostram se a visão retrospectiva entrou nos dados e por onde começar a olhar.

A Mantika Tessera aprende o histórico de cada cliente em ordem, como ele se desenrolou.