APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
Uma previsão deve usar informação disponível no momento em que a decisão ocorre. Um campo preenchido após escalamento não serve como entrada real de uma classificação feita na abertura. Quando conhecimento posterior entra no treino, a avaliação histórica pode parecer excelente sem representar o serviço possível. O contrato de dados deve definir significado, unidade, disponibilidade, origem e tratamento de ausência. Um número em cêntimos não equivale ao mesmo número em euros. Um valor desconhecido não equivale necessariamente a zero. Transformações devem preservar estas distinções e ser avaliadas no contexto. Os conceitos de disponibilidade temporal e avaliação independente são aprofundamento útil; não implicam que o antigo exame exigisse desenvolver modelos ou dominar estatística avançada.
Aplicação guiada
Para aceitar um piloto destinado a várias unidades, reservar evidência independente que represente essas unidades e as condições previstas. Uma amostra maior de uma única unidade não cobre automaticamente as restantes. Comparar o contrato usado no treino com o que a integração entrega e investigar divergências antes de retreinar. A melhoria deve ser medida com denominadores definidos: percentagem de valores críticos incorretos, casos sem dados necessários e efeitos operacionais associados. Conservar versões das transformações e responsáveis por decisões ajuda a reproduzir a avaliação. Se o contrato não coincide, manter o processo aprovado enquanto se prepara uma experiência corrigida. O objetivo é obter evidência do comportamento real, não apenas elevar um indicador histórico.
Exemplo: Montante=25000 representa 250 euros numa integração e 25000 euros no treino. O tipo numérico é válido nos dois lados, mas a interpretação diverge por um fator de cem.
Armadilhas comuns
Retreinar antes de diagnosticar; usar resultados futuros; substituir desconhecido por zero sem análise; medir ficheiros processados como melhoria.
Tópicos relacionados: Escolher a tarefa de IA e a evidência de qualidade · Capacidades CRM, recomendações e ações · Princípios de confiança e consequências reais
A qualidade da avaliação depende de dados que poderiam existir na decisão real.
Referência: Monitoring Production ML Pipelines · AI Associate historical Spring 24; retired 2026-02-02