APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
Uma feature deve representar informação disponível no momento da previsão. Consultar o valor atual de um cliente para reconstruir uma decisão antiga pode introduzir conhecimento futuro. Feature Store oferece armazenamento online para valores recentes com baixa latência e offline para histórico e treino; escolher o histórico correto continua a ser responsabilidade da pipeline. Mantém transformações coerentes: unidades, categorias, tratamento de valores em falta e normalização devem seguir a versão usada pelo modelo. Ajusta parâmetros de transformação com o conjunto de treino, evitando que o teste influencie a preparação. Separa treino, validação para seleção e teste reservado para a avaliação final. Percentagens de divisão são escolhas contextuais; a independência e representatividade importam mais do que repetir uma proporção habitual.
Aplicação guiada
Num caso de suporte, o mesmo incidente gera cinco tickets quase iguais. Uma divisão aleatória por linha espalha cópias entre treino e teste e faz parecer que o modelo generaliza. Agrupa exemplos relacionados e trata duplicação antes de interpretar o resultado. Para previsão temporal, respeita a ordem e confirma que a avaliação representa o período de utilização. Uma classe rara pode precisar de amostragem ou ponderação adequadas, sem alterar o teste para esconder a frequência real. Compara desempenho por segmentos relevantes. Num cálculo de revisão, 9000 registos menos 600 duplicados deixam 8400 exemplos distintos; reservar 20% desses exemplos corresponde a 1680, não 1800. O cálculo só é válido depois de confirmar a unidade de divisão e as restrições de agrupamento.
Uma partição por linha pode deixar o mesmo incidente dos dois lados da avaliação.
Armadilhas comuns
Valores futuros em treino histórico; transformações divergentes; teste usado para afinação; duplicados como novos exemplos.
Tópicos relacionados: Ingestão, armazenamento e qualidade · Treino, afinação e experiências reproduzíveis · Modelos fundacionais e qualidade de RAG
Avalia generalização com fronteiras de tempo, entidade e dados preservadas.
Referência: AWS MLOps splits and data leakage · MLA-C02