APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
Uma migração não termina quando a cópia deixa de emitir erros. É necessário demonstrar que o destino representa o estado pretendido, com significado e autorização preservados. A mesma contagem de linhas pode esconder duplicação de umas chaves e perda de outras. Define reconciliação por chave, totais por segmento e casos de fronteira relevantes ao negócio. Dataform permite expressar regras de qualidade como assertions. Uma assertion personalizada devolve as linhas que violam a regra; zero violações é o resultado esperado. A query executar com sucesso técnico não significa que a assertion passou. Também é necessário ligar a validação ao grafo de publicação.
Aplicação guiada
Num caso fictício, B depende de A, mas não das assertions de A. B pode executar apesar de uma validação falhada. Configura dependências explícitas nas assertions relevantes ou as opções adequadas de assertions dependentes, e inspeciona o grafo compilado. Num consumidor próprio de Datastream para Cloud Storage, a ordem de chegada não representa necessariamente a ordem da origem. Usa metadata apropriada e deduplicação para evitar que uma alteração antiga substitua um estado recente. O destino BigQuery gerido tem comportamento de merge próprio e não deve ser confundido com esse consumidor. Antes do cutover, define critérios, autoridade da decisão, escritas durante transição e reversão ensaiada. Um prazo próximo não transforma discrepâncias desconhecidas em aceitação.
80 000 linhas em ambos os lados não provam que os montantes por conta coincidem.
Armadilhas comuns
Contagem como equivalência; assertion como gate automático; chegada como ordem; rollback sem tratamento de escritas.
Tópicos relacionados: Desenho, governance e identidade · Streaming, tempo e efeitos · Ingestão, publicação e CI/CD
Promove uma versão reconciliada através de um gate demonstrável.
Referência: Dataform dependencies and dependent assertions · Current linked standard guide (document title v4.2); edition date unconfirmed (2026-09-30 inspection)