APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
Um evento tem uma hora de ocorrência e pode ser processado mais tarde. Escolher janelas por event time preserva o significado de um relatório por hora de operação, mas exige lidar com atrasos. A watermark representa progresso esperado e ajuda a classificar dados tardios; não elimina a possibilidade de receber novos elementos de uma janela anterior. Define lateness, triggers, modo de acumulação e contrato de atualização do destino. Se uma emissão acumulada tem 100 e a seguinte 130, somar ambas produz 230 incorretamente. O consumidor precisa de saber se recebe substituições, versões ou deltas. O prazo de negócio e a semântica do runner devem ser ensaiados em conjunto.
Aplicação guiada
No Dataflow, resultados exactly-once não significam que cada transform só executa uma vez. Uma chamada externa pode repetir após falha, mesmo quando o output confirmado fica deduplicado. Usa identidade estável da operação e idempotência no destino, ou uma arquitetura que reconcilie efeitos. Logs repetidos são evidência de execução, não prova suficiente de duplicação de resultados confirmados. Preserva entrada até existir a garantia de recuperação necessária; apagar um ficheiro dentro do transform antes do commit pode impedir replay. Para desempenho, observa distribuição por chave. Se um cliente domina a agregação e outros workers estão vazios, aumentar workers pode não ajudar. Fanout e recombinação só são válidos quando preservam a operação e requisitos de ordenação.
Um pedido externo duplicado pode coexistir com uma única linha confirmada no output.
Armadilhas comuns
Watermark como completude absoluta; output como efeito externo; mais workers como cura de hot key; acumulação como delta.
Tópicos relacionados: Desenho, governance e identidade · Qualidade, migração e cutover · Ingestão, publicação e CI/CD
Especifica garantias em cada fronteira e como o consumidor recebe correções.
Referência: Dataflow exactly-once processing · Current linked standard guide (document title v4.2); edition date unconfirmed (2026-09-30 inspection)