Conceito e mecanismo
Começa por volume, frequência, formato e comportamento das alterações. Lakeflow Connect oferece conectores geridos com mecanismos incrementais que dependem da origem; confirma suporte e estado de lançamento. Conectores standard permitem mais personalização.
COPY INTO carrega ficheiros para Delta e evita voltar a carregar ficheiros já processados no comportamento normal. Auto Loader usa cloudFiles e estado de checkpoint para descoberta e processamento incremental; não garante ordem de chegada dos ficheiros.
Estas garantias não eliminam eventos de negócio repetidos dentro de ficheiros diferentes. Mantém identificadores, proveniência e reconciliação. Num conector próprio por API, define paginação, autenticação, cursor e comportamento após falha; terminar a primeira página não prova ingestão completa.
Aplicação guiada
Num exercício, a origem acrescenta uma coluna à exportação JSON. Com addNewColumns configurado e esquema inferido, Auto Loader atualiza o esquema guardado e interrompe o stream, que precisa de reiniciar. Com rescue, preserva dados inesperados na coluna de resgate sem alterar automaticamente o esquema.
A equipa deve interpretar a configuração concreta, rever o contrato e monitorizar essa coluna. Apagar o checkpoint como primeira reação pode provocar reprocessamento indesejado. Em JSON e CSV, a inferência de Auto Loader usa strings por defeito; a conversão para montantes e datas pertence a uma transformação controlada.
Define quarentena e critérios de promoção para evitar que compatibilidade técnica esconda mudança de significado.
Auto Loader: evolução do schema e recuperação sem reingestão
Quando Auto Loader está configurado com addNewColumns e descobre uma coluna nova, pode guardar a versão revista do schema na schemaLocation e terminar o stream com UnknownFieldException; a execução seguinte pode retomar com o schema atualizado, conservando o checkpoint original.
Este comportamento não transforma automaticamente o tipo de uma coluna já conhecida. O modo rescue segue uma estratégia diferente: não evolui o schema, regista dados inesperados em _rescued_data e pode prosseguir sem falhar pela coluna desconhecida.
Não confundas deteção de ficheiros novos com deduplicação de event_id: o checkpoint controla progresso da origem e não garante unicidade lógica de pagamentos repetidos em ficheiros distintos. Num exercício controlado, prepara ficheiro A com event_id 101, ficheiro B com um event_id 101 repetido e uma coluna nova e depois demonstra: contagem de ficheiros, versões do schema, conteúdo resgatado, preservação do checkpoint, linhas aceites e regras explícitas de reconciliação.
Em produção, confirma o modo configurado e os requisitos de privacidade e retenção antes de escolher o destino dos rejeitados.
Ficheiro novo não significa evento novo.
Armadilhas comuns
Apagar estado para resolver esquema; ignorar resgate; assumir ordenação; cursor sem reconciliação.
Tópicos relacionados: Plataforma, compute e contratos de dados · Transformação, granularidade e qualidade · Jobs, dependências e recuperação
Preserva estado e proveniência, e valida o significado dos dados ingeridos.
Referências
- Auto Loader ingestion and checkpoints · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained
- COPY INTO incremental ingestion · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained
- Auto Loader schema inference and evolution · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained
- Lakeflow Connect connector concepts · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained