APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
Começa por volume, frequência, formato e comportamento das alterações. Lakeflow Connect oferece conectores geridos com mecanismos incrementais que dependem da origem; confirma suporte e estado de lançamento. Conectores standard permitem mais personalização. COPY INTO carrega ficheiros para Delta e evita voltar a carregar ficheiros já processados no comportamento normal. Auto Loader usa cloudFiles e estado de checkpoint para descoberta e processamento incremental; não garante ordem de chegada dos ficheiros. Estas garantias não eliminam eventos de negócio repetidos dentro de ficheiros diferentes. Mantém identificadores, proveniência e reconciliação. Num conector próprio por API, define paginação, autenticação, cursor e comportamento após falha; terminar a primeira página não prova ingestão completa.
Aplicação guiada
Num exercício, a origem acrescenta uma coluna à exportação JSON. Com addNewColumns configurado e esquema inferido, Auto Loader atualiza o esquema guardado e interrompe o stream, que precisa de reiniciar. Com rescue, preserva dados inesperados na coluna de resgate sem alterar automaticamente o esquema. A equipa deve interpretar a configuração concreta, rever o contrato e monitorizar essa coluna. Apagar o checkpoint como primeira reação pode provocar reprocessamento indesejado. Em JSON e CSV, a inferência de Auto Loader usa strings por defeito; a conversão para montantes e datas pertence a uma transformação controlada. Define quarentena e critérios de promoção para evitar que compatibilidade técnica esconda mudança de significado.
Ficheiro novo não significa evento novo.
Armadilhas comuns
Apagar estado para resolver esquema; ignorar resgate; assumir ordenação; cursor sem reconciliação.
Tópicos relacionados: Plataforma, compute e contratos de dados · Transformação, granularidade e qualidade · Jobs, dependências e recuperação
Preserva estado e proveniência, e valida o significado dos dados ingeridos.
Referência: Auto Loader ingestion and checkpoints · 2026-05-04