← Databricks Data Engineer Associate: pipelines e operação
02 / 7 · 40 MIN

Ingestão incremental, estado e esquema

Escolhe ingestão e trata alterações de origem sem perder rastreabilidade.

Conceito e mecanismo

Começa por volume, frequência, formato e comportamento das alterações. Lakeflow Connect oferece conectores geridos com mecanismos incrementais que dependem da origem; confirma suporte e estado de lançamento. Conectores standard permitem mais personalização.

COPY INTO carrega ficheiros para Delta e evita voltar a carregar ficheiros já processados no comportamento normal. Auto Loader usa cloudFiles e estado de checkpoint para descoberta e processamento incremental; não garante ordem de chegada dos ficheiros.

Estas garantias não eliminam eventos de negócio repetidos dentro de ficheiros diferentes. Mantém identificadores, proveniência e reconciliação. Num conector próprio por API, define paginação, autenticação, cursor e comportamento após falha; terminar a primeira página não prova ingestão completa.

Aplicação guiada

Num exercício, a origem acrescenta uma coluna à exportação JSON. Com addNewColumns configurado e esquema inferido, Auto Loader atualiza o esquema guardado e interrompe o stream, que precisa de reiniciar. Com rescue, preserva dados inesperados na coluna de resgate sem alterar automaticamente o esquema.

A equipa deve interpretar a configuração concreta, rever o contrato e monitorizar essa coluna. Apagar o checkpoint como primeira reação pode provocar reprocessamento indesejado. Em JSON e CSV, a inferência de Auto Loader usa strings por defeito; a conversão para montantes e datas pertence a uma transformação controlada.

Define quarentena e critérios de promoção para evitar que compatibilidade técnica esconda mudança de significado.

Auto Loader: evolução do schema e recuperação sem reingestão

Quando Auto Loader está configurado com addNewColumns e descobre uma coluna nova, pode guardar a versão revista do schema na schemaLocation e terminar o stream com UnknownFieldException; a execução seguinte pode retomar com o schema atualizado, conservando o checkpoint original.

Este comportamento não transforma automaticamente o tipo de uma coluna já conhecida. O modo rescue segue uma estratégia diferente: não evolui o schema, regista dados inesperados em _rescued_data e pode prosseguir sem falhar pela coluna desconhecida.

Não confundas deteção de ficheiros novos com deduplicação de event_id: o checkpoint controla progresso da origem e não garante unicidade lógica de pagamentos repetidos em ficheiros distintos. Num exercício controlado, prepara ficheiro A com event_id 101, ficheiro B com um event_id 101 repetido e uma coluna nova e depois demonstra: contagem de ficheiros, versões do schema, conteúdo resgatado, preservação do checkpoint, linhas aceites e regras explícitas de reconciliação.

Em produção, confirma o modo configurado e os requisitos de privacidade e retenção antes de escolher o destino dos rejeitados.

NA PRÁTICA

Ficheiro novo não significa evento novo.

Armadilhas comuns

Apagar estado para resolver esquema; ignorar resgate; assumir ordenação; cursor sem reconciliação.

Tópicos relacionados: Plataforma, compute e contratos de dados · Transformação, granularidade e qualidade · Jobs, dependências e recuperação

Leva esta ideia contigo

Preserva estado e proveniência, e valida o significado dos dados ingeridos.

Criar conta

Referências

Databricks é uma marca comercial de Databricks, Inc. A dr.pt é uma plataforma de preparação independente e não está afiliada, associada, patrocinada, autorizada nem aprovada por Databricks. Os conteúdos e as perguntas são originais, não são perguntas oficiais de exame, e concluir os nossos testes não atribui nem garante qualquer certificação. Os nomes são usados apenas para identificar o tema. Todas as outras marcas pertencem aos respetivos titulares.