dr.ptAPRENDER. PRATICAR. EVOLUIR.
← DP-203: engenharia de dados Azure, percurso histórico
DP-203 e Azure Data Engineer Associate retirados em31-03-2025. Conteúdo histórico independente, sem afiliação ou acreditação Microsoft e sem atribuição de certificação. Revisão editorial sem verificação independente de especialista. Não foram executadas alterações Azure nem operações bancárias reais. Casos fictícios não representam políticas internas BNP Paribas. As marcas pertencem aos respetivos titulares.
02 / 6 · 40 MIN

Cargas incrementais e recuperação

Define a unidade de repetição e o momento em que uma carga está realmente concluída.

Conceito e mecanismo

Uma carga incremental precisa de uma fronteira que represente trabalho consolidado. Com um marcador fiável que avança em cada alteração, captura o valor anterior e um novo limite e extrai o intervalo aberto à esquerda e fechado à direita. Atualizar o marcador antes de concluir a escrita pode saltar dados após falha. Repetir o intervalo também não é suficiente quando o destino faz append: as linhas já escritas podem duplicar. Usa staging, upsert ou reconciliação adequados à chave e à regra de negócio. Eliminações físicas exigem outro mecanismo, como Change Tracking ou comparação controlada; uma linha que desapareceu não fornece LastModified para a consulta incremental.

Aplicação guiada

O integration runtime determina onde a cópia pode executar e que rede consegue alcançar. Self-hosted IR suporta origens privadas acessíveis pelo host; mapping data flows executam em compute Azure gerido. Para janelas contíguas com estado e dependências, avalia tumbling window triggers. Antes de MERGE, resolve múltiplas linhas que correspondem ao mesmo destino. A deteção de duplicados mudou entre Databricks Runtime15.4 LTS e16.0+, pelo que cada caso deve declarar condições e versão. Nunca aplica eliminações por ausência a um delta como se fosse um snapshot completo. Schema drift aceita mudanças estruturais, mas unidades, tipos e montantes precisam de validação. Regista rejeições e reconcilia-as antes de publicar resultados.

NA PRÁTICA

Foram escritas240 de300 linhas. Mantém o marcador anterior, repete o intervalo com upsert e prova as300 linhas antes da publicação.

Armadilhas comuns

Marcador adiantado; append na recuperação; delta tratado como snapshot; sucesso com rejeições tratado como completude.

Tópicos relacionados: Armazenamento, distribuição e exploração · Streams, tempo e efeitos externos · Acesso ao lake e gestão de segredos

Leva esta ideia contigo

Uma carga termina quando o destino e o controlo concordam com o contrato de dados.

Criar conta
AnteriorPróxima aula

Referência: Incremental loading and change tracking · DP-203 objectives 2024-10-24; retired 2025-03-31

Microsoft e Azure são marcas comerciais do grupo de empresas Microsoft. A dr.pt é uma plataforma de preparação independente e não está afiliada, associada, patrocinada, autorizada nem aprovada por Microsoft. Os conteúdos e as perguntas são originais, não são perguntas oficiais de exame, e concluir os nossos testes não atribui nem garante qualquer certificação. Os nomes são usados apenas para identificar o tema. Todas as outras marcas pertencem aos respetivos titulares.