dr.ptAPRENDER. PRATICAR. EVOLUIR.
← DP-203: engenharia de dados Azure, percurso histórico
DP-203 e Azure Data Engineer Associate retirados em31-03-2025. Conteúdo histórico independente, sem afiliação ou acreditação Microsoft e sem atribuição de certificação. Revisão editorial sem verificação independente de especialista. Não foram executadas alterações Azure nem operações bancárias reais. Casos fictícios não representam políticas internas BNP Paribas. As marcas pertencem aos respetivos titulares.
06 / 6 · 40 MIN

Otimização, custo e retenção

Melhora desempenho sem perder correção ou capacidade de recuperação.

Conceito e mecanismo

Otimização começa com uma hipótese observável e uma comparação reproduzível. Numa tabela Delta existente, particionada por data e sem liquid clustering, compaction com OPTIMIZE pode reorganizar ficheiros pequenos mantendo o resultado lógico. Para desenhos novos, a documentação atual recomenda avaliar liquid clustering; não copies automaticamente o desenho histórico. VACUUM tem outra finalidade: remove ficheiros elegíveis que deixaram de ser referenciados pelas versões retidas. O log pode continuar a mencionar uma versão cujos ficheiros já não existem. Define retenção de dados e de histórico de acordo com recuperação, duração máxima de jobs e consumidores atrasados. Uma poupança de armazenamento não demonstra que o restauro continua possível.

Aplicação guiada

Em Spark, uma tarefa muito mais lenta que as restantes pode indicar skew, sobretudo quando uma chave domina as linhas. Investiga a distribuição antes de atribuir toda a demora a falta de capacidade. Projeção e filtros semanticamente válidos antes do shuffle reduzem dados movimentados; cache indiscriminada pode aumentar pressão de memória. Mede spill, cauda de tarefas, volume e resultado. Em SQL serverless, reduzir leitura de900 para90GB representa90% nessa execução, mas não garante igual redução de latência ou custo total da plataforma. Num projeto, apresenta à FinOps a poupança medida com o custo da otimização e à APS o efeito na janela e na recuperação. Mantém critérios de reversão e reconciliação durante cada experiência.

NA PRÁTICA

A retenção proposta é inferior à duração de um job e ao compromisso de recuperar sete dias. Adia a mudança até demonstrar um desenho que preserve esses requisitos.

Armadilhas comuns

OPTIMIZE como backup; VACUUM como compaction; menos bytes como garantia de igual ganho em todas as métricas.

Tópicos relacionados: Armazenamento, distribuição e exploração · Cargas incrementais e recuperação · Streams, tempo e efeitos externos

Leva esta ideia contigo

Uma melhoria só está demonstrada quando desempenho, custo e correção são medidos no mesmo contexto.

Criar conta
AnteriorPraticar

Referência: Delta compaction and data layout · DP-203 objectives 2024-10-24; retired 2025-03-31

Microsoft e Azure são marcas comerciais do grupo de empresas Microsoft. A dr.pt é uma plataforma de preparação independente e não está afiliada, associada, patrocinada, autorizada nem aprovada por Microsoft. Os conteúdos e as perguntas são originais, não são perguntas oficiais de exame, e concluir os nossos testes não atribui nem garante qualquer certificação. Os nomes são usados apenas para identificar o tema. Todas as outras marcas pertencem aos respetivos titulares.