← Databricks Data Engineer Associate: pipelines e operação
06 / 7 · 40 MIN

Diagnóstico, desempenho e custo

Localiza o tempo gasto e avalia otimizações com resultados comparáveis.

Conceito e mecanismo

Começa pelo histórico da execução e separa espera, arranque, execução e dependências. Uma tarefa skipped pode ser consequência de uma falha anterior. Em compute que disponibiliza Spark UI, segue o job até ao estágio mais demorado e observa distribuição de duração, shuffle e spill.

Spill indica pressão sobre memória de execução com transferência para disco; não significa necessariamente falta de espaço livre. Trabalho desigual entre tarefas pode indicar skew, enquanto uma regressão uniforme pode ter outra causa. Erros de importação antes da leitura apontam para bibliotecas ou ambiente, não imediatamente para tamanho dos dados.

Compara a primeira mensagem útil com alterações recentes e preserva o contexto.

Aplicação guiada

Num exercício, reduzir colunas antes de um join diminui shuffle sem alterar o resultado. Confirma contagens e medidas de negócio e repete com entrada comparável antes de aceitar a melhoria. Liquid clustering organiza dados para padrões de acesso e substitui particionamento e ZORDER nessa tabela; confirma runtime e compatibilidade dos clientes.

Predictive optimization automatiza manutenção em tabelas geridas por Unity Catalog, com compute serverless faturado. Não se aplica da mesma forma a tabelas externas. Define retenção antes de ativar manutenção que inclui VACUUM, considerando recuperação e time travel.

Monitoriza custo por entrega útil e tempo até ao consumidor; uma execução mais barata que falha o prazo pode não cumprir o objetivo.

Spark UI: distinguir skew, spill e espera por compute

Quando um job demora mais, separa tempo em fila, arranque de compute e execução de tasks antes de aumentar o número de workers. Na Spark UI, identifica o stage longo, compara duração máxima das tasks com percentis e verifica shuffle read e spill.

Se uma task lê 5 GB por shuffle enquanto a mediana lê cerca de 400 MB, investiga data skew e planos de join; não assumas que aumentar o cluster ou diminuir shuffle partitions resolve o estrangulamento. Adaptive Query Execution (AQE) está normalmente ativo e pode dividir partições enviesadas em joins shuffle elegíveis.

Não é uma garantia para todos os joins: por exemplo, não corrige skew num broadcast join, e a aplicação de AQE não equivale a reordenação dinâmica de joins. Confirma o plano e executa comparação antes/depois com o mesmo conjunto de dados, recursos, métricas e custo.

Spill aponta para dados a exceder memória de execução disponível, particularmente em agregações ou shuffle, mas não demonstra por si só que o disco esteja cheio. Regista a hipótese, a alteração testada e resultados, conservando uma baseline reprodutível.

NA PRÁTICA

Menos tempo só é melhoria se o resultado continuar completo e correto.

Armadilhas comuns

Aumentar recursos sem diagnóstico; apagar dados para acelerar; comparar volumes diferentes; manutenção assumida gratuita.

Tópicos relacionados: Plataforma, compute e contratos de dados · Ingestão incremental, estado e esquema · Transformação, granularidade e qualidade

Leva esta ideia contigo

Muda uma hipótese de cada vez e confirma desempenho, custo e correção.

Criar conta

Referências

Databricks é uma marca comercial de Databricks, Inc. A dr.pt é uma plataforma de preparação independente e não está afiliada, associada, patrocinada, autorizada nem aprovada por Databricks. Os conteúdos e as perguntas são originais, não são perguntas oficiais de exame, e concluir os nossos testes não atribui nem garante qualquer certificação. Os nomes são usados apenas para identificar o tema. Todas as outras marcas pertencem aos respetivos titulares.