Conceito e mecanismo
Começa pelo histórico da execução e separa espera, arranque, execução e dependências. Uma tarefa skipped pode ser consequência de uma falha anterior. Em compute que disponibiliza Spark UI, segue o job até ao estágio mais demorado e observa distribuição de duração, shuffle e spill.
Spill indica pressão sobre memória de execução com transferência para disco; não significa necessariamente falta de espaço livre. Trabalho desigual entre tarefas pode indicar skew, enquanto uma regressão uniforme pode ter outra causa. Erros de importação antes da leitura apontam para bibliotecas ou ambiente, não imediatamente para tamanho dos dados.
Compara a primeira mensagem útil com alterações recentes e preserva o contexto.
Aplicação guiada
Num exercício, reduzir colunas antes de um join diminui shuffle sem alterar o resultado. Confirma contagens e medidas de negócio e repete com entrada comparável antes de aceitar a melhoria. Liquid clustering organiza dados para padrões de acesso e substitui particionamento e ZORDER nessa tabela; confirma runtime e compatibilidade dos clientes.
Predictive optimization automatiza manutenção em tabelas geridas por Unity Catalog, com compute serverless faturado. Não se aplica da mesma forma a tabelas externas. Define retenção antes de ativar manutenção que inclui VACUUM, considerando recuperação e time travel.
Monitoriza custo por entrega útil e tempo até ao consumidor; uma execução mais barata que falha o prazo pode não cumprir o objetivo.
Spark UI: distinguir skew, spill e espera por compute
Quando um job demora mais, separa tempo em fila, arranque de compute e execução de tasks antes de aumentar o número de workers. Na Spark UI, identifica o stage longo, compara duração máxima das tasks com percentis e verifica shuffle read e spill.
Se uma task lê 5 GB por shuffle enquanto a mediana lê cerca de 400 MB, investiga data skew e planos de join; não assumas que aumentar o cluster ou diminuir shuffle partitions resolve o estrangulamento. Adaptive Query Execution (AQE) está normalmente ativo e pode dividir partições enviesadas em joins shuffle elegíveis.
Não é uma garantia para todos os joins: por exemplo, não corrige skew num broadcast join, e a aplicação de AQE não equivale a reordenação dinâmica de joins. Confirma o plano e executa comparação antes/depois com o mesmo conjunto de dados, recursos, métricas e custo.
Spill aponta para dados a exceder memória de execução disponível, particularmente em agregações ou shuffle, mas não demonstra por si só que o disco esteja cheio. Regista a hipótese, a alteração testada e resultados, conservando uma baseline reprodutível.
Menos tempo só é melhoria se o resultado continuar completo e correto.
Armadilhas comuns
Aumentar recursos sem diagnóstico; apagar dados para acelerar; comparar volumes diferentes; manutenção assumida gratuita.
Tópicos relacionados: Plataforma, compute e contratos de dados · Ingestão incremental, estado e esquema · Transformação, granularidade e qualidade
Muda uma hipótese de cada vez e confirma desempenho, custo e correção.
Referências
- Diagnose performance with Spark UI · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained
- Spark skew and spill · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained
- Liquid clustering · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained
- Predictive optimization · Current Databricks documentation inspected 2026-10-01; feature-specific runtime limits retained
- Adaptive query execution and skew join handling · Current AQE behavior; default on; shuffle join skew splitting, not guaranteed for broadcasts/streams