APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
Um fluxo analítico separa origem, ingestão, transformação, armazenamento e consumo. ETL transforma antes da carga no destino considerado; ELT carrega e usa o destino para transformar. Um data lake pode conservar ficheiros de formatos diferentes; um warehouse organiza dados para consulta analítica. Lakehouse combina padrões de lake com capacidades de gestão de tabelas. Microsoft Fabric integra experiências SaaS como Data Factory, engenharia, warehouse, Real-Time Intelligence e Power BI sobre OneLake. Azure Databricks oferece uma plataforma para engenharia, análise e outros workloads, com Spark e notebooks entre as suas capacidades. Nenhum nome dispensa definir contratos e qualidade.
Aplicação guiada
Num cenário fictício, o reporting diário pode aceitar batch, enquanto alertas de falha precisam de eventos processados em poucos minutos. Streaming trata dados à medida que chegam e pode agregar por janelas. Define o tempo usado, atraso aceitável e tratamento de eventos tardios; atualizar o ecrã não cria esse processamento. Azure Stream Analytics e Fabric Real-Time Intelligence são candidatos a avaliar conforme o desenho e integrações. Para cada etapa, regista contagens, timestamps, erros e responsável de retoma. Um pipeline verde pode conter rejeições ou ainda não alimentar o modelo consumido. A aceitação deve demonstrar quando o dado fica utilizável, reconciliado e suficientemente atual para a decisão.
Contar falhas a cada cinco minutos exige definir janelas; não basta somar tudo desde o arranque.
Armadilhas comuns
ELT como ausência de transformação; lake como governação automática; refresh visual como streaming; job verde como SLA funcional.
Tópicos relacionados: Dados, workloads e responsabilidades · Modelo relacional, integridade e SQL · Serviços relacionais e compatibilidade
Mede o percurso completo desde o evento até à decisão.
Referência: ETL versus ELT · DP-900 skills measured 2026-07-21