Monitore o progresso do gateway de ingestão com logsde eventos.
Aplica-se a : Conectores SaaS
Conectores de banco de dados
Aprenda a usar logs de eventos para monitorar o progresso de gateways de ingestão em tempo real. O gateway emite métricas por tabela para as fases de snapshot e captura de dados de alterações (CDC), para que você possa rastrear a integridade do pipeline, identificar tabelas paradas e criar alertas e painéis a partir de dados de eventos estruturados.
Os eventos de progresso permitem que você:
- Acompanhe quantas linhas e bytes foram ingeridos por tabela sem esperar pela conclusão do pipeline.
- Monitore o progresso do snapshot e o tempo estimado para conclusão de grandes carregamentos iniciais.
- Meça a latência de CDC desde o commit de origem até o volume do Unity Catalog para cada tabela.
- Confirme se o pipeline está sendo executado ativamente, mesmo quando nenhuma alteração de dados ocorrer.
Como funcionam os eventos de progresso
O gateway emite os seguintes tipos de evento a cada cinco minutos para cada tabela em seu pipeline. Os primeiros eventos aparecem dentro de cinco minutos após o pipeline iniciar.
flow_progress: Emitido para fluxos de snapshot e CDC. Relata linhas upserted, linhas excluídas (apenas CDC) e bytes de saída desde o evento anterior. Para fluxos CDC, também relata métricas de latência.operation_progress: Emitido apenas para fluxos de snapshot. Relata a porcentagem de conclusão do snapshot e o tempo estimado restante até que o snapshot termine.
Os eventos são emitidos para cada tabela, incluindo tabelas sem alterações desde o evento anterior. Uma tabela que reporta zero linhas está parada. Uma tabela que não reporta eventos não foi selecionada pelo pipeline.
Ambos os tipos de eventos usam o nível de log METRICS. Você pode query-los na tabela de logs de eventos usando SQL.
Acesse os eventos de progresso
Os eventos de progresso são armazenados na tabela log de eventos. Para acessá-los:
- Navegue até o seu gateway no workspace Databricks .
- Clique na tab " logeventos" para view os eventos na interface do usuário.
- Consulte a tabela log de eventos diretamente usando SQL para uma análise detalhada.
Consultar a tabela log de eventos
Para consultar eventos flow_progress para contadores de linhas e bytes:
SELECT
timestamp,
CONCAT(origin.catalog_name, '.', origin.schema_name, '.', origin.dataset_name) AS table_name,
details:flow_progress:metrics:num_upserted_rows::bigint AS rows_upserted,
COALESCE(details:flow_progress:metrics:num_deleted_rows::bigint, 0) AS rows_deleted,
details:flow_progress:metrics:num_output_bytes::bigint AS output_bytes,
CASE
WHEN origin.flow_name LIKE '%_snapshot_flow' THEN 'snapshot'
WHEN origin.flow_name LIKE '%_cdc_flow' THEN 'cdc'
ELSE 'unknown'
END AS ingestion_phase
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND origin.pipeline_type = 'INGESTION_GATEWAY'
ORDER BY timestamp DESC
Para consultar os eventos operation_progress para obter a porcentagem de progresso do Snapshot:
SELECT
timestamp,
origin.flow_name AS flow_name,
details:operation_progress:status::string AS status,
details:operation_progress:progress_percent::double AS progress_pct
FROM event_log('<pipeline-id>')
WHERE event_type = 'operation_progress'
AND level = 'METRICS'
AND origin.pipeline_type = 'INGESTION_GATEWAY'
ORDER BY timestamp DESC
Substitua <pipeline-id> pelo seu ID de gateway.
Compreenda a estrutura do evento.
Os exemplos a seguir mostram a estrutura JSON para cada tipo de evento:
Estrutura de eventos de fluxo Snapshot
{
"id": "01234567-89ab-cdef-0123-456789abcdef",
"timestamp": "2025-10-14T13:33:14.175Z",
"level": "METRICS",
"event_type": "flow_progress",
"origin": {
"pipeline_type": "INGESTION_GATEWAY",
"pipeline_name": "MyPipeline",
"dataset_name": "customers",
"catalog_name": "main",
"schema_name": "sales",
"flow_name": "main.sales.customers_snapshot_flow",
"ingestion_source_type": "SQLSERVER"
},
"message": "Completed a streaming update of 'main.sales.customers_snapshot_flow'.",
"details": {
"flow_progress": {
"status": "RUNNING",
"metrics": {
"num_upserted_rows": 7512704,
"num_deleted_rows": null,
"num_output_bytes": 458752000
}
}
},
"maturity_level": "STABLE"
}
Estrutura de eventos de fluxo do CDC
{
"id": "01234567-89ab-cdef-0123-456789abcdef",
"timestamp": "2025-10-14T13:33:57.426Z",
"level": "METRICS",
"event_type": "flow_progress",
"origin": {
"pipeline_type": "INGESTION_GATEWAY",
"pipeline_name": "MyPipeline",
"dataset_name": "customers",
"catalog_name": "main",
"schema_name": "sales",
"flow_name": "main.sales.customers_cdc_flow",
"ingestion_source_type": "SQLSERVER"
},
"message": "Completed a streaming update of 'main.sales.customers_cdc_flow'.",
"details": {
"flow_progress": {
"status": "RUNNING",
"metrics": {
"num_upserted_rows": 25,
"num_deleted_rows": 3,
"num_output_bytes": 18432
},
"streaming_metrics": {
"discovery_latency_ms": 12450,
"batch_processing_time_ms": 8100,
"event_time": {
"max": "2025-10-14T13:33:45.000Z"
}
}
}
},
"maturity_level": "STABLE"
}
Estrutura de eventos de progresso de operações Snapshot
{
"id": "01234567-89ab-cdef-0123-456789abcdef",
"timestamp": "2025-10-14T13:33:14.175Z",
"level": "METRICS",
"event_type": "operation_progress",
"origin": {
"pipeline_type": "INGESTION_GATEWAY",
"pipeline_name": "MyPipeline",
"dataset_name": "customers",
"catalog_name": "main",
"schema_name": "sales",
"flow_name": "main.sales.customers_snapshot_flow",
"ingestion_source_type": "SQLSERVER"
},
"message": "Snapshot in progress for 'main.sales.customers'.",
"details": {
"operation_progress": {
"type": "CDC_SNAPSHOT",
"status": "IN_PROGRESS",
"duration_ms": 3600000,
"progress_percent": 65.5,
"estimated_completion_ms": 1885000,
"cdc_snapshot": {
"target_table_name": "main.sales.customers",
"snapshot_timestamp": 1737542400000,
"snapshot_reason": "NEW_TABLE"
}
}
},
"maturity_level": "STABLE"
}
Campos de evento
A tabela a seguir descreve os key campos nos eventos em andamento:
campo | Tipo | Descrição |
|---|---|---|
| String | Pode ser |
| String | Sempre |
| String | Carimbo de data/hora ISO 8601 que indica quando o evento foi gerado. |
| String | Sempre |
| String | Nome do portal. |
| String | Nome da tabela que está sendo incluída. |
| String | Nome do Unity Catalog . |
| String | Nome do esquema Unity Catalog . |
| String | Identificador de fluxo que indica a fase de ingestão. Formato: |
| String | Tipo de banco de dados de origem (por exemplo, |
| String | Estado atual do fluxo, normalmente |
| Integer | Número de linhas inseridas ou atualizadas desde o último evento. Métrica Delta. Consulte Contadores de linha e byte. |
| Integer | Número de linhas excluídas desde o último evento. Métrica de Delta. |
| Integer | Número de bytes compactados upload em um volume desde o último evento. Métrica Delta. Não reportado para snapshots de conectores baseados em query. Veja Snapshot de conectores baseados em query. |
| Integer | Tempo em milissegundos entre a alteração da fonte em |
| Integer | Tempo em milissegundos que o gateway gastou lendo e fazendo upload do lote de alterações mais recente. Não inclui atraso da origem. Apenas fluxos de CDC. Pode ser |
| String | Timestamp ISO 8601 da alteração de origem mais recente que o gateway leu para esta tabela. Somente fluxos do CDC. |
| String | tipo de operações. |
| String | Status atual da operação. |
| Integer | Tempo total decorrido das operações em milissegundos. |
| Double | Porcentagem de conclusão do Snapshot ( |
| Integer | Tempo estimado restante em milissegundos até que o snapshot seja concluído. Veja Progresso do snapshot e ETA. |
| String | Nome completo da tabela que está sendo capturada. |
| String | Sempre |
Interpretar métricas de progresso
Contadores de linhas e bytes
Aplica-se a num_upserted_rows, num_deleted_rows e num_output_bytes.
- Cada valor é uma delta. Ele representa alterações desde o evento anterior, não um total acumulado. Para calcular totais, some os valores entre os eventos. Consulte Queries de contagem de linhas.
- Os eventos são emitidos mesmo quando não há alterações nos dados. Os valores zero servem como sinais de vivacidade que confirmam que o pipeline está em execução.
num_deleted_rowsénullpara fluxos de snapshot porque snapshots não produzem deletes.- Os contadores são Reset quando o pipeline reinicia, faz refresh ou retoma. Os eventos emitidos antes do reinício permanecem no log de eventos.
Progresso e tempo estimado de conclusão do snapshot
Aplica-se a progress_percent e estimated_completion_ms.
progress_percenté cumulativo. Ele é acumulado de0.0a100.0durante o ciclo de vida de um snapshot.progress_percenté calculado como(completed_chunks / total_chunks) × 100, portanto é aproximado, não uma porcentagem exata em nível de linha. As tabelas que não são divididas em várias partes (normalmente tabelas menores) pulam de0.0diretamente para100.0. Tabelas grandes que são divididas em muitas partes são atualizadas gradualmente conforme cada parte é concluída.- Um status
COMPLETEDrelataprogress_percent = 100.0. - Uma reinicialização do pipeline pode Reset as métricas de progresso, incluindo
progress_percent. estimated_completion_msreflete a estimativa no momento em que o evento foi emitido. Ele diminui conforme o snapshot progride e atinge0na conclusão. Ele pode aumentar brevemente se o progresso diminuir e seránullaté que dados suficientes tenham sido processados para produzir uma estimativa.
Latência do CDC
Aplica-se a event_time:max, discovery_latency_ms e batch_processing_time_ms. Essas métricas são relatadas apenas para fluxos de CDC.
- Cada valor reflete o estado da métrica no momento em que o evento foi emitido.
- Essas são as latências do gateway de ingestão. Elas medem o caminho do banco de dados de origem através do gateway até o volume do Unity Catalog. Elas não incluem a latência downstream do volume do Unity Catalog para a tabela de destino, que é relatada separadamente no log de eventos do pipeline de ingestão.
- Para estimar o atraso do lado da fonte, subtraia
batch_processing_time_msdediscovery_latency_ms. discovery_latency_msebatch_processing_time_mssão reportados como0se o resultado fosse negativo.
A relação entre essas métricas indica em qual parte do caminho do gateway a latência está concentrada:
Padrão | O que significa |
|---|---|
Ambos | CDC está em execução e atualizado. |
| Atraso do lado da fonte. O gateway está lendo prontamente. Commits chegaram atrasados da origem (atraso de replicação, backlog de log da origem, transações de origem de longa duração). |
Ambos altos | Atraso no Gateway. O pipeline de upload é o gargalo. Verifique os recursos de compute do gateway e o caminho de rede para o volume do Unity Catalog. |
| Problema na fonte por tabela (DDL em andamento, contenção de bloqueio, slot de replicação bloqueado, alteração de esquema). |
| Problema em todo o Gateway (recursos, conectividade de volume, atraso do log CDC de origem afetando todas as capturas). |
| A origem está parado, ou o gateway perdeu a conectividade com o banco de dados de origem. Verifique a habilitação do CDC de origem e os logs do gateway. |
Snapshots de conector baseado em query
Quando o gateway executa o Snapshot inicial usando o método de conector baseado em query (QBC), ele emite as mesmas métricas de Snapshot descritas nesta página: flow_progress eventos para contagens de linhas e operation_progress eventos para a porcentagem de progresso e tempo estimado restante (estimated_completion_ms).
Essas métricas provêm apenas do gateway de ingestão. Pipelines de conectores baseados em query que são executados sem um gateway (pipelines que leem a fonte diretamente por meio de uma conexão) não os emitem, portanto, seus Logs de eventos não contêm eventos de progresso de Snapshot.
Um Snapshot QBC difere dos snapshots de gateway (legado) das seguintes maneiras:
- Bytes de saída não são informados.
flow_progresseventos relatam contagens de linhas (num_upserted_rows), mas nãonum_output_bytes. Queries que leem bytes de saída, como as em Queries de bytes de saída, não retornam dados para um Snapshot QBC. Use a métrica de contagem de linhas para acompanhar o volume. - As tabelas reportam um status
SCHEDULED. Cada tabela reportaSCHEDULEDenquanto está na fila, antes do início do seu snapshot. Os snapshots do gateway (legado) não reportam o status de enfileirado. - Alguns campos
operation_progressnão estão preenchidos. Os camposduration_msecdc_snapshot.snapshot_reasonnão estão definidos para um Snapshot do QBC.
Para monitorar um snapshot QBC, use as queries de progresso de snapshot em Snapshot progress queries, incluindo a query Snapshot ETA per table para o tempo estimado restante.
Ajuste as queries para a forma como um Snapshot do QBC relata tabelas em fila. As queries nessa seção identificam tabelas em fila por uma porcentagem de progresso de 0, mas um Snapshot do QBC relata tabelas em fila com um status SCHEDULED e sem porcentagem de progresso. Para classificá-los ou contá-los corretamente, altere essas condições para verificar o status:
- Substitua uma condição
progress_pct = 0porstatus = 'SCHEDULED'. - Para incluir tabelas na fila na query Snapshot ETA per table, altere seu filtro
status = 'IN_PROGRESS'parastatus IN ('IN_PROGRESS', 'SCHEDULED').
Exemplos de consultas
As seguintes consultas de exemplo mostram como monitorar seu gateway usando contagens de linhas, bytes de saída, progresso e ETA de Snapshot e métricas de latência de CDC. Substitua <pipeline-id> pelo seu ID do gateway em cada consulta.
O Notebook Monitor de Progresso do Gateway de Ingestão contém todas as queries nesta seção. Importe o Notebook no workspace onde seu gateway executa, e especifique o ID do seu gateway. Execute o Notebook para inspecionar o progresso do Snapshot, a latência do CDC e a contagem de linhas. Você também pode ajustar os limites de SLA para atender aos seus requisitos de monitoramento.
consultas de contagem de linhas
Volume por mesa (últimas 24 horas)
Total de operações de upsert e delete para cada tabela nas últimas 24 horas, com a fase de ingestão classificada pelo sufixo do nome do fluxo. Use isso como título de um painel para ver quais tabelas movimentaram mais dados.
WITH row_events AS (
SELECT
origin.flow_name AS flow_name,
CASE
WHEN origin.flow_name LIKE '%_snapshot_flow' THEN 'SNAPSHOT'
WHEN origin.flow_name LIKE '%_cdc_flow' THEN 'CDC'
ELSE 'OTHER'
END AS phase,
details:flow_progress:metrics:num_upserted_rows::bigint AS upserts,
details:flow_progress:metrics:num_deleted_rows::bigint AS deletes
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND timestamp >= current_timestamp() - INTERVAL 24 HOURS
)
SELECT
flow_name,
phase,
SUM(upserts) AS rows_upserted_24h,
SUM(COALESCE(deletes, 0)) AS rows_deleted_24h,
SUM(upserts) + SUM(COALESCE(deletes, 0)) AS total_rows_moved_24h
FROM row_events
GROUP BY flow_name, phase
ORDER BY total_rows_moved_24h DESC
Identifique mesas silenciosas ou travadas
Tabelas que emitem eventos, mas que reportam zero inserções e zero exclusões nos últimos 60 minutos, são candidatas ao status "travadas". Investigue mais a fundo se a fonte deve ser alterada. Tabelas CDC que são genuinamente parado (por exemplo, durante a noite) também aparecem aqui.
WITH recent_window AS (
SELECT
origin.flow_name AS flow_name,
CASE
WHEN origin.flow_name LIKE '%_snapshot_flow' THEN 'SNAPSHOT'
WHEN origin.flow_name LIKE '%_cdc_flow' THEN 'CDC'
ELSE 'OTHER'
END AS phase,
COUNT(*) AS emissions_in_window,
SUM(details:flow_progress:metrics:num_upserted_rows::bigint) AS upserts_in_window,
SUM(COALESCE(details:flow_progress:metrics:num_deleted_rows::bigint, 0)) AS deletes_in_window,
MAX(timestamp) AS last_event
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND timestamp >= current_timestamp() - INTERVAL 60 MINUTES
GROUP BY origin.flow_name
)
SELECT
flow_name,
phase,
emissions_in_window,
upserts_in_window,
deletes_in_window,
last_event,
ROUND(TIMESTAMPDIFF(MINUTE, last_event, current_timestamp()), 0) AS minutes_since_last_event
FROM recent_window
WHERE upserts_in_window = 0
AND deletes_in_window = 0
ORDER BY minutes_since_last_event DESC
Cronograma por mesa com totais acumulados
Histórico completo, evento por evento, de um único fluxo nas últimas 24 horas, com contagem cumulativa de linhas. Substitua <flow-pattern> por um padrão SQL LIKE (por exemplo, '%customers%_cdc_flow').
SELECT
origin.flow_name AS flow_name,
origin.update_id AS update_id,
timestamp,
details:flow_progress:metrics:num_upserted_rows::bigint AS upserts_this_period,
COALESCE(details:flow_progress:metrics:num_deleted_rows::bigint, 0) AS deletes_this_period,
SUM(details:flow_progress:metrics:num_upserted_rows::bigint)
OVER (PARTITION BY origin.flow_name, origin.update_id
ORDER BY timestamp
ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS cumulative_upserts_this_run,
SUM(COALESCE(details:flow_progress:metrics:num_deleted_rows::bigint, 0))
OVER (PARTITION BY origin.flow_name, origin.update_id
ORDER BY timestamp
ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS cumulative_deletes_this_run
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND origin.flow_name LIKE '<flow-pattern>'
AND timestamp >= current_timestamp() - INTERVAL 24 HOURS
ORDER BY timestamp
Consultas de bytes de saída
Bytes por tabela (últimas 24 horas)
Total de bytes enviados para um volume por tabela nas últimas 24 horas, com unidades de fácil compreensão em MB e GB. Ordene em ordem decrescente para visualizar as tabelas com maior volume de dados.
WITH byte_events AS (
SELECT
origin.flow_name AS flow_name,
CASE
WHEN origin.flow_name LIKE '%_snapshot_flow' THEN 'SNAPSHOT'
WHEN origin.flow_name LIKE '%_cdc_flow' THEN 'CDC'
ELSE 'OTHER'
END AS phase,
details:flow_progress:metrics:num_output_bytes::bigint AS output_bytes
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND timestamp >= current_timestamp() - INTERVAL 24 HOURS
)
SELECT
flow_name,
phase,
SUM(output_bytes) AS bytes_24h,
ROUND(SUM(output_bytes) / 1024.0 / 1024.0, 2) AS mb_24h,
ROUND(SUM(output_bytes) / 1024.0 / 1024.0 / 1024.0, 3) AS gb_24h
FROM byte_events
GROUP BY flow_name, phase
ORDER BY bytes_24h DESC
Tendência da taxa de transferência (MB por minuto)
Série temporal por minuto do volume de bytes enviados em todos os fluxos nas últimas 24 horas. Renderize como um gráfico de linhas para detectar padrões e paralisações da Taxa de transferência.
SELECT
DATE_TRUNC('MINUTE', timestamp) AS ts_minute,
origin.flow_name AS flow_name,
CASE
WHEN origin.flow_name LIKE '%_snapshot_flow' THEN 'SNAPSHOT'
WHEN origin.flow_name LIKE '%_cdc_flow' THEN 'CDC'
ELSE 'OTHER'
END AS phase,
ROUND(SUM(details:flow_progress:metrics:num_output_bytes::bigint) / 1024.0 / 1024.0, 2) AS mb_per_minute
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND timestamp >= current_timestamp() - INTERVAL 24 HOURS
GROUP BY DATE_TRUNC('MINUTE', timestamp), origin.flow_name
ORDER BY origin.flow_name, ts_minute
Média de bytes por linha (detector de tabela ampla ou LOB)
junte num_output_bytes com contagens de linhas para compute a média de bytes por linha por tabela. Valores altos geralmente indicam tabelas LOB ou de esquema amplo que impulsionam o custo de transferência. Útil para planejamento de capacidade e revisão de esquemas.
WITH joined AS (
SELECT
origin.flow_name AS flow_name,
CASE
WHEN origin.flow_name LIKE '%_snapshot_flow' THEN 'SNAPSHOT'
WHEN origin.flow_name LIKE '%_cdc_flow' THEN 'CDC'
ELSE 'OTHER'
END AS phase,
SUM(details:flow_progress:metrics:num_output_bytes::bigint) AS total_bytes,
SUM(details:flow_progress:metrics:num_upserted_rows::bigint) AS total_upserts,
SUM(COALESCE(details:flow_progress:metrics:num_deleted_rows::bigint, 0)) AS total_deletes
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND timestamp >= current_timestamp() - INTERVAL 24 HOURS
GROUP BY origin.flow_name
)
SELECT
flow_name,
phase,
total_upserts + total_deletes AS total_rows,
ROUND(total_bytes / 1024.0 / 1024.0, 2) AS total_mb,
ROUND(total_bytes / NULLIF(total_upserts + total_deletes, 0), 0) AS avg_bytes_per_row
FROM joined
WHERE total_bytes > 0
ORDER BY avg_bytes_per_row DESC
Consultas de progressoSnapshot
Progresso geral do Snapshot
A consulta a seguir retorna um resumo de linha única de quantas tabelas estão concluídas, em andamento ou em fila de espera. Os resultados refletem o estado mais recente reportado por tabela em todas as atualizações do pipeline na janela de retenção do log de eventos, portanto, as tabelas concluídas em uma atualização anterior continuam a contar para tables_completed após um refresh ou reinício.
WITH latest_per_table AS (
SELECT
origin.flow_name AS flow_name,
details:operation_progress:status::string AS status,
details:operation_progress:progress_percent::double AS progress_pct,
ROW_NUMBER() OVER (PARTITION BY origin.flow_name ORDER BY timestamp DESC) AS rn
FROM event_log('<pipeline-id>')
WHERE event_type = 'operation_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
)
SELECT
COUNT(*) AS total_tables,
SUM(CASE WHEN status = 'COMPLETED' THEN 1 ELSE 0 END) AS tables_completed,
SUM(CASE WHEN status = 'IN_PROGRESS' AND progress_pct > 0 AND progress_pct < 100 THEN 1 ELSE 0 END) AS tables_in_progress,
SUM(CASE WHEN progress_pct = 0 THEN 1 ELSE 0 END) AS tables_not_started,
ROUND(AVG(progress_pct), 2) AS overall_progress_pct,
ROUND(SUM(CASE WHEN status = 'COMPLETED' THEN 1 ELSE 0 END) * 100.0 / COUNT(*), 1) AS pct_tables_done
FROM latest_per_table
WHERE rn = 1
Quadro de status de instantâneos por mesa
A consulta a seguir retorna cada tabela no pipeline com seu status mais recente relatado e porcentagem de progresso. Os resultados incluem tabelas concluídas em atualizações anteriores, portanto, nenhuma tabela aparece como linhas ausentes.
WITH table_status AS (
SELECT
origin.flow_name AS flow_name,
details:operation_progress:status::string AS status,
details:operation_progress:progress_percent::double AS progress_pct,
timestamp,
ROW_NUMBER() OVER (PARTITION BY origin.flow_name ORDER BY timestamp DESC) AS rn
FROM event_log('<pipeline-id>')
WHERE event_type = 'operation_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
)
SELECT
flow_name,
status,
ROUND(progress_pct, 2) AS progress_pct,
timestamp AS last_update,
CASE
WHEN status = 'COMPLETED' THEN 'Done'
WHEN progress_pct = 0 THEN 'Queued'
ELSE 'Active'
END AS phase
FROM table_status
WHERE rn = 1
ORDER BY
CASE status WHEN 'IN_PROGRESS' THEN 0 WHEN 'COMPLETED' THEN 1 ELSE 2 END,
progress_pct ASC
Snapshot de linhas e bytes carregados na atualização atual.
A consulta a seguir combina porcentagem de progresso, linhas upsertadas e bytes uploads para cada tabela na execução do Snapshot atual.
WITH latest_update AS (
SELECT origin.update_id AS update_id
FROM event_log('<pipeline-id>')
WHERE event_type = 'create_update'
ORDER BY timestamp DESC LIMIT 1
),
progress AS (
SELECT
origin.flow_name AS flow_name,
details:operation_progress:progress_percent::double AS progress_pct,
details:operation_progress:status::string AS status,
ROW_NUMBER() OVER (PARTITION BY origin.flow_name ORDER BY timestamp DESC) AS rn
FROM event_log('<pipeline-id>')
WHERE event_type = 'operation_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
AND origin.update_id = (SELECT update_id FROM latest_update)
),
volume AS (
SELECT
origin.flow_name AS flow_name,
SUM(details:flow_progress:metrics:num_upserted_rows::bigint) AS rows_loaded,
SUM(details:flow_progress:metrics:num_output_bytes::bigint) AS bytes_loaded
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
AND origin.flow_name LIKE '%_snapshot_flow'
AND origin.update_id = (SELECT update_id FROM latest_update)
GROUP BY origin.flow_name
)
SELECT
p.flow_name,
p.status,
ROUND(p.progress_pct, 2) AS progress_pct,
v.rows_loaded,
ROUND(v.bytes_loaded / 1024.0 / 1024.0, 2) AS mb_loaded,
ROUND(v.bytes_loaded / 1024.0 / 1024.0 / 1024.0, 3) AS gb_loaded
FROM progress p
LEFT JOIN volume v ON p.flow_name = v.flow_name
WHERE p.rn = 1
ORDER BY p.progress_pct ASC
Detecção de instantâneo travada
A seguinte consulta retorna tabelas snapshot cujo progress_percent não foi alterado nos últimos 30 minutos. Utilizado para identificar Snapshots que foram paralisados, mas ainda estão ativos.
WITH latest_update AS (
SELECT origin.update_id AS update_id
FROM event_log('<pipeline-id>')
WHERE event_type = 'create_update'
ORDER BY timestamp DESC LIMIT 1
),
recent AS (
SELECT
origin.flow_name AS flow_name,
details:operation_progress:progress_percent::double AS progress_pct,
details:operation_progress:status::string AS status,
timestamp
FROM event_log('<pipeline-id>')
WHERE event_type = 'operation_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
AND origin.update_id = (SELECT update_id FROM latest_update)
AND timestamp >= current_timestamp() - INTERVAL 30 MINUTES
)
SELECT
flow_name,
ROUND(MIN(progress_pct), 2) AS min_pct_30min,
ROUND(MAX(progress_pct), 2) AS max_pct_30min,
ROUND(MAX(progress_pct) - MIN(progress_pct), 2) AS pct_change_30min,
COUNT(*) AS events_in_window,
MAX(timestamp) AS last_event_ts
FROM recent
WHERE status = 'IN_PROGRESS'
GROUP BY flow_name
HAVING MAX(progress_pct) - MIN(progress_pct) = 0
AND MAX(progress_pct) < 100
ORDER BY max_pct_30min ASC
Snapshot ETA por tabela
A seguinte consulta retorna a porcentagem de progresso atual e o tempo estimado para conclusão para cada tabela na execução do Snapshot ativa. Somente tabelas com status de IN_PROGRESS são retornadas. Para incluir tabelas concluídas e em fila, remova o filtro status = 'IN_PROGRESS'.
WITH latest_update AS (
SELECT origin.update_id AS update_id
FROM event_log('<pipeline-id>')
WHERE event_type = 'create_update'
ORDER BY timestamp DESC LIMIT 1
),
latest_per_flow AS (
SELECT
origin.flow_name AS flow_name,
details:operation_progress:status::string AS status,
details:operation_progress:progress_percent::double AS progress_pct,
details:operation_progress:estimated_completion_ms::bigint AS eta_ms,
timestamp,
ROW_NUMBER() OVER (PARTITION BY origin.flow_name ORDER BY timestamp DESC) AS rn
FROM event_log('<pipeline-id>')
WHERE event_type = 'operation_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
AND origin.update_id = (SELECT update_id FROM latest_update)
)
SELECT
flow_name,
status,
ROUND(progress_pct, 2) AS progress_pct,
eta_ms,
ROUND(eta_ms / 1000.0 / 60.0, 1) AS eta_minutes,
ROUND(eta_ms / 1000.0 / 3600.0, 2) AS eta_hours,
timestamp AS last_update
FROM latest_per_flow
WHERE rn = 1
AND status = 'IN_PROGRESS'
ORDER BY eta_ms DESC NULLS LAST
consultas de latência do CDC
Para interpretar os valores que estas queries retornam, veja Latência de CDC. Estes valores medem a latência no caminho de gateway. Para ver quão atualizada está cada tabela de destino, veja Monitorar a atualização de dados para tabelas de captura de dados de alterações (CDC).
Latência de CDC por tabela
A query a seguir retorna os últimos 30 minutos de eventos de latência do CDC para cada tabela CDC. Com eventos emitidos a cada cinco minutos, isso produz cerca de seis linhas por tabela. Os resultados são ordenados por discovery_latency_ms para que as tabelas com maior atraso apareçam primeiro.
SELECT
origin.flow_name AS flow_name,
details:flow_progress:streaming_metrics:event_time:max::string AS latest_source_commit_seen,
details:flow_progress:streaming_metrics:discovery_latency_ms::bigint AS discovery_latency_ms,
details:flow_progress:streaming_metrics:batch_processing_time_ms::bigint AS batch_processing_time_ms,
timestamp AS emission_ts
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
AND origin.flow_name LIKE '%_cdc_flow'
AND details:flow_progress:streaming_metrics IS NOT NULL
AND timestamp >= current_timestamp() - INTERVAL 30 MINUTES
ORDER BY discovery_latency_ms DESC NULLS LAST, flow_name, emission_ts DESC
Série temporal de latência do CDC
A consulta a seguir retorna a média horária de discovery_latency_ms e batch_processing_time_ms para cada fluxo de CDC nas últimas 24 horas. Utilize-o para identificar quando o frescor se degradou. Para pipelines com muitos fluxos de CDC, filtre por nome do fluxo para limitar o conjunto de resultados.
SELECT
DATE_TRUNC('HOUR', timestamp) AS ts_hour,
origin.flow_name AS flow_name,
ROUND(AVG(details:flow_progress:streaming_metrics:discovery_latency_ms::bigint) / 1000.0, 2) AS avg_discovery_latency_sec,
ROUND(AVG(details:flow_progress:streaming_metrics:batch_processing_time_ms::bigint) / 1000.0, 2) AS avg_batch_processing_sec
FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
AND level = 'METRICS'
AND origin.flow_name IS NOT NULL
AND origin.pipeline_type = 'INGESTION_GATEWAY'
AND origin.flow_name LIKE '%_cdc_flow'
AND details:flow_progress:streaming_metrics IS NOT NULL
AND timestamp >= current_timestamp() - INTERVAL 24 HOURS
GROUP BY DATE_TRUNC('HOUR', timestamp), origin.flow_name
ORDER BY origin.flow_name, ts_hour
Solução de problemas
Nenhum evento de progresso é exibido.
Se você não visualizar eventos de progresso no log de eventos:
- Aguarde pelo menos cinco minutos após o pipeline começar.
- Verifique se o pipeline está em execução e recebendo dados.
- Verifique se seus filtros de query em
level = 'METRICS'e o tipo de evento correto (flow_progressouoperation_progress). - Se eventos ainda estiverem ausentes, ou se chegarem em um intervalo diferente de cinco minutos, entre em contato com o suporte do Databricks.
As métricas mostram zero após a reinicialização do pipeline.
Uma reinicialização, refresh ou retomada de pipeline pode Reset as métricas de progresso. O gateway começa a relatar novos valores imediatamente, e os eventos emitidos antes da reinicialização permanecem no log de eventos. Consulte Interpretar métricas de progresso.
Faltam métricas para algumas tabelas
Se algumas tabelas não mostrarem eventos de progresso:
- Confirme se a tabela está incluída na configuração do gateway e se não foi filtrada.
- Para a fase CDC, certifique-se de que a tabela de origem tenha CDC ou o acompanhamento de alterações habilitado.
- Observe que os eventos
operation_progresssão emitidos apenas para fluxos de snapshot. Os fluxos de CDC não emitem eventosoperation_progressporque o CDC não possui um conceito de conclusão.
Os campos ETA do snapshot ou latência de CDC são null
Alguns campos estão null até que o gateway tenha informações suficientes para relatá-los. Para quando cada campo é null, consulte Campos de evento e Interpretar métricas de progresso.