Pular para o conteúdo principal

Referência da tabela do sistema de otimização preditiva

info

Visualização

Essa tabela do sistema está em Pré-visualização Pública. Para acessar a tabela, o esquema deve estar habilitado em seu catálogo system. Para obter mais informações, consulte Habilitar esquemas de tabelas do sistema.

nota

Para ter acesso a essa tabela, o senhor deve ativar o esquema storage (consulte Ativar esquemas de tabela do sistema) e sua região deve oferecer suporte à otimização preditiva (consulte Nuvens e regiões do Databricks).

Este artigo descreve o esquema da tabela de histórico de operações de otimização preditiva e fornece exemplos de consultas. A otimização preditiva otimiza a disposição de seus dados para obter desempenho máximo e eficiência de custos. A tabela do sistema rastreia o histórico de operações desse recurso. Para obter informações sobre otimização preditiva, consulte Predictive optimization for Unity Catalog gerenciar tables.

Caminho da tabela : Essa tabela do sistema está localizada em system.storage.predictive_optimization_operations_history.

Considerações de entrega​

  • Os dados podem levar até 24 horas para serem preenchidos.
  • A otimização preditiva pode executar várias operações no mesmo clustering. Em caso afirmativo, a parcela de DBUs atribuída a cada uma das múltiplas operações é aproximada. É por isso que o usage_unit está definido como ESTIMATED_DBU. Ainda assim, o número total de DBUs gastos no agrupamento será preciso.

Esquema de tabela de otimização preditiva​

A tabela do sistema de histórico de operações de otimização preditiva usa o seguinte esquema:

Nome da coluna

Tipo de dados

Descrição

Exemplo

account_id

string

ID do site account.

11e22ba4-87b9-4cc2-9770-d10b894b7118

workspace_id

string

O ID do site workspace no qual a otimização preditiva executa as operações.

1234567890123456

start_time

carimbo de data/hora

O horário em que as operações começam. As informações de fuso horário são registradas no final do valor com +00:00 representando UTC.

2023-01-09 10:00:00.000+00:00

end_time

carimbo de data/hora

O horário em que as operações terminaram. As informações de fuso horário são registradas no final do valor com +00:00 representando UTC.

2023-01-09 11:00:00.000+00:00

metastore_name

string

O nome do metastore ao qual a tabela otimizada pertence.

metastore

metastore_id

string

O ID do metastore ao qual a tabela otimizada pertence.

5a31ba44-bbf4-4174-bf33-e1fa078e6765

catalog_name

string

O nome do catálogo ao qual a tabela otimizada pertence.

catalog

schema_name

string

O nome do esquema ao qual a tabela otimizada pertence.

schema

table_id

string

O ID da tabela otimizada.

138ebb4b-3757-41bb-9e18-52b38d3d2836

table_name

string

O nome da tabela otimizada.

table1

operation_type

string

As operações de otimização que foram realizadas. O valor será COMPACTION, VACUUM, ANALYZE ou CLUSTERING.

COMPACTION

operation_id

string

O ID para as operações de otimização.

4dad1136-6a8f-418f-8234-6855cfaff18f

operation_status

string

O status das operações de otimização. O valor será SUCCESSFUL ou FAILED: INTERNAL_ERROR.

SUCCESSFUL

operation_metrics

map[strings, strings]

Detalhes adicionais sobre a otimização específica que foi executada. Ver operações métricas.

{"number_of_output_files":"100","number_of_compacted_files":"1000","amount_of_output_data_bytes":"4000","amount_of_data_compacted_bytes":"10000"}

usage_unit

string

A unidade de uso em que essa operação incorreu. Só pode ser um valor: ESTIMATED_DBU.

ESTIMATED_DBU

usage_quantity

Decimal

A quantidade da unidade de uso que foi usada por essa operação.

2.12

operações métricas​

As métricas registradas na coluna operation_metrics variam de acordo com o tipo de operação:

  • COMPACTION: number_of_compacted_files, amount_of_data_compacted_bytes, number_of_output_files, amount_of_output_data_bytes
  • VACUUM: number_of_deleted_files, amount_of_data_deleted_bytes
  • ANALYZE: amount_of_scanned_bytes, number_of_scanned_files, staleness_percentage_reduced
  • CLUSTERING: number_of_removed_files, number_of_clustered_files, amount_of_data_removed_bytes, amount_of_clustered_data_bytes
  • AUTO_CLUSTERING_COLUMN_SELECTION: old_clustering_columns, new_clustering_columns, has_column_selection_changed, additional_reason (inclui o motivo pelo qual a seleção da coluna mudou ou não)

Exemplos de consultas​

As seções a seguir incluem exemplos de consultas que o senhor pode usar para obter percepções sobre a tabela do sistema de otimização preditiva. Para que essas consultas funcionem, você precisa substituir os valores dos parâmetros pelos seus próprios valores.

Este artigo inclui os seguintes exemplos de consultas:

Quantos DBus estimados foram usados na otimização preditiva nos últimos 30 dias?​

SQL
SELECT SUM(usage_quantity)
FROM system.storage.predictive_optimization_operations_history
WHERE
     usage_unit = "ESTIMATED_DBU"
     AND  timestampdiff(day, start_time, Now()) < 30

Em quais tabelas a otimização preditiva gastou mais nos últimos 30 dias (custo estimado)?​

SQL
SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC

Em quais tabelas a otimização preditiva está realizando a maioria das operações?​

SQL
SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     operation_type,
     COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC

Para um determinado catálogo, quantos bytes totais foram compactados?​

SQL
SELECT
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
    metastore_name = :metastore_name
    AND catalog_name = :catalog_name
    AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC

Quais tabelas tiveram o maior número de bytes vacuum?​

SQL
SELECT
     metastore_name,
     catalog_name,
     schema_name,
     table_name,
     SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC

Qual é a taxa de sucesso das operações executadas por otimizações preditivas?​

SQL
WITH operation_counts AS (
     SELECT
           COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
           COUNT(DISTINCT operation_id) as total_operations
    FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts
Última atualização em