quality-monitors
grupo de comando
Esta informação se aplica a Databricks CLI versões 0.205 e acima. A CLI do Databricks está em pré-visualização pública.
Databricks CLI O uso está sujeito à LicençaDatabricks e à Política de PrivacidadeDatabricks, incluindo qualquer disposição sobre Dados de Uso.
O grupo de comandos quality-monitors
dentro do Databricks CLI contém comandos para criar, editar e excluir monitores de qualidade. Um monitor calcula e monitora métricas de qualidade de dados ou modelos para uma tabela ao longo do tempo. Ele gera tabelas métricas e um painel que você pode utilizar para monitorar a integridade das tabelas e definir alertas. Consulte a Introdução ao monitoramento do lakehouse do Databricks.
monitores de qualidade de databricks criam
Crie um novo monitor para a tabela especificada.
O chamador deve:
- seja proprietário do catálogo principal da tabela, tenha
USE_SCHEMA
no esquema pai da tabela e tenha acessoSELECT
na tabela - tenha
USE_CATALOG
no catálogo principal da tabela, seja proprietário do esquema pai da tabela e tenha acessoSELECT
na tabela. - tem as seguintes permissões:
USE_CATALOG
no catálogo principal da tabelaUSE_SCHEMA
no esquema principal da tabela- seja o dono da mesa.
O espaço de trabalho ativo, como o painel, será criado no workspace onde esta chamada foi feita.
databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]
Argumentos
TABLE_NAME
Nome completo da tabela.
ASSETS_DIR
O diretório para armazenar o monitoramento ativo (por exemplo, painel, tabelas métricas).
OUTPUT_SCHEMA_NAME
Esquema onde as tabelas de métricas de saída são criadas.
Opções
--baseline-table-name string
Nome da tabela de referência a partir da qual as métricas de desvio são calculadas.
--json JSON
As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.
--skip-builtin-dashboard
Se deve ignorar a criação de um painel “ default ” que resume as métricas de qualidade dos dados.
--warehouse-id string
Argumento opcional para especificar o depósito para a criação do painel.
Exemplos
O exemplo a seguir cria um monitor de qualidade para uma tabela:
databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema
os monitores de qualidade do databricks excluem
Exclua um monitor da tabela especificada.
O chamador deve:
- seja proprietário do catálogo principal da tabela
- tenha
USE_CATALOG
no catálogo principal da tabela e seja proprietário do esquema principal da tabela - tem as seguintes permissões:
USE_CATALOG
no catálogo principal da tabelaUSE_SCHEMA
no esquema principal da tabela- seja o dono da mesa.
Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.
Observe que as tabelas métricas e o painel não serão excluídos como parte desta chamada; os ativos devem ser limpos manualmente (se desejado).
databricks quality-monitors delete TABLE_NAME [flags]
Argumentos
TABLE_NAME
Nome completo da tabela.
Opções
Exemplos
O exemplo a seguir exclui um monitor de qualidade:
databricks quality-monitors delete main.my_schema.my_table
os monitores de qualidade da Databricks obtêm
Obtenha um monitor para a tabela especificada.
O chamador deve:
- seja proprietário do catálogo principal da tabela
- tenha
USE_CATALOG
no catálogo principal da tabela e seja proprietário do esquema principal da tabela. - tem as seguintes permissões:
USE_CATALOG
no catálogo principal da tabelaUSE_SCHEMA
no esquema principal da tabelaSELECT
privilégio na mesa.
As informações retornadas incluem valores de configuração, bem como informações sobre ativos criados pelo monitor. Algumas informações (por exemplo, painel) podem ser filtradas se o autor da chamada estiver em um workspace diferente daquele em que o monitor foi criado.
databricks quality-monitors get TABLE_NAME [flags]
Argumentos
TABLE_NAME
Nome completo da tabela.
Opções
Exemplos
O exemplo a seguir obtém informações sobre um monitor de qualidade:
databricks quality-monitors get main.my_schema.my_table
monitores de qualidade do databricks obterrefresh
Obtenha informações sobre um monitor específico refresh utilizando o ID refresh fornecido.
O chamador deve:
- seja proprietário do catálogo principal da tabela
- tenha
USE_CATALOG
no catálogo principal da tabela e seja proprietário do esquema principal da tabela - tem as seguintes permissões:
USE_CATALOG
no catálogo principal da tabelaUSE_SCHEMA
no esquema principal da tabelaSELECT
privilégio na mesa.
Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.
databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]
Argumentos
TABLE_NAME
Nome completo da tabela.
REFRESH_ID
ID do refresh.
Opções
Exemplos
O exemplo a seguir obtém informações sobre um e-mail específico: refresh:
databricks quality-monitors get-refresh main.my_schema.my_table 12345
databricks qualidade-monitores lista-atualizar
Liste o histórico das atualizações mais recentes (até 25) para esta tabela.
O chamador deve:
- seja proprietário do catálogo principal da tabela
- tenha
USE_CATALOG
no catálogo principal da tabela e seja proprietário do esquema principal da tabela - tem as seguintes permissões:
USE_CATALOG
no catálogo principal da tabelaUSE_SCHEMA
no esquema principal da tabelaSELECT
privilégio na mesa.
Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.
databricks quality-monitors list-refreshes TABLE_NAME [flags]
Argumentos
TABLE_NAME
Nome completo da tabela.
Opções
Exemplos
O exemplo a seguir lista a atualização para um monitor de qualidade:
databricks quality-monitors list-refreshes main.my_schema.my_table
databricks qualidade-monitores execução-refresh
Enfileire as métricas “ refresh ” no monitor para a tabela especificada. O " refresh " será executado em segundo plano.
O chamador deve:
- seja proprietário do catálogo principal da tabela
- tenha
USE_CATALOG
no catálogo principal da tabela e seja proprietário do esquema principal da tabela - tem as seguintes permissões:
USE_CATALOG
no catálogo principal da tabelaUSE_SCHEMA
no esquema principal da tabela- seja dono da mesa
Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.
databricks quality-monitors run-refresh TABLE_NAME [flags]
Argumentos
TABLE_NAME
Nome completo da tabela.
Opções
Exemplos
O exemplo a seguir enfileira um monitor de qualidade ( refresh ) para um monitor de qualidade:
databricks quality-monitors run-refresh main.my_schema.my_table
atualização dos monitores de qualidade do databricks
Atualize um monitor para a tabela especificada.
O chamador deve:
- seja proprietário do catálogo principal da tabela
- tenha
USE_CATALOG
no catálogo principal da tabela e seja proprietário do esquema principal da tabela - tem as seguintes permissões:
USE_CATALOG
no catálogo principal da tabelaUSE_SCHEMA
no esquema principal da tabela- seja o dono da mesa.
Além disso, a chamada deve ser feita a partir do " workspace " (Monitor de monitor) onde o monitor foi criado, e o autor da chamada deve ser o criador original do monitor.
Certos campos de configuração, como identificadores de saída ativo, não podem ser atualizados.
databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]
Argumentos
TABLE_NAME
Nome completo da tabela.
OUTPUT_SCHEMA_NAME
Esquema onde as tabelas de métricas de saída são criadas.
Opções
--baseline-table-name string
Nome da tabela de referência a partir da qual as métricas de desvio são calculadas.
--dashboard-id string
ID do painel que visualiza as métricas de computação.
--json JSON
As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.
Exemplos
O exemplo a seguir atualiza um monitor de qualidade:
databricks quality-monitors update main.my_schema.my_table main.monitoring_schema
O exemplo a seguir atualiza um monitor de qualidade com uma nova tabela de linha de base:
databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline
Bandeiras globais
--debug
Se deve habilitar o registro de depuração.
-h
ou --help
Exibir ajuda para o comando Databricks CLI ou para o grupo de comandos relacionado ou para o comando relacionado.
--log-file
string
Uma string que representa o arquivo no qual a saída logs deve ser gravada. Se este sinalizador não for especificado, o default deverá gravar a saída logs no stderr.
--log-format
Formato
O tipo de formato do log, text
ou json
. O valor de default é text
.
--log-level
string
Uma string que representa o nível de formato do log. Se não for especificado, o nível de formato do log será desativado.
-o, --output
Tipo
O tipo de saída do comando, text
ou json
. O valor de default é text
.
-p, --profile
string
O nome do perfil no arquivo ~/.databrickscfg
a ser utilizado para executar o comando. Se esse sinalizador não for especificado, se existir, o perfil chamado DEFAULT
será usado.
--progress-format
Formato
O formato para exibir o progresso logs: default
, append
, inplace
ou json
-t, --target
string
Se aplicável, o destino do pacote a ser usado