quality-monitors grupo de comando

nota

Esta informação se aplica a Databricks CLI versões 0.205 e acima. A CLI do Databricks está em pré-visualização pública.

Databricks CLI O uso está sujeito à LicençaDatabricks e à Política de PrivacidadeDatabricks, incluindo qualquer disposição sobre Dados de Uso.

O grupo de comandos quality-monitors dentro do Databricks CLI contém comandos para criar, editar e excluir monitores de qualidade. Um monitor calcula e monitora métricas de qualidade de dados ou modelos para uma tabela ao longo do tempo. Ele gera tabelas métricas e um painel que você pode utilizar para monitorar a integridade das tabelas e definir alertas. Consulte a Introdução ao monitoramento do lakehouse do Databricks.

monitores de qualidade de databricks criam

Crie um novo monitor para a tabela especificada.

O chamador deve:

1. seja proprietário do catálogo principal da tabela, tenha USE_SCHEMA no esquema pai da tabela e tenha acesso SELECT na tabela
2. tenha USE_CATALOG no catálogo principal da tabela, seja proprietário do esquema pai da tabela e tenha acesso SELECT na tabela.
3. tem as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema principal da tabela
   • seja o dono da mesa.

O espaço de trabalho ativo, como o painel, será criado no workspace onde esta chamada foi feita.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Argumentos

TABLE_NAME

Nome completo da tabela.

ASSETS_DIR

O diretório para armazenar o monitoramento ativo (por exemplo, painel, tabelas métricas).

OUTPUT_SCHEMA_NAME

Esquema onde as tabelas de métricas de saída são criadas.

Opções

--baseline-table-name string

Nome da tabela de referência a partir da qual as métricas de desvio são calculadas.

--json JSON

As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.

--skip-builtin-dashboard

Se deve ignorar a criação de um painel “ default ” que resume as métricas de qualidade dos dados.

--warehouse-id string

Argumento opcional para especificar o depósito para a criação do painel.

Bandeiras globais

Exemplos

O exemplo a seguir cria um monitor de qualidade para uma tabela:

Bash

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

os monitores de qualidade do databricks excluem

Exclua um monitor da tabela especificada.

O chamador deve:

1. seja proprietário do catálogo principal da tabela
2. tenha USE_CATALOG no catálogo principal da tabela e seja proprietário do esquema principal da tabela
3. tem as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema principal da tabela
   • seja o dono da mesa.

Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.

Observe que as tabelas métricas e o painel não serão excluídos como parte desta chamada; os ativos devem ser limpos manualmente (se desejado).

databricks quality-monitors delete TABLE_NAME [flags]

Argumentos

TABLE_NAME

Nome completo da tabela.

Opções

Bandeiras globais

Exemplos

O exemplo a seguir exclui um monitor de qualidade:

Bash

databricks quality-monitors delete main.my_schema.my_table

os monitores de qualidade da Databricks obtêm

Obtenha um monitor para a tabela especificada.

O chamador deve:

1. seja proprietário do catálogo principal da tabela
2. tenha USE_CATALOG no catálogo principal da tabela e seja proprietário do esquema principal da tabela.
3. tem as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema principal da tabela
   • SELECT privilégio na mesa.

As informações retornadas incluem valores de configuração, bem como informações sobre ativos criados pelo monitor. Algumas informações (por exemplo, painel) podem ser filtradas se o autor da chamada estiver em um workspace diferente daquele em que o monitor foi criado.

databricks quality-monitors get TABLE_NAME [flags]

Argumentos

TABLE_NAME

Nome completo da tabela.

Opções

Bandeiras globais

Exemplos

O exemplo a seguir obtém informações sobre um monitor de qualidade:

Bash

databricks quality-monitors get main.my_schema.my_table

monitores de qualidade do databricks obterrefresh

Obtenha informações sobre um monitor específico refresh utilizando o ID refresh fornecido.

O chamador deve:

1. seja proprietário do catálogo principal da tabela
2. tenha USE_CATALOG no catálogo principal da tabela e seja proprietário do esquema principal da tabela
3. tem as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema principal da tabela
   • SELECT privilégio na mesa.

Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Argumentos

TABLE_NAME

Nome completo da tabela.

REFRESH_ID

ID do refresh.

Opções

Bandeiras globais

Exemplos

O exemplo a seguir obtém informações sobre um e-mail específico: refresh:

Bash

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks qualidade-monitores lista-atualizar

Liste o histórico das atualizações mais recentes (até 25) para esta tabela.

O chamador deve:

1. seja proprietário do catálogo principal da tabela
2. tenha USE_CATALOG no catálogo principal da tabela e seja proprietário do esquema principal da tabela
3. tem as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema principal da tabela
   • SELECT privilégio na mesa.

Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Argumentos

TABLE_NAME

Nome completo da tabela.

Opções

Bandeiras globais

Exemplos

O exemplo a seguir lista a atualização para um monitor de qualidade:

Bash

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks qualidade-monitores execução-refresh

Enfileire as métricas “ refresh ” no monitor para a tabela especificada. O " refresh " será executado em segundo plano.

O chamador deve:

1. seja proprietário do catálogo principal da tabela
2. tenha USE_CATALOG no catálogo principal da tabela e seja proprietário do esquema principal da tabela
3. tem as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema principal da tabela
   • seja dono da mesa

Além disso, a chamada deve ser feita a partir do workspace onde o monitor foi criado.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Argumentos

TABLE_NAME

Nome completo da tabela.

Opções

Bandeiras globais

Exemplos

O exemplo a seguir enfileira um monitor de qualidade ( refresh ) para um monitor de qualidade:

Bash

databricks quality-monitors run-refresh main.my_schema.my_table

atualização dos monitores de qualidade do databricks

Atualize um monitor para a tabela especificada.

O chamador deve:

1. seja proprietário do catálogo principal da tabela
2. tenha USE_CATALOG no catálogo principal da tabela e seja proprietário do esquema principal da tabela
3. tem as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema principal da tabela
   • seja o dono da mesa.

Além disso, a chamada deve ser feita a partir do " workspace " (Monitor de monitor) onde o monitor foi criado, e o autor da chamada deve ser o criador original do monitor.

Certos campos de configuração, como identificadores de saída ativo, não podem ser atualizados.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Argumentos

TABLE_NAME

Nome completo da tabela.

OUTPUT_SCHEMA_NAME

Esquema onde as tabelas de métricas de saída são criadas.

Opções

--baseline-table-name string

Nome da tabela de referência a partir da qual as métricas de desvio são calculadas.

--dashboard-id string

ID do painel que visualiza as métricas de computação.

--json JSON

As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.

Bandeiras globais

Exemplos

O exemplo a seguir atualiza um monitor de qualidade:

Bash

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

O exemplo a seguir atualiza um monitor de qualidade com uma nova tabela de linha de base:

Bash

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Bandeiras globais

--debug

Se deve habilitar o registro de depuração.

-h ou --help

Exibir ajuda para o comando Databricks CLI ou para o grupo de comandos relacionado ou para o comando relacionado.

--log-file string

Uma string que representa o arquivo no qual a saída logs deve ser gravada. Se este sinalizador não for especificado, o default deverá gravar a saída logs no stderr.

--log-format Formato

O tipo de formato do log, text ou json. O valor de default é text.

--log-level string

Uma string que representa o nível de formato do log. Se não for especificado, o nível de formato do log será desativado.

-o, --output Tipo

O tipo de saída do comando, text ou json. O valor de default é text.

-p, --profile string

O nome do perfil no arquivo ~/.databrickscfg a ser utilizado para executar o comando. Se esse sinalizador não for especificado, se existir, o perfil chamado DEFAULT será usado.

--progress-format Formato

O formato para exibir o progresso logs: default, append, inplace ou json

-t, --target string

Se aplicável, o destino do pacote a ser usado