data-quality grupo de comandos
Esta informação aplica-se às versões 0.205 e acima Databricks CLI . A CLI do Databricks está em versão prévia pública.
O uso CLI Databricks está sujeito à LicençaDatabricks e ao Aviso de PrivacidadeDatabricks, incluindo qualquer fornecimento de Dados de Uso.
O grupo de comandos data-quality dentro da CLIDatabricks contém comandos para gerenciar a qualidade dos dados dos objetos Unity Catalog .
databricks qualidade-de-dados cancelar-refresh
Cancelar uma refresh do monitor de qualidade de dados. Atualmente, o suporte é válido apenas para o tipo de objeto `table`. A chamada deve ser feita no mesmo workspace em que o monitor foi criado.
O chamador deve possuir um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela.
- USE_CATALOG no catálogo pai da tabela e USE_SCHEMA no esquema pai da tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e gerenciar na tabela.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
Encontre o schema_id de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecione o esquema → vá para a tab Detalhes → o campo ID do Esquema.
Encontre o table_id de: (1) O table_id do recurso Tables. (2) No Explorador de Catálogo → selecione a tabela → vá para a tab Detalhes → o campo ID da tabela.
REFRESH_ID
ID único das operações refresh .
Opções
Exemplos
O exemplo a seguir cancela uma refresh de operações:
databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345
databricks qualidade-de-dados criar-monitor
Crie um monitor de qualidade de dados em um objeto Unity Catalog . O chamador deve fornecer anomaly_detection_config para um monitor de esquema ou data_profiling_config para um monitor de tabela.
Para o tipo de objeto da tabela, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e SELECT na tabela .
- Use USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e GERENCIE e SELECT na tabela.
O espaço de trabalho ativo, como o painel de controle, será criado no workspace onde esta chamada foi feita.
Para o tipo de objeto do esquema, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai do esquema.
- USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema .
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
Encontre o schema_id de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecione o esquema → vá para a tab Detalhes → o campo ID do Esquema.
Encontre o table_id de: (1) O table_id do recurso Tables. (2) No Explorador de Catálogo → selecione a tabela → vá para a tab Detalhes → o campo ID da tabela.
Opções
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
Exemplos
O exemplo a seguir cria um monitor de qualidade de dados para uma tabela:
databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'
O exemplo a seguir cria um monitor usando um arquivo JSON:
databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json
databricks qualidade de dados criar-refresh
Criar uma refresh. A chamada deve ser feita no mesmo workspace em que o monitor foi criado.
O chamador deve possuir um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela.
- USE_CATALOG no catálogo pai da tabela e USE_SCHEMA no esquema pai da tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e gerenciar na tabela.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
Encontre o schema_id de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecione o esquema → vá para a tab Detalhes → o campo ID do Esquema.
Encontre o table_id de: (1) O table_id do recurso Tables. (2) No Explorador de Catálogo → selecione a tabela → vá para a tab Detalhes → o campo ID da tabela.
Opções
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
Exemplos
O exemplo a seguir cria uma refresh para um monitor de tabela:
databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890
O exemplo a seguir cria uma refresh usando JSON:
databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'
monitor de exclusão de qualidade de dados do databricks
Exclua um monitor de qualidade de dados em um objeto Unity Catalog .
Para o tipo de objeto da tabela, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela.
- USE_CATALOG no catálogo pai da tabela e USE_SCHEMA no esquema pai da tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e gerenciar na tabela.
As tabelas e o painel de controle do Metro não serão excluídos como parte desta chamada; os ativos devem ser limpos manualmente (se desejado).
Para o tipo de objeto do esquema, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai do esquema.
- USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema .
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
Encontre o schema_id de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecione o esquema → vá para a tab Detalhes → o campo ID do Esquema.
Encontre o table_id de: (1) O table_id do recurso Tables. (2) No Explorador de Catálogo → selecione a tabela → vá para a tab Detalhes → o campo ID da tabela.
Opções
Exemplos
O exemplo a seguir exclui um monitor de qualidade de dados:
databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890
databricks qualidade-de-dados obter-monitor
Leia um monitor de qualidade de dados em um objeto Unity Catalog .
Para o tipo de objeto da tabela, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela.
- USE_CATALOG no catálogo pai da tabela e USE_SCHEMA no esquema pai da tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.
Para o tipo de objeto do esquema, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai do esquema.
- Use USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema.
As informações retornadas incluem valores de configuração da entidade e da entidade pai, bem como informações sobre o ativo criado pelo monitor. Algumas informações (por exemplo) O painel de controle pode ser filtrado se o chamador estiver em um workspace diferente daquele em que o monitor foi criado.
databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
Encontre o schema_id de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecione o esquema → vá para a tab Detalhes → o campo ID do Esquema.
Encontre o table_id de: (1) O table_id do recurso Tables. (2) No Explorador de Catálogo → selecione a tabela → vá para a tab Detalhes → o campo ID da tabela.
Opções
Exemplos
O exemplo a seguir obtém informações sobre um monitor de qualidade de dados:
databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890
databricks qualidade-de-dados obter-refresh
Obtenha informações refresh do monitor de qualidade de dados. A chamada deve ser feita no mesmo workspace em que o monitor foi criado.
Para o tipo de objeto da tabela, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela.
- USE_CATALOG no catálogo pai da tabela e USE_SCHEMA no esquema pai da tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.
Para o tipo de objeto do esquema, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai do esquema.
- Use USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
Encontre o schema_id de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecione o esquema → vá para a tab Detalhes → o campo ID do Esquema.
Encontre o table_id de: (1) O table_id do recurso Tables. (2) No Explorador de Catálogo → selecione a tabela → vá para a tab Detalhes → o campo ID da tabela.
REFRESH_ID
ID único das operações refresh .
Opções
Exemplos
O exemplo a seguir obtém informações sobre uma refresh:
databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345
Lista de qualidade de dados do Databricks -refresh
Lista de atualização do monitor de qualidade de dados. A chamada deve ser feita no mesmo workspace em que o monitor foi criado.
Para o tipo de objeto da tabela, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela.
- USE_CATALOG no catálogo pai da tabela e USE_SCHEMA no esquema pai da tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.
Para o tipo de objeto do esquema, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai do esquema.
- Use USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
Encontre o schema_id de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecione o esquema → vá para a tab Detalhes → o campo ID do Esquema.
Encontre o table_id de: (1) O table_id do recurso Tables. (2) No Explorador de Catálogo → selecione a tabela → vá para a tab Detalhes → o campo ID da tabela.
Opções
--page-size int
Número máximo de atualizações por página.
--page-token string
Tokens para recuperar a próxima página de resultados.
Exemplos
O exemplo a seguir lista todas as atualizações de um monitor:
databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890
O exemplo a seguir lista a atualização com paginação:
databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10
monitor de atualização de qualidade de dados do databricks
Atualize um monitor de qualidade de dados no objeto Unity Catalog .
Para o tipo de objeto da tabela, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai da tabela.
- USE_CATALOG no catálogo pai da tabela e USE_SCHEMA no esquema pai da tabela.
- USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e gerenciar na tabela.
Para o tipo de objeto do esquema, o chamador deve ter um dos seguintes conjuntos de permissões:
- gerenciar e USE_CATALOG no catálogo pai do esquema.
- USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema .
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]
Argumentos
OBJECT_TYPE
O tipo de objeto monitorado. Pode ser um dos seguintes: schema ou table.
OBJECT_ID
O UUID do objeto de requisição. É schema_id para esquema e table_id para tabela.
UPDATE_MASK
A máscara de campo especifica quais campos devem ser atualizados, como uma lista separada por vírgulas. Valor de exemplo: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.
Opções
--json JSON
As strings JSON embutidas ou o @caminho para o arquivo JSON com o corpo da requisição.
Exemplos
O exemplo a seguir atualiza a configuração de um monitor:
databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"'
Bandeiras globais
--debug
Ativar ou não o registro de depuração.
-h ou --help
Exibir ajuda para a CLI Databricks , o grupo de comandos relacionado ou o comando específico.
--log-file string
Uma sequência de caracteres representando o arquivo no qual logs de saída serão gravados. Se essa opção não for especificada, o default é gravar logs de saída em stderr.
--log-format Formato
O tipo de formato de log, text ou json. O valor default é text.
--log-level string
Uma sequência de caracteres representando o nível de formato log . Caso não seja especificado, o nível de formato log será desativado.
-o, --output Tipo
O tipo de saída do comando, text ou json. O valor default é text.
-p, --profile string
O nome do perfil no arquivo ~/.databrickscfg a ser usado para executar o comando. Se este sinalizador não for especificado, então, se existir, o perfil denominado DEFAULT será usado.
--progress-format Formato
O formato para exibir logs de progresso é: default, append, inplace ou json
-t, --target string
Se aplicável, o pacote de destino a ser usado.