pipelines grupo de comando
Esta informação se aplica a Databricks CLI versões 0.205 e acima. A CLI do Databricks está em pré-visualização pública.
Databricks CLI O uso está sujeito à LicençaDatabricks e à Política de PrivacidadeDatabricks, incluindo qualquer disposição sobre Dados de Uso.
O grupo de comandos pipelines dentro da CLIDatabricks contém dois conjuntos de funcionalidades. O primeiro conjunto permite gerenciar um projeto de pipeline e seu fluxo de trabalho. O segundo conjunto permite criar, editar, excluir, iniciar e view detalhes sobre objetos pipeline no Databricks.
Para obter informações sobre pipeline, consulte Pipeline declarativoLakeFlow Spark.
projetos pipeline
O comando a seguir permite gerenciar o pipeline em projetos.
pipeline de databricks implantado
Implante o pipeline carregando todos os arquivos definidos no projeto para o workspace de destino e criando ou atualizando o pipeline definido no workspace.
databricks pipelines deploy [flags]
Argumentos
Nenhuma
Opções
--auto-approve
Ignore as aprovações interativas que possam ser necessárias para a implementação.
--fail-on-active-runs
Falha se houver pipelines em execução na implantação.
--force-lock
Forçar a aquisição do bloqueio de implantação
pipeline databricks destruir
Destruir um projeto de gasoduto.
databricks pipelines destroy [flags]
Argumentos
Nenhuma
Opções
--auto-approve
Ignore as aprovações interativas para excluir o pipeline.
--force-lock
Forçar a aquisição do bloqueio de implantação
execução a seco do pipeline de databricks
Valida a correção do gráfico do pipeline, identificado por KEY. Não materializa nem publica nenhum conjunto de dados.
databricks pipelines dry-run [flags] [KEY]
Argumentos
KEY
O nome exclusivo do pipeline para execução a seco, conforme definido em seu arquivo YAML. Se houver apenas um pipeline no projeto, KEY é opcional e o pipeline é selecionado automaticamente.
Opções
--no-wait
Não espere a execução ser concluída.
--restart
Reinicie a execução se ela já estiver em andamento.
pipeline databricks gerar
Gere a configuração para um pipeline Spark existente.
Este comando procura um arquivo spark-pipeline.yml ou *.spark-pipeline.yml no diretório especificado e gera um novo arquivo de configuração *.pipeline.yml na pasta resources do projeto que define o pipeline. Se existirem vários arquivos spark-pipeline.yml , especifique o caminho completo para um arquivo *.spark-pipeline.yml específico.
databricks pipelines generate [flags]
Para gerar a configuração de um pipeline existente no workspace Databricks , consulte `databricks bundle generate pipeline e Gerar configuração para um Job ou pipeline existente usando a CLI Databricks.
Opções
--existing-pipeline-dir
Caminho para o diretório de pipeline existente em src (ex.: src/my_pipeline).
--force
Sobrescrever o arquivo de configuração de pipeline existente.
Exemplos
O exemplo a seguir examina o diretório atual e lê src/my_pipeline/spark-pipeline.yml, depois cria um arquivo de configuração resources/my_pipeline.pipeline.yml que define o pipeline:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
história do pipeline do Databricks
Recuperar a execução anterior de um pipeline identificado por KEY.
databricks pipelines history [flags] [KEY]
Argumentos
KEY
O nome único do pipeline, conforme definido em seu arquivo YAML. Se houver apenas um pipeline no projeto, KEY é opcional e o pipeline é selecionado automaticamente.
Opções
--end-time string
Filtrar atualizações antes deste horário (formato: 2025-01-15T10:30:00Z)
--start-time string
Atualizações do filtro após este horário (formato: 2025-01-15T10:30:00Z)
inicialização do pipeline do Databricks
Inicializar um novo projeto de pipeline.
Para um tutorial que explica passo a passo como criar, implantar e executar um projeto pipeline usando a CLI Databricks , consulte Desenvolver um pipeline declarativo LakeFlow Spark com Databricks Ativo Bundles.
databricks pipelines init [flags]
Argumentos
Nenhuma
Opções
--config-file string
Arquivo JSON contendo keypar - valor dos parâmetros de entrada necessários para a inicialização.
--output-dir string
Diretório para escrever o padrão inicializado
logsde pipeline do Databricks
Recuperar eventos para o pipeline identificado por KEY. Por default, este comando exibe os eventos da atualização mais recente do pipeline.
databricks pipelines logs [flags] [KEY]
Argumentos
KEY
O nome único do pipeline, conforme definido em seu arquivo YAML. Se houver apenas um pipeline no projeto, KEY é opcional e o pipeline é selecionado automaticamente.
Opções
--end-time string
Filtrar eventos que ocorram antes deste horário de término (formato: 2025-01-15T10:30:00Z)
--event-type strings
Filtrar eventos por lista de tipos de eventos
--level strings
Filtrar eventos por lista de níveis de log (INFO, WARN, ERROR, METRICS)
-n, --number int
Número de eventos a retornar
--start-time string
Filtrar eventos que sejam posteriores a este horário de início (formato: 2025-01-15T10:30:00Z)
--update-id string
Filtrar eventos por ID de atualização. Caso não seja fornecido, utiliza o ID de atualização mais recente.
Exemplos
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
pipeline do Databricks aberto
Abra um pipeline no navegador, identificado por KEY.
databricks pipelines open [flags] [KEY]
Argumentos
KEY
O nome exclusivo do pipeline a ser aberto, conforme definido em seu arquivo YAML. Se houver apenas um pipeline no projeto, KEY é opcional e o pipeline é selecionado automaticamente.
Opções
--force-pull
Ignorar o cache local e carregar o estado do workspaceremoto.
execução de pipeline de databricks
execução do pipeline identificado por KEY. Atualizar todas as tabelas no pipeline , a menos que especificado de outra forma.
databricks pipelines run [flags] [KEY]
Argumentos
KEY
O nome único do pipeline a ser executado, conforme definido em seu arquivo YAML. Se houver apenas um pipeline no projeto, KEY é opcional e o pipeline é selecionado automaticamente.
Opções
--full-refresh strings
Lista de tabelas para redefinir e recalcular
--full-refresh-all
Execute um Reset gráfico completo e recalcule
--no-wait
Não espere a execução ser concluída.
--refresh strings
Lista de tabelas para execução
--restart
Reinicie a execução se ela já estiver em andamento.
Interrupção do pipeline do Databricks
Pare o pipeline se ele estiver em execução, identificado por KEY ou PIPELINE_ID. Se não houver nenhuma atualização ativa para o pipeline, esta solicitação não terá efeito.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Argumentos
KEY
O nome único do pipeline a ser interrompido, conforme definido em seu arquivo YAML. Se houver apenas um pipeline no projeto, KEY é opcional e o pipeline é selecionado automaticamente.
PIPELINE_ID
O UUID do pipeline a ser interrompido.
Opções
--no-wait
Não espere chegar ao estado parado.
--timeout duration
tempo máximo para atingir o estado parado (default 20m0s)
objetos pipeline
O comando a seguir permite gerenciar objetos pipeline no Databricks.
criar pipeline do databricks
Crie um novo pipeline de processamento de dados com base na configuração solicitada. Se bem-sucedido, este comando retorna o ID do novo pipeline.
databricks pipelines create [flags]
Argumentos
Nenhuma
Opções
--json JSON
As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.
Exclusão do pipeline do Databricks
Exclua um pipeline.
databricks pipelines delete PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline a ser excluído.
Opções
obter pipeline do databricks
Obtenha um pipeline.
databricks pipelines get PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline a ser obtido.
Opções
pipeline do databricks obter atualização
Receba atualizações de um pipeline ativo.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Argumentos
PIPELINE_ID
A identificação do pipeline.
UPDATE_ID
O ID da atualização.
Opções
Lista de pipelines do Databricks -pipeline-events
Recuperar eventos para um pipeline.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline para recuperar eventos.
Opções
--filter string
Critérios para selecionar um subconjunto de resultados, expressos usando uma sintaxe semelhante a SQL.
--max-results int
Número máximo de entradas a serem retornadas em uma única página.
--page-token string
Tokens de página retornados pela chamada anterior.
Lista de pipelines do Databricks - pipeline
Pipeline de lista definido no sistema de tabelas dinâmicas do Delta.
databricks pipelines list-pipelines [flags]
Argumentos
Nenhuma
Opções
--filter string
Selecione um subconjunto de resultados com base nos critérios especificados.
--max-results int
O número máximo de entradas a serem retornadas em uma única página.
--page-token string
Tokens de página retornados pela chamada anterior.
Lista de atualizações do pipeline do Databricks
Listar atualizações para um pipeline ativo.
databricks pipelines list-updates PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline para o qual as atualizações serão retornadas.
Opções
--max-results int
Número máximo de entradas a serem retornadas em uma única página.
--page-token string
Tokens de página retornados pela chamada anterior.
--until-update-id string
Se presente, retorna as atualizações até e incluindo esse update_id.
databricks pipeline iniciar-atualizar
Iniciamos uma nova atualização para o pipeline. Se já houver uma atualização ativa para o pipeline, a solicitação falhará e a atualização ativa continuará em execução.
databricks pipelines start-update PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
pipeline e para iniciar uma atualização.
Opções
--cause StartUpdateCause
Valores suportados: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]
--full-refresh
Se verdadeiro, esta atualização irá redefinir todas as tabelas antes de ser executada.
--json JSON
As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.
--validate-only
Se verdadeiro, esta atualização apenas valida a correção do código-fonte pipeline, mas não materializa nem publica nenhum conjunto de dados.
atualização do pipeline do databricks
Atualize um pipeline com a configuração fornecida.
databricks pipelines update PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
Identificador exclusivo para este pipeline.
Opções
--allow-duplicate-names
Se definido como falso, a implantação falhará se o nome tiver sido alterado e entrar em conflito com o nome de outro pipeline.
--budget-policy-id string
Política orçamentária deste pipeline.
--catalog string
Um catálogo no Unity Catalog para publicar os dados deste pipeline.
--channel string
Canal de lançamento de pipeline declarativo LakeFlow Spark que especifica qual versão usar.
--continuous
Se o pipeline é contínuo ou acionado.
--development
Indica se o pipeline está em modo de desenvolvimento.
--edition string
edição do produto pipeline.
--expected-last-modified int
Se presente, a hora da última modificação das configurações do pipeline antes da edição.
--id string
Identificador exclusivo para este pipeline.
--json JSON
As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.
--name string
Identificador amigável para este pipeline.
--photon
Se o Photon está habilitado para este pipeline.
--pipeline-id string
Identificador exclusivo para este pipeline.
--schema string
O esquema (banco de dados) default, de onde as tabelas são lidas ou publicadas.
--serverless
Se serverless compute está habilitado para este pipeline.
--storage string
DBFS root diretório para armazenar pontos de verificação e tabelas.
--target string
Esquema de destino (banco de dados) ao qual as tabelas serão adicionadas neste pipeline.
pipeline do databricks obter níveis de permissão
Obtenha os níveis de permissão do pipeline.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline para o qual obter ou gerenciar permissões.
Opções
obter permissões do pipeline do databricks
Obter as permissões de um pipeline. O pipeline pode herdar permissões do seu objeto raiz.
databricks pipelines get-permissions PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline para o qual obter ou gerenciar permissões.
Opções
definir permissões do pipeline do Databricks
Defina as permissões do pipeline.
Define as permissões em um objeto, substituindo as permissões existentes, se elas existirem. Exclui todas as permissões diretas se nenhuma for especificada. Os objetos podem herdar permissões do objeto raiz.
databricks pipelines set-permissions PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline para o qual obter ou gerenciar permissões.
Opções
--json JSON
As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.
atualização de permissões do pipeline do databricks
Atualize as permissões em um pipeline. O pipeline pode herdar permissões do seu objeto raiz.
databricks pipelines update-permissions PIPELINE_ID [flags]
Argumentos
PIPELINE_ID
O pipeline para o qual obter ou gerenciar permissões.
Opções
--json JSON
As cadeias de caracteres JSON ou o caminho @path para o arquivo JSON com o corpo da solicitação.
Bandeiras globais
--debug
Se deve habilitar o registro de depuração.
-h ou --help
Exibir ajuda para o comando Databricks CLI ou para o grupo de comandos relacionado ou para o comando relacionado.
--log-file string
Uma string que representa o arquivo no qual a saída logs deve ser gravada. Se este sinalizador não for especificado, o default deverá gravar a saída logs no stderr.
--log-format Formato
O tipo de formato do log, text ou json. O valor de default é text.
--log-level string
Uma string que representa o nível de formato do log. Se não for especificado, o nível de formato do log será desativado.
-o, --output Tipo
O tipo de saída do comando, text ou json. O valor de default é text.
-p, --profile string
O nome do perfil no arquivo ~/.databrickscfg a ser utilizado para executar o comando. Se esse sinalizador não for especificado, se existir, o perfil chamado DEFAULT será usado.
--progress-format Formato
O formato para exibir o progresso logs: default, append, inplace ou json
-t, --target string
Se aplicável, o destino do pacote a ser usado