clusters grupo de comando
Esta informação se aplica a Databricks CLI versões 0.205 e acima. A CLI do Databricks está em pré-visualização pública.
Databricks CLI O uso está sujeito à LicençaDatabricks e à Política de PrivacidadeDatabricks, incluindo qualquer disposição sobre Dados de Uso.
O grupo de comandos clusters dentro do Databricks CLI permite criar, iniciar, editar, listar, encerrar e excluir clusters.
ETL Um Databricks cluster é um conjunto de recursos e configurações de computação no qual o senhor executa engenharia de dados, ciência de dados e análise de dados de cargas de trabalho, como pipeline de produção, transmissão analítica, análise ad-hoc e machine learning. Consulte a visão geral do site Classic compute.
Databricks mantém as informações de configuração de agrupamento para agrupamentos encerrados por 30 dias. Para manter uma configuração de cluster para todos os fins mesmo após ter sido encerrada por mais de 30 dias, um administrador pode pin um clustering à lista de clustering.
alteração do proprietário do agrupamento do Databricks
Alterar o proprietário do agrupamento. É necessário ser administrador e o agrupamento deve estar encerrado para realizar estas operações. O ID do aplicativo da entidade de serviço pode ser fornecido como um argumento para owner_username.
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
Argumentos
CLUSTER_ID
O ID do agrupamento.
OWNER_USERNAME
Novo proprietário do cluster_id após esse RPC.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
databricks clustering criar
Crie um novo agrupamento. Este comando adquire novas instâncias do provedor de nuvem, se necessário. Este comando é assíncrono; o cluster_id retornado pode ser utilizado para verificar o status do agrupamento. Quando este comando retornar, o agrupamento estará no estado PENDENTE. O agrupamento estará disponível assim que entrar no estado RUNNING. Databricks pode não ser possível adquirir alguns dos nós solicitados devido a limitações do provedor de nuvem (limites deaccount, preço spot, etc.) ou problemas transitórios de rede.
Se Databricks adquirir pelo menos 85% dos nós sob demanda solicitados, a criação do cluster será bem-sucedida. Caso contrário, o agrupamento será encerrado com uma mensagem de erro informativa.
Em vez de criar a definição JSON do agrupamento a partir do zero, Databricks recomenda preencher a interface do usuário create compute e, em seguida, copiar a definição JSON gerada da interface do usuário.
databricks clusters create SPARK_VERSION [flags]
Argumentos
SPARK_VERSION
A versão do clustering do Spark, por exemplo, 13.3.x-scala2.12. É possível recuperar uma lista das versões disponíveis do Spark utilizando a API Listar versões disponíveis do Spark.
Opções
--apply-policy-default-values
Quando definido como verdadeiro, os valores fixos e default da política serão utilizados para os campos que forem omitidos.
--autotermination-minutes int
Encerra automaticamente o agrupamento após ele ficar inativo por este tempo em minutos.
--cluster-name string
nome do agrupamento solicitado pelo usuário.
--data-security-mode DataSecurityMode
O modo de segurança de dados determina qual modelo de governança de dados deve ser utilizado ao acessar dados de um cluster. Valores suportados: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER, USER_ISOLATION
--driver-instance-pool-id string
A identificação opcional da instância pool à qual pertence o driver do clustering.
--driver-node-type-id string
O tipo de nó do driver Spark.
--enable-elastic-disk
autoscale Local Storage: quando ativado, este agrupamento irá adquirir dinamicamente espaço em disco adicional quando seus trabalhadores Spark estiverem com pouco espaço em disco.
--enable-local-disk-encryption
Se deseja habilitar o LUKS nos discos locais das VMs em cluster.
--instance-pool-id string
A identificação opcional da instância pool à qual o agrupamento pertence.
--is-single-node
Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--kind Kind
O tipo de compute descrito nesta especificação compute. Valores suportados: CLASSIC_PREVIEW
--no-wait
Não espere para atingir o estado RUNNING
--node-type-id string
Este campo codifica, através de um único valor, o recurso disponível para cada um dos nós Spark neste agrupamento.
--num-workers int
Número de nós de cluster ( worker ) que este agrupamento deve possuir.
--policy-id string
A identificação da política de cluster utilizada para criar o agrupamento, se aplicável.
--runtime-engine RuntimeEngine
Determina o mecanismo de tempo de execução do agrupamento, padrão ou Photon. Valores suportados: NULL, PHOTON, STANDARD
--single-user-name string
Nome de usuário único se data_security_mode for SINGLE_USER.
--timeout duration
tempo máximo para atingir o estado RUNNING (default 20m0s)
--use-ml-runtime
Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.
exclusão de clusterização do Databricks
Encerre o agrupamento com o ID especificado. O agrupamento é removido de forma assíncrona. Após a conclusão da rescisão, o agrupamento ficará em um estado de “ TERMINATED ” (agrupamento aguardando). Se o agrupamento já estiver em um estado “ TERMINATING ” (em espera) ou “ TERMINATED ” (em espera), nada ocorrerá.
databricks clusters delete CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento a ser encerrado.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--no-wait
Não espere para alcançar o estado TERMINATED
--timeout duration
O tempo máximo para atingir o estado “ TERMINATED ” (default 20m0s)
edição de agrupamento do Databricks
Atualize a configuração de um agrupamento para corresponder aos atributos e tamanho fornecidos. Um agrupamento pode ser atualizado se estiver no estado EM EXECUÇÃO ou TERMINADO.
Se um agrupamento for atualizado enquanto estiver no estado EM EXECUÇÃO, ele será reiniciado para que os novos atributos possam entrar em vigor.
Se um agrupamento for atualizado enquanto estiver no estado TERMINADO, ele permanecerá TERMINADO. Na próxima vez que você iniciar o uso do clustering/começar API, os novos atributos entrarão em vigor. Qualquer tentativa de atualizar um agrupamento em qualquer outro estado será rejeitada com um código de erro INVALID_STATE.
O agrupamento criado pelo serviço Databricks Jobs não pode ser editado.
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
Argumentos
CLUSTER_ID
ID do agrupamento
SPARK_VERSION
A versão do clustering do Spark, por exemplo, 13.3.x-scala2.12. É possível recuperar uma lista das versões disponíveis do Spark utilizando a API Listar versões disponíveis do Spark.
Opções
--apply-policy-default-values
Utilize valores fixos e default da política para campos que forem omitidos.
--autotermination-minutes int
Encerre automaticamente o agrupamento após ele ficar inativo por este tempo em minutos.
--cluster-name string
nome do agrupamento solicitado pelo usuário.
--data-security-mode DataSecurityMode
O modo de segurança de dados determina qual modelo de governança de dados deve ser utilizado ao acessar dados de um cluster. Valores suportados: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER, USER_ISOLATION
--driver-instance-pool-id string
A identificação opcional da instância pool à qual pertence o driver do clustering.
--driver-node-type-id string
O tipo de nó do driver Spark.
--enable-elastic-disk
autoscale Local Storage: quando ativado, este agrupamento irá adquirir dinamicamente espaço em disco adicional quando seus trabalhadores Spark estiverem com pouco espaço em disco.
--enable-local-disk-encryption
Se deseja habilitar o LUKS nos discos locais das VMs em cluster.
--instance-pool-id string
A identificação opcional da instância pool à qual o agrupamento pertence.
--is-single-node
Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--kind Kind
O tipo de compute descrito nesta especificação compute. Valores suportados: CLASSIC_PREVIEW
--no-wait
não espere para atingir o estado RUNNING
--node-type-id string
Este campo codifica, através de um único valor, o recurso disponível para cada um dos nós Spark neste agrupamento.
--num-workers int
Número de nós de cluster ( worker ) que este agrupamento deve possuir.
--policy-id string
A identificação da política de cluster utilizada para criar o agrupamento, se aplicável.
--runtime-engine RuntimeEngine
Determina o mecanismo de tempo de execução do agrupamento, padrão ou Photon. Valores suportados: NULL, PHOTON, STANDARD
--single-user-name string
Nome de usuário único se data_security_mode for SINGLE_USER.
--timeout duration
tempo máximo para atingir o estado RUNNING (default 20m0s)
--use-ml-runtime
Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.
eventos de agrupamento do Databricks
Listar eventos relacionados à atividade de um agrupamento. Esta API está paginada. Se houver mais eventos para ler, a resposta incluirá todos os parâmetros necessários para solicitar a próxima página de eventos.
databricks clusters events CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
A identificação do agrupamento para recuperar eventos.
Opções
--end-time int
A hora final em milissegundos da época.
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--limit int
Obsoleto: use page_token em combinação com page_size em vez disso.
--offset int
Obsoleto: use page_token em combinação com page_size em vez disso.
--order GetEventsOrder
A ordem para listar eventos em. Valores suportados: ASC, DESC
--page-size int
O número máximo de eventos a serem incluídos em uma página de eventos.
--page-token string
Use next_page_token ou prev_page_token retornados da solicitação anterior para listar a próxima página ou a anterior de eventos, respectivamente.
--start-time int
O tempo de início em milissegundos da época.
obter agrupamento de databricks
Obtém as informações de um agrupamento a partir do seu identificador. O agrupamento pode ser descrito enquanto eles estão em execução ou até 60 dias após serem encerrados.
databricks clusters get CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento sobre o qual se deseja recuperar informações.
Opções
lista de agrupamentos do Databricks
Listar informações sobre todos os pinos e agrupamentos ativos, bem como todos os agrupamentos encerrados nos últimos 30 dias. Os agrupamentos encerrados antes deste período não estão incluídos.
databricks clusters list [flags]
Argumentos
Nenhuma
Opções
--cluster-sources []string
Filtrar agrupamentos por fonte
--cluster-states []string
Filtrar agrupamentos por estados
--is-pinned
Filtrar agrupamentos por status do pino
--page-size int
Use esse campo para especificar o número máximo de resultados a serem retornados pelo servidor.
--page-token string
Utilize next_page_token ou prev_page_token retornado da solicitação anterior para listar a próxima ou a página anterior do agrupamento, respectivamente.
--policy-id string
Filtrar agrupamento por ID da política
databricks agrupamento listar-tipos-de-nós
Listar os tipos de nós Spark suportados. Esses tipos de nó podem ser utilizados para iniciar um agrupamento.
databricks clusters list-node-types [flags]
Argumentos
Nenhuma
Opções
lista de zonas de clustering do Databricks
Liste as zonas de disponibilidade onde o clustering pode ser criado (por exemplo, us-west-2a). Essas zonas podem ser utilizadas para iniciar um agrupamento.
databricks clusters list-zones [flags]
Argumentos
Nenhuma
Opções
databricks clustering exclusão permanente
Excluir permanentemente o agrupamento. Este agrupamento é encerrado e os recursos são removidos de forma assíncrona.
Além disso, os usuários não verão mais o agrupamento excluído permanentemente na lista de agrupamentos, e os usuários do API não poderão mais realizar nenhuma ação no agrupamento excluído permanentemente.
databricks clusters permanent-delete CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento a ser excluído.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
Agrupamento de Databricks pin
fixar um agrupamento para garantir que o agrupamento será sempre retornado pelo ListClusters API. Fixar um agrupamento que já está fixado não terá efeito. Este API só pode ser chamado por administradores do workspace.
databricks clusters pin CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O ID do agrupamento.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
Redimensionamento do clustering do Databricks
Redimensione o agrupamento para obter o número desejado de trabalhadores. Isso falhará, a menos que o clustering esteja no estado RUNNING.
databricks clusters resize CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento a ser redimensionado.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--no-wait
Não espere para atingir o estado RUNNING
--num-workers int
Número de nós de cluster ( worker ) que este agrupamento deve possuir.
--timeout duration
O tempo máximo para atingir o estado RUNNING (default 20m0s)
reinicialização do clustering do Databricks
Reinicie um agrupamento com o ID especificado. Se o agrupamento não estiver atualmente no estado EM EXECUÇÃO, nada ocorrerá.
databricks clusters restart CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento está prestes a começar.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--no-wait
Não espere para atingir o estado RUNNING
--restart-user string
Utilizador que reiniciou o agrupamento.
--timeout duration
O tempo máximo para atingir o estado RUNNING (default 20m0s)
databricks clustering versões spark
Liste as versões disponíveis do Spark. Essas versões podem ser utilizadas para iniciar um agrupamento.
databricks clusters spark-versions [flags]
Argumentos
Nenhuma
Opções
databricks clustering iniciar
Iniciar o encerramento do agrupamento com o ID especificado. Funciona de maneira semelhante a createCluster, exceto que: - O ID e os atributos do agrupamento anterior são preservados. - O agrupamento começa com o último tamanho de agrupamento especificado. - Se o agrupamento anterior foi um agrupamento de autoescala, o agrupamento atual começará com o número mínimo de nós. - Se o agrupamento não estiver atualmente no estado TERMINADO, nada ocorrerá. - O agrupamento iniciado para executar uma tarefa não pode ser iniciado.
databricks clusters start CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento está prestes a começar.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--no-wait
Não espere para atingir o estado RUNNING
--timeout duration
O tempo máximo para atingir o estado RUNNING (default 20m0s)
desfinar agrupamento do Databricks
Desfixe um agrupamento para permitir que ele seja removido da Lista de Agrupamentos. API. Desfixar um agrupamento que não está fixado não terá efeito. Este API só pode ser chamado por administradores do workspace.
databricks clusters unpin CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O ID do agrupamento.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
atualização do clustering do databricks
Atualize a configuração de um agrupamento para corresponder ao conjunto parcial de atributos e tamanho. Indique quais campos devem ser atualizados usando o campo update_mask no corpo da solicitação. Um agrupamento pode ser atualizado se estiver no estado EM EXECUÇÃO ou ENCERRADO. Se um agrupamento for atualizado enquanto estiver no estado EM EXECUÇÃO, ele será reiniciado para que os novos atributos possam entrar em vigor. Se um agrupamento for atualizado enquanto estiver no estado TERMINADO, ele permanecerá TERMINADO. Os atributos atualizados entrarão em vigor na próxima vez que o agrupamento for iniciado utilizando o comando de agrupamento API. As tentativas de atualizar um agrupamento em qualquer outro estado serão rejeitadas com um código de erro INVALID_STATE. O agrupamento criado pelo serviço Databricks Jobs não pode ser atualizado.
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
Argumentos
CLUSTER_ID
ID do agrupamento.
UPDATE_MASK
Utilizado para especificar quais atributos de agrupamento e campos de tamanho devem ser atualizados. Consulte https://google.aip.dev/161 para obter mais detalhes. A máscara de campo deve ser uma única string, com vários campos separados por vírgulas (sem espaços). O caminho do campo é relativo ao objeto de recurso, utilizando um ponto (.) para navegar pelos subcampos (por exemplo, author.given_name). A especificação de elementos em campos de sequência ou mapa não é permitida, pois somente o campo de coleção inteiro pode ser especificado. Os nomes dos campos devem corresponder exatamente aos nomes dos campos do recurso. Uma máscara de campo de _ indica substituição total. Recomenda-se sempre listar explicitamente os campos que estão sendo atualizados e evitar o uso de curingas _, pois isso pode levar a resultados indesejados se a API for alterada no futuro.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
--no-wait
Não espere para atingir o estado RUNNING
--timeout duration
O tempo máximo para atingir o estado RUNNING (default 20m0s)
databricks clustering obter-níveis-de-permissão
Obtenha os níveis de permissão de agrupamento.
databricks clusters get-permission-levels CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento para o qual obter ou gerenciar permissões.
Opções
obter permissões de clustering do Databricks
Obtenha permissões de agrupamento. Os agrupamentos podem herdar permissões de seu objeto raiz.
databricks clusters get-permissions CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento para o qual obter ou gerenciar permissões.
Opções
databricks agrupamento definir permissões
Defina permissões de agrupamento, substituindo as permissões existentes, se houver. Exclui todas as permissões diretas se nenhuma for especificada. Os objetos podem herdar permissões do objeto raiz.
databricks clusters set-permissions CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento para o qual obter ou gerenciar permissões.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
atualização de permissões de agrupamento do databricks
Atualize as permissões em um agrupamento. Os agrupamentos podem herdar permissões de seu objeto raiz.
databricks clusters update-permissions CLUSTER_ID [flags]
Argumentos
CLUSTER_ID
O agrupamento para o qual obter ou gerenciar permissões.
Opções
--json JSON
As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação
Bandeiras globais
--debug
Se deve habilitar o registro de depuração.
-h ou --help
Exibir ajuda para o comando Databricks CLI ou para o grupo de comandos relacionado ou para o comando relacionado.
--log-file string
Uma string que representa o arquivo no qual a saída logs deve ser gravada. Se este sinalizador não for especificado, o default deverá gravar a saída logs no stderr.
--log-format Formato
O tipo de formato do log, text ou json. O valor de default é text.
--log-level string
Uma string que representa o nível de formato do log. Se não for especificado, o nível de formato do log será desativado.
-o, --output Tipo
O tipo de saída do comando, text ou json. O valor de default é text.
-p, --profile string
O nome do perfil no arquivo ~/.databrickscfg a ser utilizado para executar o comando. Se esse sinalizador não for especificado, se existir, o perfil chamado DEFAULT será usado.
--progress-format Formato
O formato para exibir o progresso logs: default, append, inplace ou json
-t, --target string
Se aplicável, o destino do pacote a ser usado