Pular para o conteúdo principal

clusters grupo de comando

nota

Esta informação se aplica a Databricks CLI versões 0.205 e acima. A CLI do Databricks está em pré-visualização pública.

Databricks CLI O uso está sujeito à LicençaDatabricks e à Política de PrivacidadeDatabricks, incluindo qualquer disposição sobre Dados de Uso.

O grupo de comandos clusters dentro do Databricks CLI permite criar, iniciar, editar, listar, encerrar e excluir clusters.

ETL Um Databricks cluster é um conjunto de recursos e configurações de computação no qual o senhor executa engenharia de dados, ciência de dados e análise de dados de cargas de trabalho, como pipeline de produção, transmissão analítica, análise ad-hoc e machine learning. Consulte a visão geral do site Classic compute.

important

Databricks mantém as informações de configuração de agrupamento para agrupamentos encerrados por 30 dias. Para manter uma configuração de cluster para todos os fins mesmo após ter sido encerrada por mais de 30 dias, um administrador pode pin um clustering à lista de clustering.

alteração do proprietário do agrupamento do Databricks

Alterar o proprietário do agrupamento. É necessário ser administrador e o agrupamento deve estar encerrado para realizar estas operações. O ID do aplicativo da entidade de serviço pode ser fornecido como um argumento para owner_username.

databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]

Argumentos

CLUSTER_ID

O ID do agrupamento.

OWNER_USERNAME

Novo proprietário do cluster_id após esse RPC.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

databricks clustering criar

Crie um novo agrupamento. Este comando adquire novas instâncias do provedor de nuvem, se necessário. Este comando é assíncrono; o cluster_id retornado pode ser utilizado para verificar o status do agrupamento. Quando este comando retornar, o agrupamento estará no estado PENDENTE. O agrupamento estará disponível assim que entrar no estado RUNNING. Databricks pode não ser possível adquirir alguns dos nós solicitados devido a limitações do provedor de nuvem (limites deaccount, preço spot, etc.) ou problemas transitórios de rede.

Se Databricks adquirir pelo menos 85% dos nós sob demanda solicitados, a criação do cluster será bem-sucedida. Caso contrário, o agrupamento será encerrado com uma mensagem de erro informativa.

Em vez de criar a definição JSON do agrupamento a partir do zero, Databricks recomenda preencher a interface do usuário create compute e, em seguida, copiar a definição JSON gerada da interface do usuário.

databricks clusters create SPARK_VERSION [flags]

Argumentos

SPARK_VERSION

A versão do clustering do Spark, por exemplo, 13.3.x-scala2.12. É possível recuperar uma lista das versões disponíveis do Spark utilizando a API Listar versões disponíveis do Spark.

Opções

--apply-policy-default-values

Quando definido como verdadeiro, os valores fixos e default da política serão utilizados para os campos que forem omitidos.

--autotermination-minutes int

Encerra automaticamente o agrupamento após ele ficar inativo por este tempo em minutos.

--cluster-name string

nome do agrupamento solicitado pelo usuário.

--data-security-mode DataSecurityMode

O modo de segurança de dados determina qual modelo de governança de dados deve ser utilizado ao acessar dados de um cluster. Valores suportados: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER, USER_ISOLATION

--driver-instance-pool-id string

A identificação opcional da instância pool à qual pertence o driver do clustering.

--driver-node-type-id string

O tipo de nó do driver Spark.

--enable-elastic-disk

autoscale Local Storage: quando ativado, este agrupamento irá adquirir dinamicamente espaço em disco adicional quando seus trabalhadores Spark estiverem com pouco espaço em disco.

--enable-local-disk-encryption

Se deseja habilitar o LUKS nos discos locais das VMs em cluster.

--instance-pool-id string

A identificação opcional da instância pool à qual o agrupamento pertence.

--is-single-node

Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--kind Kind

O tipo de compute descrito nesta especificação compute. Valores suportados: CLASSIC_PREVIEW

--no-wait

Não espere para atingir o estado RUNNING

--node-type-id string

Este campo codifica, através de um único valor, o recurso disponível para cada um dos nós Spark neste agrupamento.

--num-workers int

Número de nós de cluster ( worker ) que este agrupamento deve possuir.

--policy-id string

A identificação da política de cluster utilizada para criar o agrupamento, se aplicável.

--runtime-engine RuntimeEngine

Determina o mecanismo de tempo de execução do agrupamento, padrão ou Photon. Valores suportados: NULL, PHOTON, STANDARD

--single-user-name string

Nome de usuário único se data_security_mode for SINGLE_USER.

--timeout duration

tempo máximo para atingir o estado RUNNING (default 20m0s)

--use-ml-runtime

Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.

Bandeiras globais

exclusão de clusterização do Databricks

Encerre o agrupamento com o ID especificado. O agrupamento é removido de forma assíncrona. Após a conclusão da rescisão, o agrupamento ficará em um estado de “ TERMINATED ” (agrupamento aguardando). Se o agrupamento já estiver em um estado “ TERMINATING ” (em espera) ou “ TERMINATED ” (em espera), nada ocorrerá.

databricks clusters delete CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento a ser encerrado.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

Não espere para alcançar o estado TERMINATED

--timeout duration

O tempo máximo para atingir o estado “ TERMINATED ” (default 20m0s)

Bandeiras globais

edição de agrupamento do Databricks

Atualize a configuração de um agrupamento para corresponder aos atributos e tamanho fornecidos. Um agrupamento pode ser atualizado se estiver no estado EM EXECUÇÃO ou TERMINADO.

Se um agrupamento for atualizado enquanto estiver no estado EM EXECUÇÃO, ele será reiniciado para que os novos atributos possam entrar em vigor.

Se um agrupamento for atualizado enquanto estiver no estado TERMINADO, ele permanecerá TERMINADO. Na próxima vez que você iniciar o uso do clustering/começar API, os novos atributos entrarão em vigor. Qualquer tentativa de atualizar um agrupamento em qualquer outro estado será rejeitada com um código de erro INVALID_STATE.

O agrupamento criado pelo serviço Databricks Jobs não pode ser editado.

databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]

Argumentos

CLUSTER_ID

ID do agrupamento

SPARK_VERSION

A versão do clustering do Spark, por exemplo, 13.3.x-scala2.12. É possível recuperar uma lista das versões disponíveis do Spark utilizando a API Listar versões disponíveis do Spark.

Opções

--apply-policy-default-values

Utilize valores fixos e default da política para campos que forem omitidos.

--autotermination-minutes int

Encerre automaticamente o agrupamento após ele ficar inativo por este tempo em minutos.

--cluster-name string

nome do agrupamento solicitado pelo usuário.

--data-security-mode DataSecurityMode

O modo de segurança de dados determina qual modelo de governança de dados deve ser utilizado ao acessar dados de um cluster. Valores suportados: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER, USER_ISOLATION

--driver-instance-pool-id string

A identificação opcional da instância pool à qual pertence o driver do clustering.

--driver-node-type-id string

O tipo de nó do driver Spark.

--enable-elastic-disk

autoscale Local Storage: quando ativado, este agrupamento irá adquirir dinamicamente espaço em disco adicional quando seus trabalhadores Spark estiverem com pouco espaço em disco.

--enable-local-disk-encryption

Se deseja habilitar o LUKS nos discos locais das VMs em cluster.

--instance-pool-id string

A identificação opcional da instância pool à qual o agrupamento pertence.

--is-single-node

Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--kind Kind

O tipo de compute descrito nesta especificação compute. Valores suportados: CLASSIC_PREVIEW

--no-wait

não espere para atingir o estado RUNNING

--node-type-id string

Este campo codifica, através de um único valor, o recurso disponível para cada um dos nós Spark neste agrupamento.

--num-workers int

Número de nós de cluster ( worker ) que este agrupamento deve possuir.

--policy-id string

A identificação da política de cluster utilizada para criar o agrupamento, se aplicável.

--runtime-engine RuntimeEngine

Determina o mecanismo de tempo de execução do agrupamento, padrão ou Photon. Valores suportados: NULL, PHOTON, STANDARD

--single-user-name string

Nome de usuário único se data_security_mode for SINGLE_USER.

--timeout duration

tempo máximo para atingir o estado RUNNING (default 20m0s)

--use-ml-runtime

Esse campo só pode ser usado quando kind = CLASSIC_PREVIEW.

Bandeiras globais

eventos de agrupamento do Databricks

Listar eventos relacionados à atividade de um agrupamento. Esta API está paginada. Se houver mais eventos para ler, a resposta incluirá todos os parâmetros necessários para solicitar a próxima página de eventos.

databricks clusters events CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

A identificação do agrupamento para recuperar eventos.

Opções

--end-time int

A hora final em milissegundos da época.

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--limit int

Obsoleto: use page_token em combinação com page_size em vez disso.

--offset int

Obsoleto: use page_token em combinação com page_size em vez disso.

--order GetEventsOrder

A ordem para listar eventos em. Valores suportados: ASC, DESC

--page-size int

O número máximo de eventos a serem incluídos em uma página de eventos.

--page-token string

Use next_page_token ou prev_page_token retornados da solicitação anterior para listar a próxima página ou a anterior de eventos, respectivamente.

--start-time int

O tempo de início em milissegundos da época.

Bandeiras globais

obter agrupamento de databricks

Obtém as informações de um agrupamento a partir do seu identificador. O agrupamento pode ser descrito enquanto eles estão em execução ou até 60 dias após serem encerrados.

databricks clusters get CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento sobre o qual se deseja recuperar informações.

Opções

Bandeiras globais

lista de agrupamentos do Databricks

Listar informações sobre todos os pinos e agrupamentos ativos, bem como todos os agrupamentos encerrados nos últimos 30 dias. Os agrupamentos encerrados antes deste período não estão incluídos.

databricks clusters list [flags]

Argumentos

Nenhuma

Opções

--cluster-sources []string

Filtrar agrupamentos por fonte

--cluster-states []string

Filtrar agrupamentos por estados

--is-pinned

Filtrar agrupamentos por status do pino

--page-size int

Use esse campo para especificar o número máximo de resultados a serem retornados pelo servidor.

--page-token string

Utilize next_page_token ou prev_page_token retornado da solicitação anterior para listar a próxima ou a página anterior do agrupamento, respectivamente.

--policy-id string

Filtrar agrupamento por ID da política

Bandeiras globais

databricks agrupamento listar-tipos-de-nós

Listar os tipos de nós Spark suportados. Esses tipos de nó podem ser utilizados para iniciar um agrupamento.

databricks clusters list-node-types [flags]

Argumentos

Nenhuma

Opções

Bandeiras globais

lista de zonas de clustering do Databricks

Liste as zonas de disponibilidade onde o clustering pode ser criado (por exemplo, us-west-2a). Essas zonas podem ser utilizadas para iniciar um agrupamento.

databricks clusters list-zones [flags]

Argumentos

Nenhuma

Opções

Bandeiras globais

databricks clustering exclusão permanente

Excluir permanentemente o agrupamento. Este agrupamento é encerrado e os recursos são removidos de forma assíncrona.

Além disso, os usuários não verão mais o agrupamento excluído permanentemente na lista de agrupamentos, e os usuários do API não poderão mais realizar nenhuma ação no agrupamento excluído permanentemente.

databricks clusters permanent-delete CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento a ser excluído.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Agrupamento de Databricks pin

fixar um agrupamento para garantir que o agrupamento será sempre retornado pelo ListClusters API. Fixar um agrupamento que já está fixado não terá efeito. Este API só pode ser chamado por administradores do workspace.

databricks clusters pin CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O ID do agrupamento.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Redimensionamento do clustering do Databricks

Redimensione o agrupamento para obter o número desejado de trabalhadores. Isso falhará, a menos que o clustering esteja no estado RUNNING.

databricks clusters resize CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento a ser redimensionado.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

Não espere para atingir o estado RUNNING

--num-workers int

Número de nós de cluster ( worker ) que este agrupamento deve possuir.

--timeout duration

O tempo máximo para atingir o estado RUNNING (default 20m0s)

Bandeiras globais

reinicialização do clustering do Databricks

Reinicie um agrupamento com o ID especificado. Se o agrupamento não estiver atualmente no estado EM EXECUÇÃO, nada ocorrerá.

databricks clusters restart CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento está prestes a começar.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

Não espere para atingir o estado RUNNING

--restart-user string

Utilizador que reiniciou o agrupamento.

--timeout duration

O tempo máximo para atingir o estado RUNNING (default 20m0s)

Bandeiras globais

databricks clustering versões spark

Liste as versões disponíveis do Spark. Essas versões podem ser utilizadas para iniciar um agrupamento.

databricks clusters spark-versions [flags]

Argumentos

Nenhuma

Opções

Bandeiras globais

databricks clustering iniciar

Iniciar o encerramento do agrupamento com o ID especificado. Funciona de maneira semelhante a createCluster, exceto que: - O ID e os atributos do agrupamento anterior são preservados. - O agrupamento começa com o último tamanho de agrupamento especificado. - Se o agrupamento anterior foi um agrupamento de autoescala, o agrupamento atual começará com o número mínimo de nós. - Se o agrupamento não estiver atualmente no estado TERMINADO, nada ocorrerá. - O agrupamento iniciado para executar uma tarefa não pode ser iniciado.

databricks clusters start CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento está prestes a começar.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

Não espere para atingir o estado RUNNING

--timeout duration

O tempo máximo para atingir o estado RUNNING (default 20m0s)

Bandeiras globais

desfinar agrupamento do Databricks

Desfixe um agrupamento para permitir que ele seja removido da Lista de Agrupamentos. API. Desfixar um agrupamento que não está fixado não terá efeito. Este API só pode ser chamado por administradores do workspace.

databricks clusters unpin CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O ID do agrupamento.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

atualização do clustering do databricks

Atualize a configuração de um agrupamento para corresponder ao conjunto parcial de atributos e tamanho. Indique quais campos devem ser atualizados usando o campo update_mask no corpo da solicitação. Um agrupamento pode ser atualizado se estiver no estado EM EXECUÇÃO ou ENCERRADO. Se um agrupamento for atualizado enquanto estiver no estado EM EXECUÇÃO, ele será reiniciado para que os novos atributos possam entrar em vigor. Se um agrupamento for atualizado enquanto estiver no estado TERMINADO, ele permanecerá TERMINADO. Os atributos atualizados entrarão em vigor na próxima vez que o agrupamento for iniciado utilizando o comando de agrupamento API. As tentativas de atualizar um agrupamento em qualquer outro estado serão rejeitadas com um código de erro INVALID_STATE. O agrupamento criado pelo serviço Databricks Jobs não pode ser atualizado.

databricks clusters update CLUSTER_ID UPDATE_MASK [flags]

Argumentos

CLUSTER_ID

ID do agrupamento.

UPDATE_MASK

Utilizado para especificar quais atributos de agrupamento e campos de tamanho devem ser atualizados. Consulte https://google.aip.dev/161 para obter mais detalhes. A máscara de campo deve ser uma única string, com vários campos separados por vírgulas (sem espaços). O caminho do campo é relativo ao objeto de recurso, utilizando um ponto (.) para navegar pelos subcampos (por exemplo, author.given_name). A especificação de elementos em campos de sequência ou mapa não é permitida, pois somente o campo de coleção inteiro pode ser especificado. Os nomes dos campos devem corresponder exatamente aos nomes dos campos do recurso. Uma máscara de campo de _ indica substituição total. Recomenda-se sempre listar explicitamente os campos que estão sendo atualizados e evitar o uso de curingas _, pois isso pode levar a resultados indesejados se a API for alterada no futuro.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

Não espere para atingir o estado RUNNING

--timeout duration

O tempo máximo para atingir o estado RUNNING (default 20m0s)

Bandeiras globais

databricks clustering obter-níveis-de-permissão

Obtenha os níveis de permissão de agrupamento.

databricks clusters get-permission-levels CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento para o qual obter ou gerenciar permissões.

Opções

Bandeiras globais

obter permissões de clustering do Databricks

Obtenha permissões de agrupamento. Os agrupamentos podem herdar permissões de seu objeto raiz.

databricks clusters get-permissions CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento para o qual obter ou gerenciar permissões.

Opções

Bandeiras globais

databricks agrupamento definir permissões

Defina permissões de agrupamento, substituindo as permissões existentes, se houver. Exclui todas as permissões diretas se nenhuma for especificada. Os objetos podem herdar permissões do objeto raiz.

databricks clusters set-permissions CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento para o qual obter ou gerenciar permissões.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

atualização de permissões de agrupamento do databricks

Atualize as permissões em um agrupamento. Os agrupamentos podem herdar permissões de seu objeto raiz.

databricks clusters update-permissions CLUSTER_ID [flags]

Argumentos

CLUSTER_ID

O agrupamento para o qual obter ou gerenciar permissões.

Opções

--json JSON

As strings JSON em linha ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Bandeiras globais

--debug

Se deve habilitar o registro de depuração.

-h ou --help

Exibir ajuda para o comando Databricks CLI ou para o grupo de comandos relacionado ou para o comando relacionado.

--log-file string

Uma string que representa o arquivo no qual a saída logs deve ser gravada. Se este sinalizador não for especificado, o default deverá gravar a saída logs no stderr.

--log-format Formato

O tipo de formato do log, text ou json. O valor de default é text.

--log-level string

Uma string que representa o nível de formato do log. Se não for especificado, o nível de formato do log será desativado.

-o, --output Tipo

O tipo de saída do comando, text ou json. O valor de default é text.

-p, --profile string

O nome do perfil no arquivo ~/.databrickscfg a ser utilizado para executar o comando. Se esse sinalizador não for especificado, se existir, o perfil chamado DEFAULT será usado.

--progress-format Formato

O formato para exibir o progresso logs: default, append, inplace ou json

-t, --target string

Se aplicável, o destino do pacote a ser usado