Init scripts com escopo de cluster

init scriptcom escopo definido clusters são init script definidos em uma configuração clusters . init script com escopo de cluster aplica-se a ambos os clusters que você cria e aqueles criados para executar Job.

É possível configurar com clusters init script escopo usando a UI, a CLI e invocando a clusters API . Esta seção se concentra na execução dessas tarefas usando a UI. Para os outros métodos, consulte a CLI do Databricks e a API Clusters.

Você pode adicionar qualquer número de scripts e os scripts são executados sequencialmente na ordem fornecida.

Se um clusterscom escopo init script retornar um código de saída diferente de zero, a clusters inicialização dos falhará. Você pode solucionar clustersproblemas init script com escopo configurando a clusters logs entrega e examinando os init script logs. Consulte registroinit script .

Configure um init scriptcom escopo clusters usando a interface do usuário

Esta seção contém instruções para configurar um cluster para executar um init script usando a UI do Databricks.

A Databricks recomenda gerenciar todos init script como com escopo clustersde init script. Se você estiver usando compute com modo de acesso de usuário único ou compartilhado, armazene init script em volumes do Unity Catalog. Se você estiver usando compute com modo de acesso compartilhado sem isolamento, use arquivos workspace para init script.

Para o modo de acesso compartilhado, você deve adicionar init script ao allowlist. Consulte Lista de permissões de bibliotecas e init script em computecompartilhada.

Para usar a interface do usuário para configurar clusters para executar um init script, conclua as passos a seguir:

Na página de configuração clusters , clique na opção Opções avançadas .
Na parte rodapé da página, clique na tab init script .
Na lista suspensa Fonte , selecione o tipo de fonte workspace, Volume ou S3 .
Especifique um caminho para o init script, como um dos exemplos a seguir:
- Para um init script armazenado em seu diretório inicial com arquivos workspace : /Users/<user-name>/<script-name>.sh.
- Para um init script armazenado com volumes do Unity Catalog: /Volumes/<catalog>/<schema>/<volume>/<path-to-script>/<script-name>.sh.
- Para um init script armazenado com armazenamento de objetos: s3://bucket-name/path/to/init-script.
Clique em Adicionar.

No modo de acesso de usuário único, é utilizada a identidade do titular atribuído (um usuário ou entidade de serviço).

No modo de acesso compartilhado, a identidade do proprietário clusters é usada.

Observação

O modo de acesso compartilhado sem isolamento não suporta volumes, mas usa a mesma atribuição de identidade que o modo de acesso compartilhado.

Para remover um script da configuração clusters , clique no ícone da lixeira à direita do script. Ao confirmar a exclusão, você será solicitado a reiniciar os clusters. Opcionalmente, você pode excluir o arquivo de script do local para o qual o upload .

Observação

Se você configurar um init script usando o tipo de origem S3 , deverá configurar credenciais de acesso.

Databricks recomenda usar instance profile para gerenciar o acesso ao init script armazenado no S3. Use a seguinte documentação no link de referência cruzada para concluir esta configuração:

Crie uma IAM role com permissões de leitura e lista nos buckets desejados. Consulte Tutorial: Configurar o acesso ao S3 com um instance profile.
Inicie clusters com o instance profile. Consulte instance profile.

Aviso

clusterscom escopo de init script no DBFS está em fim de vida. A opção DBFS na UI existe em alguns workspace para suportar cargas de trabalho legadas e não é recomendada. Todos os init script armazenados no DBFS devem ser migrados. Para obter instruções de migração, consulte Migrar init script do DBFS.

Configurar região S3

Você deverá especificar a região S3 do bucket que contém o init script se o bucket estiver em uma região diferente do seu workspace. Selecione auto somente se o bucket e workspace compartilharem uma região.

Solucionando problemas clusterscom escopo init script

O script deve existir no local configurado. Se o script não existir, as tentativas de iniciar os clusters ou escalar os executores resultam em falha.
O init script não pode ser maior que 64 KB. Se um script exceder esse tamanho, os clusters falharão ao iniciar e uma mensagem de falha aparecerá nos logs clusters.