script de inicialização com escopo de cluster

Scripts init com escopo de cluster são init scripts definidos em uma configuração de cluster. Scripts init com escopo de cluster se aplicam tanto aos clusters que você cria quanto àqueles criados para executar jobs.

O senhor pode configurar o script de inicialização com escopo de cluster usando a interface do usuário, o CLI e invocando o clustering API. Esta seção se concentra na execução dessas tarefas usando a interface do usuário. Para os outros métodos, consulte a seção Databricks CLI e o clustering API.

Você pode adicionar qualquer número de scripts, e os scripts são executados sequencialmente na ordem fornecida.

Se um site init script com escopo de clustering retornar um código de saída diferente de zero, o lançamento do clustering falhará . O senhor pode solucionar problemas de script de inicialização com escopo de cluster configurando o fornecimento de cluster log e examinando o init script log. Consulte registro de script de inicialização.

Configurar um init script com escopo de cluster usando a interface do usuário

Esta seção contém instruções para configurar um clustering para executar um init script usando a UI Databricks.

Databricks recomenda gerenciar todos os scripts de inicialização como scripts de inicialização com escopo de cluster. Se estiver usando o site compute com modo de acesso padrão ou dedicado (anteriormente compartilhado e modos de acesso de usuário único), armazene o script de inicialização nos volumes Unity Catalog. Se estiver usando compute com o modo de acesso compartilhado sem isolamento, use os arquivos workspace para o script de inicialização.

Para o modo de acesso padrão, o senhor deve adicionar o script init ao allowlist. Consulte Allowlist biblioteca e script de inicialização em compute com o modo de acesso padrão (anteriormente, modo de acesso compartilhado).

Para usar a IU para configurar um cluster para executar um init script, conclua as etapas a seguir:

1. Na página de configuração de clustering, clique no botão de alternância Advanced .

2. Na parte rodapé da página, clique na guia Init scripts .

3. No menu suspenso Source (Fonte ), selecione o espaço de trabalho , Volume ou S3 tipo de fonte.

4. Especifique um caminho para o site init script, como um dos exemplos a seguir:

   • Para um init script armazenado em seus arquivos workspace: /Workspace/<path-to-script>/<script-name>.sh
   • Para um init script armazenado com volumes Unity Catalog: /Volumes/<catalog>/<schema>/<volume>/<path-to-script>/<script-name>.sh
   • Para um init script armazenado com armazenamento de objetos: s3://bucket-name/path/to/init-script

5. Clique em Adicionar .

No modo de acesso dedicado, é usada a identidade do principal atribuído (um usuário ou entidade de serviço).

No modo de acesso padrão, é usada a identidade do proprietário do clustering.

nota

O modo de acesso compartilhado sem isolamento não suporta volumes, mas usa a mesma atribuição de identidade do modo de acesso padrão.

Para remover um script da configuração de clustering, clique no ícone de lixeira à direita do script. Quando o senhor confirmar a exclusão, será solicitado a reiniciar o clustering. Opcionalmente, o senhor pode excluir o arquivo de script do local para o qual fez o upload.

nota

Se o senhor configurar um init script usando o tipo S3 o senhor deverá configurar as credenciais de acesso.

Databricks recomenda o uso do perfil de instância para gerenciar o acesso ao script de inicialização armazenado em S3. Use a documentação a seguir no link de referência cruzada para concluir essa configuração:

1. Crie um IAM role com permissões de leitura e lista em seus buckets desejados. Veja o tutorial: Configurar o acesso S3 com um instance profile.
2. Inicie um clustering com o endereço instance profile. Veja o perfil da instância.

atenção

em DBFS estão no fim da vida útil. A opção DBFS na interface do usuário existe em alguns espaços de trabalho para dar suporte a cargas de trabalho legadas e não é recomendada. Todos os scripts de inicialização armazenados em DBFS devem ser migrados. Para obter instruções de migração, consulte Migrar script de inicialização de DBFS.

Configurar a região S3

O senhor deve especificar a região S3 para o bucket que contém o init script se o bucket estiver em uma região diferente da sua workspace. Selecione auto somente se a caçamba e o site workspace compartilharem uma região.

Solução de problemas de script de inicialização com escopo de clustering

• O script deve existir no local configurado. Se o script não existir, as tentativas de iniciar o clustering ou escalar o executor resultarão em falha.
• O init script não pode ser maior que 64 kB. Se um script exceder esse tamanho, o cluster falhará ao iniciar e uma mensagem de falha aparecerá no log do cluster.