script de inicialização com escopo de cluster

Scripts init com escopo de cluster são init scripts definidos em uma configuração de cluster. Scripts init com escopo de cluster se aplicam tanto aos clusters que você cria quanto àqueles criados para executar jobs.

O senhor pode configurar o script de inicialização com escopo de cluster usando a interface do usuário, o CLI e invocando o clustering API. Esta seção se concentra na execução dessas tarefas usando a interface do usuário. Para os outros métodos, consulte a seção Databricks CLI e o clustering API.

Você pode adicionar qualquer número de scripts, e os scripts são executados sequencialmente na ordem fornecida.

Se um site init script com escopo de clustering retornar um código de saída diferente de zero, o lançamento do clustering falhará . O senhor pode solucionar problemas de script de inicialização com escopo de cluster configurando o fornecimento de cluster log e examinando o init script log. Consulte registro de script de inicialização.

Configurar um init script com escopo de cluster usando a interface do usuário

Esta seção contém instruções para configurar um clustering para executar um init script usando a UI Databricks.

Databricks recomenda gerenciar todos os scripts de inicialização como scripts de inicialização com escopo de cluster. Se estiver usando o site compute com modo de acesso padrão ou dedicado (anteriormente compartilhado e modos de acesso de usuário único), armazene o script de inicialização nos volumes Unity Catalog. Se estiver usando compute com o modo de acesso compartilhado sem isolamento, use os arquivos workspace para o script de inicialização.

Para o modo de acesso padrão, o senhor deve adicionar o script init ao allowlist. Consulte Allowlist biblioteca e script de inicialização em compute com o modo de acesso padrão (anteriormente, modo de acesso compartilhado).

Para usar a IU para configurar um cluster para executar um init script, conclua as etapas a seguir:

1. Na página de configuração de clustering, clique no botão de alternância Advanced .

2. Na parte rodapé da página, clique na guia Init scripts .

3. No menu suspenso Source (Fonte ), selecione o espaço de trabalho , Volume ou tipo de fonte GS .

4. Especifique um caminho para o site init script, como um dos exemplos a seguir:

   • Para um init script armazenado em seus arquivos workspace: /Workspace/<path-to-script>/<script-name>.sh
   • Para um init script armazenado com volumes Unity Catalog: /Volumes/<catalog>/<schema>/<volume>/<path-to-script>/<script-name>.sh
   • Para um init script armazenado com armazenamento de objetos: gs://bucket-name/path/to/init-script

5. Clique em Adicionar .

No modo de acesso dedicado, é usada a identidade do principal atribuído (um usuário ou entidade de serviço).

No modo de acesso compartilhado sem isolamento, é usada a identidade do proprietário do clustering.

Para remover um script da configuração de clustering, clique no ícone de lixeira à direita do script. Quando o senhor confirmar a exclusão, será solicitado a reiniciar o clustering. Opcionalmente, o senhor pode excluir o arquivo de script do local para o qual fez o upload.

nota

Se o senhor configurar um init script usando o tipo de fonte GS , deverá configurar as credenciais de acesso.

Databricks Recomenda-se usar uma conta de serviço do Google Cloud para gerenciar o acesso ao script de inicialização armazenado em GCS. Crie um serviço do Google Cloud account com a função Storage Object Viewer para o bucket desejado e anexe-o a um cluster. Consulte Acessar GCS buckets usando a conta de serviço do Google Cloud no clustering.

atenção

em DBFS estão no fim da vida útil. A opção DBFS na interface do usuário existe em alguns espaços de trabalho para dar suporte a cargas de trabalho legadas e não é recomendada. Todos os scripts de inicialização armazenados em DBFS devem ser migrados. Para obter instruções de migração, consulte Migrar script de inicialização de DBFS.

Solução de problemas de script de inicialização com escopo de clustering

• O script deve existir no local configurado. Se o script não existir, as tentativas de iniciar o clustering ou escalar o executor resultarão em falha.
• O init script não pode ser maior que 64 kB. Se um script exceder esse tamanho, o cluster falhará ao iniciar e uma mensagem de falha aparecerá no log do cluster.