Pular para o conteúdo principal
Última atualização em

Definir e usar a variável de ambiente com o script de inicialização

O script de inicialização tem acesso a todas as variáveis de ambiente presentes em um cluster.

variável padrão de ambiente​

Databricks define muitas variáveis default que podem ser úteis na lógica init script . O script de inicialização global e com escopo de cluster suporta as seguintes variáveis de ambiente:

  • DB_CLUSTER_ID: o ID do cluster no qual o script está sendo executado. Consulte a API de clusters.
  • DB_CONTAINER_IP: o endereço IP privado do contêiner no qual o Spark é executado. O init script é executado dentro desse contêiner. Consulte a API de clusters.
  • DB_IS_DRIVER: se o script está sendo executado em um nó do driver.
  • DB_DRIVER_IP: o endereço IP do nó do driver.
  • DB_INSTANCE_TYPE: o tipo de instância da VM do host.
  • DB_CLUSTER_NAME: o nome do clusters no qual o script está sendo executado.
  • DB_IS_JOB_CLUSTERSe o clustering foi criado para executar um Job. Consulte Configurar compute para o trabalho.

Você não pode substituir essas variáveis de ambiente predefinidas.

Definir variável de ambiente personalizada​

É possível definir variáveis de ambiente personalizadas, acessíveis a partir do script de inicialização executado no recurso compute , no arquivo de configuração Spark . See variável de ambiente.

O senhor também pode definir variáveis de ambiente usando o campo spark_env_vars na API de criação de clusters ou na API de atualização de clusters.

Use variável de ambiente​

O exemplo a seguir usa uma variável de ambiente default para executar parte de um script apenas em um nó de driver:

Bash
echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Segredos no script de inicialização​

Você pode usar qualquer nome de variável válido ao fazer referência a um segredo. O acesso aos segredos referenciados na variável de ambiente é determinado pelas permissões do usuário que configurou o clustering. Os segredos armazenados na variável de ambiente podem ser acessados por todos os usuários do clustering, mas são protegidos da exibição de texto simples.

Consulte Usar um segredo em uma propriedade de configuração ou variável de ambiente do Spark.

Nesta página