Defina e use a variável de ambiente com init script

init script tem acesso a todas as variáveis de ambiente presentes em um clusters. O Databricks define muitas variáveis default que podem ser úteis na lógica init script .

variáveis de ambiente definidas na configuração do Spark estão disponíveis para init script. Veja variável de ambiente.

Quais variáveis de ambiente são expostas ao init script por padrão?

clusters-scoped e global init script suportam a seguinte variável de ambiente:

• DB_CLUSTER_ID: o ID dos clusters nos quais o script está em execução. Consulte a API de Clusters.

• DB_CONTAINER_IP: o endereço IP privado do contêiner no qual o Spark é executado. O init script é executado dentro deste contêiner. Consulte a API de Clusters.

• DB_IS_DRIVER: se o script está sendo executado em um nó de driver.

• DB_DRIVER_IP: o endereço IP do nó do driver.

• DB_INSTANCE_TYPE: o tipo de instância da VM do host.

• DB_CLUSTER_NAME: o nome dos clusters nos quais o script está sendo executado.

• DB_IS_JOB_CLUSTERO senhor sabe se o site cluster foi criado para executar um trabalho. Consulte Configurar compute para o trabalho.

Por exemplo, se você deseja executar parte de um script apenas em um nó de driver, pode escrever um script como:

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Use segredos no init script

Você pode usar qualquer nome de variável válido ao fazer referência a um segredo. O acesso aos segredos referenciados na variável de ambiente é determinado pelas permissões do utilizador que configurou os clusters. Os segredos armazenados na variável de ambiente são acessíveis por todos os usuários dos clusters, mas são redigidos da exibição de texto simples.

Consulte Usar um segredo em uma propriedade de configuração ou variável de ambiente do Spark.