Bibliotecas de cluster

A biblioteca de clusters pode ser usada por todos os notebooks e trabalhos em execução em um cluster. Este artigo detalha o uso da UI de instalação da biblioteca no Databricks workspace.

Observação

Se você criar compute usando uma política que impõe instalações de biblioteca, não será possível instalar ou desinstalar a biblioteca em sua compute. os administradores workspace controlam todo o gerenciamento da biblioteca no nível da política.

É possível instalar bibliotecas em um cluster seguindo as abordagens a seguir:

Instalar uma biblioteca em um cluster

Para instalar uma biblioteca em um cluster:

  1. Clique em Ícone de computação Calcular na barra lateral.

  2. Clique em um nome de cluster.

  3. Clique na guia Bibliotecas.

  4. Clique em Instalar novo.

  5. A caixa de diálogo Instalar biblioteca é exibida.

  6. Selecione uma das opções de Library Source, conclua as instruções que aparecem e clique em Instalar.

Importante

A biblioteca pode ser instalada a partir do DBFS ao usar o Databricks Runtime 14.3 LTS e o abaixo. No entanto, qualquer usuário do site workspace pode modificar os arquivos de biblioteca armazenados no DBFS. Para melhorar a segurança das bibliotecas em um Databricks workspace, o armazenamento de arquivos de biblioteca no DBFS root está obsoleto e desativado pelo default no Databricks Runtime 15.0 e acima. Consulte O armazenamento de biblioteca em DBFS root está obsoleto e desativado por default.

Em vez disso, a Databricks recomenda fazer o upload da biblioteca para arquivos workspace ou volumes do Unity Catalog, ou usar repositórios de pacotes de biblioteca. Se sua carga de trabalho não for compatível com esses padrões, o senhor também poderá usar a biblioteca armazenada no armazenamento de objetos em nuvens.

Nem todos os modos de acesso aos clusters são compatíveis com todas as configurações de biblioteca. Consulte biblioteca com escopo de clusters.

Origem da biblioteca

Instruções

Workspace

Selecione um arquivo workspace ou upload um arquivo Whl, zipped wheelhouse, JAR, ZIP, tar ou requirements.txt. Consulte Instalar biblioteca a partir de arquivos do espaço de trabalho

Volumes

Selecione um arquivo Whl, JAR ou requirements.txt de um volume. Ver Instalar biblioteca a partir de um volume.

Caminho do arquivo/S3

Selecione o tipo de biblioteca e forneça o URI completo do objeto da biblioteca (por exemplo: /Workspace/path/to/library.whl, /Volumes/path/to/library.whl ou s3://bucket-name/path/to/library.whl). Consulte Instalar biblioteca a partir do armazenamento de objetos.

PyPI

Insira um nome de pacote PyPI. Veja o pacote PyPI.

Maven

Especifique uma coordenada Maven. Consulte o pacote Maven ou Spark.

CRAN

Insira o nome de um pacote. Veja o pacote CRAN.

DBFS (não recomendado)

Carregue um arquivo JAR ou Whl no site DBFS root. Isso não é recomendado, pois os arquivos armazenados no DBFS podem ser modificados por qualquer usuário do site workspace.

Quando você instala uma biblioteca em clusters, um Notebook já anexado a esses clusters não verá imediatamente a nova biblioteca. Você deve primeiro desanexar e, em seguida,reanexar o Notebook aos clusters.

Instalar uma biblioteca usando uma política

Se você criar clusters usando uma política que impõe a instalação da biblioteca, a biblioteca especificada será instalada automaticamente em seus clusters. Você não pode instalar bibliotecas adicionais ou desinstalar nenhuma biblioteca.

Os administradores do workspace podem adicionar bibliotecas às políticas, permitindo-lhes gerenciar e impor instalações de bibliotecas em todos compute que usam a política. Para obter instruções administrativas, consulte Adicionar biblioteca a uma política.

Desinstalar uma biblioteca de um cluster

Observação

Ao desinstalar uma biblioteca de um cluster, a biblioteca é removida apenas quando você reinicia o cluster.Até que você reinicie o cluster, o status da biblioteca desinstalada aparece como Desinstalar reinicialização pendente.

Para desinstalar uma biblioteca, o senhor pode usar a UI do cluster:

  1. Clique em Ícone de computação Calcular na barra lateral.

  2. Clique em um nome de cluster.

  3. Clique na guia Bibliotecas.

  4. Marque a caixa de seleção ao lado do cluster do qual deseja desinstalar a biblioteca, clique em Desinstalar e, em seguida, em Confirmar. O status muda para Desinstalação pendente de reinicialização.

Clique em Reiniciar e Confirmar para desinstalar a biblioteca. A biblioteca é removida da guia Bibliotecas do cluster.

Exibir as bibliotecas instaladas em um cluster

  1. Clique em Ícone de computação Calcular na barra lateral.

  2. Clique no nome do cluster.

  3. Clique na biblioteca tab. Para cada biblioteca, a tab exibe o nome e a versão, o tipo, o status da instalação e, se for upload, o arquivo de origem.

Atualizar uma biblioteca instalada em cluster

Para atualizar uma biblioteca instalada em cluster, desinstale a versão antiga da biblioteca e instale uma nova versão.

Observação

Os arquivos Requirements.txt não requerem desinstalação e reinicialização. Se o senhor modificou o conteúdo de um arquivo requirements.txt, pode simplesmente reinstalá-lo para atualizar o conteúdo do arquivo instalado.