biblioteca de agrupamento
A biblioteca de clustering pode ser usada por todos os notebooks e trabalhos em execução em um clustering. Este artigo detalha o uso da interface de usuário Install biblioteca no site Databricks workspace.
Se o senhor criar o site compute usando uma política que imponha a instalação do biblioteca, não será possível instalar ou desinstalar o biblioteca no site compute. Os administradores do espaço de trabalho controlam todo o gerenciamento do biblioteca no nível da política.
É possível instalar bibliotecas em um cluster seguindo as abordagens a seguir:
-
Instale uma biblioteca para uso somente com um cluster específico.
-
Instale uma biblioteca com a API REST. Veja a biblioteca API.
-
Instalar uma biblioteca com a CLI da Databricks. Consulte O que é a CLI do Databricks?
-
Instalar uma biblioteca usando o Terraform. Consulte Databricks Terraform provider e biblioteca.
-
Instale uma biblioteca criando um clustering com uma política que define as instalações da biblioteca. Consulte Adicionar biblioteca a uma política.
-
(Não recomendado) Instale uma biblioteca usando um init script que é executado no momento da criação do clustering. Consulte Instalar uma biblioteca com um init script (legado).
Instalar uma biblioteca em um cluster
Para instalar uma biblioteca em um cluster:
- Clique em
Calcular na barra lateral. - Clique em um nome de cluster.
- Clique na guia Bibliotecas .
- Clique em Instalar novo .
- A caixa de diálogo Instalar biblioteca é exibida.
- Selecione uma das opções de Library Source , conclua as instruções que aparecem e clique em Instalar .
A biblioteca pode ser instalada a partir de DBFS ao usar Databricks Runtime 14.3 LTS e abaixo. No entanto, qualquer usuário do site workspace pode modificar os arquivos de biblioteca armazenados no site DBFS. Para aumentar a segurança da biblioteca em um Databricks workspace, o armazenamento de arquivos da biblioteca no DBFS root está obsoleto e desativado pelo default em Databricks Runtime 15.1 e acima. Consulte O armazenamento de biblioteca em DBFS root está obsoleto e desativado por default.
Em vez disso, o site Databricks recomenda o upload de todas as bibliotecas, incluindo Python biblioteca, JAR arquivos e Spark conectores, para workspace arquivos ou Unity Catalog volumes, ou usando repositórios de pacotes de biblioteca. Se sua carga de trabalho não for compatível com esses padrões, o senhor também poderá usar a biblioteca armazenada no armazenamento de objetos na nuvem.
Nem todos os modos de acesso ao clustering são compatíveis com todas as configurações de biblioteca. Consulte biblioteca com escopo de computação.
Origem da biblioteca | Instruções |
|---|---|
Workspace | Selecione um arquivo workspace ou upload um arquivo Whl, zipped wheelhouse, JAR, ZIP, tar ou requirements.txt. Consulte Instalar a biblioteca a partir dos arquivos workspace |
Volumes | Selecione um arquivo Whl, JAR ou requirements.txt de um volume. Ver Instalar biblioteca a partir de um volume. |
Caminho do arquivo/S3 | Selecione o tipo de biblioteca e forneça o URI completo do objeto da biblioteca (por exemplo: |
PyPI | Digite um nome de pacote PyPI. Consulte o pacote PyPI. |
Maven | Especifique uma coordenada Maven. Consulte o pacote Maven ou Spark. |
CRAN | Digite o nome de um pacote. Consulte o pacote CRAN. |
DBFS (não recomendado) | Carregue um arquivo JAR ou Whl no site DBFS root. Isso não é recomendado, pois os arquivos armazenados em DBFS podem ser modificados por qualquer usuário de workspace. |
Quando o senhor instala uma biblioteca em um cluster, um Notebook já anexado a esse cluster não verá imediatamente a nova biblioteca. O senhor deve primeiro desconectar e depois reconectar o Notebook ao clustering.
Uma biblioteca que tenha levado mais de 2 horas para ser instalada será marcada como falha.
Instalar uma biblioteca usando uma política
Se o senhor criar um clustering usando uma política que imponha a instalação do biblioteca, o biblioteca especificado será instalado automaticamente no clustering. O senhor não pode instalar uma biblioteca adicional ou desinstalar qualquer biblioteca.
Os administradores do espaço de trabalho podem adicionar o biblioteca às políticas, o que lhes permite gerenciar e impor instalações do biblioteca em todos os compute que usam a política. Para obter instruções de administração, consulte Adicionar biblioteca a uma política.
Desinstalar uma biblioteca de um agrupamento
Ao desinstalar uma biblioteca de um cluster, a biblioteca é removida apenas quando você reinicia o cluster.Até que você reinicie o cluster, o status da biblioteca desinstalada aparece como Desinstalar reinicialização pendente .
Para desinstalar uma biblioteca, o senhor pode usar a UI de clustering:
- Clique em Calcular na barra lateral.
- Clique em um nome de cluster.
- Clique na guia Bibliotecas .
- Marque a caixa de seleção ao lado do cluster do qual deseja desinstalar a biblioteca, clique em Desinstalar e, em seguida, em Confirmar . O status muda para Desinstalação pendente de reinicialização .
Clique em Reiniciar e Confirmar para desinstalar a biblioteca. A biblioteca é removida da guia Bibliotecas do cluster.
visualizar a biblioteca instalada em um cluster
- Clique em Calcular na barra lateral.
- Clique no nome do cluster.
- Clique na biblioteca tab. Para cada biblioteca, o site tab exibe o nome e a versão, o tipo, o status da instalação e, se houver upload, o arquivo de origem.
Atualizar uma biblioteca instalada em um cluster
Para atualizar uma biblioteca instalada em cluster, desinstale a versão antiga da biblioteca e instale uma nova versão.
Os arquivos Requirements.txt não precisam ser desinstalados e reiniciados. Se você tiver modificado o conteúdo de um arquivo requirements.txt, basta reinstalá-lo para atualizar o conteúdo do arquivo instalado.