Como configurar seu ambiente
Pré-visualização pública
Runtime AI para tarefas de nó único está em versão prévia pública. A API de treinamento distribuído para cargas de trabalho com múltiplas GPUs permanece em versão Beta.
Esta página descreve como escolher e configurar um ambiente Python para o AI Runtime, incluindo o comportamento de cache do ambiente, importações de módulos personalizados e limitações conhecidas.
Que ambiente usar
AI Runtime oferece dois ambientes Python para gerenciamento: o ambiente base default e o ambiente Databricks AI .
ambiente | características principais | Quando usar |
|---|---|---|
ambiente base padrão | Mínimo, inclui apenas | Você deseja ter controle total sobre sua pilha de dependências e prefere instalar apenas o que precisa. |
Ambiente AI Databricks | Pré-carregado com frameworks populares ML (PyTorch, Transformers e outros). | Você deseja um ambiente completo para treinamento, ajustes e experimentação, sem gerenciamento manual de dependências. |
Os ambientes base do espaço de trabalho não são suportados pelo AI Runtime. Em vez disso, use o ambiente default ou AI e especifique as dependências adicionais diretamente no painel lateral Ambientes ou pip install elas.
ambiente base padrão (ambiente mínimo)
Um ambiente mínimo e estável contendo apenas o pacote necessário para as operações AI Runtime . O ambiente inclui torch, cuda e torchvision, otimizado para compatibilidade. Para versões específicas do pacote, use pip install ou pin as versões necessárias conforme necessário.
Ideal para: Usuários que desejam controle total sobre suas dependências e preferem instalar apenas o que precisam.
Este é o ambiente default quando você se conecta a uma GPU serverless por meio AI Runtime.
Para obter mais detalhes sobre as versões de pacotes instaladas em diferentes versões, consulte as notas sobre a versão:
Ambiente AI Databricks
Disponível no ambiente 4 e versões posteriores. O ambiente AI é construído sobre o ambiente base default , com pacotes de tempo de execução comuns e pacotes específicos para machine learning em GPUs. O pacote pré-instalado inclui:
- PyTorch (com suporte a CUDA)
- Transformers (Hugging Face)
- E dependências adicionais de ML/DL
Ideal para: Profissionais de ML que desejam um ambiente completo para treinamento de cargas de trabalho, ajustes finos e experimentação, sem gerenciamento manual de dependências.
Para selecionar: No painel lateral Ambiente , escolha AI v4 como seu ambiente base.
Para obter mais detalhes sobre as versões de pacotes instaladas em diferentes versões, consulte as notas sobre a versão:
ambientes de base de espaço de trabalho
Os ambientes base do espaço de trabalho não são suportados pelo AI Runtime. Não é possível usar configurações de ambiente personalizadas no nível workspace .
Para configurar seu ambiente de aprendizado profundo para um projeto, use um dos dois ambientes base fornecidos (default ou Databricks AI) e instale pacotes adicionais programaticamente usando %pip install dentro do seu Notebook ou no início do seu script de treinamento:
%pip install datasets accelerate peft bitsandbytes
Você pode instalar bibliotecas adicionais no ambiente Runtime AI . Consulte Adicionar dependências ao Notebook.
Comportamento
Quando os ambientes são armazenados em cache?
Os ambientes são armazenados em cache entre as sessões para acelerar os tempos startup . Ao se reconectar ao AI Runtime com a mesma configuração de ambiente, os pacotes instalados anteriormente podem estar disponíveis no cache, reduzindo o tempo de configuração.
No entanto, o comportamento do cache não é garantido — certifique-se sempre de que seu Notebook inclua o comando %pip install necessário para reprodução.
Como faço para importar módulos personalizados?
Você pode importar módulos personalizados colocando-os em /Workspace/Shared e adicionando o caminho em sys.path:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function
Você também pode upload arquivos de módulo como arquivos de espaço de trabalho e importá-los diretamente. Para colaboração multiusuário, armazene o código compartilhado em /Workspace/Shared em vez de pastas específicas do usuário. Para desenvolvimento ativo, utilize pastas específicas do usuário e envie as alterações para um repositório Git remoto para controle de versão.
Limitações
As seguintes funcionalidades não estão disponíveis no AI Runtime:
- Funções Spark — Não é possível importar ou usar funções PySpark diretamente. O AI Runtime é um ambiente exclusivo para Python; o Spark não está disponível como um ambiente de execução local. No entanto, o Spark Connect está disponível para carregamento de dados. Consulte Carregar dados no AI Runtime.
- BibliotecaDatabricks Runtime ML — Os pacotes pré-instalados não substituem o Databricks Runtime ML. Algumas bibliotecas de aprendizado ML disponíveis no Databricks Runtime ML podem não estar pré-instaladas no AI Runtime.
- Ambientes base de espaço de trabalho — Configurações personalizadas de ambiente em nível workspacenão são suportadas.
- Artefatos privados — O AI Runtime oferece suporte a artefatos privados em determinados casos. Para mais detalhes, entre em contato com sua equipe account .