Configure seu ambiente
Pré-visualização pública
Runtime AI para tarefas de nó único está em versão prévia pública. A API de treinamento distribuído para cargas de trabalho com múltiplas GPUs permanece em versão Beta.
Esta página descreve como escolher e configurar um ambiente Python para o AI Runtime, incluindo o comportamento de cache do ambiente, importações de módulos personalizados e limitações conhecidas.
Que ambiente usar
AI Runtime oferece dois ambientes Python para gerenciamento: o ambiente base default e o ambiente Databricks AI .
ambiente | características principais | Quando usar |
|---|---|---|
ambiente base padrão | Mínimo, inclui apenas | Você deseja ter controle total sobre sua pilha de dependências e prefere instalar apenas o que precisa. |
Ambiente AI Databricks | Pré-carregado com frameworks populares ML (PyTorch, Transformers e outros). | Você deseja um ambiente completo para treinamento, ajustes e experimentação, sem gerenciamento manual de dependências. |
É possível também usar um ambiente base do workspace que um administrador do workspace construiu para compute de GPU serverless. Consulte Construa para compute de GPU serverless (AI Runtime).
ambiente base padrão (ambiente mínimo)
Um ambiente mínimo e estável contendo apenas o pacote necessário para as operações AI Runtime . O ambiente inclui torch, cuda e torchvision, otimizado para compatibilidade. Para versões específicas do pacote, use pip install ou pin as versões necessárias conforme necessário.
Ideal para: Usuários que desejam controle total sobre suas dependências e preferem instalar apenas o que precisam.
Este é o ambiente default quando você se conecta a uma GPU serverless por meio AI Runtime.
Para obter mais detalhes sobre as versões de pacotes instaladas em diferentes versões, consulte as notas sobre a versão:
Ambiente AI Databricks
Disponível no ambiente 4 e versões posteriores. O ambiente AI é construído sobre o ambiente base default , com pacotes de tempo de execução comuns e pacotes específicos para machine learning em GPUs. O pacote pré-instalado inclui:
- PyTorch (com suporte a CUDA)
- Transformers (Hugging Face)
- E dependências adicionais de ML/DL
Ideal para: Profissionais de ML que desejam um ambiente completo para treinamento de cargas de trabalho, ajustes finos e experimentação, sem gerenciamento manual de dependências.
Para selecionar: No painel lateral Ambiente , escolha AI v5 ou AI v4 como seu ambiente base.
Para obter mais detalhes sobre as versões de pacotes instaladas em diferentes versões, consulte as notas sobre a versão:
ambientes de base de espaço de trabalho
Um administrador de workspace pode criar um ambiente base de workspace para compute de GPU serverless, o que o torna disponível para todos os usuários no workspace por meio do menu suspenso **Ambiente base**. Para obter detalhes, consulte Construir para compute de GPU serverless (Runtime de AI).
Você também pode configurar seu ambiente de aprendizagem profunda por projeto começando por um dos ambientes base fornecidos (default ou Databricks AI) e instalando pacotes adicionais programaticamente usando %pip install dentro do seu notebook ou no início do seu script de treinamento:
%pip install datasets accelerate peft bitsandbytes
Para obter mais detalhes, consulte Adicionar Dependências ao Notebook.
Comportamento
Quando os ambientes são armazenados em cache?
Os ambientes são armazenados em cache entre as sessões para acelerar os tempos startup . Ao se reconectar ao AI Runtime com a mesma configuração de ambiente, os pacotes instalados anteriormente podem estar disponíveis no cache, reduzindo o tempo de configuração.
No entanto, o comportamento do cache não é garantido, portanto, certifique-se sempre de que seu notebook inclui os %pip install comandos necessários para reprodutibilidade.
Como faço para importar módulos personalizados?
Você pode importar módulos personalizados colocando-os em /Workspace/Shared e adicionando o caminho em sys.path:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function
Você também pode upload arquivos de módulo como arquivos de espaço de trabalho e importá-los diretamente. Para colaboração multiusuário, armazene o código compartilhado em /Workspace/Shared em vez de pastas específicas do usuário. Para desenvolvimento ativo, utilize pastas específicas do usuário e envie as alterações para um repositório Git remoto para controle de versão.
Limitações
As seguintes funcionalidades não estão disponíveis no AI Runtime:
- Funções Spark : Não é possível importar ou usar funções PySpark diretamente. AI Runtime é um ambiente apenas Python; o Spark não está disponível como um Runtime local. No entanto, o Spark Connect está disponível para carregamento de dados. Consulte Carregar dados no AI Runtime.
- Bibliotecas do Databricks Runtime ML : Pacotes pré-instalados não são um substituto para o Databricks Runtime ML. Algumas bibliotecas de ML disponíveis no Databricks Runtime ML podem não estar pré-instaladas no AI Runtime.
- Artefatos privados : o AI Runtime oferece suporte a artefatos privados em certos casos. Entre em contato com sua equipe de account para mais detalhes.