Configure seu ambiente
Visualização
Este recurso está em Pré-visualização Pública.
O AI Runtime fornece dois ambientes Python gerenciados para o compute de GPU serverless. O ambiente Standard inclui cuda. A partir da versão 5 do ambiente, torch e torchvision não são mais pré-instalados. O ambiente Databricks AI vem pré-carregado com PyTorch, Transformers e outros frameworks de ML e de aprendizagem profunda. Escolha o ambiente Standard para ter controle total sobre a sua pilha de dependências, ou o ambiente AI para ter uma configuração de treinamento pronta para uso. Você pode começar a partir de qualquer um dos ambientes e instalar mais pacotes por conta própria.
key pontos desta página:
- Escolha o ambiente Standard para ter controle total sobre as dependências ou o ambiente Databricks AI para uma pilha de ML pronta para uso.
- O Standard inclui
cuda. As of environment version 5,torchandtorchvisionare not pre-installed. The AI environment adds PyTorch, Transformers, and more. - Install more pacotes with
%uv pip install(environment version 5 and above) or%pip installin a notebook, or withenvironment.dependenciesin the CLI.
Que ambiente usar
O AI Runtime oferece dois ambientes Python gerenciados, o ambiente Standard e o ambiente de AI do Databricks.
ambiente | características principais | Quando usar |
|---|---|---|
Ambiente Standard | Mínimo; inclui | Você deseja ter controle total sobre sua pilha de dependências e prefere instalar apenas o que precisa. |
Ambiente AI Databricks | Pré-carregado com frameworks populares ML (PyTorch, Transformers e outros). | Você deseja um ambiente completo para treinamento, ajustes e experimentação, sem gerenciamento manual de dependências. |
Você também pode usar um ambiente base do workspace que um administrador do workspace criou para o AI Runtime. Consulte Criar para compute de GPU serverless (AI Runtime).
To choose an environment in a notebook, open the Environment side panel and select a base environment:
Ambiente Standard (ambiente mínimo)
Um ambiente minimalista e estável que contém apenas os pacotes necessários para a operação do AI Runtime. O ambiente inclui cuda para suporte a GPU. A partir da versão 5 do ambiente, torch e torchvision não vêm mais pré-instalados. Instale as versões necessárias para a sua carga de trabalho com %uv pip install ou %pip install. Para ver os pacotes instalados em cada versão do ambiente, consulte as notas sobre a versão abaixo.
Ideal para: Usuários que desejam controle total sobre suas dependências e preferem instalar apenas o que precisam.
Para selecionar: no painel lateral Environment , escolha Standard v6 como seu ambiente base.
Para obter mais detalhes sobre as versões de pacotes instaladas em diferentes versões, consulte as notas sobre a versão:
Ambiente AI Databricks
Disponível no ambiente 4 e posterior. O ambiente de AI é construído sobre o ambiente Standard com pacotes de runtime comuns e pacotes específicos para machine learning em GPUs. Pacotes pré-instalados incluem:
- PyTorch (com suporte a CUDA)
- Transformers (Hugging Face)
- E dependências adicionais de ML/DL
Ideal para: Profissionais de ML que desejam um ambiente completo para treinamento de cargas de trabalho, ajustes finos e experimentação, sem gerenciamento manual de dependências.
Para selecionar: no painel lateral Environment , escolha AI v6 como seu ambiente base.
Para obter mais detalhes sobre as versões de pacotes instaladas em diferentes versões, consulte as notas sobre a versão:
Install additional packages
You can começar from either a gerenciado environment or a workspace base environment and install your own Python pacotes on top of it. How you install them depends on how you connect to AI Runtime.
Em um notebook
Install packages at the top of your notebook or treinamento script with %uv pip, which installs with uv and is faster than %pip. Pin versions so execuções stay reproducible:
%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"
Para obter a referência completa de %pip e %uv pip, incluindo quais versões de ambiente dão suporte a cada um, consulte Gerenciar bibliotecas com comandos do %uv.
When you use the @distributed decorator for multi-GPU workloads, pacotes you install before you call .distributed() are automatically snapshotted and propagated to all distributed processes. The total size of installed packages must not exceed 15 GB. For more details, see Add dependencies to the notebook.
Com a CLI
A CLI doair usa os mesmos ambientes gerenciados. Selecione um com environment.version, depois liste os pacotes a serem instalados sobre ele sob environment.dependencies no YAML da sua carga de trabalho. A CLI os instala no ambiente selecionado com o uv, para que você não precise gerenciar um ambiente virtual separado por conta própria:
environment:
version: '6'
dependencies:
- trl==1.1.0
- transformers==5.5.4
Para começar a partir do ambiente do Databricks AI, defina version como um identificador de ambiente de AI, tal como databricks_ai_v5. Para obter o formato completo de dependência, sinalizadores de instalação compatíveis e suporte a Docker Image personalizada, consulte environment.
ambientes de base de espaço de trabalho
Um administrador de workspace pode criar um ambiente base de workspace para compute de GPU serverless, o que o torna disponível para todos os usuários no workspace por meio do menu suspenso **Ambiente base**. Para obter detalhes, consulte Construir para compute de GPU serverless (Runtime de AI).
Para usar um ambiente base em uma carga de trabalho agendada, faça referência a ele pelo seu identificador no bloco environments de um job ou bundle. Por exemplo, esta tarefa do Declarative Automation Bundles seleciona o ambiente do Databricks AI:
resources:
jobs:
train:
tasks:
- task_key: train
environment_key: default
environments:
- environment_key: default
spec:
base_environment: databricks_ai_v6
Para ver um exemplo completo de job, consulte Programar com a Jobs API e os Declarative Automation Bundles.
Armazenamento em cache de ambiente e módulos personalizados
Quando os ambientes são armazenados em cache?
O AI Runtime armazena em cache o ambiente do seu notebook, portanto, ao reabri-lo, você não precisará reinstalar os pacotes. Para obter detalhes, consulte Reset as dependências do ambiente.
O cache se aplica a notebooks interativos. As cargas de trabalho executadas por meio da air CLI ou agendadas como jobs não usam esse cache; cada execução instala suas dependências do zero.
Como boa prática, defina os pacotes com pin para uma versão específica para que seu ambiente em cache permaneça válido e suas execuções continuem sendo reproduzíveis.
Como faço para importar módulos personalizados?
The following os passos show how to use your own Python modules.
- Sync your code to the workspace. Clone a Git repository into the workspace with a Git folder, or upload the files directly as workspace files. Store shared code under
/Workspace/Sharedfor team projects, or in a user folder for personal development. Keeping the code in a Git folder keeps it version controlled. - Adicione a pasta a
sys.pathe importe-a na parte superior do seu notebook ou script de treinamento:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function
Limitações
As seguintes funcionalidades não estão disponíveis no AI Runtime:
- Funções Spark : Não é possível importar ou usar funções PySpark diretamente. AI Runtime é um ambiente apenas Python; o Spark não está disponível como um Runtime local. No entanto, o Spark Connect está disponível para carregamento de dados. Consulte Carregar dados no AI Runtime.
- Bibliotecas do Databricks Runtime ML : Pacotes pré-instalados não são um substituto para o Databricks Runtime ML. Algumas bibliotecas de ML disponíveis no Databricks Runtime ML podem não estar pré-instaladas no AI Runtime.
- Artefatos privados : o AI Runtime oferece suporte a artefatos privados em certos casos. Entre em contato com sua equipe de account para mais detalhes.