RuntimeAI

info

Pré-visualização pública

Runtime AI para tarefas de nó único está em versão prévia pública. A API de treinamento distribuído para cargas de trabalho com múltiplas GPUs permanece em versão Beta.

Visão geral do AI Runtime

AI Runtime é uma oferta compute da Databricks destinada a cargas de trabalho de aprendizado profundo e traz suporte a GPU para o ambiente serverless Databricks . Você pode usar AI Runtime para treinar e ajustar modelos personalizados usando suas estruturas favoritas e obter eficiência, desempenho e qualidade de última geração.

recurso principal

• Infraestrutura de GPU totalmente gerenciada — acesso flexível e sem servidor às GPUs, sem necessidade de configuração cluster , seleção de drivers ou políticas de escalonamento automático.
• Um ambiente de execução dedicado à aprendizagem profunda — Escolha entre um ambiente base default mínimo para máxima flexibilidade em relação às dependências ou um ambiente AI completo, pré-carregado com frameworks ML populares.
• Integrado nativamente ao Notebook, Job, Unity Catalog e MLflow para desenvolvimento contínuo, acesso a dados e acompanhamento de experimentos.

Opções de hardware

Acelerador	Melhor para	Multi-GPU
A10	Tarefas ML e aprendizagem profunda de pequeno a médio porte, como modelos clássicos ML ou ajuste fino de modelos de linguagem menores.	Não
H100	Cargas de trabalho AI em grande escala, incluindo treinamento ou ajuste fino de modelos massivos ou execução de aprendizagem avançada, tarefa profunda	Sim (8 GPUs)

Casos de uso recomendados

Databricks recomenda AI Runtime para qualquer caso de uso de modelo personalizado que envolva aprendizagem profunda, cargas de trabalho clássicas de grande escala ou GPUs.

Por exemplo:

• Ajuste fino do LLM (LoRA, QLoRA, ajuste fino completo)
• visão computacional (detecção de objetos, classificação de imagens)
• sistemas de recomendação baseados em aprendizagem profunda
• Aprendizagem por reforço
• aprendizagem previsão de série temporal baseada em profundidade

Requisitos

• Um workspace em uma das seguintes regiões com suporte da AWS:

  • us-west-2
  • us-west-1
  • us-east-1
  • us-east-2
  • ca-central-1
  • sa-east-1

• A pré-visualização AI Runtime deve ser ativada nas configurações de administração workspace . Veja as prévias do Gerenciador Databricks.

Limitações

• O AI Runtime suporta apenas os aceleradores A10 e H100.
• AI Runtime não é compatível com espaços de trabalho de perfil de segurançacompliance (como HIPAA ou PCI) .
• A adição de dependências usando o painel Ambientes não é compatível com tarefas agendadas AI Runtime . Instale as dependências programaticamente usando %pip install em seu Notebook.
• Para tarefas agendadas no AI Runtime, o comportamento de recuperação automática para versões de pacotes incompatíveis associadas ao seu Notebook não é suportado.
• O tempo máximo de execução para uma carga de trabalho é de sete dias. Para trabalhos de treinamento de modelos que excedam esse limite, implemente o checkpointing e reinicie o trabalho assim que o tempo máximo de execução for atingido.
• AI Runtime fornece acesso sob demanda a recursos de GPU. Embora isso proporcione acesso fácil e flexível às GPUs, pode haver períodos em que a capacidade seja limitada.
• O AI Runtime aproveita GPUs de diferentes regiões em determinados casos durante momentos de alta demanda. Pode haver custos de saída associados a esse uso.

Conectando-se ao Runtime AI

Você pode se conectar ao AI Runtime interativamente a partir de um Notebook, programar um Notebook como uma tarefa recorrente ou criar tarefas programaticamente usando a API de Tarefas e os Bundles ativos Databricks . Para obter instruções passo a passo, consulte Conectar ao AI Runtime.

Configurando meu ambiente

AI Runtime oferece dois ambientes Python para gerenciamento: um ambiente básico default mínimo e um ambiente Databricks AI completo, pré-carregado com frameworks populares ML como PyTorch e Transformers. Para obter detalhes sobre como escolher um ambiente, o comportamento do cache, a importação de módulos personalizados e as limitações conhecidas, consulte Como configurar seu ambiente.

Analisando meus dados

Compreender como funciona o acesso aos dados no AI Runtime é essencial para uma experiência tranquila. Para obter detalhes, consulte Carregar dados no AI Runtime.

distribuído

info

Beta

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a este recurso na página de Pré-visualizações . Veja as prévias do Gerenciador Databricks.

AI Runtime suporta treinamento distribuído em várias GPUs no mesmo nó ao qual seu notebook está conectado. Usando o decorador @distributed da API Python serverless_gpu (Beta), você pode executar cargas de trabalho multi-GPU com PyTorch DDP, FSDP ou DeepSpeed com configuração mínima. Para obter detalhes, consulte Carga de trabalho multi-GPU.

Acompanhamento de experimentos e observabilidade

Para integração MLflow , visualização logs e gerenciamento de checkpoints de modelos, consulte Acompanhamento e observabilidade de experimentos.

CódigoGenie para aprendizagem profunda

Genie Code oferece suporte a cargas de trabalho de aprendizagem profunda no AI Runtime. Pode ajudar na geração de código de treinamento, na resolução de erros de instalação de bibliotecas, na sugestão de otimizações e na resolução de problemas comuns. Veja Usar o código Genie para ciência de dados.

guia

Para migração de cargas de trabalho clássicas, exemplos de Notebooks e solução de problemas, consulte o Guia do usuário do AI Runtime.