Visão geral

AI Runtime é um compute de GPU Serverless no Databricks para cargas de trabalho de aprendizagem profunda. Esta página aborda como funciona, exemplos de casos de uso, hardware, key recursos e limitações.

Como funciona o AI Runtime

O AI Runtime permite ensinar e ajustar modelos no Databricks sem precisar gerenciar a infraestrutura de GPU. Você traz o código e o Databricks cuida da capacidade, aquisição e gerenciamento de GPU.

Por exemplo, o seguinte comando envia uma carga de trabalho do seu terminal:

Bash

databricks air run --file workload.yaml --watch

Quando você faz a execução de databricks air run, o AI Runtime faz o pacote do código que você envia e o orquestra em compute de GPU Serverless gerenciado pelo Databricks. Para experimentar, consulte Início rápido do AI Runtime.

Exemplos de casos de uso

Você pode usar o AI Runtime para ensinar ou ajustar muitos tipos de modelos de AI. Por exemplo:

• Ajuste fino de LLM (LoRA, QLoRA, ajuste fino completo). Consulte Grandes modelos de linguagem (LLMs).
• Visão computacional (detecção de objetos, classificação de imagens). Consulte Visão de computador.
• Sistemas de recomendação baseados em aprendizagem profunda. Consulte Sistemas de recomendação baseados em aprendizagem profunda.
• ML clássico acelerado por GPU e previsão de série temporal baseada em aprendizagem profunda. Consulte Machine learning clássico.
• Inferência em lote em grande escala. Consulte Inferência de lotes.
• Treinamento distribuído com múltiplas GPUs. Consulte Treinamento distribuído com múltiplas GPUs.
• Aprendizado por reforço. Consulte Grandes modelos de linguagem (LLMs).

Para todos os tutoriais de Notebooks e receitas da CLI do Databricks, consulte Exemplos de AI Runtime.

Hardware

info

Visualização

O treinamento em aceleradores 8xB300 está em pré-lançamento público. Ele está disponível na AWS mediante lista de espera. Para solicitar acesso, entre em contato com a equipe de account da Databricks ou com o representante de ventas para saber mais.

Todos os aceleradores do AI Runtime provisionam um único nó. O número de GPUs nesse nó depende do tipo de acelerador:

Acelerador	GPUs por nó	Memória GPU	Melhor para	Treinamento distribuído
1xA10	1	24 GB	Tarefas de machine learning e aprendizagem profunda de pequeno a médio porte, como modelos clássicos de machine learning ou ajuste fino de modelos de linguagem menores	Não compatível (GPU única)
1xH100	1	80 GB	Cargas de trabalho que precisam de mais memória GPU do que 1xA10 oferece, mas que não exigem treinamento distribuído de várias GPUs, como o ajuste fino de modelos de linguagem de médio porte	Não compatível (GPU única)
8xH100	8	80 GB por GPU	Cargas de trabalho de AI em larga escala, incluindo treinamento ou ajuste fino de modelos massivos ou execução de tarefas avançadas de aprendizagem profunda	Com suporte usando o decorador @distributed, que usa todas as oito GPUs por default
8xB300	8	288 GB por GPU	Os maiores modelos e os maiores comprimentos de contexto. Os 288 GB de HBM por GPU ensinam modelos e tamanhos de lotes que, de outra forma, exigiriam descarregamento de CPU em GPUs menores.	Com suporte usando o decorador @distributed, que usa todas as oito GPUs por default

Acelerador	GPUs por nó	Memória GPU	Melhor para	Treinamento distribuído
1xA10	1	24 GB	Tarefas de machine learning e aprendizagem profunda de pequeno a médio porte, como modelos clássicos de machine learning ou ajuste fino de modelos de linguagem menores	Não compatível (GPU única)
1xH100	1	80 GB	Cargas de trabalho que precisam de mais memória GPU do que 1xA10 oferece, mas que não exigem treinamento distribuído de várias GPUs, como o ajuste fino de modelos de linguagem de médio porte	Não compatível (GPU única)
8xH100	8	80 GB por GPU	Cargas de trabalho de AI em larga escala, incluindo treinamento ou ajuste fino de modelos massivos ou execução de tarefas avançadas de aprendizagem profunda	Com suporte usando o decorador @distributed, que usa todas as oito GPUs por default
8xB300	8	288 GB por GPU	Os maiores modelos e os maiores comprimentos de contexto. Os 288 GB de HBM por GPU ensinam modelos e tamanhos de lotes que, de outra forma, exigiriam descarregamento de CPU em GPUs menores.	Com suporte usando o decorador @distributed, que usa todas as oito GPUs por default

dica

Somente 8xH100 e 8xB300 são compatíveis com treinamento distribuído com várias GPUs. Para cargas de trabalho de GPU única, escolha 1xA10 ou 1xH100 com base na memória de GPU de que seu modelo precisa.

Principais recursos

Categoria	Recursos
Conectar a GPUs	CLI do Databricks: envie e gerencie cargas de trabalho de GPU a partir do seu terminal com configurações YAML. Notebooks: anexe um notebook a uma GPU e desenvolva de forma interativa. Treinamento distribuído em Notebooks: Execução PyTorch DDP, FSDP ou DeepSpeed em todas as GPUs em um nó com o decorador @distributed. Job: programar uma carga de trabalho de GPU como um Job recorrente. IDE via SSH: conecte-se do seu IDE ou terminal a um nó de GPU. Ray: execução Ray Core, Ray Data, Ray ensinar e Ray Tune.
Desenvolver cargas de trabalho	Ambientes pré-criados: escolha o ambiente Standard mínimo ou o ambiente Databricks AI com PyTorch e Transformers pré-instalados. Imagens Docker personalizadas: traga sua própria imagem e envie-a para o registro de artefatos. Carregar e salvar dados: transmissão dados de volumes e tabelas do Unity Catalog. Agentes de codificação: Use o Genie Code e as habilidades do agente para escrever, enviar e depurar workloads de GPU.
Monitorar e implantar	Rastreie execuções, logs e métricas: rastreie experimentos com MLflow, view logs e monitore o uso de GPU. Programar cargas de trabalho de GPU: implante com Pacotes de Automação Declarativa e crie Job de GPU e CPU com várias tarefas. Converter uma carga de trabalho em um pacote: transforme uma carga de trabalho YAML em um job de Pacotes de Automação Declarativa. Configurar tarefas de bundle: pacote o código, selecione GPU compute e transmita a configuração para as tarefas.

Categoria	Recursos
Conectar a GPUs	CLI do Databricks: envie e gerencie cargas de trabalho de GPU a partir do seu terminal com configurações YAML. Notebooks: anexe um notebook a uma GPU e desenvolva de forma interativa. Treinamento distribuído em Notebooks: Execução PyTorch DDP, FSDP ou DeepSpeed em todas as GPUs em um nó com o decorador @distributed. Job: programar uma carga de trabalho de GPU como um Job recorrente. IDE via SSH: conecte-se do seu IDE ou terminal a um nó de GPU. Ray: execução Ray Core, Ray Data, Ray ensinar e Ray Tune.
Desenvolver cargas de trabalho	Ambientes pré-criados: escolha o ambiente Standard mínimo ou o ambiente Databricks AI com PyTorch e Transformers pré-instalados. Imagens Docker personalizadas: traga sua própria imagem e envie-a para o registro de artefatos. Carregar e salvar dados: transmissão dados de volumes e tabelas do Unity Catalog. Agentes de codificação: Use o Genie Code e as habilidades do agente para escrever, enviar e depurar workloads de GPU.
Monitorar e implantar	Rastreie execuções, logs e métricas: rastreie experimentos com MLflow, view logs e monitore o uso de GPU. Programar cargas de trabalho de GPU: implante com Pacotes de Automação Declarativa e crie Job de GPU e CPU com várias tarefas. Converter uma carga de trabalho em um pacote: transforme uma carga de trabalho YAML em um job de Pacotes de Automação Declarativa. Configurar tarefas de bundle: pacote o código, selecione GPU compute e transmita a configuração para as tarefas.

Requisitos

Antes de começar, confirme se o seu workspace atende a estes requisitos:

• Consulte Disponibilidade do AI Runtime por Geo para obter os Geos compatíveis e os requisitos de processamento cross-Geo. A disponibilidade de GPU varia de acordo com o workspace.
• Se seu workspace tiver o perfil de segurança de compliance habilitado, um administrador do workspace deve habilitar as prévias AI Runtime e AI Runtime multi-node H100 . Consulte Gerenciar prévias do Databricks. Para obter detalhes sobre a habilitação default para esses workspaces, consulte o aviso antecipado.

Limitações

Mantenha as seguintes limitações em mente ao planejar uma carga de trabalho do AI Runtime:

• O AI Runtime é compatível apenas com aceleradores A10, H100 e B300.

• O AI Runtime não oferece suporte ao perfil de segurança de compliance para os padrões FedRAMP High ou DoD IL5.

• A adição de dependências usando o painel Environments não é compatível com jobs agendados do AI Runtime. Em vez disso, instale as dependências programaticamente usando %pip install no seu notebook.

• Para jobs agendados no AI Runtime, não há suporte para comportamento de recuperação automática para versões de pacotes incompatíveis associadas ao seu notebook.

• As tentativas de conexão do AI Runtime terminam após 15 minutos para Notebooks interativos e após 24 horas para Job de Notebooks ou Job da CLI. As sessões de Notebook conectadas e os jobs de Notebook podem ter uma execução de até dois dias, e os jobs da CLI podem ter uma execução de até 14 dias. Para Job de treinamento de modelo de longa duração, implemente o checkpointing e reinicie o Job quando o tempo máximo de Runtime for atingido. Consulte Ponto de verificação com Ponto de verificação distribuído (DCP).

• A execução de um job agendado que usa um ambiente base do workspace, incluindo o ambiente Databricks AI, está em Beta. Um administrador de workspace deve ativar a prévia do Suporte ao ambiente base do workspace serverless em Jobs . Consulte Gerenciar prévias do Databricks.

• O AI Runtime fornece acesso sob demanda a recursos de GPU. Embora isso resulte em um acesso fácil e flexível a GPUs, pode haver períodos em que a capacidade esteja restrita ou indisponível na sua região.

• O AI Runtime aproveita GPUs entre regiões em determinados casos durante momentos de alta demanda. Pode haver custos de saída associados a esse uso, e a conectividade de rede entre regiões pode ser limitada em determinados momentos.

guia

• Por que usar o AI Runtime em vez da compute clássica: compare o AI Runtime com a compute clássica e o Databricks Runtime ML.
• Guias para AI Runtime: rastreie o uso e os custos e solucione erros comuns.
• Migrar cargas de trabalho de GPU clássicas para serverless: Mova uma carga de trabalho de aprendizagem profunda de um cluster clássico para AI Runtime.
• Migrar do Slurm: mapeie scripts de lote, lançadores e armazenamento compartilhado do Slurm na CLI do Databricks.
• Melhore o desempenho e a resiliência do treinamento no AI Runtime: acelere o treinamento e torne os jobs de longa execução resistentes a falhas.