RuntimeAI

O AI Runtime é uma oferta de compute GPU Serverless totalmente gerenciado no Databricks para seus treinamento, ajustes finos e cargas de trabalho de aprendizagem profunda mais amplas.

• GPUs Serverless : A10s e H100s sob demanda, acessíveis via CLI do Databricks, notebooks, jobs e Ray.
• Ambientes gerenciados : ambientes e carregadores de dados pré-construídos prontos para treinamento e ajuste fino, ou use seu próprio container do Docker.
• Observabilidade integrada : acompanhamento de experimentos via MLflow, registro e agentes de depuração.
• Orquestração : programe suas workloads de GPU e use-as em pipelines de CI/CD.

Começar

Saiba mais sobre o AI Runtime e faça sua primeira execução de carga de trabalho.

• • 🚀 Início rápido
  • Execução sua primeira carga de trabalho no AI Runtime a partir do seu terminal.
• • 🧭 Visão geral
  • Saiba as key coisas sobre o AI Runtime: quais GPUs estão disponíveis, como ele funciona e as limitações.
• • 💡 Exemplos
  • Navegue pelos tutoriais de Notebooks e receitas executáveis da CLI do Databricks organizadas por tarefa.

Conectar-se a GPUs

Acesse GPUs por meio da CLI do Databricks, notebooks, Jobs ou via Ray.

• • CLI do Databricks
  • Envie e gerencie jobs de treinamento de GPU distribuídos a partir do seu laptop usando configurações de job em YAML.
• • cadernos
  • Anexe um notebook ao AI Runtime e desenvolva interativamente, sem configuração de cluster.
• • Jobs
  • Programe uma carga de trabalho de GPU no AI Runtime como um Job recorrente e orquestre-o com tarefas upstream e downstream.
• • Ray
  • execução Ray Core, Ray Data, Ray ensinar e Ray Tune no AI Runtime.

Desenvolver cargas de trabalho

Carregue dados de forma eficiente, configure seu ambiente e desenvolva workloads com agentes de codificação.

• • Carregar dados para GPUs
  • Transmita dados de volumes do Unity Catalog com carregadores tolerantes a falhas criados para alta utilização de GPU.
• • Ambientes pré-construídos
  • Comece a partir de um ambiente Standard mínimo ou de um ambiente Databricks AI pré-carregado com frameworks de ML.
• • Imagens personalizadas do Docker
  • Traga sua própria Docker Image quando sua carga de trabalho exigir bibliotecas ou dependências personalizadas do sistema.
• • Agentes de programação
  • Use o Genie Code e a habilidade de agente databricks-ai-runtime para criar, enviar e gerenciar cargas de trabalho de GPU.

Monitorar, depurar e implantar

Acompanhe experimentos, inspecione logs, diagnostique falhas e programar cargas de trabalho de produção.

• • MLflow para depuração
  • Acompanhe experimentos, métricas e execuções com o MLflow.
• • Ver logs
  • View a saída do treinamento, monitore o uso do recurso de GPU enquanto a execução do seu código e depure com o Genie Code.
• • Programar cargas de trabalho
  • Implante o código de treinamento com Pacotes de Automação Declarativa, agende execuções e crie fluxos de trabalho de GPU e CPU de multitarefas.
• • Servir modelos treinados
  • Implante modelos treinados no AI Runtime para o Model Serving.

guia

Explore guias de migração, tutoriais e recursos técnicos para AI Runtime.

• • Migrar do Slurm
  • Mapeie seus scripts em lote do Slurm, inicializadores distribuídos e armazenamento compartilhado para a CLI do Databricks.
• • Migrar cargas de trabalho clássicas de GPU
  • Mova uma carga de trabalho de aprendizagem profunda existente de um cluster clássico do Databricks para o AI Runtime.
• • Otimize o desempenho da sua carga de trabalho
  • Melhore o throughput de treinamento e torne os jobs de execução longa mais resilientes a falhas.