RuntimeAI

info

Visualização

Este recurso está em Pré-visualização Pública.

O AI Runtime é uma oferta de compute de GPU serverless no Databricks destinada a cargas de trabalho de aprendizagem profunda. Você pode usar o AI Runtime para treinar e fazer ajustes finos em modelos personalizados usando seus frameworks favoritos e obter eficiência, desempenho e qualidade de ponta.

Começar

Execute sua primeira carga de trabalho em minutos usando nossos guias de início rápido.

• • 🚀 Início rápido da CLI
  • Veio de um cluster do Slurm ou do Kubernetes? Ensine no AI Runtime a partir do seu terminal em minutos.
• • 📓 Início rápido do notebook
  • Anexe seu notebook a uma GPU em segundos e desenvolva interativamente..
• • ⚡ Ray
  • Veio de um cluster Ray? Execute o Ray no AI Runtime com suporte a dashboard.
• • 🧭 Visão geral
  • Conheça os pontos-chave sobre o AI Runtime em dois minutos: GPUs disponíveis, como funciona e limitações.

recurso

O AI Runtime é uma plataforma de GPU full-stack, com várias maneiras de se conectar a GPUs, ferramentas integradas de observabilidade e depuração e ambientes pré-criados.

Connect to Serverless GPUs : Acesse GPUs Serverless de onde você estiver trabalhando.

• • cadernos
  • Anexe um notebook ao serverless GPU compute e desenvolva interativamente, sem configuração de cluster.
• • IDE sobre SSH
  • Conecte-se a partir de sua IDE ou terminal por meio de um túnel SSH para trabalhar diretamente em um nó de GPU.
• • CLI do AI Runtime
  • Envie e gerencie jobs de treinamento de GPU distribuídos a partir do seu laptop usando configurações de job em YAML.
• • Ray
  • Execute o Ray Core, o Ray Data, o Ray Train e o Ray Tune em compute de GPU serverless.

Gerenciamento de dependências : controle as bibliotecas do Python e do sistema com as quais sua carga de trabalho é executada.

• • Ambientes pré-construídos
  • Comece a partir de um ambiente Standard mínimo ou de um ambiente Databricks AI pré-carregado com frameworks de ML.
• • Suporte ao Docker
  • Traga sua própria imagem de contêiner para executar cargas de trabalho com uma pilha de dependências personalizada.

Loading data into GPUs : Envie dados de treinamento para suas GPUs de maneira eficiente.

• • Carregadores de dados eficientes
  • Transmita dados de volumes do Unity Catalog com carregadores tolerantes a falhas criados para alta utilização de GPU.

Depuração e observabilidade : acompanhe experimentos, inspecione a saída e diagnostique falhas.

• • MLflow para aprendizagem profunda
  • Rastreie experimentos, métricas e execuções com o MLflow e salve pontos de verificação de modelo em volumes do Unity Catalog.
• • Visualizador de logs
  • View a saída de treinamento e monitore o uso de recursos de GPU enquanto o seu código é executado.
• • Depuração com agentes
  • Use o Genie Code para gerar código de treinamento, resolver problemas de ambiente e depurar falhas de GPU.

Programação e servir em tempo real : passe do desenvolvimento interativo para jobs programados e endpoints.

• • Coloque seus jobs em produção
  • Implante o código de treinamento com Pacotes de Automação Declarativa, agende execuções e crie fluxos de trabalho de GPU e CPU de multitarefas.
• • Disponibilize seus modelos
  • Implante seus modelos treinados atrás de um endpoint escalável com o Model Serving.

Exemplos

Clone exemplos de ponta a ponta e execute-os no AI Runtime em minutos, a partir da CLI ou em notebooks.

• • Exemplos do Ray
  • Leve seu projeto Ray existente e execute-o no AI Runtime em minutos.
• • Treinamento de um modelo de recomendação tabular
  • Ensinar modelos de recomendação de aprendizagem profunda, como arquiteturas de torre dupla (two-tower).
• • Visão computacional
  • Cargas de trabalho de detecção de objetos e classificação de imagens em GPUs.
• • Machine Learning clássico
  • XGBoost acelerado por GPU, previsão de série temporal e outras tarefas clássicas de ML.
• • Ajuste fino de um LLM de OSS
  • Faça o ajuste fino de grandes modelos de linguagem de código aberto com o LoRA, o QLoRA ou o ajuste fino completo.

Saiba mais

Encontre conteúdo útil: as atualizações de produto mais recentes e como o AI Runtime funciona nos bastidores.

• • Atualizações de produto
  • Consulte as atualizações e os anúncios de produtos mais recentes do AI Runtime.
• • Como funciona o AI Runtime nos bastidores
  • Leia sobre como a Databricks mantém as GPUs confiáveis no AI Runtime.