Pular para o conteúdo principal
Última atualização em

Migrar cargas de trabalho de GPU clássicas para AI Runtime

Se você estiver movendo uma carga de trabalho de aprendizagem profunda existente de um cluster Databricks clássico (com Databricks Runtime ML) para Serverless (com AI Runtime), siga os passos. Para saber por que a Databricks recomenda o AI Runtime para essas cargas de trabalho, consulte Por que usar o AI Runtime em vez do compute clássico.

  1. Substitua o código dependente de cluster. Remova quaisquer referências ao treinamento distribuído baseado em Spark (por exemplo, TorchDistributor) e substitua-as pelo decorador @distributed do Databricks AI Runtime SDK (databricks.air).
  2. Atualize o carregamento de dados. Substitua os caminhos diretos do DBFS pelos caminhos dos volumes do Unity Catalog (/Volumes/...). Substitua as operações locais do Spark DataFrame pelo Spark Connect. Para transmissão de dados baseados em arquivos de volumes, use UCVolumeDataset de databricks.air.data. Consulte Carregar dados no AI Runtime.
  3. Configure seu ambiente. Algumas bibliotecas pré-instaladas do Databricks Runtime ML não estão disponíveis no AI Runtime. Configure um ambiente de GPU serverless e instale os pacotes que sua carga de trabalho precisa com %pip install. Veja Configure seu ambiente de AI Runtime.
  4. Atualizar caminhos de ponto de verificação. Mova pontos de verificação de DBFS ou armazenamento local para volumes do Unity Catalog (/Volumes/<catalog>/<schema>/<volume>/...). Para ponto de verificação distribuído, use UCVolumeWriter e UCVolumeReader de databricks.air.data, que fazem o I/O de estágio através de NVMe local. Consulte Ponto de verificação com ponto de verificação distribuído (DCP).
  5. Revise sua configuração do MLflow. No AI Runtime, a API .distributed() cria execuções do MLflow automaticamente. Para personalizar a experiência, configure-a com um caminho absoluto. Para retomar execuções interrompidas, defina um nome de execução. Veja O que o MLflow fornece.
  6. Teste interativamente primeiro. Valide sua carga de trabalho em um notebook interativo antes de programá-la como um job.

Este caminho de migração se aplica a workloads que se encaixam em um dos aceleradores de AI Runtime de nó único suportados.

prompt

Diga ao Genie Code para fazer isso por você:

Text
Migrate this Databricks Runtime ML GPU notebook to AI Runtime.