Pular para o conteúdo principal
Última atualização em

Migrar cargas de trabalho de GPU clássicas para serverless

Se você estiver movendo uma carga de trabalho de aprendizagem profunda existente de um cluster Databricks clássico (com Databricks Runtime ML) para Serverless (com AI Runtime), siga estes passos:

  1. Substitua o código dependente de cluster. Remova quaisquer referências ao treinamento distribuído baseado em Spark (por exemplo, TorchDistributor) e substitua-as pelo decorador @distributed do Databricks AI Runtime SDK (databricks.air).
  2. Atualize o carregamento de dados. Substitua os caminhos diretos do DBFS pelos caminhos dos volumes do Unity Catalog (/Volumes/...). Substitua as operações locais do Spark DataFrame pelo Spark Connect. Para transmissão de dados baseados em arquivos de volumes, use UCVolumeDataset de databricks.air.data. Consulte Carregar dados no AI Runtime.
  3. Configure o seu ambiente. Algumas bibliotecas pré-instaladas do Databricks Runtime ML não estão disponíveis no AI Runtime. Configure um ambiente de GPU serverless e instale os pacotes de que sua carga de trabalho precisa com %pip install. Consulte Configure o seu ambiente.
  4. Atualizar caminhos de ponto de verificação. Mova pontos de verificação de DBFS ou armazenamento local para volumes do Unity Catalog (/Volumes/<catalog>/<schema>/<volume>/...). Para ponto de verificação distribuído, use UCVolumeWriter e UCVolumeReader de databricks.air.data, que fazem o I/O de estágio através de NVMe local. Consulte Ponto de verificação com ponto de verificação distribuído (DCP).
  5. Revise sua configuração do MLflow. No AI Runtime, a API .distributed() cria execuções do MLflow automaticamente. Para personalizar a experiência, configure-a com um caminho absoluto. Para retomar execuções interrompidas, defina um nome de execução. Veja O que o MLflow fornece.
  6. Teste interativamente primeiro. Valide sua carga de trabalho em um notebook interativo antes de programá-la como um job.