Pular para o conteúdo principal
Última atualização em

Usar o Genie Code com o AI Runtime

O Genie Code ajuda você a desenvolver, migrar e solucionar problemas de cargas de trabalho de aprendizagem profunda em Notebooks conectados ao AI Runtime. Ele pode gerar código de treinamento distribuído, resolver problemas de ambiente e dependências, investigar falhas de cargas de trabalho de GPU e migrar Notebooks da API de ajuste fino de modelos de fundação e Notebooks clássicos de GPU do Databricks Runtime ML.

O Genie Code cria e executa uma carga de trabalho de treinamento de CNN distribuída em oito GPUs H100 em um notebook AI Runtime.

Requisitos​

Para usar o Genie Code com o AI Runtime:

começar​

  1. Abra um notebook do Databricks.

  2. Conecte o notebook ao AI Runtime. Consulte o Início rápido do Notebooks do AI Runtime.

  3. Abra o painel do Genie Code.

  4. Descreva a carga de trabalho que você deseja desenvolver ou o problema que você deseja resolver.

  5. Revise o plano proposto, as alterações no código e as ações antes de aprová-los.

importante

O Genie Code pode errar. Revise o código gerado, as alterações de ambiente e outras ações propostas antes de executá-los. Alguns diagnósticos exigem logs adicionais ou contexto de carga de trabalho.

Com o que o Genie Code pode ajudar?​

Desenvolver workloads de treinamento distribuído​

O Genie Code pode gerar ou atualizar o código de treinamento para o AI Runtime. Ele pode ajudá-lo a selecionar uma estratégia distribuída PyTorch apropriada, usar a API @distributed do Databricks AI Runtime SDK (databricks.air) e aplicar padrões de AI Runtime para carregamento de dados, verificação e acompanhamento de MLflow. Para detalhes e exemplos da API, consulte Treinamento distribuído em notebooks.

Resolver problemas de ambiente e dependência​

O Genie Code pode inspecionar o ambiente atual, distinguir falhas de compatibilidade de pacotes de alterações de código ou API e recomendar correções direcionadas. Ele também pode ajudá-lo a escolher entre os ambientes Databricks AI e Standard com base nas dependências da sua carga de trabalho. Para obter informações sobre os ambientes disponíveis, consulte Configurar o seu ambiente AI Runtime.

Depurar GPU e cargas de trabalho distribuídas​

O Genie Code pode usar a saída dos notebooks e logs disponíveis para investigar falhas de treinamento distribuído, erros de comunicação, travamentos de treinamento e problemas de memória de GPU. Isso pode ajudar a identificar a falha original e distingui-la de erros downstream em outras classificações. Para obter informações sobre como exibir logs de treinamento distribuído, consulte Acompanhamento de experimentos e observabilidade.

Migrar cargas de trabalho para o AI Runtime​

O Genie Code pode migrar as seguintes cargas de trabalho de GPU para execução em um Notebook do AI Runtime em um acelerador de nó único compatível:

  • Notebooks obsoletos da API de ajuste fino de modelos de fundação : Substitua as chamadas de API gerenciadas por carregamento explícito de modelos, treinamento, avaliação, criação de checkpoints, acompanhamento do MLflow e registro de modelos no Unity Catalog.
  • Notebook de GPU clássicos com Databricks Runtime ML : Adapte a execução distribuída, o carregamento de dados, o armazenamento, as dependências e o acompanhamento do MLflow para o AI Runtime. Consulte Migrar cargas de trabalho de GPU clássicas para o AI Runtime.

Exemplos de prompts​

Desenvolver workloads de treinamento distribuído​

  • "Atualize este notebook para a execução do treinamento distribuído em todas as oito GPUs H100 no AI Runtime."
  • "Revise este notebook de treinamento distribuído e corrija o seu uso de @distributed e MLflow."
  • "Migre este notebook do SDK serverless_gpu para o SDK do Runtime de AI."
  • “Adapte esta carga de trabalho de treinamento para o Runtime de AI e explique as mudanças importantes.”

Resolver problemas de ambiente e dependência​

  • "Este notebook parou de funcionar depois que instalei um novo pacote. Inspecione o ambiente e determine se o problema é um problema de dependência ou uma alteração na API de código."
  • "Essa carga de trabalho deve usar o ambiente Databricks AI ou Standard? Revise suas dependências e recomende um ambiente antes de alterar qualquer coisa."
  • "Diagnostique esse erro de compatibilidade de pacote e recomende a menor alteração apropriada."

Depurar GPU e cargas de trabalho distribuídas​

  • “Analise esta execução de treinamento distribuído com falha usando a saída disponível de cada classificação e identifique a causa raiz.”
  • "Por que esta carga de trabalho distribuída está travando? Use a saída do notebook para recomendar o próximo passo de depuração."
  • "Investigue essa falha de memória da GPU e recomende um próximo passo baseado em evidências."

Migrar cargas de trabalho para o AI Runtime​

  • "Migrar este notebook de API de ajuste fino de modelo de base obsoleto para o AI Runtime. Preserve seu objetivo e parâmetros de treinamento, selecione um compute compatível e explique quaisquer suposições ou bloqueadores."
  • "Migre este Notebook de GPU do Databricks Runtime ML para o AI Runtime."

Outros recursos​

Nesta página