Pular para o conteúdo principal

Migrar fluxo de trabalho e modelos para o Unity Catalog

Databricks recomenda o uso de modelos no Unity Catalog para melhor governança, fácil compartilhamento entre espaços de trabalho e ambientes e fluxo de trabalho MLOps mais flexível. Esta página orienta você na migração de modelos do Workspace Model Registry para o Unity Catalog.

Introdução aos modelos no Unity Catalog​

Os modelos no Unity Catalog estendem os benefícios do Unity Catalog aos modelos de ML , incluindo controle de acesso centralizado, auditoria, linhagem e compartilhamento e descoberta de modelos no espaço de trabalho. Os modelos no Unity Catalog também oferecem maior flexibilidade no gerenciamento do ciclo de vida do modelo.

Ao migrar modelos para Unity Catalog, alguns passos do ciclo de vida do modelo são feitos de forma diferente:

o passo 1. Crie um modelo no Unity Catalog​

Veja ensinar e registrar modelos compatíveis com o Unity Catalog.

o passo 2. Atribuir permissões Unity Catalog ao modelo​

O Unity Catalog tem um modelo de permissão unificado. Para saber como atribuir permissões a modelos no Unity Catalog, consulte Controlar acesso a modelos.

A tabela a seguir mostra a relação entre permissões no workspace registro de modelo e privilégios no Unity Catalog. Além dos privilégios mostrados na tabela, todas as ações também exigem os privilégios USE CATALOG e USE SCHEMA .

espaço de trabalho registro de modelo

Unity Catalog

Notas

Pode ler

EXECUTAR

Pode editar

CRIAR VERSÃO DO MODELO + APLICAR tag

Usuários com esses privilégios não podem editar a descrição dos modelos ou versões dos modelos.

Pode gerenciar versões de preparação

Tag APLICAR + trabalho de implantação

No Unity Catalog, as tarefas de implantação são usadas para controlar a movimentação de versões do modelo pelos estágios do ciclo de vida. Para obter detalhes, consulte Tarefa de implantaçãoMLflow 3.

Pode gerenciar versões de produção

Tag APLICAR + trabalho de implantação

No Unity Catalog, as tarefas de implantação são usadas para controlar a movimentação de versões do modelo pelos estágios do ciclo de vida. Para obter detalhes, consulte Tarefa de implantaçãoMLflow 3.

Pode gerenciar

gerenciar

o passo 3. Copiar versões do modelo​

Para copiar versões do modelo, use copy_model_version() com o cliente MLflow >= 3.4.0.

Python
from mlflow import MLflowClient

# Registry must be set to workspace registry
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

Se o modelo de destino não existir no Unity Catalog, ele será criado por esta chamada de API.

Os modelos no Unity Catalog exigem uma assinatura. Se a versão do modelo workspace não tiver uma assinatura, Databricks recomenda que você crie uma seguindo as instruções na documentaçãoMLflow. Outra alternativa é usar a variável de ambiente MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATION. Esta variável de ambiente só está disponível quando você usa copy_model_version() e requer a versão 3.4.0 ou superior MLflow . Quando esta variável de ambiente é definida como "true", uma assinatura não é necessária.

Para obter um script que você pode usar para migrar todas as versões de modelo de um modelo no seu registro de modelo workspace para um modelo Unity Catalog de destino, consulte Migrar versões de modelo do Workspace Model Registry para o Unity Catalog.

o passo 4. Migrar metadados do modelo​

Esta seção descreve como mapear metadados no nível do registro workspace para metadados do modelo e da versão do modelo Unity Catalog , como estágios, tags e descrições.

Estágios​

O Workspace Model Registry usou o conceito de "estágios", como Staging e Production, para rastrear o ciclo de vida do modelo. Você pode procurar ou ligar para modelos por estágio. No Unity Catalog, os estágios foram substituídos por aliases para chamar um modelo e por tags para modelos de rótulo.

Para uma migração simples dos estágios do Workspace Model Registry, você pode usar diretamente "Produção" e "Preparação" ou quaisquer outros nomes alternativos de sua preferência. No Workspace Model Registry, várias versões de modelo podem estar no mesmo estágio, e a versão mais recente foi chamada quando você referenciou uma versão de modelo. No Unity Catalog, um alias é atribuído a uma versão de modelo exclusiva.

Para migração simples de rótulo de estágio, use tags para versões de modelo de rótulo como "Produção", "Preparação" ou "Arquivado". Você também pode usar qualquer outro rótulo. Para mais informações sobre tags, veja tags.

No Workspace Model Registry, o ciclo de vida de uma versão de modelo era rastreado por estágio, e a aprovação humana era necessária para uma solicitação de transição. No Unity Catalog, o ciclo de vida de uma versão de modelo é gerenciado por um Job de implantação. Cada tarefa no Job de implantação corresponde a um "estágio". O trabalho de implantação permite que você personalize o ciclo de vida do modelo e acomode um fluxo de trabalho mais complicado do que o Workspace Model Registry. O trabalho de implantação ainda acomoda aprovações humanas. Para obter detalhes, consulte Tarefa de implantaçãoMLflow 3.

etiquetas​

No Unity Catalog, você cria tags no modelo ou na versão do modelo.

Botão Adicionar tags na interface do usuário da versão do modelo do Unity Catalog.

Para pesquisar um modelo por tag no Catalog Explorer, digite a key ou o valor na caixa de pesquisa:

Pesquise modelos por tag na interface do usuário do modelo Unity Catalog .

No Catalog Explorer, você pode usar tags somente para pesquisar modelos, não versões de modelos. O cliente MLflow não oferece suporte à pesquisa de modelos por tags do Unity Catalog. O Unity Catalog permite no máximo 50 tags por objeto.

Descrição e comentários​

Você pode adicionar descrições ao modelo e à versão do modelo. Unity Catalog também oferece a opção de uma descrição gerada porAIpara o modelo.

Adicione a descrição do modelo ou da versão do modelo no Unity Catalog.

Os modelos no Unity Catalog não têm um local correspondente para as informações mostradas na seção Atividades na página da versão do modelo no workspace de registro de modelo. Se houver informações nessa seção que você deseja transferir com a versão do modelo, copie-as para a seção Descrição da página da versão do modelo no Unity Catalog.

o passo 5. Atualizar todas as cargas de trabalho e endpoint​

Depois de migrar modelos e versões de modelos para Unity Catalog, atualize todos os Jobs, Notebooks e outras cargas de trabalho, incluindo o ponto de extremidade do modelo de trabalho, para usar as versões no Unity Catalog.

o passo 6. (Opcional) Crie um trabalho de implantação​

Um trabalho de implantação é acionado automaticamente sempre que uma nova versão do modelo é criada e automatiza a avaliação, aprovação e fluxo de trabalho de implantação. Para obter detalhes, consulte Tarefa de implantaçãoMLflow 3.

Você pode definir notificações para serem acionadas em eventos como a criação ou aprovação de uma versão de modelo. Consulte Adicionar notificações em um trabalho.

Se você tiver notificações email configuradas para eventos no Workspace Model Registry, migre-as da seguinte maneira:

  • Nova versão do modelo foi criada: configure um trabalho de implantação que seja acionado quando uma nova versão do modelo for criada e uma notificação email quando o trabalho for acionado.
  • Pedido de transição de estágio: os pedidos de transição de estágio correspondem à tarefa de aprovação. Defina uma notificação email para o sucesso ou falha da tarefa de aprovação.
  • transição de estágio: transição de estágio corresponde à tarefa do trabalho. Defina uma notificação email para o sucesso ou falha da tarefa.
  • Novos comentários: Comentários não são suportados no Unity Catalog.

Mais informações​

As páginas vinculadas abaixo descrevem como migrar o fluxo de trabalho (modelo treinamento e lotes inference Job) do Workspace Model Registry para o Unity Catalog.

Última atualização em