Migrar para o modelo servindo

info

Visualização

O Mosaic AI Model Serving está em Public Preview e é compatível com os sites us-east1 e us-central1.

Este artigo demonstra como habilitar o servindo modelo em seu workspace e mudar seus modelos para a Mosaic AI Model Serving experiência construída em serverless compute.

Requisitos

• Modelo registrado no MLflow Model Registry.
• Permissões nos modelos registrados, conforme descrito no guia de controle de acesso.
• Habilite o serverless compute em seu workspace.

Mudanças significativas

• No modelo servindo, o formato da solicitação para o endpoint e a resposta do endpoint são ligeiramente diferentes do modelo servindo Legacy MLflow. Consulte Pontuação de um endpoint de modelo para obter detalhes sobre o novo protocolo de formato.
• No modelo servindo, o URL endpoint inclui serving-endpoints em vez de model.
• O modelo servindo inclui suporte completo para o gerenciamento de recursos com API fluxo de trabalho.
• A servindo modelo está pronta para a produção e conta com o apoio do site Databricks SLA.

Migrar o legado MLflow servindo modelo modelos servidos para servindo modelo

O senhor pode criar um servindo modelo endpoint e fazer uma transição flexível do servindo modelo fluxo de trabalho sem desativar o Legacy MLflow servindo modelo.

As passos a seguir mostram como fazer isso com a IU. Para cada modelo no qual você tem Legacy MLflow Model Serving ativado:

1. registre seu modelo em Unity Catalog.
2. Navegue até o endpoint Serving na barra lateral do seu aprendizado de máquina workspace.
3. Siga o fluxo de trabalho descrito em Criar endpoint de modelo de serviço personalizado sobre como criar um serviço endpoint com seu modelo.
4. Faça a transição do seu aplicativo para usar a nova URL fornecida pelo endpoint de atendimento para consultar o modelo, juntamente com o novo formato de pontuação.
5. Quando os modelos forem transferidos, o senhor poderá navegar para Models (Modelos ) na barra lateral do aprendizado de máquina workspace.
6. Selecione o modelo para o qual o senhor deseja desativar o Legacy MLflow servindo modelo.
7. No site Serving tab, selecione Stop (Parar ).
8. Uma mensagem aparece para confirmar. Selecione Parar de servir .

Migrar versões do modelo implantado para o modelo em funcionamento

Nas versões anteriores da funcionalidade servindo modelo, o serviço endpoint era criado com base no estágio da versão do modelo registrado: Staging ou Production. Para migrar seus modelos servidos dessa experiência, o senhor pode replicar esse comportamento na nova experiência servindo modelo.

Esta seção demonstra como criar endpoints de serviço de modelo separados para Staging versões de modelo e Production versões de modelo. As passos a seguir mostram como fazer isso com a API de endpoints de serviço para cada um de seus modelos atendidos.

No exemplo, o nome do modelo registrado modelA tem a versão 1 no estágio de modelo Production e a versão 2 no estágio de modelo Staging.

1. Crie dois endpoints para o seu modelo registrado, um para as versões do modelo Staging e outro para as versões do modelo Production.

   Para as versões do modelo Staging:

   Bash

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Staging"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"2",  // Staging Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }

   Para as versões do modelo Production:

   Bash

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Production"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"1",   // Production Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }

2. Verifique o status do ponto de extremidade.

   Para Staging endpoint: GET /api/2.0/serving-endpoints/modelA-Staging

   Para o endpoint de produção: GET /api/2.0/serving-endpoints/modelA-Production

3. Quando o endpoint estiver pronto, consulte o site endpoint usando:

   Para Staging endpoint: POST /serving-endpoints/modelA-Staging/invocations

   Para o endpoint de produção: POST /serving-endpoints/modelA-Production/invocations

4. Atualizar o endpoint com base nas transições de versão do modelo.

   No cenário em que um novo modelo versão 3 é criado, você pode fazer a transição da versão 2 do modelo para Production, enquanto a versão do modelo 3 pode fazer a transição para Staging e a versão 1 do modelo é Archived. Essas alterações podem ser refletidas em um endpoint de modelo de serviço separado da seguinte forma:

   Para o endpoint Staging, atualize o endpoint para usar a nova versão do modelo em Staging.

   Bash

   PUT /api/2.0/serving-endpoints/modelA-Staging/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"3",  // New Staging model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }

   Para o endpoint Production, atualize o endpoint para usar a nova versão do modelo em Production.

   Bash

   PUT /api/2.0/serving-endpoints/modelA-Production/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"2",  // New Production model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }

Recurso adicional

• Criar endpoint de modelo de serviço