Pular para o conteúdo principal

Criar um endpoint de modelo de serviço personalizado

Este artigo descreve como criar um endpoint servindo modelo que serve modelos personalizados usando Databricks servindo modelo.

O servindo modelo oferece as seguintes opções para servir a criação do endpoint:

  • A interface de usuário de serviço
  • API REST
  • SDK de implantações do MLflow

Para criar um endpoint que atenda aos modelos generativos do AI, consulte Criar um endpoint que atenda ao modelo.

Requisitos​

Python
import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

Controle de acesso​

Para entender as opções de controle de acesso para o endpoint servindo modelo para o endpoint gerenciamento,consulte gerenciar permissões em seu endpoint endpoint servindo modelo.

Você também pode:

Criar um endpoint​

You can create an endpoint for model serving with the Serving UI.

  1. Click Serving in the sidebar to display the Serving UI.

  2. Click Create serving endpoint.

    Model serving pane in Databricks UI

For models registered in the Workspace model registry or models in Unity Catalog:

  1. In the Name field provide a name for your endpoint.

  2. In the Served entities section

    1. Click into the Entity field to open the Select served entity form.
    2. Select the type of model you want to serve. The form dynamically updates based on your selection.
    3. Select which model and model version you want to serve.
    4. Select the percentage of traffic to route to your served model.
    5. Select what size compute to use. You can use CPU or GPU computes for your workloads. See GPU workload types for more information on available GPU computes.
    6. Under Compute Scale-out, select the size of the compute scale out that corresponds with the number of requests this served model can process at the same time. This number should be roughly equal to QPS x model run time.
      1. Available sizes are Small for 0-4 requests, Medium 8-16 requests, and Large for 16-64 requests.
    7. Specify if the endpoint should scale to zero when not in use.
    8. Under Advanced configuration, you can:

  3. Click Create. The Serving endpoints page appears with Serving endpoint state shown as Not Ready.

    Create a model serving endpoint

Você também pode:

Tipos de carga de trabalho de GPU​

A implementação da GPU é compatível com as seguintes versões do pacote:

  • PyTorch 1.13.0 - 2.0.1
  • TensorFlow 2.5.0 - 2.13.0
  • MLflow 2.4.0 e acima

Para implantar seus modelos usando GPUs, inclua o campo workload_type em sua configuração endpoint durante a criação doendpoint ou como uma atualização da configuração endpoint usando o API. Para configurar seu endpoint para cargas de trabalho de GPU com a UI de serviço, selecione o tipo de GPU desejado no tipo de computação dropdown.

Bash
{
  "served_entities": [{
    "entity_name": "catalog.schema.ads1",
    "entity_version": "2",
    "workload_type": "GPU_MEDIUM",
    "workload_size": "Small",
    "scale_to_zero_enabled": false,
  }]
}

A tabela a seguir resume os tipos de carga de trabalho de GPU disponíveis suportados.

Tipo de carga de trabalho da GPU

Instância de GPU

Memória GPU

GPU_SMALL

1xT4

16GB

GPU_MEDIUM

1 x A10g

24 GB

MULTIGPU_MEDIUM

4xA10G

96 GB

GPU_MEDIUM_8

8xA10g

192 GB

Modificar um endpoint de modelo personalizado​

Depois de ativar um modelo personalizado endpoint, o senhor pode atualizar a configuração do compute conforme desejar. Essa configuração é particularmente útil se o senhor precisar de recurso adicional para o seu modelo. O tamanho da carga de trabalho e a compute configuração key do site desempenham um papel importante em quais recursos são alocados para atender ao seu modelo.

Até que a nova configuração esteja pronta, a configuração antiga continua fornecendo tráfego de previsão. Enquanto houver uma atualização em andamento, outra atualização não poderá ser feita. No entanto, você pode cancelar uma atualização em andamento na Serving UI.

After you enable a model endpoint, select Edit endpoint to modify the compute configuration of your endpoint.

You can do the following:

  • Choose from a few workload sizes, and autoscaling is automatically configured within the workload size.
  • Specify if your endpoint should scale down to zero when not in use.
  • Modify the percent of traffic to route to your served model.

You can cancel an in progress configuration update by selecting Cancel update on the top right of the endpoint’s details page. This functionality is only available in the Serving UI.

Pontuação de um modelo endpoint​

Para pontuar seu modelo, envie solicitações para o servindo modelo endpoint.

Recurso adicional​

Notebook exemplos​

O Notebook a seguir inclui diferentes Databricks modelos registrados que o senhor pode usar para começar a trabalhar com o endpoint modelo servindo. Para obter exemplos adicionais, consulte o tutorial: implantar e consultar um modelo personalizado.

Os exemplos de modelos podem ser importados para o site workspace seguindo as instruções em Import a Notebook. Depois de escolher e criar um modelo a partir de um dos exemplos, registre-o em Unity Catalog e siga as etapas do fluxo de trabalho da interface do usuário para servir o modelo.

Treine e registre um modelo scikit-learn para o servindo modelo Notebook

Open notebook in new tab

Treine e registre um modelo HuggingFace para servir o modelo Notebook

Open notebook in new tab
Última atualização em