gerenciamento de controle do modelo endpoint

Este artigo descreve como gerenciar endpoint do modelo de navegação usando a IU de serviço e a API REST. Consulte Servindo endpoint na referência da API REST.

Para criar um endpoint de modelo de serviço, use um dos seguintes procedimentos:

Obtenha o status do endpoint do modelo

Na IU de exibição , você pode verificar o status de um endpoint no indicador de estado do endpoint de exibição na parte superior da página de detalhes do seu endpoint.

O senhor pode verificar o status e os detalhes de um endpoint programaticamente usando a API REST ou o SDK do MLflow Deployments

GET /api/2.0/serving-endpoints/{name}

O exemplo a seguir obtém os detalhes de um endpoint que atende a primeira versão do modelo ads1 registrado no registro de modelo. Para especificar um modelo do Unity Catalog, forneça o nome completo do modelo, incluindo o catálogo pai e o esquema, como catalog.schema.example-model.

No exemplo de resposta a seguir, o campo state.ready é “READY”, o que significa que o endpoint está pronto para receber tráfego. O campo state.update_state é NOT_UPDATING e pending_config não é mais retornado porque a atualização foi concluída com êxito.

{
  "name": "workspace-model-endpoint",
  "creator": "customer@example.com",
  "creation_timestamp": 1666829055000,
  "last_updated_timestamp": 1666829055000,
  "state": {
    "ready": "READY",
    "update_state": "NOT_UPDATING"
  },
  "config": {
    "served_entities": [
      {
        "name": "ads1-1",
        "entity_name": "ads1",
        "entity_version": "1",
        "workload_size": "Small",
        "scale_to_zero_enabled": false,
        "state": {
          "deployment": "DEPLOYMENT_READY",
          "deployment_state_message": ""
        },
        "creator": "customer@example.com",
        "creation_timestamp": 1666829055000
      }
    ],
    "traffic_config": {
      "routes": [
        {
          "served_model_name": "ads1-1",
          "traffic_percentage": 100
        }
      ]
    },
    "config_version": 1
  },
  "id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "permission_level": "CAN_MANAGE"
}
from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
endpoint = client.get_endpoint(endpoint="chat")
assert endpoint == {
    "name": "chat",
    "creator": "alice@company.com",
    "creation_timestamp": 0,
    "last_updated_timestamp": 0,
    "state": {...},
    "config": {...},
    "tags": [...],
    "id": "88fd3f75a0d24b0380ddc40484d7a31b",
}

Excluir um endpoint de modelo de atividade

Para desabilitar a veiculação de um modelo, você pode excluir o endpoint em que ele é veiculado.

Você pode excluir um endpoint da página de detalhes do endpoint na IU do Serving .

  1. Clique em Exibição na barra lateral.

  2. Clique no endpoint que você deseja excluir.

  3. Clique no menu kebab na parte superior e selecione Excluir.

Como alternativa, o senhor pode excluir um endpoint de serviço programaticamente usando a API REST ou o SDK do MLflow Deployments

DELETE /api/2.0/serving-endpoints/{name}
from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
client.delete_endpoint(endpoint="chat")

Depure seu endpoint de modelo específico

Para depurar quaisquer problemas com o endpoint, você pode buscar:

  • logsde compilação do contêiner do servidor modelo

  • logsdo servidor modelo

Esses logs também podem ser acessados na endpoint UI tabna Logs .

Para os logs de build de um modelo servido, você pode usar a seguinte solicitação:

GET /api/2.0/serving-endpoints/{name}/served-models/{served-model-name}/build-logs
{
  “config_version”: 1  // optional
}

Para os logs do servidor modelo de um modelo de atendimento, você pode usar a seguinte solicitação:

GET /api/2.0/serving-endpoints/{name}/served-models/{served-model-name}/logs

{
  “config_version”: 1  // optional
}

gerenciar permissões em seu modelo de serviço endpoint

O senhor deve ter pelo menos a permissão CAN MANAGE em um endpoint de serviço para modificar as permissões. Para obter mais informações sobre os níveis de permissão, consulte Serving endpoint ACLs.

Obtém a lista de permissões no endpoint de serviço.

databricks permissions get servingendpoints <endpoint-id>

Conceder ao usuário jsmith@example.com a permissão CAN QUERY no endpoint de serviço.

databricks permissions update servingendpoints <endpoint-id> --json '{
  "access_control_list": [
    {
      "user_name": "jsmith@example.com",
      "permission_level": "CAN_QUERY"
    }
  ]
}'

O senhor também pode modificar as permissões do endpoint de atendimento usando a API de permissões.