Pular para o conteúdo principal

Criar um endpoint de modelo de serviço de fundação

Neste artigo, o senhor aprenderá a criar um endpoint de modelo de serviço que implante e sirva modelos de fundação.

O Mosaic AI Model Serving é compatível com os seguintes modelos:

  • Modelos externos. Esses são modelos de base que são hospedados fora da Databricks. que atendem a modelos externos podem ser controlados de forma centralizada e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Os exemplos incluem modelos de fundação como o GPT-4 da OpenAI e o Claude da Anthropic.

  • Modelos de fundação abertos de última geração disponibilizados por APIs de modelo de fundação. Esses modelos são arquiteturas de modelos básicos selecionadas que oferecem suporte à inferência otimizada. Modelos básicos, como Meta-Llama-3.1-70B-Instruct, GTE-Large e Mistral-7B estão disponíveis para uso imediato com preços pay-per-tokens . As cargas de trabalho de produção, usando modelos básicos ou ajustados, podem ser implantadas com garantias de desempenho usando o provisionamento da taxa de transferência .

A servindo modelo oferece as seguintes opções para a criação da servindo modelo endpoint:

  • A interface de usuário de serviço
  • API REST
  • SDK de implantações do MLflow

Para criar um ponto de extremidade que atenda aos modelos tradicionais ML ou Python, consulte Criar ponto de extremidade de modelo de serviço personalizado.

Requisitos​

Python
import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

Criar uma fundação servindo de modelo endpoint​

O senhor pode criar um site endpoint que serve variantes ajustadas de modelos de fundação disponibilizados usando o Modelo de Fundação APIs provisionamento Taxa de transferência . Consulte Criar seu provisionamento Taxa de transferência endpoint usando o REST API .

Para os modelos básicos que são disponibilizados usando o modelo básico APIs pay-per-tokens , o Databricks fornece automaticamente um ponto de extremidade específico para acessar os modelos compatíveis em seu Databricks workspace. Para acessá-las, selecione Serving tab na barra lateral esquerda do site workspace. O Foundation Model APIs está localizado na parte superior da lista de endpoints view.

Para consultar esses pontos de extremidade, consulte Consultar modelos de base.

Criar um modelo de serviço externo endpoint​

A seguir, descrevemos como criar um endpoint que consulta um modelo básico disponibilizado usando modelos externos do Databricks.

  1. In the Name field provide a name for your endpoint.
  2. In the Served entities section
    1. Click into the Entity field to open the Select served entity form.
    2. Select Foundation models.
    3. In the Select a foundation model field, select the model provider you want to use from those listed under External model providers. The form dynamically updates based on your model provider selection.
    4. Click Confirm.
    5. Provide the configuration details for accessing the selected model provider. This is typically the secret that references the personal access token you want the endpoint to use to access this model.
    6. Select the task. Available tasks are chat, completion, and embeddings.
    7. Select the name of the external model you want to use. The list of models dynamically updates based on your task selection. See the available external models.
  3. Click Create. The Serving endpoints page appears with Serving endpoint state shown as Not Ready.

Create a model serving endpoint

Atualizar o endpoint do modelo de serviço​

Após habilitar um modelo endpoint, o senhor pode definir a configuração compute conforme desejado. Essa configuração é particularmente útil se o senhor precisar de recurso adicional para o seu modelo. O tamanho da carga de trabalho e a compute configuração key do site desempenham um papel importante em quais recursos são alocados para atender ao seu modelo.

Até que a nova configuração esteja pronta, a configuração antiga continua fornecendo tráfego de previsão. Enquanto houver uma atualização em andamento, outra atualização não poderá ser feita. Na interface de usuário do Serving, o senhor pode cancelar uma atualização de configuração em andamento selecionando Cancel update (Cancelar atualização) no canto superior direito da página de detalhes do endpoint. Essa funcionalidade só está disponível na interface de usuário de serviço.

Quando um external_model está presente em uma configuração de endpoint, a lista de entidades servidas só pode ter um objeto served_entity. O endpoint existente com um external_model não pode ser atualizado para não ter mais um external_model. Se o endpoint for criado sem um external_model, o senhor não poderá atualizá-lo para adicionar um external_model.

To update your endpoint see the REST API update configuration documentation for request and response schema details.

Bash
{
  "name": "openai_endpoint",
  "served_entities":
  [
    {
      "name": "openai_chat",
      "external_model":{
        "name": "gpt-4",
        "provider": "openai",
        "task": "llm/v1/chat",
        "openai_config":{
          "openai_api_key": "{{secrets/my_scope/my_openai_api_key}}"
        }
      }
    }
  ]
}

Recurso adicional​

Última atualização em