Configurar o acesso ao recurso a partir do endpoint servindo modelo

Este artigo descreve como configurar o acesso a recursos externos e privados a partir do endpoint do modelo de serviço. O servindo modelo suporta variável de ambiente de texto simples e variável de ambiente baseada em segredos usando Databricks secrets.

Requisitos

Para segredos baseados em variáveis de ambiente,

• O criador do endpoint deve ter acesso READ aos segredos do Databricks que estão sendo referenciados nas configurações.
• O senhor deve armazenar credenciais como seu API key ou outro tokens como um segredo Databricks.

Adicionar texto simples variável de ambiente

Use variável de ambiente em texto simples para definir variáveis que não precisam ser ocultadas. Você pode definir variáveis na interface de usuário de serviço, na API REST ou no SDK ao criar ou atualizar um endpoint.

Serving UI

Na UI do Serving, o senhor pode adicionar uma variável de ambiente nas configurações avançadas :

REST API

A seguir, um exemplo de criação de um endpoint de serviço usando a API REST do POST /api/2.0/serving-endpoints e o campo environment_vars para configurar sua variável de ambiente.

JSON

{
  "name": "endpoint-name",
  "config": {
    "served_entities": [
      {
        "entity_name": "model-name",
        "entity_version": "1",
        "workload_size": "Small",
        "scale_to_zero_enabled": "true",
        "environment_vars": {
          "TEXT_ENV_VAR_NAME": "plain-text-env-value"
        }
      }
    ]
  }
}

WorkspaceClient SDK

A seguir está um exemplo para criar um endpoint de serviço usando o WorkspaceClient SDK e o campo environment_vars para configurar sua variável de ambiente.

Python

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ServedEntityInput, EndpointCoreConfigInput, ServingModelWorkloadType

w = WorkspaceClient()

endpoint_name = "example-add-model"
model_name = "main.default.addmodel"
w.serving_endpoints.create_and_wait(
    name=endpoint_name,
    config=EndpointCoreConfigInput(
        served_entities=[
            ServedEntityInput(
                entity_name = model_name,
                entity_version = "2",
                workload_type = ServingModelWorkloadType("CPU"),
                workload_size = "Small",
                scale_to_zero_enabled = False,
                environment_vars = {
                    "MY_ENV_VAR": "value_to_be_injected",
                    "ADS_TOKEN": "abcdefg-1234"
                }
            )
        ]
    )
)

MLflow Deployments SDK

A seguir está um exemplo para criar um endpoint de serviço usando o SDK de implantações do Mlflow e o campo environment_vars para configurar sua variável de ambiente.

Python

from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
endpoint = client.create_endpoint(
    name="unity-catalog-model-endpoint",
    config={
        "served_entities": [
            {
                "name": "ads-entity"
                "entity_name": "catalog.schema.my-ads-model",
                "entity_version": "3",
                "workload_size": "Small",
                "scale_to_zero_enabled": True,
                "environment_vars": {
                    "MY_ENV_VAR": "value_to_be_injected",
                    "ADS_TOKEN": "abcdefg-1234"
                }
            }
        ]
    }
)

pesquisa de recurso de log DataFrames para tabelas de inferência

Se as tabelas de inferência estiverem ativadas no site endpoint, o senhor poderá log o quadro de dados de pesquisa de recurso automático para essa tabela de inferência usando ENABLE_FEATURE_TRACING. Isso requer o site MLflow 2.14.0 ou acima.

Defina ENABLE_FEATURE_TRACING como uma variável de ambiente na interface do usuário do Serving, na API REST ou no SDK ao criar ou atualizar um endpoint.

Serving UI

1. Em Advanced configurations (Configurações avançadas ), selecione ** + Add variável de ambiente.
2. Digite ENABLE_FEATURE_TRACING como nome do ambiente.
3. No campo à direita, digite true.

REST API

A seguir, um exemplo de criação de um endpoint de serviço usando a API REST POST /api/2.0/serving-endpoints e o campo environment_vars para configurar a variável de ambiente ENABLE_FEATURE_TRACING.

JSON

{
  "name": "endpoint-name",
  "config": {
    "served_entities": [
      {
        "entity_name": "model-name",
        "entity_version": "1",
        "workload_size": "Small",
        "scale_to_zero_enabled": "true",
        "environment_vars": {
          "ENABLE_FEATURE_TRACING": "true"
        }
      }
    ]
  }
}

WorkspaceClient SDK

A seguir está um exemplo para criar um endpoint de serviço usando o WorkspaceClient SDK e o campo environment_vars para configurar a variável de ambiente ENABLE_FEATURE_TRACING .

Python

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ServedEntityInput, EndpointCoreConfigInput, ServingModelWorkloadType

w = WorkspaceClient()

endpoint_name = "example-add-model"
model_name = "main.default.addmodel"
w.serving_endpoints.create_and_wait(
    name=endpoint_name,
    config=EndpointCoreConfigInput(
        served_entities=[
            ServedEntityInput(
                entity_name = model_name,
                entity_version = "2",
                workload_type = ServingModelWorkloadType("CPU"),
                workload_size = "Small",
                scale_to_zero_enabled = False,
                environment_vars = {
                    "ENABLE_FEATURE_TRACING": "true"
                }
            )
        ]
    )
)

MLflow Deployments SDK

A seguir está um exemplo para criar um endpoint de serviço usando o Mlflow Deployments SDK e o campo environment_vars para configurar a variável de ambiente ENABLE_FEATURE_TRACING .

Python

from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
endpoint = client.create_endpoint(
    name="unity-catalog-model-endpoint",
    config={
        "served_entities": [
            {
                "name": "ads-entity"
                "entity_name": "catalog.schema.my-ads-model",
                "entity_version": "3",
                "workload_size": "Small",
                "scale_to_zero_enabled": True,
                "environment_vars": {
                    "ENABLE_FEATURE_TRACING": "true"
                }
            }
        ]
    }
)

Adicionar variável de ambiente baseada em segredos

O senhor pode armazenar credenciais de forma segura usando segredos Databricks e fazer referência a esses segredos no modelo de serviço usando uma variável de ambiente baseada em segredos. Isso permite que as credenciais sejam obtidas do endpoint do modelo de atendimento no momento do atendimento.

Por exemplo, o senhor pode passar credenciais para chamar o OpenAI e outros endpoints de modelos externos ou acessar locais de armazenamento de dados externos diretamente do servindo modelo.

Databricks recomenda este recurso para implantar o OpenAI e LangChain MLflow e os sabores do modelo para servir. Também é aplicável a outros modelos do SaaS que exigem credenciais com o entendimento de que o padrão de acesso é baseado no uso de variável de ambiente e API key e tokens.

Etapa 1: Criar um escopo secreto

Durante o atendimento ao modelo, os segredos são recuperados de Databricks secrets pelo Secret Scope e key. Eles são atribuídos aos nomes secretos da variável de ambiente que podem ser usados no modelo.

Primeiro, crie um escopo secreto. Ver gerenciar Secret Scope.

Os seguintes são CLI comando:

Bash

databricks secrets create-scope my_secret_scope

Em seguida, o senhor pode adicionar seu segredo a um Secret Scope desejado e a key, conforme mostrado abaixo:

Bash

databricks secrets put-secret my_secret_scope my_secret_key

As informações secretas e o nome da variável de ambiente podem então ser passados para a configuração do endpoint durante a criação do endpoint ou como uma atualização da configuração de um endpoint existente.

Etapa 2: Adicionar o escopo secreto à configuração do site endpoint

O senhor pode adicionar o Secret Scope a uma variável de ambiente e passar essa variável para o site endpoint durante a criação do endpoint ou atualizações de configuração. Consulte Criar endpoint de modelo de serviço personalizado.

Serving UI

Na UI do Serving, o senhor pode adicionar uma variável de ambiente nas configurações avançadas . A variável de ambiente baseada em segredos deve ser fornecida usando a seguinte sintaxe: {{secrets/scope/key}}. Caso contrário, a variável de ambiente é considerada uma variável de ambiente de texto simples.

REST API

A seguir, um exemplo de criação de um endpoint de serviço usando a API REST. Durante a criação do modelo servindo endpoint e as atualizações de configuração, o senhor pode fornecer uma lista de especificações secretas de variável de ambiente para cada modelo servido dentro da solicitação API usando o campo environment_vars.

O exemplo a seguir atribui o valor do segredo criado no código fornecido à variável de ambiente OPENAI_API_KEY.

JSON

{
  "name": "endpoint-name",
  "config": {
    "served_entities": [
      {
        "entity_name": "model-name",
        "entity_version": "1",
        "workload_size": "Small",
        "scale_to_zero_enabled": "true",
        "environment_vars": {
          "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
        }
      }
    ]
  }
}

O senhor também pode atualizar um endpoint de serviço, como no exemplo a seguir da API REST do PUT /api/2.0/serving-endpoints/{name}/config:

JSON

{
  "served_entities": [
    {
      "entity_name": "model-name",
      "entity_version": "2",
      "workload_size": "Small",
      "scale_to_zero_enabled": "true",
      "environment_vars": {
        "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
      }
    }
  ]
}

WorkspaceClient SDK

A seguir está um exemplo de como criar um endpoint de serviço usando o WorkspaceClient SDK. Durante a criação endpoint do modelo de abastecimento e as atualizações de configuração, você pode fornecer uma lista de especificações secretas de variáveis de ambiente para cada modelo atendido dentro da solicitação API usando o campo environment_vars .

O exemplo a seguir atribui o valor do segredo criado no código fornecido à variável de ambiente OPENAI_API_KEY.

Python

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.serving import ServedEntityInput, EndpointCoreConfigInput, ServingModelWorkloadType

w = WorkspaceClient()

endpoint_name = "example-add-model"
model_name = "main.default.addmodel"
w.serving_endpoints.create_and_wait(
    name=endpoint_name,
    config=EndpointCoreConfigInput(
        served_entities=[
            ServedEntityInput(
                entity_name = model_name,
                entity_version = "2",
                workload_type = ServingModelWorkloadType("CPU"),
                workload_size = "Small",
                scale_to_zero_enabled = False,
                environment_vars = {
                    "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
                }
            )
        ]
    )
)

MLflow Deployments SDK

A seguir está um exemplo de como criar um endpoint de serviço usando o Mlflow Deployments SDK. Durante a criação endpoint do modelo de abastecimento e as atualizações de configuração, você pode fornecer uma lista de especificações secretas de variáveis de ambiente para cada modelo atendido dentro da solicitação API usando o campo environment_vars .

O exemplo a seguir atribui o valor do segredo criado no código fornecido à variável de ambiente OPENAI_API_KEY.

Python

from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
endpoint = client.create_endpoint(
    name="unity-catalog-model-endpoint",
    config={
        "served_entities": [
            {
                "name": "ads-entity"
                "entity_name": "catalog.schema.my-ads-model",
                "entity_version": "3",
                "workload_size": "Small",
                "scale_to_zero_enabled": True,
                "environment_vars": {
                    "OPENAI_API_KEY": "{{secrets/my_secret_scope/my_secret_key}}"
                }
            }
        ]
    }
)

Depois que o site endpoint é criado ou atualizado, o servindo modelo obtém automaticamente a chave secreta do Databricks Secret Scope e preenche a variável de ambiente para que o código de inferência do modelo seja usado.

Notebook exemplo

Veja no Notebook a seguir um exemplo de como configurar um OpenAI API key para uma cadeia de controle de qualidade de recuperação LangChain implantada atrás do endpoint do modelo de serviço com variável de ambiente baseada em segredo.

Configurar o acesso ao recurso a partir do endpoint servindo modelo Notebook

Open notebook in new tab

Recurso adicional

• Adicionar um perfil de instância a um endpoint de serviço de modelo