provisionamento throughput Foundation Model APIs

Este artigo demonstra como implantar modelos usando o Foundation Model APIs com provisionamento Taxa de transferência. Databricks recomenda o provisionamento de taxas de transferência para cargas de trabalho de produção e fornece inferência otimizada para modelos de fundação com garantias de desempenho.

Consulte provisionamento Taxa de transferência APIs do Foundation Model para obter uma lista de arquiteturas de modelo suportadas.

Requisitos

Veja requisitos.

Para modelos de fundação implantados e ajustados,

  • Seu modelo deve ser logs usando MLflow 2.4 ou acima OU Databricks Runtime 13.2 ML ou acima.

  • A Databricks recomenda o uso de modelos no Unity Catalog para upload e downloads mais rápidos de modelos grandes.

[Recomendado] modelos de base implantados do Databricks Marketplace

Você pode instalar modelos básicos no Unity Catalog usando o Databricks Marketplace.

A Databricks recomenda a instalação de modelos de fundação usando Databricks Marketplace. O senhor pode pesquisar uma família de modelos e, na página do modelo, pode selecionar Get access (Obter acesso ) e fornecer credenciais de login para instalar o modelo no Unity Catalog.

Depois que o modelo for instalado em Unity Catalog, o senhor poderá criar um modelo de serviço endpoint usando a Serving UI. Consulte Criar seu provisionamento Taxa de transferência endpoint usando a UI.

Modelos DBRX do Databricks Marketplace

A Databricks recomenda o uso do modelo DBRX Instruct para suas cargas de trabalho. Para atender aos modelos DBRX Base e DBRX Instruct usando o provisionamento Taxa de transferência, o senhor deve seguir as orientações da seção anterior para instalar esses modelos em Unity Catalog a partir do site Databricks Marketplace.

Ao atender a esses modelos DBRX, o provisionamento Taxa de transferência suporta um comprimento de contexto de até 16k. Tamanhos maiores de contexto serão lançados em breve.

Os modelos DBRX usam o seguinte prompt do sistema default para garantir a relevância e a precisão das respostas do modelo:

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

registra modelos de fundação ajustados

Se não for possível instalar o modelo a partir do site Databricks Marketplace, o senhor pode implantar um modelo de fundação ajustado, registrando-o em Unity Catalog. O seguinte mostra como configurar o código para log um modelo MLflow para Unity Catalog:

mlflow.set_registry_uri('databricks-uc')
CATALOG = "ml"
SCHEMA = "llm-catalog"
MODEL_NAME = "mpt" # or "bge"
registered_model_name = f"{CATALOG}.{SCHEMA}.{MODEL_NAME}"

O senhor pode log seu modelo usando a variante MLflow transformers e especificar o campo tarefa nos metadados MLflow com uma das seguintes opções:

  • metadata = {"task": "llm/v1/completions"}

  • metadata = {"task": "llm/v1/chat"}

  • metadata = {"task": "llm/v1/embeddings"}

Isso especifica a assinatura API usada para o modelo de serviço endpoint, e os modelos registrados dessa forma estão qualificados para o provisionamento da Taxa de transferência.

A seguir, um exemplo de como registrar um modelo de linguagem de preenchimento de texto:

model = AutoModelForCausalLM.from_pretrained("mosaicml/mpt-7b-instruct",torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("mosaicml/mpt-7b-instruct")
with mlflow.start_run():
    components = {
        "model": model,
        "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        "model",
        input_example={"prompt": np.array(["Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\nWhat is Apache Spark?\n\n### Response:\n"])},
        metadata={"task": "llm/v1/completions"},
        registered_model_name=registered_model_name
    )

O provisionamento Taxa de transferência também suporta o modelo de incorporação BGE pequeno e grande. A seguir, um exemplo de como registrar o modelo BAAI/bge-small-en-v1.5 para que ele possa ser servido com o provisionamento Taxa de transferência:

model = AutoModel.from_pretrained("BAAI/bge-small-en-v1.5")
tokenizer = AutoTokenizer.from_pretrained("BAAI/bge-small-en-v1.5")
with mlflow.start_run():
    components = {
        "model": model,
        "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        artifact_path="bge-small-transformers",
        task="feature-extraction",
        metadata={"task": "llm/v1/embeddings"},
        registered_model_name=registered_model_name)

Crie seu endpoint de provisionamento de taxa de transferência usando a interface do usuário

Depois que os modelos registrados estiverem no Unity Catalog, crie um endpoint de provisionamento de taxa de transferência com os seguintes passos:

  1. Navegue até a UI de serviço em seu site workspace.

  2. Selecione Criar endpoint de serviço.

  3. No campo Entity (Entidade ), selecione seu modelo no Unity Catalog. Para modelos qualificados, a interface do usuário da entidade atendida mostra a tela de provisionamento Throughput.

  4. Em Up to dropdown, o senhor pode configurar a taxa máxima de transferência de tokens por segundo para o seu endpoint.

    1. provisionamento Os pontos de extremidade da Taxa de transferência escalam automaticamente, portanto, o senhor pode selecionar Modificar para view o mínimo de tokens por segundo que seu endpoint pode escalar.

provisionamento Taxa de transferência

Crie seu endpoint de provisionamento da Taxa de transferência usando a API REST

Para implantar seu modelo no modo de provisionamento Taxa de transferência usando a API REST, o senhor deve especificar os campos min_provisioned_throughput e max_provisioned_throughput em sua solicitação.

Para identificar a faixa adequada de provisionamento da Taxa de transferência para seu modelo, consulte Obter provisionamento da Taxa de transferência em incrementos.

import requests
import json

# Set the name of the MLflow endpoint
endpoint_name = "llama2-13b-chat"

# Name of the registered MLflow model
model_name = "ml.llm-catalog.llama-13b"

# Get the latest version of the MLflow model
model_version = 3

# Get the API endpoint and token for the current notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

headers = {"Context-Type": "text/json", "Authorization": f"Bearer {API_TOKEN}"}

optimizable_info = requests.get(
    url=f"{API_ROOT}/api/2.0/serving-endpoints/get-model-optimization-info/{model_name}/{model_version}",
    headers=headers)
    .json()

if 'optimizable' not in optimizable_info or not optimizable_info['optimizable']:
   raise ValueError("Model is not eligible for provisioned throughput")

chunk_size = optimizable_info['throughput_chunk_size']

# Minimum desired provisioned throughput
min_provisioned_throughput = 2 * chunk_size

# Maximum desired provisioned throughput
max_provisioned_throughput = 3 * chunk_size

# Send the POST request to create the serving endpoint
data = {
    "name": endpoint_name,
    "config": {
        "served_entities": [
            {
                "entity_name": model_name,
                "entity_version": model_version,
                "min_provisioned_throughput": min_provisioned_throughput,
                "max_provisioned_throughput": max_provisioned_throughput,
            }
        ]
    },
}

response = requests.post(
    url=f"{API_ROOT}/api/2.0/serving-endpoints", json=data, headers=headers
)

print(json.dumps(response.json(), indent=4))

Obter provisionamento Taxa de transferência em incrementos

O provisionamento Taxa de transferência está disponível em incrementos de tokens por segundo, com incrementos específicos que variam de acordo com o modelo. Para identificar o intervalo adequado às suas necessidades, a Databricks recomenda o uso da API de informações de otimização de modelos dentro da plataforma.

GET api/2.0/serving-endpoints/get-model-optimization-info/{registered_model_name}/{version}

A seguir, um exemplo de resposta da API:

{
 "optimizable": true,
 "model_type": "llama",
 "throughput_chunk_size": 980
}

Notebook exemplos

O Notebook a seguir mostra exemplos de como criar uma API Foundation Model de provisionamento Taxa de transferência:

provisionamento Taxa de transferência servindo para o modelo Llama2 Notebook

Abra o bloco de anotações em outra guia

provisionamento Taxa de transferência servindo para o modelo Mistral Notebook

Abra o bloco de anotações em outra guia

provisionamento Taxa de transferência servindo para o modelo BGE Notebook

Abra o bloco de anotações em outra guia

Limitações

  • A implementação do modelo pode falhar devido a problemas de capacidade da GPU, o que resulta em um tempo limite durante a criação ou atualização do endpoint. Entre em contato com a equipe da Databricks account para ajudar a resolver o problema.

  • O escalonamento automático para APIs de modelos básicos é mais lento que o modelo de CPU instalado. A Databricks recomenda o provisionamento excessivo para evitar tempos limite de solicitação.