provisionamento throughput Foundation Model APIs

Este artigo demonstra como implantar modelos usando o Foundation Model APIs com provisionamento Taxa de transferência. Databricks recomenda o provisionamento de taxas de transferência para cargas de trabalho de produção e fornece inferência otimizada para modelos de fundação com garantias de desempenho.

Consulte provisionamento Taxa de transferência APIs do Foundation Model para obter uma lista de arquiteturas de modelo suportadas.

Requisitos

Veja requisitos.

Para modelos de fundação implantados e ajustados,

Seu modelo deve ser de logs usando MLflow 2.11 ou acima, OU Databricks Runtime 15.0 ML ou acima.
A Databricks recomenda o uso de modelos no Unity Catalog para upload e downloads mais rápidos de modelos grandes.

[Recomendado] modelos de base implantados do Databricks Marketplace

Você pode instalar modelos básicos no Unity Catalog usando o Databricks Marketplace.

A Databricks recomenda a instalação de modelos de fundação usando Databricks Marketplace. O senhor pode pesquisar uma família de modelos e, na página do modelo, pode selecionar Get access (Obter acesso ) e fornecer credenciais de login para instalar o modelo no Unity Catalog.

Depois que o modelo for instalado em Unity Catalog, o senhor poderá criar um modelo de serviço endpoint usando a Serving UI. Consulte Criar seu provisionamento Taxa de transferência endpoint usando a UI.

Modelos DBRX do Databricks Marketplace

A Databricks recomenda o uso do modelo DBRX Instruct para suas cargas de trabalho. Para atender aos modelos DBRX Base e DBRX Instruct usando o provisionamento Taxa de transferência, o senhor deve seguir as orientações da seção anterior para instalar esses modelos em Unity Catalog a partir do site Databricks Marketplace.

Ao atender a esses modelos DBRX, o provisionamento Taxa de transferência suporta um comprimento de contexto de até 16k. Tamanhos maiores de contexto serão lançados em breve.

Os modelos DBRX usam o seguinte prompt do sistema default para garantir a relevância e a precisão das respostas do modelo:

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

registra modelos de fundação ajustados

Se não for possível instalar o modelo a partir do site Databricks Marketplace, o senhor pode implantar um modelo de fundação ajustado, registrando-o em Unity Catalog. O seguinte mostra como configurar o código para log um modelo MLflow para Unity Catalog:

mlflow.set_registry_uri('databricks-uc')
CATALOG = "ml"
SCHEMA = "llm-catalog"
MODEL_NAME = "mpt" # or "bge"
registered_model_name = f"{CATALOG}.{SCHEMA}.{MODEL_NAME}"

O senhor pode log seu modelo usando a variante MLflow transformers e especificar o argumento tarefa com a interface de tipo de modelo apropriada das seguintes opções:

task="llm/v1/completions"
task="llm/v1/chat"
task="llm/v1/embeddings"

Esses argumentos especificam a assinatura API usada para o modelo de serviço endpoint, e os registros de modelos dessa forma são qualificados para o provisionamento Taxa de transferência.

Os registros de modelos do pacote sentence_transformers também suportam a definição do tipo "llm/v1/embeddings" endpoint.

Para logs de modelos que usam MLflow 2.12 ou acima, o argumento log_model task define o valor metadata task key's value automatically. Se o argumento task e o argumento metadata task forem definidos com valores diferentes, será gerado um Exception.

A seguir, um exemplo de como log um modelo de linguagem de preenchimento de texto com logs usando MLflow 2.12 ou acima:

model = AutoModelForCausalLM.from_pretrained("mosaicml/mpt-7b-instruct",torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("mosaicml/mpt-7b-instruct")
with mlflow.start_run():
    components = {
        "model": model,
        "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        artifact_path="model",
        input_example={"prompt": np.array(["Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\nWhat is Apache Spark?\n\n### Response:\n"])},
        task="llm/v1/completions",
        registered_model_name=registered_model_name
    )

Para logs de modelos que usam MLflow 2.11 ou acima, o senhor pode especificar a interface para endpoint usando os seguintes valores de metadados:

metadata = {"task": "llm/v1/completions"}
metadata = {"task": "llm/v1/chat"}
metadata = {"task": "llm/v1/embeddings"}

A seguir, um exemplo de como log um modelo de linguagem de preenchimento de texto com logs usando MLflow 2.11 ou acima:

model = AutoModelForCausalLM.from_pretrained("mosaicml/mpt-7b-instruct",torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("mosaicml/mpt-7b-instruct")
with mlflow.start_run():
    components = {
        "model": model,
        "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        artifact_path="model",
        input_example={"prompt": np.array(["Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\nWhat is Apache Spark?\n\n### Response:\n"])},
        task="llm/v1/completions",
        metadata={"task": "llm/v1/completions"},
        registered_model_name=registered_model_name
    )

O provisionamento Taxa de transferência também suporta o modelo de incorporação BGE pequeno e grande. A seguir, um exemplo de como log o modelo BAAI/bge-small-en-v1.5 para que possa ser servido com o provisionamento Taxa de transferência usando MLflow 2.11 ou superior:

model = AutoModel.from_pretrained("BAAI/bge-small-en-v1.5")
tokenizer = AutoTokenizer.from_pretrained("BAAI/bge-small-en-v1.5")
with mlflow.start_run():
    components = {
        "model": model,
        "tokenizer": tokenizer,
    }
    mlflow.transformers.log_model(
        transformers_model=components,
        artifact_path="bge-small-transformers",
        task="llm/v1/embeddings",
        metadata={"task": "llm/v1/embeddings"},  # not needed for MLflow >=2.12.1
        registered_model_name=registered_model_name
    )

Ao registrar um modelo BGE ajustado, o senhor também deve especificar model_type metadados key:

metadata={
    "task": "llm/v1/embeddings",
    "model_type": "bge-large"  # Or "bge-small"
}

Crie seu endpoint de provisionamento de taxa de transferência usando a interface do usuário

Depois que os modelos registrados estiverem no Unity Catalog, crie um endpoint de provisionamento de taxa de transferência com os seguintes passos:

Navegue até a UI de serviço em seu site workspace.
Selecione Criar endpoint de serviço.
No campo Entity (Entidade ), selecione seu modelo no Unity Catalog. Para modelos qualificados, a interface do usuário da entidade atendida mostra a tela de provisionamento Throughput.
Em Up to dropdown, o senhor pode configurar a taxa máxima de transferência de tokens por segundo para o seu endpoint.
1. provisionamento Os pontos de extremidade da Taxa de transferência escalam automaticamente, portanto, o senhor pode selecionar Modificar para view o mínimo de tokens por segundo que seu endpoint pode escalar.

Crie seu endpoint de provisionamento da Taxa de transferência usando a API REST

Para implantar seu modelo no modo de provisionamento Taxa de transferência usando a API REST, o senhor deve especificar os campos min_provisioned_throughput e max_provisioned_throughput em sua solicitação.

Para identificar a faixa adequada de provisionamento da Taxa de transferência para seu modelo, consulte Obter provisionamento da Taxa de transferência em incrementos.

import requests
import json

# Set the name of the MLflow endpoint
endpoint_name = "llama2-13b-chat"

# Name of the registered MLflow model
model_name = "ml.llm-catalog.llama-13b"

# Get the latest version of the MLflow model
model_version = 3

# Get the API endpoint and token for the current notebook context
API_ROOT = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiUrl().get()
API_TOKEN = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

headers = {"Context-Type": "text/json", "Authorization": f"Bearer {API_TOKEN}"}

optimizable_info = requests.get(
    url=f"{API_ROOT}/api/2.0/serving-endpoints/get-model-optimization-info/{model_name}/{model_version}",
    headers=headers)
    .json()

if 'optimizable' not in optimizable_info or not optimizable_info['optimizable']:
   raise ValueError("Model is not eligible for provisioned throughput")

chunk_size = optimizable_info['throughput_chunk_size']

# Minimum desired provisioned throughput
min_provisioned_throughput = 2 * chunk_size

# Maximum desired provisioned throughput
max_provisioned_throughput = 3 * chunk_size

# Send the POST request to create the serving endpoint
data = {
    "name": endpoint_name,
    "config": {
        "served_entities": [
            {
                "entity_name": model_name,
                "entity_version": model_version,
                "min_provisioned_throughput": min_provisioned_throughput,
                "max_provisioned_throughput": max_provisioned_throughput,
            }
        ]
    },
}

response = requests.post(
    url=f"{API_ROOT}/api/2.0/serving-endpoints", json=data, headers=headers
)

print(json.dumps(response.json(), indent=4))

Obter provisionamento Taxa de transferência em incrementos

O provisionamento Taxa de transferência está disponível em incrementos de tokens por segundo, com incrementos específicos que variam de acordo com o modelo. Para identificar o intervalo adequado às suas necessidades, a Databricks recomenda o uso da API de informações de otimização de modelos dentro da plataforma.

GET api/2.0/serving-endpoints/get-model-optimization-info/{registered_model_name}/{version}

A seguir, um exemplo de resposta da API:

{
 "optimizable": true,
 "model_type": "llama",
 "throughput_chunk_size": 980
}

Notebook exemplos

O Notebook a seguir mostra exemplos de como criar uma API Foundation Model de provisionamento Taxa de transferência:

Limitações

A implementação do modelo pode falhar devido a problemas de capacidade da GPU, o que resulta em um tempo limite durante a criação ou atualização do endpoint. Entre em contato com a equipe da Databricks account para ajudar a resolver o problema.
O escalonamento automático para APIs de modelos básicos é mais lento que o modelo de CPU instalado. A Databricks recomenda o provisionamento excessivo para evitar tempos limite de solicitação.