Pular para o conteúdo principal

Consulte um modelo externo com ai_query

info

Visualização

Essa função está na Pré-visualização Pública. Para consultar o endpoint que atende a modelos externos, ative a IA para modelos personalizados e modelos externos na UIDatabricks Previews.

Este artigo ilustra como configurar e consultar um modelo externo endpoint usando a função integrada Databricks SQL ai_query(). O exemplo usa o suporte de modelo externo em Mosaic AI Model Serving para consultar gpt-4 fornecido pela OpenAI e realizar a tarefa de bate-papo. Consulte AI Functions em Databricks para obter mais detalhes sobre essa função AI.

Requisitos

Criar um endpoint de modelo externo

A seguir, o senhor cria um modelo de serviço externo endpoint que atende ao OpenAI gpt-4 para uma tarefa de bate-papo.

Para criar tokens de acesso pessoal, consulte Autenticação para automação Databricks.

Python
import requests
import json

personal_access_token = "your-personal-access-token"
headers = {
"Authorization": "Bearer " + personal_access_token,
}
host = "https://oregon.cloud.databricks.com/"
url = host + "api/2.0/serving-endpoints"

data = {
"name": "my-external-openai-chat",
"config": {
"served_entities": [
{
"name": "my_entity",
"external_model": {
"name": "gpt-4",
"provider": "openai",
"openai_config": {
"openai_api_key": "{{secrets/my-external-model/openai}}",
},
"task": "llm/v1/chat",
},
}
],
},
}

response = requests.post(url, headers=headers, json=data)

print("Status Code", response.status_code)
print("JSON Response ", json.dumps(json.loads(response.text), indent=4))

Consultar o modelo externo com ai_query()

No editor de consultas Databricks SQL, o senhor pode escrever consultas SQL para consultar o modelo de serviço externo endpoint.

Exemplos de consultas:

SQL
SELECT ai_query(
"my-external-openai-chat",
"What is a large language model?"
)

SELECT question, ai_query(
"my-external-openai-chat",
"You are a customer service agent. Answer the customer's question in 100 words: " || question
) AS answer
FROM
uc_catalog.schema.customer_questions

SELECT
sku_id,
product_name,
ai_query(
"my-external-openai-chat",
"You are a marketing expert for a winter holiday promotion targeting GenZ. Generate a promotional text in 30 words mentioning a 50% discount for product: " || product_name
)
FROM
uc_catalog.schema.retail_products
WHERE
inventory > 2 * forecasted_sales

Recurso adicional