Consultar serviços de modelo

info

Beta

Esse recurso está em Beta. Administradores da conta podem controlar o acesso a este recurso na página Prévias do console da conta. Consulte Gerenciar prévias do Databricks.

Esta página descreve como consultar serviços de modelo no Unity Catalog.

Requisitos

• Prévia do Unity AI Gateway ativada para sua account. Consulte Gerenciar prévias do Databricks.
• Um workspace do Databricks em uma região suportada pelo Unity AI Gateway.
• EXECUTE no serviço de modelo, e USE CATALOG e USE SCHEMA em seu catálogo e esquema. Serviços de modelo fornecidos pelo sistema em system.ai concedem EXECUTE a todos os usuários da conta por padrão.

Identificar um serviço de modelo

Identifique um serviço de modelo pelo seu nome totalmente qualificado como o slug do modelo, por exemplo, system.ai.databricks-claude-opus-4-6. É possível consultar um serviço de modelo de qualquer workspace anexado ao mesmo metastore, inclusive entre limites de workspace.

Cada solicitação deve identificar um workspace, que a Databricks usa para faturamento por tokens. Forneça o workspace de uma das seguintes formas:

• URL do Workspace : Envie a solicitação para o URL do seu workspace, que identifica o workspace. Por exemplo, https://<workspace-url>/ai-gateway/mlflow/v1.
• Cabeçalho do workspace : Se a solicitação for enviada para um único URL no nível da account, adicione o cabeçalho x-databricks-workspace-id para identificar o workspace.

Consultar com o cliente OpenAI

O exemplo a seguir consulta um serviço de modelo usando o cliente OpenAI e a API de Conclusões de Chat do MLflow:

Python

Python

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="system.ai.databricks-claude-opus-4-6",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

REST API

Bash

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "system.ai.databricks-claude-opus-4-6",
    "max_tokens": 256,
    "messages": [
      {"role": "user", "content": "Hello!"},
      {"role": "assistant", "content": "Hello! How can I assist you today?"},
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions

Substitua <workspace-url> pelo URL do seu workspace do Databricks.

Os serviços de modelo dão suporte às mesmas APIs unificadas e nativas que os endpoints do Unity AI Gateway, como a API de Conclusões de Chat do MLflow e a API de Mensagens da Anthropic. Para obter a lista completa de APIs compatíveis e mais exemplos, consulte Consultar endpoint do Unity AI Gateway (legado).

Consulta com ai_query

Use a função ai_query para consultar serviços de modelo fornecidos pelo Databricks em system.ai a partir de SQL ou Python para inferência em lotes:

SQL

SELECT ai_query(
  'system.ai.databricks-claude-opus-4-6',
  'Summarize the following text: ' || text_column
) AS summary
FROM my_table
LIMIT 10

Para obter a sintaxe completa de ai_query, consulte a funçãoai_query.

Compatibilidade retroativa com nomes de endpoint de workspace

Para compatibilidade retroativa, o Databricks interpreta solicitações que usam um nome de modelo hospedado pelo Databricks sem um nome totalmente qualificado como um serviço de modelo fornecido pelo sistema em system.ai. Por exemplo, o Databricks interpreta databricks-claude-opus-4-6 como system.ai.databricks-claude-opus-4-6. Esse comportamento permite que as cargas de trabalho existentes continuem em execução sem alterações no código.

Próximos os passos

• serviços de modelo
• criar serviços de modelo
• governar serviços de modelo
• Uso do modelo para serviços do Unity AI Gateway
• Consultar endpoints do Unity AI Gateway (legado)