Pular para o conteúdo principal
Última atualização em

Consulte um modelo de bate-papo

info

Experimente o novo Gateway de AI do Unity Beta

Uma nova experiência do Unity AI Gateway está disponível em Beta. O novo Unity AI Gateway é o plano de controle corporativo para governar endpoints de LLM e agentes de codificação com recursos aprimorados. Consulte Unity AI Gateway.

Neste artigo, você aprende a escrever solicitações de consulta para modelos de base que são otimizados para chat e tarefas de uso geral e disponibilizados pelo Unity AI Gateway.

prompt

Genie Code (modo Agente) pode fazer isso por você. Experimente este prompt de exemplo:

Query the databricks-claude-sonnet-4-5 chat model using the OpenAI client. Send a system prompt and a user question, and print the response.

Os exemplos neste artigo se aplicam à consulta de modelos básicos disponibilizados usando:

Requisitos​

Exemplos de consultas​

nota

Os exemplos a seguir são baseados em Unity AI Gateway e serviços de modelo. Se você usa endpoints de servindo modelo em vez de serviços de modelo, substitua o nome do serviço de modelo pelo nome de um endpoint. Consulte modelos de base hospedados pelo Databricks disponíveis nas APIs do Foundation Model para obter uma lista de modelos de base disponíveis e seus nomes de serviço de modelo e endpoint.

Os exemplos nesta seção mostram como consultar um serviço de modelo pay-per-token da API de Modelos de Fundação usando as diferentes opções de cliente.

Para obter um exemplo de inferência de lotes, consulte enriquecer dados usando AI Functions.

Para usar o cliente OpenAI, especifique o nome do serviço de modelo como a entrada model.

Python
from databricks_openai import DatabricksOpenAI

client = DatabricksOpenAI()

response = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

Para consultar modelos básicos fora do seu workspace, é necessário utilizar diretamente o cliente OpenAI. Você também necessita da sua instância Databricks workspace para conectar o cliente OpenAI a Databricks. O exemplo a seguir pressupõe que você possui um token Databricks API e um token openai instalado em seu compute.

Python

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/ai-gateway/mlflow/v1"
)

response = client.chat.completions.create(
    model="system.ai.claude-sonnet-4-5",
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256
)

Como exemplo, segue abaixo o formato de solicitação esperado para um modelo de chat ao utilizar a API REST. Para modelos externos, é possível incluir parâmetros adicionais válidos para um determinado provedor e uma configuração d endpoint. Consulte Parâmetros de consulta adicionais.

Bash
{
  "messages": [
    {
      "role": "user",
      "content": "What is a mixture of experts model?"
    }
  ],
  "max_tokens": 100,
  "temperature": 0.1
}

A seguir, apresentamos o formato esperado para uma resposta a uma solicitação feita usando a API REST:

JSON
{
  "model": "databricks-claude-sonnet-4-5",
  "choices": [
    {
      "message": {},
      "index": 0,
      "finish_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 74,
    "total_tokens": 81
  },
  "object": "chat.completion",
  "id": null,
  "created": 1698824353
}

Modelos compatíveis​

Consulte os tipos de modelo do Foundation para ver os modelos de bate-papo compatíveis.

Recurso adicional​

Nesta página