Pular para o conteúdo principal
Última atualização em

Consultar o endpoint do Unity AI Gateway

info

Beta

Este recurso está em versão Beta. Os administradores da conta podem controlar o acesso a este recurso na página de pré-visualizações do console account . Veja as prévias do Gerenciador Databricks.

Esta página descreve como consultar o endpoint do Unity AI Gateway usando APIs compatíveis.

Requisitos​

APIs e integrações suportadas​

O Unity AI Gateway oferece suporte às seguintes APIs e integrações:

  • APIs unificadas : interfaces compatíveis com OpenAI para consultar modelos no Databricks. Alterne facilmente entre modelos de diferentes fornecedores sem alterar a forma como consulta cada modelo.

  • APIsnativas : Interfaces específicas do provedor para acessar o modelo mais recente e os recursos específicos do provedor.

  • Agentes de codificação : Integre seus agentes de codificação com o Unity AI Gateway para adicionar governança e monitoramento centralizados ao seu fluxo de trabalho de desenvolvimento assistido AI . Consulte Integrar com agentes de codificação.

Endpoint de consulta com APIsunificadas​

As APIs unificadas oferecem uma interface compatível com OpenAI para consultar modelos no Databricks. Utilize APIs unificadas para alternar facilmente entre modelos de diferentes fornecedores sem alterar seu código.

API de conclusões de bate-papo do MLflow

API de conclusões de bate-papo do MLflow​

Python
from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<ai-gateway-url>/mlflow/v1"
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="<ai-gateway-endpoint>",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Substitua <ai-gateway-url> pela URL do seu Unity AI Gateway e <ai-gateway-endpoint> pelo nome do endpoint do seu Unity AI Gateway.

API de Embeddings do MLflow

API de Embeddings do MLflow​

Python
from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<ai-gateway-url>/mlflow/v1"
)

embeddings = client.embeddings.create(
  input="What is Databricks?",
  model="<ai-gateway-endpoint>"
)

print(embeddings.data[0].embedding)

Substitua <ai-gateway-url> pela URL do seu Unity AI Gateway e <ai-gateway-endpoint> pelo nome do endpoint do seu Unity AI Gateway.

API do Supervisor

API do Supervisor​

A API Supervisor (/mlflow/v1/responses) é uma API compatível com OpenResponsese agnóstica de provedor para a criação de agentes em Beta. Os administradores da conta podem habilitar o acesso a partir da página de Pré-visualizações . Veja as prévias do Gerenciador Databricks. Escolha o modelo mais adequado para o seu caso de uso de agente entre os diferentes fornecedores, sem precisar alterar o seu código.

Python
from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<ai-gateway-url>/mlflow/v1"
)

response = client.responses.create(
  model="<ai-gateway-endpoint>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

Substitua <ai-gateway-url> pela URL do seu AI Gateway e <ai-gateway-endpoint> pelo nome do endpoint do seu AI Gateway.

Endpoint de consulta com APIsnativas​

As APIs nativas oferecem interfaces específicas do provedor para consultar modelos no Databricks. Utilize APIs nativas para acessar o recurso mais recente específico do provedor.

API de Respostas da OpenAI

API de Respostas da OpenAI​

Python
from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<ai-gateway-url>/openai/v1"
)

response = client.responses.create(
  model="<ai-gateway-endpoint>",
  max_output_tokens=256,
  input=[
    {
      "role": "user",
      "content": [{"type": "input_text", "text": "Hello!"}]
    },
    {
      "role": "assistant",
      "content": [{"type": "output_text", "text": "Hello! How can I assist you today?"}]
    },
    {
      "role": "user",
      "content": [{"type": "input_text", "text": "What is Databricks?"}]
    }
  ]
)

print(response.output)

Substitua <ai-gateway-url> pela URL do seu Unity AI Gateway e <ai-gateway-endpoint> pelo nome do endpoint do seu Unity AI Gateway.

APIde Mensagens Anthropic

APIde MensagensAnthropic​

Python
import anthropic
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = anthropic.Anthropic(
  api_key="unused",
  base_url="https://<ai-gateway-url>/anthropic",
  default_headers={
    "Authorization": f"Bearer {DATABRICKS_TOKEN}",
  },
)

message = client.messages.create(
  model="<ai-gateway-endpoint>",
  max_tokens=256,
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
)

print(message.content[0].text)

Substitua <ai-gateway-url> pela URL do seu Unity AI Gateway e <ai-gateway-endpoint> pelo nome do endpoint do seu Unity AI Gateway.

API Gemini do Google

API Gemini do Google​

Python
from google import genai
from google.genai import types
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = genai.Client(
  api_key="databricks",
  http_options=types.HttpOptions(
    base_url="https://<ai-gateway-url>/gemini",
    headers={
      "Authorization": f"Bearer {DATABRICKS_TOKEN}",
    },
  ),
)

response = client.models.generate_content(
  model="<ai-gateway-endpoint>",
  contents=[
    types.Content(
      role="user",
      parts=[types.Part(text="Hello!")],
    ),
    types.Content(
      role="model",
      parts=[types.Part(text="Hello! How can I assist you today?")],
    ),
    types.Content(
      role="user",
      parts=[types.Part(text="What is Databricks?")],
    ),
  ],
  config=types.GenerateContentConfig(
    max_output_tokens=256,
  ),
)

print(response.text)

Substitua <ai-gateway-url> pela URL do seu Unity AI Gateway e <ai-gateway-endpoint> pelo nome do endpoint do seu Unity AI Gateway.

Próximos passos​

On this page