Pular para o conteúdo principal
Última atualização em

PortalAI (Beta)

info

Beta

Este recurso está em versão Beta. Os administradores da conta podem controlar o acesso a este recurso na página de pré-visualizações do console account . Veja as prévias do Gerenciador Databricks.

O que é o AI Gateway (Beta)?​

AI Gateway (Beta) é o plano de controle empresarial para governar os endpoints LLM e os agentes de codificação. Utilize-o para analisar o uso, configurar permissões e gerenciar a capacidade entre os provedores.

Com o AI Gateway, você pode:

  • Analise como os LLMs e os agentes de codificação são usados em sua organização.
  • Gerencie o acesso a modelos hospedados no Databricks e modelos externos.
  • Registrar o tráfego LLM em todos os endpoints para Unity Catalog
  • Monitore a integridade do endpoint e a disponibilidade do provedor.
  • Impor limites de taxa
  • Direcione o tráfego de forma inteligente entre provedores para garantir confiabilidade e balanceamento de carga.
  • Troque de provedor e modelo sem alterações no código.

Visão geral do AI Gateway

Recurso suportado​

A tabela a seguir define o recurso disponível do AI Gateway:

Recurso

Descrição

Permissões

Controle quem tem acesso ao seu endpoint.

Uso

Monitore o uso e os custos utilizando tabelas do sistema.

Tabelas de inferência

Monitorar e auditar solicitações e respostas nas tabelas Delta Unity Catalog .

Mérito operacional

Monitore o uso em tempo real.

Limites de taxa

Imponha limites de consumo no nível do endpoint, do usuário ou do grupo.

Fallbacks

Aumente a confiabilidade encaminhando os dados para vários provedores quando ocorrerem falhas.

nota

O recurso AI Gateway não gera cobranças durante a versão Beta.

Use o AI Gateway​

Databricks fornece um endpoint de gateway AI para plataformas populares de aprendizagem ao longo da vida (LLMs). Você pode criar um novo endpoint para controlar agentes de codificação e outros aplicativos.

Para começar, consulte Configurar o ponto de extremidade do AI Gateway. Para consultar o endpoint, consulte Consultar endpoint AI Gateway. Para integrar agentes de codificação como Cursor, Gemini CLI, Codex CLI e Claude Code, consulte Integrar com agentes de codificação.

Início rápido de consultas​

O exemplo a seguir mostra como consultar um endpoint do AI Gateway usando Python e o cliente OpenAI:

Python
from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<ai-gateway-url>/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Substitua <ai-gateway-url> pela URL do endpoint do seu AI Gateway.

Próximos passos​