Começar a consultar os LLMs sobre Databricks

info

Beta

Este recurso está em Beta. Os administradores da conta podem controlar o acesso a este recurso na página **Prévias** do console da conta. Consulte Gerenciar prévias do Databricks.

Faça queries em LLMs no Databricks com model serviços no Unity AI Gateway.

A maneira mais fácil de começar é consultando um serviço de modelo fornecido pelo sistema em system.ai. Os serviços de modelo fornecidos pelo sistema estão disponíveis para todos os usuários da account por default, portanto, você pode começar a enviar solicitações sem nenhuma configuração adicional. Consulte Govern model APIs (serviços de modelo).

Você também pode testar e conversar com esses modelos usando o AI Playground. Consulte Converse com LLMs e prototipe aplicativos de IA utilizando o AI Playground.

Requisitos

• Um workspace Databricks em uma região compatível com o Unity AI Gateway.
• Um access token pessoal do Databricks para consultar serviços de modelo usando o cliente OpenAI.

Comece a usar serviços de modelos

O exemplo a seguir destina-se à execução em um notebook Databricks. O exemplo de código faz query no serviço de modelo fornecido pelo sistema system.ai.claude-sonnet-4-5, servido nativamente pelo Databricks. Para outros modelos disponíveis, consulte serviços de modelo.

Neste exemplo, você usa o cliente OpenAI para consultar o modelo preenchendo o campo model com o nome totalmente qualificado do serviço de modelo que você deseja consultar. Use seu access token pessoal para preencher o DATABRICKS_TOKEN e sua instância de workspace do Databricks para conectar o cliente OpenAI ao Databricks.

Python

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

nota

Se você encontrar a seguinte mensagem ImportError: cannot import name 'OpenAI' from 'openai', atualize sua versão openai usando !pip install -U openai. Depois de instalar o pacote, execute dbutils.library.restartPython().

Resultado esperado:

Bash

{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Próximas etapas

• Use o playgroundAI para experimentar diferentes modelos em uma interface de bate-papo familiar.
• query APIs de modelo (serviços de modelo).
• Descubra e governe o acesso a APIs de modelos (serviços de modelos).
• Criar e gerenciar APIs de modelo (serviços de modelo).
• Explore métodos para monitorar a qualidade do modelo e a saúde do site endpoint.