Pular para o conteúdo principal
Última atualização em

Começar a consultar os LLMs sobre Databricks

info

Beta

Este recurso está em Beta. Os administradores da conta podem controlar o acesso a este recurso na página **Prévias** do console da conta. Consulte Gerenciar prévias do Databricks.

Este artigo descreve como começar a consultar LLMs com serviços de modelo no Unity AI Gateway.

A maneira mais fácil de começar é consultando um serviço de modelo fornecido pelo sistema em system.ai. Os serviços de modelo fornecidos pelo sistema estão disponíveis para todos os usuários da account por default, para que você possa começar a enviar solicitações sem nenhuma configuração adicional. Veja serviços de modelo no Unity Catalog.

É possível também testar e conversar com esses modelos usando o AI Playground. Consulte Conversar com LLMs e prototipar aplicativos de AI generativa usando o AI Playground.

Requisitos​

importante

Como prática recomendada de segurança para cenários de produção, a Databricks recomenda que o senhor use tokens OAuth máquina a máquina para autenticação durante a produção.

Para testes e desenvolvimento, o site Databricks recomenda o uso de tokens de acesso pessoal pertencentes à entidade de serviço em vez de usuários do site workspace. Para criar tokens o site para uma entidade de serviço, consulte gerenciar tokens para uma entidade de serviço.

Comece a usar serviços de modelos​

O exemplo a seguir deve ser executado em um Notebook Databricks. O exemplo de código consulta um modelo hospedado no Databricks que é servido pelo serviço de modelo system.ai.claude-sonnet-4-5 fornecido pelo sistema. Para outros modelos disponíveis, consulte Serviços de modelo no Unity Catalog.

Neste exemplo, você usa o cliente OpenAI para consultar o modelo preenchendo o campo model com o nome totalmente qualificado do serviço de modelo que você deseja consultar. Use seu access token pessoal para preencher o DATABRICKS_TOKEN e sua instância de workspace do Databricks para conectar o cliente OpenAI ao Databricks.

Python
from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)
nota

Se você encontrar a seguinte mensagem ImportError: cannot import name 'OpenAI' from 'openai', atualize sua versão openai usando !pip install -U openai. Depois de instalar o pacote, execute dbutils.library.restartPython().

Resultado esperado:

Bash

{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Próximas etapas​

Nesta página