Pular para o conteúdo principal

Use modelos de fundação

Neste artigo, você aprenderá quais opções estão disponíveis para escrever solicitações de consulta para modelos básicos e como enviá-las ao seu modelo em serviço endpoint. É possível consultar modelos básicos hospedados pela Databricks e modelos básicos hospedados fora da Databricks.

Para solicitações de consulta de modelos tradicionais ML ou Python, consulte Ponto de extremidade de serviço de consulta para modelos personalizados.

O Mosaic AI Model Serving é compatível com APIs de modelos de fundação e modelos externos para acessar modelos de fundação. A servindo modelo usa um site unificado compatível com OpenAI API e SDK para consultá-los. Isso possibilita experimentar e personalizar modelos básicos para produção em nuvens e fornecedores compatíveis.

Opções de consulta​

Mosaic AI Model Serving oferece as seguintes opções para enviar solicitações de consulta ao ponto de extremidade que atende aos modelos básicos:

Método

Detalhes

Cliente OpenAI

Consultar um modelo hospedado por um Mosaic AI Model Serving endpoint usando o cliente OpenAI. Especifique o nome do modelo de serviço endpoint como a entrada model. Compatível com modelos de bate-papo, incorporações e conclusões disponibilizados por modelos externos.

UI de serviço

Selecione Query endpoint (Ponto de extremidade de consulta ) na página Serving endpoint (Ponto de extremidade de atendimento ). Insira os dados de entrada do modelo no formato JSON e clique em Send Request (Enviar solicitação ). Se o modelo tiver um registro de exemplo de entrada, use Show Example para carregá-lo.

API REST

Chamar e consultar o modelo usando a API REST. Consulte POST /serving-endpoint/{name}/invocations para obter detalhes. Para solicitações de pontuação para o endpoint que atende a vários modelos, consulte Consultar modelos individuais em endpoint.

SDK de implantações do MLflow

Use a função predict() do MLflow Deployments SDK para consultar o modelo.

SDK Python da Databricks

O Databricks Python SDK é uma camada sobre a API REST. Ele lida com detalhes de baixo nível, como autenticação, facilitando a interação com os modelos.

Requisitos​

Instalar pacote​

Depois de selecionar um método de consulta, o senhor deve primeiro instalar o pacote apropriado para o seu clustering.

Para usar o cliente OpenAI, o pacote databricks-sdk[openai] precisa ser instalado em seu cluster. Databricks SDK fornece um wrapper para a construção do cliente OpenAI com autorização configurada automaticamente para consultar modelos AI generativos. Execute o seguinte em seu Notebook ou em seu terminal local:

!pip install databricks-sdk[openai]>=0.35.0

Os itens a seguir são necessários apenas ao instalar o pacote em um site Databricks Notebook

Python
dbutils.library.restartPython()

Tipos de modelos de fundação​

A tabela a seguir resume os modelos básicos compatíveis com base no tipo de tarefa.

Tipo de tarefa

Descrição

Modelos compatíveis

Quando usar? Casos de uso recomendados

Bate-papo

Modelos projetados para entender e participar de conversas naturais em vários turnos. Eles são ajustados com base em um grande conjunto de dados de diálogos humanos, o que lhes permite gerar respostas contextualmente relevantes, acompanhar o histórico da conversa e proporcionar interações coerentes e semelhantes às humanas em vários tópicos.

Os seguintes modelos básicos hospedados pela Databricks são compatíveis:

Os seguintes modelos externos são compatíveis:

  • Modelos OpenAI GPT e série O
  • Modelos Claude da Anthropic
  • Modelos do Google Gemini

Recomendado para cenários em que é necessário um diálogo natural em várias voltas e uma compreensão contextual:

  • Assistentes virtuais
  • Bots de suporte ao cliente
  • Sistemas de tutoria interativos.

Incorporações

Os modelos de incorporação são sistemas de aprendizado de máquina que transformam dados complexos, como texto, imagens ou áudio, em vetores numéricos compactos chamados de incorporações. Esses vetores capturam os recursos essenciais e as relações dentro dos dados, permitindo comparações eficientes, clustering e pesquisas semânticas.

Os seguintes modelos básicos hospedados pela Databricks são compatíveis:

Os seguintes modelos externos são compatíveis:

  • Modelos de incorporação de texto OpenAI
  • Modelos de incorporação de texto Cohere
  • Modelos de incorporação de texto do Google

Recomendado para aplicações em que a compreensão semântica, a comparação de semelhanças e a recuperação ou e clustering e eficiente de dados complexos são essenciais:

  • Busca semântica
  • Geração aumentada de recuperação (RAG)
  • Tópico clustering
  • Análise de sentimentos e análise de texto

Visão

Modelos projetados para processar, interpretar e analisar dados visuais, como imagens e vídeos, para que as máquinas possam " ver " e entender o mundo visual.

Os seguintes modelos básicos hospedados pela Databricks são compatíveis:

Os seguintes modelos externos são compatíveis:

  • Modelos OpenAI das séries GPT e o com recursos de visão
  • Modelos do Anthropic Claude com recursos de visão
  • Modelos do Google Gemini com recursos de visão
  • Também há suporte para outros modelos de base externa com recursos de visão compatíveis com a API da OpenAI.

Recomendado sempre que for necessária uma análise automatizada, precisa e escalável de informações visuais:

  • Detecção e reconhecimento de objetos
  • Classificação de imagens
  • Segmentação de imagens
  • Compreensão do documento

Raciocínio

AI Sistemas avançados de Inteligência Artificial projetados para simular o raciocínio lógico humano. Os modelos de raciocínio integram técnicas como lógica simbólica, raciocínio probabilístico e redes neurais para analisar o contexto, decompor tarefas e explicar sua tomada de decisão.

Os seguintes modelos básicos hospedados pela Databricks são compatíveis:

Os seguintes modelos externos são compatíveis:

  • Modelos OpenAI com recursos de raciocínio
  • Modelos do Anthropic Claude com recursos de raciocínio
  • Modelos do Google Gemini com recursos de raciocínio

Recomendado sempre que for necessária uma análise automatizada, precisa e escalável de informações visuais:

  • Geração de código
  • Criação e resumo de conteúdo
  • Agente de orquestração

Chamada de função​

Databricks A Chamada de Função é compatível com OpenAI e só está disponível durante o atendimento ao modelo como parte do Foundation Model APIs e atendendo ao endpoint que atende a modelos externos. Para obter detalhes, consulte Chamada de função em Databricks.

Saídas estruturadas​

As saídas estruturadas são compatíveis com o OpenAI e só estão disponíveis durante o servindo modelo como parte do Foundation Model APIs. Para obter detalhes, consulte Saídas estruturadas no Databricks.

Converse com LLMs apoiados usando o AI Playground​

O senhor pode interagir com grandes modelos de linguagem suportados usando o AI Playground. O AI Playground é um ambiente semelhante a um bate-papo em que o senhor pode testar, solicitar e comparar LLMs do seu Databricks workspace.

Playground de IA

Recurso adicional​

Última atualização em