Consultar um modelo servido com ai_query

Visualização

Este recurso está em visualização pública.

Este artigo descreve como query um modelo que atende o endpoint do SQL com ai_query().

O que é ai_query()?

A função ai_query() é uma função Databricks SQL , parte das funções de IA. Ele permite que estes tipos de modelos sejam acessíveis a partir de query SQL:

  • Modelos customizados hospedados por um endpoint de modelo interativo.

  • Modelos hospedados por APIs de modelo do Databricks Foundation.

  • Modelos externos (modelos de terceiros hospedados fora do Databricks).

Para sintaxe e padrões de design, consulte Função IA.

Quando esta função é usada para query um endpoint de modelo de atividade, ela estará disponível apenas no workspace e regiões onde o modelo de atividade estiver disponível e habilitado.

Requisitos

Consulte o endpoint com ai_query()

O senhor pode consultar o modelo por trás do endpoint usando ai_query() no serverless ou no armazém pro SQL. Para obter os formatos de solicitação e resposta de pontuação, consulte Query generative AI models.

Observação

  • Para Databricks Runtime 14.2 e acima, essa função é suportada em ambientes de Notebook, incluindo Databricks Notebook e Job.

  • Para Databricks Runtime 14.1 e abaixo, essa função não é suportada em ambientes Notebook, incluindo Databricks Notebook.

Exemplo: Consultar um modelo de linguagem grande

O exemplo a seguir query o modelo por trás do endpoint sentiment-analysis com o dataset text e especifica o tipo de retorno da solicitação.

SELECT text, ai_query(
    "sentiment-analysis",
    text,
    returnType => "STRUCT<label:STRING, score:DOUBLE>"
  ) AS predict
FROM
  catalog.schema.customer_reviews

Exemplo: consultar um modelo preditivo

O exemplo a seguir query um modelo de classificação atrás do endpoint spam-classification para prever se o text é spam na tabela inbox_messages. O modelo leva 3 recursos de entrada: carimbo de data/hora, remetente, texto. O modelo retorna uma matriz Boolean .

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages