Consultar um modelo servido com `ai_query()`

Visualização

Este recurso está em visualização pública.

Este artigo descreve como query um modelo que atende o endpoint do SQL com ai_query().

O que é `ai_query()`?

A função ai_query() é uma função Databricks SQL , parte das funções de IA. Ele permite que estes tipos de modelos sejam acessíveis a partir de query SQL:

Modelos customizados hospedados por um endpoint de modelo interativo.
Modelos hospedados por APIs de modelo do Databricks Foundation.
Modelos externos (modelos de terceiros hospedados fora do Databricks).

Para sintaxe e padrões de design, consulte Função IA.

Quando esta função é usada para query um endpoint de modelo de atividade, ela estará disponível apenas no workspace e regiões onde o modelo de atividade estiver disponível e habilitado.

Requisitos

Essa função não está disponível no Databricks SQL Classic.
A consulta às APIs do Foundation Model é ativada por default. Para consultar o endpoint que serve modelos personalizados ou modelos externos, o senhor deve se inscrever na visualização pública. Preencha e envie o formulário de inscrição do AI Functions Public Preview.
Um ponto de extremidade de modelo de serviço existente. Consulte Criar endpoint de modelo de serviço personalizado.
Você deve habilitar o AWS PrivateLink para usar esse recurso no pro SQL warehouse.

Consulte o endpoint com `ai_query()`

O senhor pode consultar o modelo por trás do endpoint usando ai_query() no serverless ou no armazém pro SQL. Para obter os formatos de solicitação e resposta de pontuação, consulte Modelos de base de consulta e modelos externos.

Observação

Para Databricks Runtime 14.2 e superiores, essa função é suportada em Notebook ambientes, incluindo Databricks Notebook e fluxo de trabalho.
Para Databricks Runtime 14.1 e abaixo, essa função não é suportada em ambientes Notebook, incluindo Databricks Notebook.

Exemplo: Consultar um modelo de linguagem grande

O exemplo a seguir query o modelo por trás do endpoint sentiment-analysis com o dataset text e especifica o tipo de retorno da solicitação.

SELECT text, ai_query(
    "sentiment-analysis",
    text,
    returnType => "STRUCT<label:STRING, score:DOUBLE>"
  ) AS predict
FROM
  catalog.schema.customer_reviews

Exemplo: consultar um modelo preditivo

O exemplo a seguir query um modelo de classificação atrás do endpoint spam-classification para prever se o text é spam na tabela inbox_messages. O modelo leva 3 recursos de entrada: carimbo de data/hora, remetente, texto. O modelo retorna uma matriz Boolean .

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages

Consultar um modelo servido com ai_query()

O que é ai_query()?