Consultar um modelo servido com ai_query
Visualização
Este recurso está em visualização pública.
Este artigo descreve como query um modelo que atende o endpoint do SQL com ai_query()
.
O que é ai_query()
?
A função ai_query()
é uma função Databricks SQL , parte das funções de IA. Ele permite que estes tipos de modelos sejam acessíveis a partir de query SQL:
Modelos customizados hospedados por um endpoint de modelo interativo.
Modelos hospedados por APIs de modelo do Databricks Foundation.
Modelos externos (modelos de terceiros hospedados fora do Databricks).
Para sintaxe e padrões de design, consulte Função IA.
Quando esta função é usada para query um endpoint de modelo de atividade, ela estará disponível apenas no workspace e regiões onde o modelo de atividade estiver disponível e habilitado.
Requisitos
Consulte Requisitos.
Consulte o endpoint com ai_query()
O senhor pode consultar o modelo por trás do endpoint usando ai_query()
no serverless ou no armazém pro SQL. Para obter os formatos de solicitação e resposta de pontuação, consulte Query generative AI models.
Observação
Para Databricks Runtime 14.2 e acima, essa função é suportada em ambientes de Notebook, incluindo Databricks Notebook e Job.
Para Databricks Runtime 14.1 e abaixo, essa função não é suportada em ambientes Notebook, incluindo Databricks Notebook.
Exemplo: Consultar um modelo de linguagem grande
O exemplo a seguir query o modelo por trás do endpoint sentiment-analysis
com o dataset text
e especifica o tipo de retorno da solicitação.
SELECT text, ai_query(
"sentiment-analysis",
text,
returnType => "STRUCT<label:STRING, score:DOUBLE>"
) AS predict
FROM
catalog.schema.customer_reviews
Exemplo: consultar um modelo preditivo
O exemplo a seguir query um modelo de classificação atrás do endpoint spam-classification
para prever se o text
é spam na tabela inbox_messages
. O modelo leva 3 recursos de entrada: carimbo de data/hora, remetente, texto. O modelo retorna uma matriz Boolean .
SELECT text, ai_query(
endpoint => "spam-classification",
request => named_struct(
"timestamp", timestamp,
"sender", from_number,
"text", text),
returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages