modelos implantados para inferência e previsão de lotes

Este artigo descreve o que o site Databricks recomenda para a inferência de lotes.

Para tempo real servindo modelo em Databricks, veja modelos implantados usando Mosaic AI Model Serving.

AI Functions para inferência de lotes

info

Visualização

Esse recurso está em Public Preview.

AI Functions são funções integradas que o senhor pode usar para aplicar AI em seus dados armazenados em Databricks. O senhor pode executar lotes de inferência usando as funções AI específicas da tarefa ou a função de propósito geral, ai_query.

A seguir, um exemplo de inferência de lotes usando a função AI específica da tarefa, ai_translate. Se quiser realizar a inferência de lotes em uma tabela inteira, o senhor pode remover o endereço limit 500 da sua consulta.

SQL

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Como alternativa, o senhor pode usar a função de propósito geral ai_query para realizar a inferência de lotes.

• Veja quais tipos de modelo e os modelos associados são compatíveis com o ai_query.
• Consulte Realizar inferência de lotes LLM usando AI Functions.

inferência de lotes usando um Spark DataFrame

Consulte Realizar inferência de lotes usando um Spark DataFramepara obter um guia passo a passo sobre o fluxo de trabalho de inferência de modelos usando Spark.

Para exemplos de inferência de modelos de aprendizagem profunda, consulte os artigos a seguir:

• Inferência de modelos usando TensorFlow e TensorRT
• Inferência de modelos usando o PyTorch