modelos implantados para inferência e previsão de lotes

Este artigo descreve o que o site Databricks recomenda para a inferência de lotes.

Para tempo real servindo modelo em Databricks, veja modelos implantados usando Mosaic AI Model Serving.

AI Functions para inferência de lotes

info

Visualização

Esse recurso está em Public Preview.

AI Functions são funções integradas que o senhor pode usar para aplicar AI em seus dados armazenados em Databricks. O senhor pode executar lotes de inferência usando as funções AI específicas da tarefa ou a função de propósito geral ai_query. Para maior flexibilidade, o site Databricks recomenda o uso de ai_query para a inferência de lotes.

Há duas maneiras principais de usar ai_query para a inferência de lotes:

• inferência de lotes usando ai_query e Databricks-hosted foundation models. Quando o senhor usa esse método, o site Databricks configura um modelo de serviço endpoint que escala automaticamente com base na carga de trabalho. Veja quais LLMs de pré-provisionamento são compatíveis.
• lotes de inferência usando ai_query e um modelo de serviço endpoint que o senhor mesmo configura. Esse método é necessário para o fluxo de trabalho de inferência de lotes que usam modelos de fundação hospedados fora do site Databricks, modelos de fundação com ajuste fino ou modelos tradicionais do site ML. Após a implementação, o endpoint pode ser usado diretamente com ai_query.

inferência de lotes usando um Spark DataFrame

Consulte Realizar inferência de lotes usando um Spark DataFramepara obter um guia passo a passo sobre o fluxo de trabalho de inferência de modelos usando Spark.

Para exemplos de inferência de modelos de aprendizagem profunda, consulte os artigos a seguir:

• Inferência de modelos usando TensorFlow e TensorRT
• Inferência de modelos usando o PyTorch

Extração de dados estruturados e inferência de lotes usando Spark UDF

O exemplo de Notebook a seguir demonstra o desenvolvimento, o registro e a avaliação de um agente simples para extração de dados estruturados para transformar dados brutos e não estruturados em informações organizadas e úteis por meio de técnicas de extração automatizadas. Essa abordagem demonstra como implementar agentes personalizados para inferência de lotes usando a classe PythonModel do MLflow e empregar o modelo de agente de logs como uma função definida pelo usuário do Spark (UDF). Este Notebook também mostra como aproveitar o Mosaic AI Agent Evaluation para avaliar a precisão usando dados de verdade terrestre.

Extração de dados estruturados e inferência de lotes usando Spark UDF

Open notebook in new tab

:::