modelos implantados para inferência e predição de lotes

Este artigo descreve o que o site Databricks recomenda para a inferência de lotes.

Para tempo real servindo modelo em Databricks, veja modelos implantados usando Mosaic AI Model Serving.

Use ai_query para inferência de lotes

Prévia

Esse recurso está em Pré-lançamento público.

Databricks recomenda o uso de ai_query com servindo modelo para inferência de lotes. ai_query é uma função integrada Databricks SQL que permite que o senhor consulte o endpoint do modelo de serviço existente usando SQL. Foi verificado que ele processa de forma confiável e consistente um conjunto de dados na faixa de bilhões de tokens. Consulte a funçãoai_query para obter mais detalhes sobre essa função AI.

Para uma rápida experimentação, ai_query pode ser usado para lotes LLM inference with pay-per-tokens endpoint, que são pré-configurados em seu workspace.

Quando o senhor estiver pronto para executar lotes LLM inferência em dados grandes ou de produção, a Databricks recomenda o uso do endpoint de provisionamento Taxa de transferência para um desempenho mais rápido.

Consulte o provisionamento Taxa de transferência Foundation Model APIs para criar um provisionamento Taxa de transferência endpoint.
Consulte Realizar inferência de lotes LLM usando ai_query.

Para ver um exemplo tradicional de inferência de lotes do modelo ML, consulte o seguinte Notebook:

inferência de lotes usando BERT para reconhecimento de entidades nomeadas Notebook

Abra o bloco de anotações em outra tab