inferência de lotes usando o Foundation Model APIs

Este artigo fornece exemplos de Notebook que realizam inferência de lotes em um provisionamento Taxa de transferência endpoint usando o Foundation Model APIs. O senhor precisa de ambos os Notebooks para realizar muitas inferências usando o Foundation Model APIs.

Os exemplos demonstram a inferência de lotes usando o modelo DBRX Instruct para a tarefa de bate-papo.

Requisitos

  • Um workspace em uma região com suporte do Foundation Model APIs

  • Databricks Runtime 14,0 ML ou acima

  • O provisioned-throughput-batch-inference Notebook e o chat-batch-inference-api Notebook devem existir no mesmo diretório no workspace

Configurar a tabela de entrada, inferência de lotes

O seguinte Notebook faz a seguinte tarefa, usando Python:

  • Lê dados da tabela de entrada e da coluna de entrada

  • Constrói as solicitações e as envia para um endpoint do Foundation Model APIs

  • Mantém as linhas de entrada junto com os dados de resposta na tabela de saída

Tarefa de inferência de lotes de modelos de bate-papo usando Python Notebook

Abra o bloco de anotações em outra guia

O seguinte Notebook faz a mesma tarefa que o acima Notebook, mas usando Spark:

  • Lê dados da tabela de entrada e da coluna de entrada

  • Constrói as solicitações e as envia para um endpoint do Foundation Model APIs

  • Mantém a linha de entrada junto com os dados de resposta na tabela de saída

Chat model lotes inference tarefa using PySpark Pandas UDF Notebook

Abra o bloco de anotações em outra guia

Criar provisionamento Taxa de transferência endpoint

Se o senhor quiser usar o spark Notebook em vez do Python Notebook, certifique-se de atualizar o comando que chama o Python Notebook.

  • Cria um provisionamento Taxa de transferência servindo endpoint

  • Monitorar o endpoint até que ele atinja o estado de pronto

  • Chama o chat-batch-inference-api Notebook para executar a tarefa de inferência de lotes simultaneamente com o endpoint preparado. Se o senhor preferir usar Spark, altere essa referência para chamar o chat-batch-inference-udf Notebook.

  • Elimina o provisionamento Taxa de transferência que serve endpoint após a conclusão da inferência de lotes

Realizar inferência de lotes em um provisionamento Taxa de transferência endpoint Notebook

Abra o bloco de anotações em outra guia