modelos de base de IA generativa implantados

Este artigo descreve o suporte para servir e consultar modelos de fundação de IA e LLM generativos usando o Databricks servindo modelo.

Importante

Para obter um tutorial sobre como consultar um modelo básico no Databricks, consulte Como consultar LLMs no Databricks.

O que são modelos de fundação?

Os modelos de base são grandes modelos de ML pré-treinados com a intenção de serem ajustados para uma tarefa mais específica de compreensão e geração de linguagem. Esses modelos são utilizados para discernir padrões nos dados de entrada para cargas de trabalho de IA generativa e LLM.

O Databricks servindo modelo suporta o serviço e a consulta de modelos de fundação usando os seguintes recursos:

  • APIs do modelo básico. Essa funcionalidade disponibiliza modelos abertos de última geração para o senhor, servindo o modelo endpoint. Esses modelos são arquiteturas de modelo de base selecionadas que oferecem suporte à inferência otimizada. Os modelos básicos, como DBRX Instruct, Llama-2-70B-chat, BGE-Large e Mistral-7B estão disponíveis para uso imediato com preços pay-per-tokens, e as cargas de trabalho que exigem garantias de desempenho e variantes de modelos ajustados podem ser implantadas com o provisionamento Taxa de transferência.

  • Modelos externos. Esses são modelos hospedados fora da Databricks. que atendem a modelos externos podem ser controlados de forma centralizada e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Os exemplos incluem modelos de fundação como o GPT-4 da OpenAI, o Claude da Anthropic e outros.

Requisitos

Para acessar e consultar modelos básicos usando o Databricks servindo modelo, analise os requisitos de cada funcionalidade.

Criar um endpoint de modelo de serviço de fundação

Consulte Criar endpoint de modelo de serviço de fundação