APIs do Foundation Model do Databricks

Este artigo fornece uma visão geral do Foundation Model APIs em Databricks. Ele inclui requisitos de uso, modelos compatíveis e limitações.

O que são as APIs de Foundation Model do Databricks?

O Mosaic AI Model Serving agora é compatível com as APIs do Foundation Model, que permitem que o senhor acesse e consulte modelos abertos de última geração a partir de um endpoint de serviço. Esses modelos são hospedados pela Databricks e o senhor pode criar aplicativos que os utilizam de forma rápida e fácil, sem manter sua própria implantação de modelos. O Foundation Model APIs é um serviço designado pela Databricks, o que significa que ele usa o Databricks Geos para gerenciar a residência de dados ao processar o conteúdo do cliente.

As APIs do Foundation Model são fornecidas nos seguintes modos de preços:

Pay-per-token: essa é a maneira mais fácil de começar a acessar os modelos básicos no Databricks e é recomendada para iniciar sua jornada com as APIs dos modelos básicos. Esse modo não foi projetado para aplicações de alta taxa de transferência ou cargas de trabalho de produção de alto desempenho.
Taxa de transferência provisionada: esse modo é recomendado para todas as cargas de trabalho de produção, especialmente aquelas que exigem alta taxa de transferência, garantias de desempenho, modelos com ajuste fino ou que têm requisitos de segurança adicionais. Os endpoints da taxa de transferência provisionada estão disponíveis com certificações de compliance, como HIPAA.

Consulte Use Foundation Model APIs para obter orientação sobre como usar esses modos e os modelos compatíveis.

Usando as APIs do Foundation Model, o senhor pode fazer o seguinte

Consulte um LLM generalizado para verificar a validade de um projeto antes de investir mais recursos.
Consulte um LLM generalizado para criar rapidamente uma prova de conceito para uma aplicação baseada em LLM antes de investir no treinamento e implantação de um modelo personalizado.
Use um foundation model, junto com um banco de dados vetorial, para construir um chatbot usando geração aumentada por recuperação (RAG).
Substitua modelos proprietários por alternativas abertas para otimizar custo e desempenho.
Compare LLMs de forma eficiente para ver qual é o melhor candidato para seu caso de uso ou troque um modelo de produção por um com melhor desempenho.
Construa um aplicativo LLM para desenvolvimento ou produção em cima de uma solução de serviço LLM escalável e com SLA garantido que possa suportar seus picos de tráfego de produção.

Requisitos

Token da API do Databricks para autenticar solicitações de endpoint.
Computação serverless (para modelos de taxa de transferência provisionada).
Um workspace em uma das seguintes regiões suportadas:
- Regiões de pagamento por token.
- Regiões de taxa de transferência provisionada.

Use as APIs do Foundation Model

Você tem várias opções para usar as APIs do modelo básico.

As APIs são compatíveis com o OpenAI, portanto, o senhor pode usar o cliente OpenAI para fazer consultas. O senhor também pode usar a interface do usuário, o SDK Python das APIs do Foundation Models, o SDK do MLflow Deployments ou a API REST para consultar os modelos compatíveis. A Databricks recomenda usar o SDK ou a API do cliente OpenAI para interações estendidas e a interface do usuário para experimentar o recurso.

Consulte os modelos de base do Query para ver exemplos de pontuação.

APIs do Foundation Model pay-per-token

Os endpoints pré-configurados que atendem aos modelos pay-per-tokens podem ser acessados em seu site Databricks workspace. Esses modelos pay-per-tokens são recomendados para começar. Para acessá-los em seu site workspace, navegue até Serving tab na barra lateral esquerda. O Foundation Model APIs está localizado na parte superior da lista de endpoints view.

Modelos pay-per-tokens suportados.
Consulte Consultar modelos da fundação para obter orientação sobre como consultar as APIs do modelo da fundação.
Consulte a referência da API REST do Foundation Model para obter os parâmetros e a sintaxe necessários.

APIs do Foundation Model de taxa de transferência provisionada

O provisionamento Taxa de transferência fornece ao endpoint uma inferência otimizada para cargas de trabalho do modelo de fundação que exigem garantias de desempenho. Databricks recomenda o provisionamento Taxa de transferência para cargas de trabalho de produção.

provisionamento Taxa de transferência arquiteturas de modelos suportados.
Consulte APIs do modelo básico com taxa de transferência provisionada para obter um guia passo a passo sobre como implantar APIs do modelo básico no modo de taxa de transferência provisionada.

O suporte da taxa de transferência provisionada inclui:

Modelos básicos de todos os tamanhos. Os modelos básicos podem ser acessados usando o Databricks Marketplace download Hugging Face site ou, alternativamente, o Unity Catalog senhor pode acessá-los em ou em outra fonte externa e registrá-los no site. A última abordagem funciona com qualquer variante ajustada dos modelos suportados.
Variantes ajustadas de modelos básicos, como modelos que são ajustados com base em dados proprietários.
Pesos e tokenizadores totalmente personalizados, como aqueles treinados do zero ou pré-treinados contínuos ou outras variações usando a arquitetura do modelo básico (por exemplo, CodelLama).

Limitações

Consulte os limites das APIs do Foundation Model.