APIs do modelo da Fundação Databricks
Visualização
Esse recurso está em Public Preview e é compatível com us-east1 e us-central1.
Este artigo fornece uma visão geral do Foundation Model APIs em Databricks. Ele inclui requisitos de uso, modelos compatíveis e limitações.
O que são as APIs do Databricks Foundation Model?
O Mosaic AI Model Serving agora é compatível com as APIs do Foundation Model, que permitem que o senhor acesse e consulte modelos abertos de última geração a partir de um endpoint de serviço. Esses modelos são hospedados pela Databricks e o senhor pode criar aplicativos que os utilizam de forma rápida e fácil, sem manter sua própria implantação de modelos. O Foundation Model APIs é um serviço designado pela Databricks, o que significa que ele usa o Databricks Geos para gerenciar a residência de dados ao processar o conteúdo do cliente.
As APIs do Foundation Model são fornecidas nos seguintes modos:
- Pay-per-token: essa é a maneira mais fácil de começar a acessar os modelos básicos no Databricks e é recomendada para iniciar sua jornada com as APIs dos modelos básicos. Esse modo não foi projetado para aplicações de alta taxa de transferência ou cargas de trabalho de produção de alto desempenho.
- Taxa de transferência provisionada: esse modo é recomendado para todas as cargas de trabalho de produção, especialmente aquelas que exigem alta taxa de transferência, garantias de desempenho, modelos com ajuste fino ou que têm requisitos de segurança adicionais. Os endpoints da taxa de transferência provisionada estão disponíveis com certificações de compliance, como HIPAA.
- lotes inference: Esse modo é recomendado para cargas de trabalho de inferência de lotes. O senhor pode optar por executar lotes de inferência usando qualquer modelo generativo AI ou ML usando AI Functions.
Consulte Use Foundation Model APIs para obter orientação sobre como usar esses modos e os modelos compatíveis.
Usando as APIs do Foundation Model, o senhor pode fazer o seguinte:
- Consulte um LLM generalizado para verificar a validade de um projeto antes de investir mais recursos.
- Consultar um LLM generalizado para criar uma prova de conceito rápida para um aplicativo baseado em LLMantes de investir em treinamento e implantar um modelo personalizado.
- Use um foundation model, junto com um banco de dados vetorial, para construir um chatbot usando geração aumentada por recuperação (RAG).
- Substitua modelos proprietários por alternativas abertas para otimizar custo e desempenho.
- Compare com eficiência os LLMs para ver qual é o melhor candidato para seu caso de uso ou swap um modelo de produção com um de melhor desempenho.
- Construa um aplicativo LLM para desenvolvimento ou produção em cima de uma solução de serviço LLM escalável e com SLA garantido que possa suportar seus picos de tráfego de produção.
Requisitos
- Token da API do Databricks para autenticar solicitações de endpoint.
- Computação serverless (para modelos de taxa de transferência provisionada).
- Um workspace em uma das seguintes regiões suportadas:
Usar APIs do Foundation Model
Você tem várias opções para usar as APIs do modelo básico.
As APIs são compatíveis com o OpenAI, portanto, o senhor pode usar o cliente OpenAI para fazer consultas. O senhor também pode usar a interface do usuário, o SDK Python das APIs do Foundation Models, o SDK do MLflow Deployments ou a API REST para consultar os modelos compatíveis. A Databricks recomenda usar o SDK ou a API do cliente OpenAI para interações estendidas e a interface do usuário para experimentar o recurso.
Consulte os modelos de base do Query para ver exemplos de pontuação.
Modelo de fundação pay-per-tokens APIs
Os endpoints pré-configurados que atendem aos modelos pay-per-tokens podem ser acessados em seu site Databricks workspace. Esses modelos pay-per-tokens são recomendados para começar. Para acessá-los em seu site workspace, navegue até Serving tab na barra lateral esquerda. O Foundation Model APIs está localizado na parte superior da lista de endpoints view.
- Modelos pay-per-tokens suportados.
- Consulte Consultar modelos da fundação para obter orientação sobre como consultar APIs do modelo da fundação.
- Consulte a referência da API REST do modelo Foundation para obter os parâmetros e a sintaxe necessários.
provisionamento Taxa de transferência Foundation Model APIs
O provisionamento Taxa de transferência fornece ao endpoint uma inferência otimizada para cargas de trabalho do modelo de fundação que exigem garantias de desempenho. Databricks recomenda o provisionamento Taxa de transferência para cargas de trabalho de produção.
- provisionamento Taxa de transferência arquiteturas de modelos suportados.
- Consulte o provisionamento Taxa de transferência Foundation Model APIs para obter um guia passo a passo sobre como implantar o Foundation Model APIs no provisionamento em todo o modo.
O suporte da taxa de transferência provisionada inclui:
- Modelos básicos de todos os tamanhos . Os modelos básicos podem ser acessados usando o Databricks Marketplace download Hugging Face site ou, alternativamente, o Unity Catalog senhor pode acessá-los em ou em outra fonte externa e registrá-los no site. A última abordagem funciona com qualquer variante ajustada dos modelos suportados.
- Variantes ajustadas de modelos básicos, como modelos que são ajustados com base em dados proprietários.
- Pesos e tokenizadores totalmente personalizados , como aqueles treinados do zero ou pré-treinados contínuos ou outras variações usando a arquitetura do modelo básico (por exemplo, CodelLama).
inferência de lotes
Consulte Realizar a inferência de lotes LLM usando AI Functions para saber como criar o pipeline de inferência de lotes usando AI Functions.
Limitações
Consulte os limites das APIs do Foundation Model.