Modelos de fundação suportados no Mosaic AI Model Serving
Este artigo descreve os modelos de fundação que o senhor pode utilizar Mosaic AI Model Serving.
Os modelos Foundation são neurais de rede grandes e pré-treinados que são treinados em grandes e amplas faixas de dados. Esses modelos são projetados para aprender padrões gerais em linguagem, imagens ou outros tipos de dados e podem ser ajustados para tarefas específicas com treinamento adicional. Seu uso de determinados modelos básicos está sujeito à licença do desenvolvedor do modelo e à política de uso aceitável. Consulte os termos e licenças de desenvolvedor de modelos aplicáveis.
O servindo modelo oferece opções flexíveis para hospedagem e consulta de modelos da fundação com base em suas necessidades:
- Modelos otimizados para o AI Functions: Um subconjunto de modelos hospedados no Databricks é otimizado para o AI Functions. O senhor pode aplicar o AI às suas cargas de trabalho de produção de inferência de dados e lotes de execução em escala usando essas funções e seus modelos compatíveis.
- Pagamento por tokens: Ideal para experimentação e exploração rápida. Essa opção permite que o senhor consulte um endpoint pré-configurado em seu Databricks workspace sem compromissos iniciais de infraestrutura.
- provisionamento Taxa de transferência: Recomendado para casos de uso de produção que exigem garantias de desempenho. Essa opção permite a implementação de modelos de fundação ajustados com endpoint de atendimento otimizado.
- Modelos externos: Essa opção permite o acesso a modelos de fundação hospedados fora da Databricks, como os fornecidos pela OpenAI ou pela Anthropic. Esses modelos podem ser gerenciados de forma centralizada em Databricks para uma governança simplificada.
Modelos básicos hospedados na Databricks
A Databricks hospeda modelos de base aberta de última geração, como o Meta Llama. Esses modelos são disponibilizados usando as APIs do Foundation Model.
A tabela a seguir resume quais modelos e famílias de modelos hospedados no site Databrickssão suportados em cada região com base no recurso servindo modelo.
-
O Meta Llama 4 Maverick está disponível para cargas de trabalho do modelo Foundation APIs provisionamento Taxa de transferência no Public Preview. Entre em contato com a equipe do Databricks account para participar da visualização.
-
A partir de 11 de dezembro de 2024, Meta-Llama-3.3-70B-Instruct Substitui o suporte para Meta-Llama-3.1-70B-Instruct no modelo Foundation APIs pay-per-tokens endpoint.
-
Os modelos a seguir estão agora retirados. Consulte Modelos retirados para ver os modelos de substituição recomendados.
- Instrução Mixtral-8x7B
- DBRX
- Llama 2 70B Chat
- Instrução MPT 7B
- Instrução MPT 30B
Região | AI Functions modelos otimizados | Modelo de fundação APIs pay-per-tokens | Modelo de Fundação APIs provisionamento Taxa de transferência |
|---|---|---|---|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Não suportado | Não suportado | Não suportado |
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
| Não suportado | Não suportado | Não suportado |
| Não suportado | Não suportado | Não suportado |
| Os seguintes modelos são compatíveis: | Os seguintes modelos são compatíveis: | As seguintes famílias de modelos são suportadas:
Famílias de modelos legados suportados:
|
* Esse modelo é suportado com base na disponibilidade da GPU e exige que o roteamento entre geografias seja ativado.
Acessar modelos de fundação hospedados fora da Databricks
Os modelos básicos criados por provedores de LLM, como OpenAI e Anthropic, também podem ser acessados no Databricks usando modelos externos. Esses modelos são hospedados fora da Databricks e o senhor pode criar um endpoint para consultá-los. Esses endpoints podem ser controlados de forma centralizada em Databricks, o que simplifica o uso e o gerenciamento de vários provedores de LLM em sua organização.
A tabela a seguir apresenta uma lista não exaustiva dos modelos compatíveis e dos tipos de endpoint correspondentes. O senhor pode usar as associações de modelos listadas para ajudá-lo a configurar seu endpoint para quaisquer tipos de modelos recém-lançados, à medida que eles se tornam disponíveis em um determinado provedor. Os clientes são responsáveis por garantir o compliance com as licenças de modelo aplicáveis.
Com o rápido desenvolvimento dos LLMs, não há garantia de que essa lista esteja sempre atualizada. Geralmente, há suporte para novas versões de modelos do mesmo fornecedor, mesmo que não estejam na lista.
Fornecedor de modelos | llm/v1/conclusões | llm/v1/chat | llm/v1/incorporações |
|---|---|---|---|
IA aberta** |
|
|
|
Azure OpenAI** |
|
|
|
Anthropic |
|
| |
Coer** |
|
|
|
Mosaic AI Model Serving | Databricks servindo endpoint | Databricks servindo endpoint | Databricks servindo endpoint |
Amazon Bedrock | Anthropic: - claude-instant-v1 - claude-v2 Cohere: - comando-texto-v14 - texto de luz de comando-v14 AI21 Labs: - instrução j2-grande-instruct - instrução j2-jumbo - j2-mid - j2 no meio da v1 - j2-ultra - j2-ultra-v1 | Anthropic: - claude-3-5-soneto-20241022-v 2:0 - claude-3-5-haiku-20241022-v 1:0 - claude-3-opus-20240229-v 1:0 - claude-3-soneto-20240229-v 1:0 - claude-3-5-soneto-20240620-v 1:0 Cohere: - comando-r-plus-v1:0 - comando-r-v1:0 Amazon: - nova-lite-v 1:0 - nova-micro-v 1:0 - nova-pro-v 1:0 | Amazon: - titan-embed-text-v 2:0 - texto incorporado em titã v1 - titan-embed-g1-text-02 Cohere: - incorporar inglês-v3 - incorporar multilíngue-v3 |
AI21 Labs |
| ||
Google Cloud Vertex AI | bisonte de texto |
|
|
** O provedor de modelos oferece suporte a modelos de preenchimento e bate-papo aprimorados. Para consultar um modelo ajustado, preencha o campo name da configuração external model com o nome do seu modelo ajustado.
† O provedor de modelos oferece suporte a modelos de conclusão personalizados.
Criar um endpoint de modelo de serviço de fundação
Para consultar e usar modelos básicos em seus aplicativos AI, o senhor deve primeiro criar um modelo de serviço endpoint. O servindo modelo usa um API e uma UI unificados para criar e atualizar o endpoint do servindo modelo da fundação.
- Para criar um endpoint que sirva variantes ajustadas de modelos de fundação disponibilizados por meio do provisionamento de Foundation Model APIs Taxa de transferência, consulte Criar seu provisionamento Taxa de transferência endpoint usando o REST API .
- Para criar um endpoint de serviço que acesse os modelos da fundação disponibilizados usando a oferta de modelos externos, consulte Criar um modelo de serviço externo endpoint.
Query foundation servindo modelo endpoint
Depois de criar o endpoint de serviço, o senhor poderá consultar o modelo da fundação. O servindo modelo usa um API e um SDK unificados e compatíveis com o OpenAI para consultar os modelos da fundação. Essa experiência unificada simplifica a forma como você experimenta e personaliza modelos básicos para produção em nuvens e fornecedores compatíveis.
Consulte Usar modelos de base.