Pular para o conteúdo principal

Modelos de fundação suportados no Mosaic AI Model Serving

Este artigo descreve os modelos de fundação que o senhor pode utilizar Mosaic AI Model Serving.

Os modelos Foundation são neurais de rede grandes e pré-treinados que são treinados em grandes e amplas faixas de dados. Esses modelos são projetados para aprender padrões gerais em linguagem, imagens ou outros tipos de dados e podem ser ajustados para tarefas específicas com treinamento adicional. Seu uso de determinados modelos básicos está sujeito à licença do desenvolvedor do modelo e à política de uso aceitável. Consulte os termos e licenças de desenvolvedor de modelos aplicáveis.

O servindo modelo oferece opções flexíveis para hospedagem e consulta de modelos da fundação com base em suas necessidades:

  • Modelos otimizados para o AI Functions: Um subconjunto de modelos hospedados no Databricks é otimizado para o AI Functions. O senhor pode aplicar o AI às suas cargas de trabalho de produção de inferência de dados e lotes de execução em escala usando essas funções e seus modelos compatíveis.
  • Pagamento por tokens: Ideal para experimentação e exploração rápida. Essa opção permite que o senhor consulte um endpoint pré-configurado em seu Databricks workspace sem compromissos iniciais de infraestrutura.
  • provisionamento Taxa de transferência: Recomendado para casos de uso de produção que exigem garantias de desempenho. Essa opção permite a implementação de modelos de fundação ajustados com endpoint de atendimento otimizado.
  • Modelos externos: Essa opção permite o acesso a modelos de fundação hospedados fora da Databricks, como os fornecidos pela OpenAI ou pela Anthropic. Esses modelos podem ser gerenciados de forma centralizada em Databricks para uma governança simplificada.

Modelos básicos hospedados na Databricks

A Databricks hospeda modelos de base aberta de última geração, como o Meta Llama. Esses modelos são disponibilizados usando as APIs do Foundation Model.

A tabela a seguir resume quais modelos e famílias de modelos hospedados no site Databrickssão suportados em cada região com base no recurso servindo modelo.

important
  • O Meta Llama 4 Maverick está disponível para cargas de trabalho do modelo Foundation APIs provisionamento Taxa de transferência no Public Preview. Entre em contato com a equipe do Databricks account para participar da visualização.

  • A partir de 11 de dezembro de 2024, Meta-Llama-3.3-70B-Instruct Substitui o suporte para Meta-Llama-3.1-70B-Instruct no modelo Foundation APIs pay-per-tokens endpoint.

  • Os modelos a seguir estão agora retirados. Consulte Modelos retirados para ver os modelos de substituição recomendados.

    • Instrução Mixtral-8x7B
    • DBRX
    • Llama 2 70B Chat
    • Instrução MPT 7B
    • Instrução MPT 30B

Região

AI Functions modelos otimizados

Modelo de fundação APIs pay-per-tokens

Modelo de Fundação APIs provisionamento Taxa de transferência

ap-northeast-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

  • Meta Llama 4 Maverick* (prévia)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

ap-northeast-2

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick* (prévia)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

ap-south-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick* (prévia)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

ap-southeast-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick* (prévia)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

ap-southeast-2

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick* (prévia)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

ca-central-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick* (prévia)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

eu-central-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick (visualização)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

eu-west-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick (visualização)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

eu-west-2

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick (visualização)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

eu-west-3

Não suportado

Não suportado

Não suportado

sa-east-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick* (prévia)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

us-east-1

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick (visualização)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

us-east-2

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick (visualização)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

us-gov-west-1

Não suportado

Não suportado

Não suportado

us-west-1

Não suportado

Não suportado

Não suportado

us-west-2

Os seguintes modelos são compatíveis:

Os seguintes modelos são compatíveis:

As seguintes famílias de modelos são suportadas:

  • Meta Llama 4 Maverick (visualização)
  • Meta Llama 3.3
  • Meta Llama 3.2 3B
  • Meta Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 (inglês)
  • BGE v1.5 (inglês)
  • DeepSeek R1 (não disponível no Unity Catalog)

Famílias de modelos legados suportados:

  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • Mistral
  • Mixtral
  • MPT

* Esse modelo é suportado com base na disponibilidade da GPU e exige que o roteamento entre geografias seja ativado.

Acessar modelos de fundação hospedados fora da Databricks

Os modelos básicos criados por provedores de LLM, como OpenAI e Anthropic, também podem ser acessados no Databricks usando modelos externos. Esses modelos são hospedados fora da Databricks e o senhor pode criar um endpoint para consultá-los. Esses endpoints podem ser controlados de forma centralizada em Databricks, o que simplifica o uso e o gerenciamento de vários provedores de LLM em sua organização.

A tabela a seguir apresenta uma lista não exaustiva dos modelos compatíveis e dos tipos de endpoint correspondentes. O senhor pode usar as associações de modelos listadas para ajudá-lo a configurar seu endpoint para quaisquer tipos de modelos recém-lançados, à medida que eles se tornam disponíveis em um determinado provedor. Os clientes são responsáveis por garantir o compliance com as licenças de modelo aplicáveis.

nota

Com o rápido desenvolvimento dos LLMs, não há garantia de que essa lista esteja sempre atualizada. Geralmente, há suporte para novas versões de modelos do mesmo fornecedor, mesmo que não estejam na lista.

Fornecedor de modelos

llm/v1/conclusões

llm/v1/chat

llm/v1/incorporações

IA aberta**

  • gpt-3.5-turbo-instruct - baby-002 - davinci-002
  • o1 - o1-mini - o1-mini-2024-09-12 - gpt-3,5 turbo - gpt-4 - gpt-4-turbo - gpt-4-turbo-2024-04 - gpt-4o - gpt-4o-2024-05-13 - gpt-4o-mini
  • incorporação de texto-ada-002 - incorporação de texto - 3 grandes - incorporação de texto - 3-small

Azure OpenAI**

  • texto-davinci-003 - instrução gpt-35 turbo
  • o1 - o1-mini - gpt-35 turbo - gpt-35-turbo-16k - gpt-4 - gpt-4-turbo - gpt-4-32k - gpt-4o - gpt-4o-mini
  • incorporação de texto-ada-002 - incorporação de texto - 3 grandes - incorporação de texto - 3-small

Anthropic

  • cláusula 1 - cláusula 1.3-100k - cláusula 2 - cláusula 2.1 - cláusula 2.0 - claude-instant-1.2
  • claude-3-5-soneto mais recente - claude-3-5-haiku-latest - claude-3-5-opus-latest - claude-3-5-soneto-20241022 - claude-3-5-haiku-20241022 - claude-3-5-soneto-20240620 - claude-3-haiku-20240307 - claude-3-opus-20240229 - claude-3-soneto-20240229

Coer**

  • comando - luz de comando
  • comando-r7b-12-2024 - comando-r-plus-08-2024 - comando-r-08-2024 - comando-r-plus - comando-r - comando - comando-light-nightly - luz de comando - comando-noturno
  • incorporar inglês-v2.0 - incorporar multilíngue-v2.0 - incorporar luz em inglês v2.0 - incorporar inglês-v3.0 - incorporar luz em inglês v3.0 - incorporar multilíngue-v3.0 - incorporar luz multilíngue v3.0

Mosaic AI Model Serving

Databricks servindo endpoint

Databricks servindo endpoint

Databricks servindo endpoint

Amazon Bedrock

Anthropic: - claude-instant-v1 - claude-v2 Cohere: - comando-texto-v14 - texto de luz de comando-v14 AI21 Labs: - instrução j2-grande-instruct - instrução j2-jumbo - j2-mid - j2 no meio da v1 - j2-ultra - j2-ultra-v1

Anthropic: - claude-3-5-soneto-20241022-v 2:0 - claude-3-5-haiku-20241022-v 1:0 - claude-3-opus-20240229-v 1:0 - claude-3-soneto-20240229-v 1:0 - claude-3-5-soneto-20240620-v 1:0 Cohere: - comando-r-plus-v1:0 - comando-r-v1:0 Amazon: - nova-lite-v 1:0 - nova-micro-v 1:0 - nova-pro-v 1:0

Amazon: - titan-embed-text-v 2:0 - texto incorporado em titã v1 - titan-embed-g1-text-02 Cohere: - incorporar inglês-v3 - incorporar multilíngue-v3

AI21 Labs

  • j2-mid - luz j2 - j2-ultra

Google Cloud Vertex AI

bisonte de texto

  • bisonte do bate-papo - gemini-pro - gemini-1.0-pro - gemini-1.5-pro - gemini-1.5-flash - flash gemini-2.0
  • incorporação de texto-004 - incorporação de texto-005 - lagartixa embutida em texto

** O provedor de modelos oferece suporte a modelos de preenchimento e bate-papo aprimorados. Para consultar um modelo ajustado, preencha o campo name da configuração external model com o nome do seu modelo ajustado.

O provedor de modelos oferece suporte a modelos de conclusão personalizados.

Criar um endpoint de modelo de serviço de fundação

Para consultar e usar modelos básicos em seus aplicativos AI, o senhor deve primeiro criar um modelo de serviço endpoint. O servindo modelo usa um API e uma UI unificados para criar e atualizar o endpoint do servindo modelo da fundação.

Query foundation servindo modelo endpoint

Depois de criar o endpoint de serviço, o senhor poderá consultar o modelo da fundação. O servindo modelo usa um API e um SDK unificados e compatíveis com o OpenAI para consultar os modelos da fundação. Essa experiência unificada simplifica a forma como você experimenta e personaliza modelos básicos para produção em nuvens e fornecedores compatíveis.

Consulte Usar modelos de base.