Foundation Model treinamento

Importante

Esse recurso está em Public Preview. Entre em contato com a equipe do Databricks account para se inscrever no Public Preview.

Com o treinamento do Foundation Model, o senhor pode usar seus próprios dados para personalizar um modelo de fundação e otimizar seu desempenho para sua aplicação específica. Ao fazer o ajuste fino ou continuar o treinamento de um modelo básico, o senhor pode ensinar seu próprio modelo usando significativamente menos dados, tempo e compute recurso do que treinar um modelo do zero.

Com o Databricks, o senhor tem tudo em uma única plataforma: seus próprios dados para usar no treinamento, o modelo de fundação para ensinar, pontos de verificação salvos em MLflow e o modelo registrado em Unity Catalog e pronto para ser implantado.

Este artigo apresenta uma visão geral do Foundation Model treinamento em Databricks. Para obter detalhes sobre como usá-lo, consulte o seguinte:

O que é o treinamento Foundation Model?

O treinamento do modelo básico permite que o senhor use o site Databricks API ou a interface do usuário para ajustar ou ensinar ainda mais um modelo básico.

Usando o treinamento do Foundation Model, o senhor pode:

  • Ensine um modelo com seus dados personalizados, com os pontos de controle salvos em MLflow. O senhor mantém controle total sobre o modelo treinado.

  • Registre automaticamente o modelo em Unity Catalog, permitindo fácil implementação com o servindo modelo.

  • Ensinar ainda mais um modelo proprietário completo, carregando os pesos de um modelo treinado anteriormente.

Databricks recomenda que o senhor experimente o treinamento do Foundation Model se:

  • O senhor já tentou aprender com poucos disparos e deseja obter melhores resultados.

  • O senhor tentou a engenharia imediata em um modelo existente e deseja obter melhores resultados.

  • O senhor deseja ter total propriedade sobre um modelo personalizado de privacidade de dados.

  • O senhor é sensível à latência ou ao custo e deseja usar um modelo menor e mais barato com seus dados específicos da tarefa.

Tarefa suportada

O treinamento do Foundation Model suporta os seguintes casos de uso:

  • Ajuste fino supervisionado: ensine seu modelo em dados estruturados de resposta rápida. Use isso para adaptar seu modelo a uma nova tarefa, alterar seu estilo de resposta ou adicionar recursos de acompanhamento de instruções.

  • Pré-treinamento contínuo: ensine seu modelo com dados de texto adicionais. Use isso para adicionar novos conhecimentos a um modelo ou concentrar um modelo em um domínio específico.

  • Conclusão do bate-papo: ensine seu modelo no bate-papo logs entre um usuário e um assistente de IA. Esse formato pode ser usado tanto para o bate-papo real logs, quanto como um formato padrão para respostas a perguntas e texto de conversação. O texto é formatado automaticamente no formato de bate-papo apropriado para o modelo específico.

Requisitos

  • Um Databricks workspace em uma das seguintes regiões AWS: us-east-1, us-west-2.

  • APIs de treinamento do modelo básico instaladas usando pip install databricks_genai.

  • Databricks Runtime 12.2 LTS ML ou acima se seus dados estiverem em uma tabela Delta.

Consulte Preparar dados para o treinamento do Foundation Model para obter informações sobre os formatos de dados de entrada necessários.

Modelos suportados

Importante

Llama 3 está licenciado sob a Licença da comunidade LLAMA 3, Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir o compliance com as licenças de modelo aplicáveis.

Llama 2 e Code Llama estão licenciados sob a LLAMA 2 comunidade License, Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir o compliance com as licenças de modelo aplicáveis.

O DBRX é fornecido sob e sujeito à Licença de Modelo Aberto da Databricks, Copyright © Databricks, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir que o compliance esteja em conformidade com as licenças de modelo aplicáveis, incluindo a política de uso aceitável doDatabricks .

Modelo

Comprimento máximo do contexto

databricks/dbrx-base

4096

databricks/dbrx-instruct

4096

meta-llama/Meta-Llama-3-70B

8192

meta-llama/Meta-Llama-3-70B-Instruct

8192

meta-llama/Meta-Llama-3-8B

8192

meta-llama/Meta-Llama-3-8B-Instruct

8192

meta-llama/Llama-2-7b-hf

4096

meta-llama/Llama-2-13b-hf

4096

meta-llama/Llama-2-70b-hf

4096

meta-llama/Llama-2-7b-chat-hf

4096

meta-llama/Llama-2-13b-chat-hf

4096

meta-llama/Llama-2-70b-chat-hf

4096

codellama/CodeLlama-7b-hf

16384

codellama/CodeLlama-13b-hf

16384

codellama/CodeLlama-34b-hf

16384

codellama/CodeLlama-7b-Instruct-hf

16384

codellama/CodeLlama-13b-Instruct-hf

16384

codellama/CodeLlama-34b-Instruct-hf

16384

codellama/CodeLlama-7b-Python-hf

16384

codellama/CodeLlama-13b-Python-hf

16384

codellama/CodeLlama-34b-Python-hf

16384

mistralai/Mistral-7B-v0.1

32768

mistralai/Mistral-7B-Instruct-v0.2

32768

mistralai/Mixtral-8x7B-v0.1

32768

Use o treinamento do modelo Foundation

O treinamento do Foundation Model pode ser acessado usando o databricks_genai SDK. O exemplo a seguir cria e inicia uma execução de treinamento que usa dados do Unity Catalog Volumes. Consulte a seção Criar um treinamento execução usando o treinamento Foundation Model API para obter detalhes sobre a configuração.

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Llama-2-7b-chat-hf'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

Limitações

  • Conjuntos de dados grandes (10B+ tokens) não são compatíveis devido à disponibilidade do site compute.

  • Não há suporte para o PrivateLink.

  • Para o pré-treinamento contínuo, as cargas de trabalho são limitadas a arquivos de 60 a 256 MB. Arquivos maiores que 1 GB podem causar tempos de processamento mais longos.

  • Databricks se esforça para disponibilizar os mais recentes modelos de última geração para personalização usando o treinamento Foundation Model. À medida que disponibilizamos novos modelos, podemos remover a capacidade de acessar modelos mais antigos da API e/ou da interface do usuário, descontinuar modelos mais antigos ou atualizar modelos compatíveis. Se um modelo da fundação for removido do site API e/ou da interface do usuário ou obsoleto, o site Databricks tomará os seguintes passos para notificar os clientes pelo menos três meses antes da data de remoção e/ou obsoletismo:

    • Exibir uma mensagem de aviso no cartão do modelo na página de treinamento Experimentos > Modelo básico do site Databricks workspace indicando que o modelo está programado para ser descontinuado.

    • Atualizar nossa documentação para incluir um aviso indicando que o modelo está programado para ser descontinuado.