Criar uma execução de treinamento usando a UI de ajuste fino do modelo básico

Prévia

Este recurso está em prévia pública em us-east-1 e us-west-2.

Este artigo descreve como criar e configurar uma execução de treinamento usando a UI do Foundation Model Fine-tuning (agora parte do Mosaic AI Model treinamento). O senhor também pode criar uma execução usando a API. Para obter instruções, consulte Criar uma execução de treinamento usando o Foundation Model Fine-tuning API.

Requisitos

Consulte Requisitos.

Criar uma execução de treinamento usando a interface do usuário

Siga as etapas para criar uma execução de treinamento usando a interface do usuário.

  1. Na barra lateral esquerda, clique em Experimentos.

  2. No cartão Foundation Model Fine-tuning, clique em Create Mosaic AI Model Experiment.

    Formulário de experimento do modelo base

  3. O formulário de ajuste fino do Modelo Fundamental é aberto. Os itens marcados com um asterisco são obrigatórios. Faça suas seleções e clique em começar treinamento.

    Tipo: selecione a tarefa a ser executada.

    Tarefa

    Descrição

    Ajuste fino de instruções

    Continuar treinando um modelo base com instruções e respostas rápidas para otimizar o modelo para uma tarefa específica.

    Pré-treinamento contínuo

    Continuar treinando um modelo básico para dar a ele conhecimento específico do domínio.

    Conclusão do bate-papo

    Continuar treinando um modelo base com logs de conversa para otimizá-lo para perguntas e respostas ou aplicações de conversação.

    Selecione o modelo de base: Selecione o modelo a ser ajustado ou treinado. Para obter uma lista dos modelos compatíveis, consulte Modelos compatíveis.

    Dados de treinamento: clique em Procurar para selecionar uma tabela no Unity Catalog ou insira o URL completo do dataset do Hugging Face. Para ver as recomendações de tamanho de dados, consulte Tamanho de dados recomendado para treinamento de modelo.

    Se você selecionar uma tabela no Unity Catalog, também deverá selecionar a computação a ser usada para ler a tabela.

    Registro no local: selecione o catálogo e o esquema do Unity Catalog nos menus suspensos. O modelo treinado é salvo nesse local.

    Nome do modelo: o modelo é salvo com esse nome no catálogo e no esquema que você especificou. Um nome default aparece neste campo, mas você pode alterá-lo se desejar.

    Opções avançadas: para maior personalização, você pode definir configurações opcionais para avaliação, ajuste de hiperparâmetros ou treinar a partir de um modelo proprietário existente.

    Contexto

    Descrição

    Duração do treinamento

    Duração da execução de treinamento, especificada em épocas (por exemplo, 10ep) ou tokens (por exemplo, 1000000tok). O default é 1ep.

    Taxa de aprendizagem

    Taxa de aprendizagem para treinamento de modelos. O default é 5e-7. O otimizador é o DecoupledLionW com betas de 0,99 e 0,95 e sem decaimento de peso. O programador da taxa de aprendizagem é o LinearWithWarmupSchedule com um aquecimento de 2% da duração total do treinamento e um multiplicador de taxa de aprendizagem final de 0.

    Comprimento do contexto

    O comprimento máximo da sequência da amostra de dados. Dados maiores que esta configuração serão truncados. O default depende do modelo selecionado.

    Dados de avaliação

    Clique em Procurar para selecionar uma tabela no Unity Catalog ou insira o URL completo do dataset do Hugging Face. Se deixar esse campo em branco, não será realizada nenhuma avaliação.

    Solicitações de avaliação de modelo

    Digite instruções opcionais a serem usadas para avaliar o modelo.

    Nome do experimento

    Por default, atribui-se um novo nome gerado automaticamente a cada execução. Você pode optar por inserir um nome personalizado ou selecionar um experimento existente na lista suspensa.

    Pesos personalizados

    Por padrão, o treinamento começa usando os pesos originais do modelo selecionado. Para começar com pesos personalizados de um ponto de verificação do Compositor, insira o caminho para a tabela do Unity Catalog que contém os valores do ponto de verificação.

Próximos passos

Após a conclusão da execução do treinamento, o senhor pode revisar as métricas em MLflow e implantar seu modelo para inferência. Veja os passos 5 a 7 do tutorial: Criar e implantar um Foundation Model Execução de ajuste fino.

Consulte o Notebook Ajuste fino de instruções: Reconhecimento de entidades nomeadas para ver um exemplo de ajuste fino de instruções que aborda a preparação de dados, o ajuste fino, o treinamento, a execução, a configuração e a implantação.