tutorial: Criar e implantar o Mosaic AI Model treinamento execução

Importante

Esse recurso está em Public Preview. Entre em contato com a equipe do Databricks account para se inscrever no Public Preview.

Este artigo descreve como criar e configurar uma execução usando o Mosaic AI Model treinamento (anteriormente Foundation Model treinamento) API e, em seguida, analisar os resultados e implantar o modelo usando a UI Databricks e Mosaic AI Model Serving.

Requisitos

o passo 1: Preparar seus dados para treinamento

Consulte Preparar dados para Mosaic AI Model treinamento.

o passo 2: Instale o databricks_genai SDK

Use o seguinte para instalar o SDK databricks_genai.

%pip install databricks_genai

Em seguida, importe a biblioteca foundation_model:

dbutils.library.restartPython()
from databricks.model_training import foundation_model as fm

o passo 3: Criar um treinamento execução

Crie uma execução de treinamento usando a função create() do treinamento do modelo Mosaic AI. Os seguintes parâmetros são necessários:

  • model: o modelo que o senhor deseja ensinar.

  • train_data_pathO senhor pode dizer: o local do treinamento dataset in.

  • register_to: o catálogo e o esquema do Unity Catalog em que o senhor deseja salvar os pontos de controle.

Por exemplo:

run = fm.create(model='meta-llama/Llama-2-7b-chat-hf',
                train_data_path='dbfs:/Volumes/main/my-directory/ift/train.jsonl', # UC Volume with JSONL formatted data
                register_to='main.my-directory',
                training_duration='1ep')

run

o passo 4: view o status de uma execução

O tempo necessário para concluir uma execução de treinamento depende do número de tokens, do modelo e da disponibilidade da GPU. Para um treinamento mais rápido, o site Databricks recomenda que o senhor use o site reservado compute. Entre em contato com a equipe do Databricks account para obter detalhes.

Depois de iniciar a execução, o senhor pode monitorar o status dela usando get_events().

run.get_events()

o passo 5: view métricas e saídas

Siga estes passos para view os resultados na UI Databricks:

  1. No site Databricks workspace, clique em Experiments (Experimentos ) na barra de navegação à esquerda.

  2. Selecione seu experimento na lista.

  3. Analise os gráficos métricos em Charts tab.

    1. O principal treinamento métrico que mostra progresso é a perda. A perda de avaliação pode ser usada para verificar se o modelo está se ajustando demais aos dados de treinamento. No entanto, não se deve confiar totalmente na perda porque, em uma tarefa de treinamento supervisionado, a perda de avaliação pode parecer um ajuste excessivo enquanto o modelo continua a melhorar.

    2. Quanto maior a precisão, melhor será o modelo, mas lembre-se de que uma precisão próxima a 100% pode demonstrar excesso de ajuste.

    3. Neste site tab, o senhor também pode view a saída dos prompts de avaliação, caso os tenha especificado.

o passo 6: Avaliar vários modelos personalizados com MLflow LLM Avaliar antes de implantar

Consulte Avaliar modelos de linguagem grandes com o MLflow.

o passo 7: implantado seu modelo

A execução do treinamento registra automaticamente seu modelo em Unity Catalog após a conclusão. O modelo é registrado com base no que o senhor especificou no campo register_to no método execução create().

Para implantar o modelo de atendimento, siga estes passos:

  1. Navegue até o modelo no Unity Catalog.

  2. Clique em Servir este modelo.

  3. Clique em Create serving endpoint.

  4. No campo Name (Nome ), forneça um nome para seu endpoint.

  5. Clique em Criar.

Recursos adicionais