Pular para o conteúdo principal
Última atualização em

Tutorial: criar e implantar uma execução de Otimização do modelo básico (descontinuado)

importante

Otimização do modelo básico está obsoleta e está programada para remoção em 14 de agosto de 2026. As execuções de ajuste fino existentes continuam a funcionar e podem ser retreinadas, mas novas instalações do pacote databricks_genai e da IU de Ajuste Fino de Modelo Base serão bloqueadas após essa data.

A Databricks recomenda migrar para AI Runtime, que fornece um ambiente serverless com suporte a GPU para treinamento e ajuste fino de modelos básicos.

info

Visualização

Esse recurso está em Public Preview em us-east-1 e us-west-2.

Este artigo descreve como criar e configurar uma execução usando a API Foundation Model Fine-tuning (agora parte do Databricks Model Treinamento) e, em seguida, revisar os resultados e implantar o modelo usando a interface do usuário Databricks e o servidor de modelos.

Requisitos​

Etapa 1: Prepare seus dados para treinamento​

Veja Preparar dados para ajuste fino de modelo de base (obsoleto).

Etapa 2: Instale o SDK do databricks_genai​

Use o seguinte para instalar o SDK databricks_genai.

Python
%pip install databricks_genai

Depois, importe a biblioteca foundation_model:

Python
dbutils.library.restartPython()
from databricks.model_training import foundation_model as fm

Etapa 3: Criar um treinamento execução​

Crie uma execução de treinamento usando a função Foundation Model Fine-tuning create(). Os seguintes parâmetros são obrigatórios:

  • model: o modelo que você deseja treinar.
  • train_data_path: a localização do dataset de treinamento.
  • register_to: o catálogo e o esquema do Unity Catalog em que você deseja que os pontos de verificação sejam salvos.

Por exemplo:

Python
run = fm.create(model='meta-llama/Meta-Llama-3.1-8B-Instruct',
                train_data_path='dbfs:/Volumes/main/my-directory/ift/train.jsonl', # UC Volume with JSONL formatted data
                register_to='main.my-directory',
                training_duration='1ep')

run

Etapa 4: visualizar o status de uma execução​

O tempo necessário para conclusão da execução de treinamento depende do número de tokens, do modelo e da disponibilidade da GPU. Para agilizar o treinamento, o Databricks recomenda usar computação reservada. Entre em contato com a equipe do Databricks responsável pela sua conta para saber os detalhes.

Quando tiver iniciado sua execução, você pode monitorar o status dela usando get_events().

Python
run.get_events()

Etapa 5: visualizar as métricas e os resultados​

Siga estas etapas para ver os resultados na interface do usuário do Databricks:

  1. No workspace do Databricks, clique em Experimentos na barra de navegação esquerda.
  2. Selecione seu experimento na lista.
  3. Analise os gráficos métricos em Charts tab. As métricas de treinamento são geradas para cada execução de treinamento e as métricas de avaliação são geradas somente se for fornecido um caminho de dados de avaliação.

    1. O principal treinamento métrico que mostra progresso é a perda. A perda de avaliação pode ser usada para verificar se o modelo está se ajustando demais aos dados de treinamento. No entanto, não se deve confiar totalmente na perda porque, em instruction treinamento tarefa, a perda de avaliação pode parecer um ajuste excessivo enquanto o modelo continua a melhorar.

    2. Quanto maior a precisão, melhor será o modelo, mas lembre-se de que uma precisão próxima a 100% pode demonstrar excesso de ajuste.

    3. As métricas a seguir são exibidas no MLflow após sua execução:

      • LanguageCrossEntropy calcular a entropia cruzada nos resultados de modelagem de linguagem. Uma pontuação mais baixa é melhor.
      • LanguagePerplexity mede o quão bem um modelo de linguagem prediz a próxima palavra ou caractere em um bloco de texto com base em palavras ou caracteres anteriores. Uma pontuação mais baixa é melhor.
      • TokenAccuracy calcular a precisão em nível de tokens para modelagem de linguagem. Uma pontuação maior é melhor.

    4. Nessa tab, aparece também o resultado das suas instruções de avaliação, caso as tenha especificado.

a etapa 6: Avalie vários modelos personalizados com a Avaliação de Agentes antes da implantação​

Consulte Avaliação de Agentes (MLflow 2).

Etapa 7: implante seu modelo​

A execução do treinamento registra automaticamente o modelo no Unity Catalog após a conclusão. O modelo é registrado com base no que você especificou no campo register_to no método de de execução create().

Para implantar o modelo para servir, siga essas etapas:

  1. Navegue até o modelo no Unity Catalog.
  2. Clique em Servir este modelo .
  3. Clique em Criar endpoint de serviço .
  4. No campo Nome , informe um nome para o seu endpoint.
  5. Clique em Criar .

Recurso adicional​

Nesta página