Adicionar um recurso de experimento do MLflow a um aplicativo Databricks

Adicione experimentosMLflow como um recurso do Databricks Apps para habilitar o acompanhamento de experimentos machine learning em seus aplicativos. Os experimentos MLflow fornecem uma maneira estruturada de organizar e log a execução do treinamento, rastrear parâmetros, métricas e artefatos ao longo do ciclo de vida do desenvolvimento do modelo.

Ao adicionar um experimento do MLflow como um recurso, seu aplicativo poderá:

• log treinamento execução com parâmetros e métricas
• Recupere os dados experimentais e compare o desempenho do modelo.
• Acesse metadados do experimento e história de execução
• gerenciar o ciclo de vida ML programaticamente

Adicionar um recurso de experimento do MLflow

Antes de adicionar um experimento do MLflow como um recurso, revise os pré-requisitos do recurso do aplicativo.

1. Ao criar ou editar um aplicativo, navegue até Configurar o passo.

2. Na seção Recurso do aplicativo , clique em + Adicionar recurso .

3. Selecione o experimento MLflow como o tipo de recurso.

4. Escolha um experimento MLflow na lista de experimentos disponíveis em seu workspace.

5. Selecione o nível de permissão apropriado para seu aplicativo:

   • Pode ser lido: Concede permissão ao aplicativo para view metadados do experimento, execução, parâmetros e métricas. Use para aplicativos que exibem resultados de experimentos.
   • Pode editar: Concede ao aplicativo permissão para modificar as configurações e os metadados do experimento.
   • Pode gerenciar: Concede ao aplicativo acesso administrativo completo ao experimento.

6. (Opcional) Especifique uma key de recurso personalizada, que é como você referencia o experimento na configuração do seu aplicativo. A key default é experiment.

Ao adicionar um recurso de experimento do MLflow:

• O Databricks concede à entidade de serviço do seu aplicativo as permissões especificadas no experimento selecionado.
• O aplicativo pode log a execução do treinamento e acessar os dados do experimento por meio da API de acompanhamento MLflow .
• O acesso é restrito apenas ao experimento selecionado. Seu aplicativo não poderá acessar outros experimentos, a menos que você os adicione como recursos separados.

variável de ambiente

Quando você implanta um aplicativo com um recurso de experimento MLflow , Databricks expõe o ID do experimento por meio de uma variável de ambiente que você pode referenciar usando o campo valueFrom em sua configuração app.yaml .

Configuração de exemplo:

YAML

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Utilizando o ID do experimento em sua aplicação:

Python

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Para mais informações consulte Variável de ambiente de acesso do recurso.

Remover um recurso de experimento do MLflow

Ao remover um recurso de Experimento do MLflow de um aplicativo, a entidade de serviço do aplicativo perde o acesso ao experimento. O experimento em si permanece inalterado e continua disponível para outros usuários e aplicativos que possuam as permissões adequadas.

Melhores práticas

Siga estas boas práticas ao trabalhar com o recurso de experimentos MLflow :

• Organize os experimentos logicamente por tipo de projeto ou modelo para melhorar a capacidade de descoberta.
• Utilize convenções de nomenclatura consistentes para execução e parâmetros em toda a sua organização.
• Considere políticas de retenção de experimentos e gerenciamento de armazenamento para projetos de longa duração.