Organize a execução do treinamento com experimentos MLflow

Os experimentos são unidades de organização para a execução do seu modelo de treinamento. Existem dois tipos de experimentos: workspace e Notebook.

  • O senhor pode criar um experimento workspace a partir da interface do usuário Databricks Mosaic AI ou do site MLflow API. Os experimentos do espaço de trabalho não estão associados a nenhum Notebook, e qualquer Notebook pode log a execução desses experimentos usando o ID do experimento ou o nome do experimento.

  • Uma experiência Notebook está associada a um Notebook específico. O Databricks cria automaticamente um experimento Notebook se não houver nenhum experimento ativo quando você iniciar uma execução usando mlflow.começar().

Para ver todos os experimentos em um workspace ao qual você tem acesso, selecione Machine Learning > Experiments na barra lateral.

página de experimentos

Criar experimento de espaço de trabalho

Esta seção descreve como criar um experimento workspace usando a interface do usuário do Databricks. Você pode criar um experimento de espaço de trabalho diretamente do espaço de trabalho ou da página Experimentos.

Você também pode usar a API MLflow ou o provedor Databricks Terraform com databricks_mlflow_experiment.

Para obter instruções sobre como registrar a execução em experimentos workspace , consulte Registrando exemplo de notebook.

Observação

Para GDPR compliance, os experimentos obsoletos são removidos do espaço de trabalho. Para o espaço de trabalho em que a chave de gerenciar o cliente é usada, os experimentos obsoletos só são eliminados quando o gerenciar o cliente key é acessado por Databricks. Consulte Configurar a chave do gerenciador de clientes para criptografia para dar acesso.

Criar experimento a partir do espaço de trabalho

  1. Clique ícone do workspace Área de trabalho na barra lateral.

  2. Navegue até a pasta na qual você deseja criar o experimento.

  3. Clique com o botão direito na pasta e selecione Create > MLflow experiment.

  4. Na caixa de diálogo Create MLflow Experiment (Criar experimento MLflow), digite um nome para o experimento e um local opcional para o artefato. Se o senhor não especificar um local para o artefato, os artefatos serão armazenados no armazenamento de artefatos do MLflow-gerenciar: dbfs:/databricks/mlflow-tracking/<experiment-id>.

    O Databricks oferece suporte a volumes do Unity Catalog e locais de artefatos S3.

    Em MLflow 2.15.0 e acima, o senhor pode armazenar artefatos em um volume Unity Catalog. Ao criar um experimento do MLflow, especifique um caminho de volumes no formato dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path como o local do artefato do experimento do MLflow, conforme mostrado no código a seguir:

    EXP_NAME = "/Users/first.last@databricks.com/my_experiment_name"
CATALOG = "my_catalog"
SCHEMA = "my_schema"
VOLUME = "my_volume"
ARTIFACT_PATH = f"dbfs:/Volumes/{CATALOG}/{SCHEMA}/{VOLUME}"

mlflow.set_tracking_uri("databricks")
mlflow.set_registry_uri("databricks-uc")

if mlflow.get_experiment_by_name(EXP_NAME) is None:
    mlflow.create_experiment(name=EXP_NAME, artifact_location=ARTIFACT_PATH)
mlflow.set_experiment(EXP_NAME)

    Para armazenar artefatos no S3, especifique um URI no formato s3://<bucket>/<path>. O MLflow obtém credenciais para acessar o S3 do instance profile dos seus clusters. Os artefatos armazenados no S3 não aparecem na IU do MLflow; você deve downloads los usando um cliente de armazenamento de objetos.

    Os limites de tamanho de arquivo para upload e download são de 5 GB.

    Observação

    Quando você armazena um artefato em um local diferente do DBFS, o artefato não aparece na IU do MLflow. Os modelos armazenados em locais diferentes do DBFS não podem ser registrados no registro de modelo.

  5. Clique em Criar. Um experimento vazio é exibido.

  6. Para logs a execução deste experimento, chame mlflow.set_experiment() com o caminho do experimento. O caminho da experiência aparece na parte superior da página da experiência. Consulte Notebook de exemplo de log para obter detalhes e um Notebook de exemplo.

Crie um experimento na página Experimentos

Para criar um experimento de ajuste fino do modelo básico, AutoML ou personalizado, clique em Experiments (Exper imentos) ou selecione New > Experiment (Novo experimento ) na barra lateral esquerda.

Na parte superior da página, selecione uma das seguintes opções para configurar um experimento:

Criar experimento Notebook

Quando você usa o comando mlflow.começar() em um Notebook, a execução logs métricas e parâmetros para o experimento ativo. Se nenhum experimento estiver ativo, o Databricks criará um experimento Notebook . Uma experiência Notebook compartilha o mesmo nome e ID de seu Notebook correspondente. A ID Notebook é o identificador numérico no final de uma URL e IDNotebook .

Como alternativa, você pode passar um caminho workspace do Databricks para um Notebook existente em mlflow.set_experiment() para criar um experimento Notebook para ele.

Para obter instruções sobre como registrar a execução em experimentos de notebook, consulte Registrando exemplo de notebook.

Observação

Se você excluir um experimento Notebook usando a API (por exemplo, MlflowClient.tracking.delete_experiment() em Python), o próprio Notebook será movido para a pasta Lixeira.

Ver experimentos

Cada experimento ao qual você tem acesso aparece na página de experimentos. Nessa página, você pode view qualquer experimento. Clique no nome de uma experiência para exibir a página da experiência.

Formas adicionais de acessar a página da experiência:

  • Você pode acessar a página de experimento para um experimento workspace no menu do workspace .

  • Você pode acessar a página de experimento de um experimento Notebook a partir do Notebook.

Para pesquisar experimentos, digite o texto no campo Filtrar experimentos e pressione Enter ou clique no ícone da lupa. A lista de experimentos muda para mostrar apenas os experimentos que contêm o texto de pesquisa na coluna Nome, Criado por, Local ou Descrição .

Clique no nome de qualquer experimento na tabela para exibir sua página de experimento:

view experiência

A página do experimento lista todas as execuções associadas ao experimento. Na tabela, você pode abrir a página de execução de qualquer execução associada ao experimento clicando em Nome da execução. A coluna Origem fornece acesso à versão do Notebook que criou a execução. Você também pode pesquisar e filtrar a execução por métricas ou configurações de parâmetros.

Ver experimento de espaço de trabalho

  1. Clique ícone do workspace Área de trabalho na barra lateral.

  2. Vá para a pasta que contém o experimento.

  3. Clique no nome do experimento.

Ver experimento Notebook

Na barra lateral direita do Notebook , clique no ícone Experimento Ícone de experiência.

A barra lateral Experiment Runs aparece e mostra um resumo de cada execução associada ao experimento Notebook , incluindo parâmetros e métricas de execução. Na parte superior da barra lateral está o nome do experimento em que o Notebook logs a execução mais recentemente (seja um experimento Notebook ou um experimento workspace ).

view parâmetros e métricas de execução

Na barra lateral, você pode navegar para a página da experiência ou diretamente para uma execução.

  • Para view o experimento, clique em link externo na extrema direita, próximo a Experiment execução.

  • Para exibir uma execução, clique no nome da execução.

gerenciar experimentos

Você pode renomear, excluir ou gerenciar permissões para uma experiência de sua propriedade na página de experiências, na página de experiências ou no menu workspace .

Observação

O senhor não pode renomear, excluir ou gerenciar diretamente as permissões em um experimento do MLflow que foi criado por um Notebook em uma pasta Git da Databricks. O senhor deve executar essas ações no nível da pasta Git.

Renomeie o experimento na página de experimentos ou na página de experimentos

Para renomear um experimento na página de experimentos ou na página do experimento, clique no menu kebab Menu kebab e selecione Renomear.

Renomeie o experimento no menu do espaço de trabalho

  1. Clique ícone do workspace Área de trabalho na barra lateral.

  2. Vá para a pasta que contém o experimento.

  3. Clique com o botão direito do mouse no nome do experimento e selecione Renomear.

Copiar nome do experimento

Para copiar o nome da experiência, clique em Copiar ícone na parte superior da página da experiência. Você pode usar esse nome no comando MLflow set_experiment para definir o experimento MLflow ativo.

ícone do nome do experimento

Você também pode copiar o nome do experimento da barra lateral do experimento em um Notebook.

Excluir experimento Notebook

Os experimentos Notebook fazem parte do Notebook e não podem ser excluídos separadamente. Quando você exclui um Notebook, o experimento Notebook associado é excluído. Quando você exclui um experimento Notebook usando a interface do usuário, o Notebook também é excluído.

Para excluir experimentos Notebook usando a API, use a API Workspace para garantir que tanto o Notebook quanto o experimento sejam excluídos do workspace.

Excluir experimento do espaço de trabalho do menu do espaço de trabalho

  1. Clique ícone do workspace Área de trabalho na barra lateral.

  2. Vá para a pasta que contém o experimento.

  3. Clique com o botão direito do mouse no nome do experimento e selecione Mover para Lixeira.

Exclua o espaço de trabalho ou o experimento Notebook da página de experimentos ou da página de experimentos

Para excluir um experimento da página de experimentos ou da página do experimento, clique no menu de kebab Menu kebab e selecione Excluir.

Quando você exclui um experimento Notebook , o Notebook também é excluído.

Alterar permissões para experimento

Para alterar as permissões de uma experiência na página da experiência, clique em Compartilhar.

Botão de permissões da página da experiência

Você pode alterar as permissões de um experimento que você possui na página de experimentos. Clique no menu kebab na coluna Menu kebab Ações e selecione Permissão.

Para obter informações sobre os níveis de permissão de experimentos, consulte MLflow experiment ACLs.

Copiar experimentos entre áreas de trabalho

Para migrar os experimentos do MLflow entre workspace, você pode usar o projeto de código aberto orientado pela comunidade MLflow Export-Import.

Com essas ferramentas, você pode:

  • Compartilhe e colabore com outro cientista de dados no mesmo ou em outro servidor de acompanhamento. Por exemplo, você pode clonar um experimento de outro usuário em seu workspace.

  • Copie os experimentos e a execução do MLflow do servidor de acompanhamento local para o workspace do Databricks.

  • Faça backup de experimentos e modelos de missão crítica em outro workspace do Databricks.