Organize a execução do treinamento com experimentos MLflow
Os experimentos são unidades de organização para a execução do seu modelo de treinamento. Existem dois tipos de experimentos: workspace e Notebook.
O senhor pode criar um experimento workspace a partir da interface do usuário Databricks Mosaic AI ou do site MLflow API. Os experimentos do espaço de trabalho não estão associados a nenhum Notebook, e qualquer Notebook pode log a execução desses experimentos usando o ID do experimento ou o nome do experimento.
Uma experiência Notebook está associada a um Notebook específico. O Databricks cria automaticamente um experimento Notebook se não houver nenhum experimento ativo quando você iniciar uma execução usando mlflow.começar().
Para ver todos os experimentos em um workspace ao qual você tem acesso, selecione Machine Learning > Experiments na barra lateral.
Criar experimento de espaço de trabalho
Esta seção descreve como criar um experimento workspace usando a interface do usuário do Databricks. Você pode criar um experimento de espaço de trabalho diretamente do espaço de trabalho ou da página Experimentos.
Você também pode usar a API MLflow ou o provedor Databricks Terraform com databricks_mlflow_experiment.
Para obter instruções sobre como registrar a execução em experimentos workspace , consulte Registrando exemplo de notebook.
Observação
Para GDPR compliance, os experimentos obsoletos são removidos do espaço de trabalho. Para o espaço de trabalho em que a chave de gerenciar o cliente é usada, os experimentos obsoletos só são eliminados quando o gerenciar o cliente key é acessado por Databricks. Consulte Configurar a chave do gerenciador de clientes para criptografia para dar acesso.
Clique Área de trabalho na barra lateral.
Navegue até a pasta na qual você deseja criar o experimento.
Clique com o botão direito na pasta e selecione Create > MLflow experiment.
Na caixa de diálogo Create MLflow Experiment, insira um nome para o experimento e um local de artefato opcional. Se você não especificar um local de artefato, os artefatos serão armazenados em
dbfs:/databricks/mlflow-tracking/<experiment-id>
.Databricks dá suporte a locais de artefato de armazenamento DBFS, S3 e Azure Blob.
Para armazenar artefatos no S3, especifique um URI no formato
s3://<bucket>/<path>
. O MLflow obtém credenciais para acessar o S3 do instance profile dos seus clusters. Os artefatos armazenados no S3 não aparecem na IU do MLflow; você deve downloads los usando um cliente de armazenamento de objetos.Observação
Para MLflow versão 2.3.0e acima, o tamanho máximo para um upload de artefato MLflow para DBFS na AWS é de até 5 TiB. Para MLflow versão 2.3.0 e mais baixo, o tamanho máximo para um upload de artefato MLflow para DBFS na AWS é de 5 GiB.
Observação
Quando você armazena um artefato em um local diferente do DBFS, o artefato não aparece na IU do MLflow. Os modelos armazenados em locais diferentes do DBFS não podem ser registrados no registro de modelo.
Clique em Criar. Um experimento vazio é exibido.
Você também pode criar um novo experimento workspace na página Experimentos. Para criar uma nova experiência, use o menu suspenso. No menu suspenso, você pode selecionar um experimento do AutoML ou um experimento em branco (vazio).
Experimento do AutoML. A página Configurar experimento do AutoML é exibida. Para obter informações sobre como usar o AutoML, consulte modelos de ML ensinados com a interface do usuário do Databricks AutoML.
Experimento em branco. A caixa de diálogo Criar experimento de MLflow é exibida. Insira um nome e um local de artefato opcional na caixa de diálogo para criar um novo experimento workspace . A localização default do artefato é
dbfs:/databricks/mlflow-tracking/<experiment-id>
.Para logs a execução deste experimento, chame
mlflow.set_experiment()
com o caminho do experimento. O caminho da experiência aparece na parte superior da página da experiência. Consulte Notebook de exemplo de log para obter detalhes e um Notebook de exemplo.
Criar experimento Notebook
Quando você usa o comando mlflow.começar() em um Notebook, a execução logs métricas e parâmetros para o experimento ativo. Se nenhum experimento estiver ativo, o Databricks criará um experimento Notebook . Uma experiência Notebook compartilha o mesmo nome e ID de seu Notebook correspondente. A ID Notebook é o identificador numérico no final de uma URL e IDNotebook .
Como alternativa, você pode passar um caminho workspace do Databricks para um Notebook existente em mlflow.set_experiment() para criar um experimento Notebook para ele.
Para obter instruções sobre como registrar a execução em experimentos de notebook, consulte Registrando exemplo de notebook.
Observação
Se você excluir um experimento Notebook usando a API (por exemplo, MlflowClient.tracking.delete_experiment()
em Python), o próprio Notebook será movido para a pasta Lixeira.
Ver experimentos
Cada experimento ao qual você tem acesso aparece na página de experimentos. Nessa página, você pode view qualquer experimento. Clique no nome de uma experiência para exibir a página da experiência.
Formas adicionais de acessar a página da experiência:
Você pode acessar a página de experimento para um experimento workspace no menu do workspace .
Você pode acessar a página de experimento de um experimento Notebook a partir do Notebook.
Para pesquisar experimentos, digite o texto no campo Filtrar experimentos e pressione Enter ou clique no ícone da lupa. A lista de experimentos muda para mostrar apenas os experimentos que contêm o texto de pesquisa na coluna Nome, Criado por, Local ou Descrição .
Clique no nome de qualquer experimento na tabela para exibir sua página de experimento:
A página do experimento lista todas as execuções associadas ao experimento. Na tabela, você pode abrir a página de execução de qualquer execução associada ao experimento clicando em Nome da execução. A coluna Origem fornece acesso à versão do Notebook que criou a execução. Você também pode pesquisar e filtrar a execução por métricas ou configurações de parâmetros.
Ver experimento de espaço de trabalho
Clique Área de trabalho na barra lateral.
Vá para a pasta que contém o experimento.
Clique no nome do experimento.
Ver experimento Notebook
Na barra lateral direita do Notebook , clique no ícone Experimento .
A barra lateral Experiment Runs aparece e mostra um resumo de cada execução associada ao experimento Notebook , incluindo parâmetros e métricas de execução. Na parte superior da barra lateral está o nome do experimento em que o Notebook logs a execução mais recentemente (seja um experimento Notebook ou um experimento workspace ).
Na barra lateral, você pode navegar para a página da experiência ou diretamente para uma execução.
Para view o experimento, clique em na extrema direita, próximo a Experiment execução.
Para exibir uma execução, clique no nome da execução.
gerenciar experimentos
Você pode renomear, excluir ou gerenciar permissões para uma experiência de sua propriedade na página de experiências, na página de experiências ou no menu workspace .
Observação
O senhor não pode renomear, excluir ou gerenciar diretamente as permissões em um experimento do MLflow que foi criado por um Notebook em uma pasta Git da Databricks. O senhor deve executar essas ações no nível da pasta Git.
Renomeie o experimento na página de experimentos ou na página de experimentos
Visualização
Este recurso está em visualização pública.
Para renomear uma experiência da página de experiências ou da página de experiências, clique em e selecione Renomear.
Copiar nome do experimento
Para copiar o nome da experiência, clique em na parte superior da página da experiência. Você pode usar esse nome no comando MLflow set_experiment
para definir o experimento MLflow ativo.
Você também pode copiar o nome do experimento da barra lateral do experimento em um Notebook.
Excluir experimento Notebook
Os experimentos Notebook fazem parte do Notebook e não podem ser excluídos separadamente. Quando você exclui um Notebook, o experimento Notebook associado é excluído. Quando você exclui um experimento Notebook usando a interface do usuário, o Notebook também é excluído.
Para excluir experimentos Notebook usando a API, use a API Workspace para garantir que tanto o Notebook quanto o experimento sejam excluídos do workspace.
Exclua o espaço de trabalho ou o experimento Notebook da página de experimentos ou da página de experimentos
Visualização
Este recurso está em visualização pública.
Para excluir uma experiência da página de experiências ou da página de experiências, clique em e selecione Excluir.
Quando você exclui um experimento Notebook , o Notebook também é excluído.
Alterar permissões para experimento
Para alterar as permissões de uma experiência na página da experiência, clique em Compartilhar.
Você pode alterar as permissões de uma experiência de sua propriedade na página de experiências. Clique na coluna Ações e selecione Permissão.
Para obter informações sobre os níveis de permissão de experimentos, consulte MLflow experiment ACLs.
Copiar experimentos entre áreas de trabalho
Para migrar os experimentos do MLflow entre workspace, você pode usar o projeto de código aberto orientado pela comunidade MLflow Export-Import.
Com essas ferramentas, você pode:
Compartilhe e colabore com outro cientista de dados no mesmo ou em outro servidor de acompanhamento. Por exemplo, você pode clonar um experimento de outro usuário em seu workspace.
Copie os experimentos e a execução do MLflow do servidor de acompanhamento local para o workspace do Databricks.
Faça backup de experimentos e modelos de missão crítica em outro workspace do Databricks.