MLflow エクスペリメントを使用してトレーニングのランを整理する

エクスペリメントは、モデルのトレーニングを実行するための組織の単位です。エクスペリメントには、ワークスペースとノートブックの 2 種類があります。

ワークスペースエクスペリメントは、 Databricks Mosaic AI UI または MLflow APIから作成できます。ワークスペースエクスペリメントはどのノートブックにも関連付けられておらず、どのノートブックでもエクスペリメント ID またはエクスペリメント名を使用して、これらのエクスペリメントに実行をログに記録できます。
ノートブックエクスペリメントは、特定のノートブックに関連付けられています。 Databricks は、 mlflow.start_run() を使用して実行を開始するときにアクティブなエクスペリメントがない場合、ノートブックエクスペリメントを自動的に作成します。

アクセスできるワークスペース内のすべてのエクスペリメントを表示するには、サイドバーで [ 機械学習] > [エクスペリメント ] を選択します。

ワークスペースのエクスペリメントの作成

このセクションでは、Databricks UI を使用してワークスペースエクスペリメントを作成する方法について説明します。ワークスペースエクスペリメントは、ワークスペースから直接作成することも、[エクスペリメント] ページから作成することもできます。

MLflow API 、または databricks_mlflow_experiment を使った Databricks Terraform プロバイダーを使用することもできます。

ワークスペースエクスペリメントへの実行のログ記録の手順については、「ログ記録のサンプルノートブック」を参照してください。

注

GDPRコンプライアンスのために、古いエクスペリメントはワークスペースから消去されます。顧客管理キーが使用されているワークスペースの場合、古いエクスペリメントは、顧客管理キーがDatabricksによってアクセス可能な場合にのみ消去されます。「顧客管理の暗号化キーを設定してアクセス権を付与する」を参照してください。

サイドバーの 「ワークスペース 」をクリックします。
エクスペリメントを作成するフォルダーに移動します。
フォルダーを右クリックし、[ MLflow エクスペリメントの作成] > を選択します。
「エクスペリメント MLflow を作成」ダイアログで、エクスペリメントの名前とオプションのアーティファクトの場所を入力します。アーティファクトの場所を指定しない場合、アーティファクトは MLflow で管理されるアーティファクトストレージ ( dbfs:/databricks/mlflow-tracking/<experiment-id>) に格納されます。

Databricks は、 Unity Catalog ボリュームと S3 アーティファクトの場所をサポートしています。

MLflow 2.15.0 以降では、アーティファクトをUnity Catalogボリュームに保存できます。MLflow エクスペリメントを作成するときは、MLflow エクスペリメントアーティファクトの場所として dbfs:/Volumes/catalog_name/schema_name/volume_name/user/specified/path 形式のボリュームパスを指定します。アップロードとダウンロードのファイルサイズ制限はどちらも5GBです。

アーティファクトを S3 に保存するには、 s3://<bucket>/<path>という形式の URI を指定します。MLflow は、クラスターのインスタンスプロファイルから S3 にアクセスするための認証情報を取得します。 S3 に格納された成果物は、MLflow UI には表示されません。オブジェクト・ストレージ・クライアントを使用してダウンロードする必要があります。

注

成果物を DBFS 以外の場所に格納すると、成果物は MLflow UI に表示されません。 DBFS以外の場所に格納されているモデルは、モデルレジストリに登録できません。
[ 作成] をクリックします。空のエクスペリメントが表示されます。

エクスペリメントページから新しいワークスペースエクスペリメントを作成することもできます。新しいエクスペリメントを作成するには、ドロップダウンメニューを使用します [エクスペリメントの作成] ドロップダウン。ドロップダウンメニューから、AutoML エクスペリメントまたは空白 (空) エクスペリメントのいずれかを選択できます。

AutoML エクスペリメント. [Configure AutoML エクスペリメント] ページが表示されます。AutoMLの使用方法については、「 MLMosaicAutoML UI を使用してモデルをトレーニングする」を参照してください。
ブランクエクスペリメント. [ MLflow エクスペリメントの作成 ] ダイアログが表示されます。ダイアログに名前とオプションのアーティファクトの場所を入力して、新しいワークスペースエクスペリメントを作成します。デフォルトのアーティファクトの場所は dbfs:/databricks/mlflow-tracking/<experiment-id>です。

このエクスペリメントへの実行をログに記録するには、エクスペリメントパスを指定して mlflow.set_experiment() を呼び出します。エクスペリメントのパスは、エクスペリメントページの上部に表示されます。詳細とノートブックの例については、「ログ記録のサンプルノートブック」を参照してください。

ノートブックエクスペリメントの作成

ノートブックで mlflow.start_run() コマンドを使用すると、実行によってメトリクスとパラメータがアクティブなエクスペリメントに記録されます。アクティブなエクスペリメントがない場合、Databricks はノートブックエクスペリメントを作成します。ノートブックエクスペリメントは、対応するノートブックと同じ名前と ID を共有します。ノートブック ID は、ノートブックの URL と ID の末尾にある数値識別子です。

または、 mlflow.set_experiment() で既存のノートブックへの Databricks ワークスペースパスを渡して、そのノートブックエクスペリメントを作成することもできます。

ノートブックエクスペリメントへの実行のログ記録の手順については、「ノートブックのサンプルのログ記録」を参照してください。

注

API (Python の MlflowClient.tracking.delete_experiment() など) を使用してノートブックエクスペリメントを削除すると、ノートブック自体がごみ箱フォルダーに移動されます。

エクスペリメントの表示

アクセスできる各エクスペリメントは、[エクスペリメント] ページに表示されます。このページから、任意のエクスペリメントを表示できます。エクスペリメント名をクリックすると、エクスペリメントのページが表示されます。

エクスペリメントページにアクセスするその他の方法:

ワークスペースのエクスペリメントページには、ワークスペースメニューからアクセスできます。
ノートブックエクスペリメントのページには、ノートブックからアクセスできます。

エクスペリメントを検索するには、[ エクスペリメントのフィルター ] フィールドにテキストを入力して Enter キーを押すか、虫眼鏡アイコンをクリックします。エクスペリメントリストが変更され、[ 名前]、[ 作成者]、[ 場所]、または [ 説明 ] 列に検索テキストを含むエクスペリメントのみが表示されます。

テーブル内のエクスペリメントの名前をクリックして、そのエクスペリメントページを表示します。

エクスペリメントページには、エクスペリメントに関連付けられているすべての実行が一覧表示されます。テーブルから、エクスペリメントの実行名をクリックすると、エクスペリメントに関連付けられている実行の実行ページを開くことができます。 [ ソース ] 列では、実行を作成したノートブックのバージョンにアクセスできます。また、メトリクスまたはパラメーター設定で実行を検索およびフィルター処理することもできます。

ワークスペースエクスペリメントの表示

サイドバーの 「ワークスペース 」をクリックします。
エクスペリメントを含むフォルダーに移動します。
エクスペリメント名をクリックします。

ノートブックエクスペリメントの表示

ノートブックの右側のサイドバーで、 エクスペリメント アイコンエクスペリメントアイコンをクリックします。

エクスペリメント Runs サイドバーが表示され、ノートブックエクスペリメントに関連付けられている各実行の概要(実行パラメーターやメトリクスなど) が表示されます。サイドバーの上部には、最後にログに記録されたノートブックの実行先であるエクスペリメントの名前 (ノートブックのエクスペリメントまたはワークスペースのエクスペリメント) が表示されます。

サイドバーから、エクスペリメントページに移動することも、実行に直接移動することもできます。

エクスペリメントを表示するには、右端の [エクスペリメントの実行] の横にある [エクスペリメントの実行] をクリックします 。
実行を表示するには、実行の名前をクリックします。

エクスペリメントの管理

所有するエクスペリメントの名前変更、削除、または権限の管理は、[エクスペリメント] ページ、[ エクスペリメント] ページ、またはワークスペースメニューから行うことができます。

注

Databricks Git フォルダー内のノートブックによって作成された MLflow エクスペリメントの権限を直接名前変更、削除、または管理することはできません。これらのアクションは Git フォルダーレベルで実行する必要があります。

エクスペリメント一覧ページまたはエクスペリメントページからエクスペリメントの名前を変更する

プレビュー

この機能はパブリックプレビュー段階です。

エクスペリメントページまたはエクスペリメントページからエクスペリメントの名前を変更するには、をクリックして [ 名前の変更] を選択します。

エクスペリメント名のコピー

エクスペリメント名をコピーするには、エクスペリメントページの上部をクリックします。 MLflow コマンド set_experiment でこの名前を使用して、アクティブな MLflow エクスペリメントを設定できます。

ノートブックのエクスペリメントサイドバーからエクスペリメント名をコピーすることもできます。

ノートブックエクスペリメントの削除

ノートブックエクスペリメントはノートブックの一部であり、個別に削除することはできません。ノートブックを削除すると、関連付けられているノートブックエクスペリメントが削除されます。 UI を使用してノートブックエクスペリメントを削除すると、ノートブックも削除されます。

API を使用してノートブックエクスペリメントを削除するには、ワークスペース API を使用して、ノートブックとエクスペリメントの両方がワークスペースから削除されていることを確認します。

ワークスペースまたはノートブックのエクスペリメントを [エクスペリメント] ページまたは [エクスペリメント] ページから削除します。

プレビュー

この機能はパブリックプレビュー段階です。

エクスペリメントページまたはエクスペリメントページからエクスペリメントを削除するには、をクリックして [ 削除] を選択します。

ノートブックエクスペリメントを削除すると、ノートブックも削除されます。

エクスペリメントのアクセス許可を変更する

エクスペリメントのアクセス許可を [ エクスペリメント] ページから変更するには、[ 共有] をクリックします。

所有するエクスペリメントのアクセス許可は、エクスペリメントページから変更できます。 [ アクション] 列をクリックし、[アクセス許可 ] を選択します。

拡張機能のアクセス許可レベルの詳細については、 MLflow拡張機能 ACL」を参照してください。

ワークスペース間でエクスペリメントをコピーする

ワークスペース間で MLflow エクスペリメントを移行するには、コミュニティ主導のオープンソースプロジェクト MLflow エクスポート/インポートを使用できます。

これらのツールを使用すると、次のことができます。

同じトラッキングサーバーまたは別のトラッキングサーバー内の他のデータサイエンティストと共有および共同作業します。たとえば、エクスペリメントを別のユーザーからワークスペースに複製できます。
MLflow エクスペリメントをコピーし、ローカル追跡サーバーから Databricks ワークスペースに実行します。
ミッションクリティカルなエクスペリメントとモデルを別の Databricks ワークスペースにバックアップします。