Databricks の外部から MLflow 追跡サーバーにアクセスする
独自のアプリケーションから、または MLflow CLI から MLflow 追跡サーバーにログを記録することもできます。
この記事では、必要な構成手順について説明します。 まず、MLflow をインストールし、資格情報を構成します (手順 1)。 その後、アプリケーションを構成する (手順 2) か、MLflow CLI を構成する (手順 3) ことができます。
オープンソーストラッキングサーバーを起動してログに記録する方法については、 MLflow オープンソースのドキュメントを参照してください。
ステップ 1: 環境を構成する
Databricks アカウントをお持ちでない場合は、Databricks を無料でお試しいただけます。 「Databricks の使用を開始する」を参照してください。
Databricks でホストされている MLflow 追跡サーバーにアクセスするように環境を構成するには、次のようにします。
-
pip install mlflow
を使用して MLflow をインストールします。 -
Databricks サブスクリプションに従って認証を構成します。
-
Community Edition。 次のいずれかの操作を行います。
- (推奨)
mlflow.login()
を使用して、資格情報の入力を求められます。
Pythonimport mlflow
mlflow.login()以下はレスポンスの例です。 認証が成功すると、"Databricks に正常にサインインしました!" というメッセージが表示されます。
2023/10/25 22:59:27 ERROR mlflow.utils.credentials: Failed to sign in Databricks: default auth: cannot configure default credentials
Databricks Host (should begin with https://): https://community.cloud.databricks.com/
Username: weirdmouse@gmail.com
Password: ··········
2023/10/25 22:59:38 INFO mlflow.utils.credentials: Successfully signed in Databricks!- 環境変数を使用して資格情報を指定します。
Bash# Configure MLflow to communicate with a Databricks-hosted tracking server
export MLFLOW_TRACKING_URI=databricks
# Specify your Databricks username & password
export DATABRICKS_USERNAME="..."
export DATABRICKS_PASSWORD="..." - (推奨)
-
Databricks プラットフォーム。 次のいずれかを実行します。
-
REST API トークンを生成し、
databricks configure --token
を使用して資格情報ファイルを作成します。 -
環境変数を使用して資格情報を指定します。
Bash# Configure MLflow to communicate with a Databricks-hosted tracking server
export MLFLOW_TRACKING_URI=databricks
# Specify the workspace hostname and token
export DATABRICKS_HOST="..."
export DATABRICKS_TOKEN="..." -
-
手順 2: MLflow アプリケーションを構成する
追跡 URI を databricks
に設定するか、資格情報ファイルの作成時に --profile
を使用してプロファイル名を指定した場合は databricks://<profileName>
に設定して、Databricks にログを記録するように MLflow アプリケーションを構成します。たとえば、 MLFLOW_TRACKING_URI
環境変数を "databricks" に設定することでこれを実現できます。
手順 3: MLflow CLI を構成する
Databricks 追跡と通信するように MLflow CLI を構成する
server を MLFLOW_TRACKING_URI
環境変数で置き換えます。 たとえば、エクスペリメントを作成するには
トラッキング URI databricks
を指定した CLI を使用して、以下を実行します。
# Replace <your-username> with your Databricks username
export MLFLOW_TRACKING_URI=databricks
mlflow experiments create -n /Users/<your-username>/my-experiment