ワークスペース オブジェクトの識別子を取得する
この記事では、ワークスペース、クラスター、ダッシュボード、ディレクトリ、モデル、ノートブック、ジョブの識別子と URL を Databricksで取得する方法について説明します。
ワークスペースインスタンス名、URL、ID
インスタンス名 が、各 Databricks デプロイメントに割り当てられます。ワークロードを分離して関連するユーザのみにアクセスを許可するため、通常 Databricks の顧客は開発、ステージング、本番運用に別々のインスタンスを作成します。インスタンス名は、Databricks デプロイメントにログインする際のURLの冒頭部分です:
https://cust-success.cloud.databricks.com/
にログインすると、インスタンス名は cust-success.cloud.databricks.com
になります。
Databricks ワークスペース は、Databricksプラットフォームが実行され、Sparkクラスターとスケジュールワークロードを作成できる場所です。一部の種類のワークスペースには、一意のワークスペース ID があります。 デプロイ URL に o=
がある場合 (例: https://<databricks-instance>/?o=6280049833385130
)、 o=
の後の乱数は Databricks ワークスペース ID です。 ここで、ワークスペース ID は 6280049833385130
です。 デプロイメント URL に o=
がない場合、ワークスペース ID は 0
です。
クラスター URL と ID
Databricks クラスター は、本番運用 ETL パイプラインの実行、ストリーミング分析、アドホック アナリティクス、機械学習など、さまざまなユースケースに対応する統合プラットフォームを提供します。各クラスターには、クラスター ID と呼ばれる一意の ID があります。 これは、all-purpose クラスターとジョブ クラスターの両方に適用されます。 REST APIを使用してクラスターの詳細を取得するには、クラスターIDが不可欠です。
クラスター IDを取得するには、サイドバーの [ クラスター ] タブをクリックし、クラスター名を選択します。クラスター ID は、このページの URL の /clusters/
コンポーネントの後に続く番号です。
https://<databricks-instance>/#/setting/clusters/<cluster-id>
次のスクリーンショットでは、クラスター ID は 1115-164516-often242
となっています。
ダッシュボードの URL と ID
AI/BI ダッシュボード は、データの視覚化と解説のプレゼンテーションです。 各ダッシュボードには一意の ID があります。 この ID を使用して、プリセットのフィルターとパラメーター値を含む直接リンクを作成したり、REST API を使用してダッシュボードにアクセスしたりできます。
-
ダッシュボードのURLの例:
https://cust-success.cloud.databricks.com/sql/dashboardsv3/01ef9214fcc7112984a50575bf2b460f
-
ダッシュボード ID の例:
01ef9214fcc7112984a50575bf2b460f
ノートブックの URL と ID
ノートブック は、実行可能なコード、視覚化、および説明テキストを含むドキュメントへの Web ベースのインターフェイスです。ノートブックは、Databricks と対話するための 1 つのインターフェイスです。 各ノートブックには一意の ID があります。 ノートブックの URL にはノートブック ID があるため、ノートブックの URL はノートブックに固有です。 これは、ノートブックを表示および編集する権限を持つ Databricks プラットフォーム上の誰とでも共有できます。 また、ノートブックのコマンド (セル) ごとに URL は異なります。
ノートブックの URL または ID を見つけるには、ノートブックを開きます。セルの URL を検索するには、コマンドの内容をクリックします。
-
ノートブックの URL の例:
https://cust-success.cloud.databricks.com/#notebook/333096
-
ノートブック ID の例:
333096
-
コマンド (セル) URL の例:
https://cust-success.cloud.databricks.com/#notebook/333096/command/333099
フォルダ ID
フォルダー は、Databricks ワークスペースで使用できるファイルを格納するために使用されるディレクトリです。これらのファイルは、ノートブック、ライブラリ、またはサブフォルダーにすることができます。 各フォルダと個々のサブフォルダには、特定の ID が関連付けられています。 Permissions API は、この ID を directory_id と呼び、フォルダーのアクセス許可の設定と更新に使用されます。
directory_id を取得するには、ワークスペース API を使用します。
curl -n -X GET -H 'Content-Type: application/json' -d '{"path": "/Users/me@example.com/MyFolder"}' \
https://<databricks-instance>/api/2.0/workspace/get-status
以下に、API 呼び出し応答の例を示します。
{
"object_type": "DIRECTORY",
"path": "/Users/me@example.com/MyFolder",
"object_id": 123456789012345
}
モデル ID
モデルとは、 MLflow 登録されたモデルを指し、ステージの移行とバージョン管理を通じて、本番運用の MLflow モデルを管理できます。 登録されたモデル ID は、 Permissions API を使用してモデルに対する権限をプログラムで変更するために必要です。
登録済みモデルの ID を取得するには、ワークスペース API エンドポイント mlflow/databricks/registered-models/get
を使用できます。たとえば、次のコードは、登録されたモデル オブジェクトとそのプロパティ (ID を含む) を返します。
curl -n -X GET -H 'Content-Type: application/json' -d '{"name": "model_name"}' \
https://<databricks-instance>/api/2.0/mlflow/databricks/registered-models/get
戻り値の形式は次のとおりです。
{
"registered_model_databricks": {
"name": "model_name",
"id": "ceb0477eba94418e973f170e626f4471"
}
}
ジョブの URL と ID
ジョブ は、ノートブックまたはJARをすぐに、またはスケジュールに基づいて実行する方法です。
ジョブのURLを取得するには、サイドバーの 「ワークフロー 」をクリックし、ジョブ名をクリックします。ジョブ ID は、URL のテキスト
#job/
の後にあります。 ジョブ URL は、失敗したジョブ実行の根本原因をトラブルシューティングするために必要です。
次のスクリーンショットでは、ジョブ URL は次のとおりです。
https://cust-success.cloud.databricks.com/#job/25612
この例では、ジョブ ID は 25612
です。