GCE コンピュート デプロイのアクセス許可を更新する
コンピュートの起動時間を短縮するために、Databricks は コン ピュート リソースをGKE ではなくGoogle コンピュート エンジン(GCE) にデプロイし始めました。
GCE でコンピュート リソースを起動するには、新しいアクセス許可のセットを Databricks に付与する必要があります。 これらの更新されたアクセス許可とその目的の完全な一覧については、「 必要なアクセス許可」を参照してください。
GCE 移行の権限を付与する
権限を更新するには、Databricks がデプロイされている Google Cloud プロジェクトに対する権限を持つ Databricks アカウント管理者である必要があります。 新しい権限を付与するには、次の 2 つの方法があります。
-
Google Cloud プロジェクト で必要な権限を持つ アカウント オーナーの場合:
- アカウントコンソールに移動します。
- アカウントコンソールの上部にあるバナーで、[ 権限を更新 ]ボタンをクリックします。
- ワークスペースプロジェクトに対する十分な権限があることを確認し、[ 権限の更新 ]をクリックします。
-
ワークスペース プロビジョニングの管理に必要な権限を持つサービス アカウントを使用するアカウントの場合は、Databricks APIに対して認証され、
ACCESS_TOKEN
とAUTH_TOKEN
を取得していることを確認します。次に、次の API 呼び出しを行います。Bashcurl --location --request PATCH ‘https://accounts.gcp.databricks.com/api/2.0/accounts/<account-id>/migrateToComputeOnGce’ \ --header ‘X-Databricks-GCP-SA-Access-Token: ’$ACCESS_TOKEN \ --header ‘Authorization: Bearer ‘$AUTH_TOKEN
顧客管理VPCに必要な更新
アカウントが顧客管理VPC を使用してワークスペース Databricks デプロイする場合、アクセス許可の更新ではファイアウォール ルールが VPC に自動的に追加されます。 権限がないためにこれが失敗した場合は、次のファイアウォールルールを VPC に手動で追加する必要があります。 このファイアウォールルールは、VPC 内の Databricks で管理されている VM 間のトラフィックを許可します。 このルールでは、VPC の外部からのイングレスは許可されません。
必要なルールは次のとおりです。
- ルール名 :
databricks-{WORKSPACE_ID}-ingress
- 方向 : Ingress
- 優先度 :1000
- ターゲット :
Network tag: databricks-{WORKSPACE_ID}
- ソースフィルタ :
IPv4 range: primary CIDR range of subnet
- プロトコルとポート : すべて許可
共有 VPC の詳細については、「顧客管理 PC の設定VPC 」を参照してください 。
GCP の組織ポリシーと制約を使用するアカウントに必要な更新
アカウントで組織のポリシー と制約を使用している場合は、 GCP プロジェクト databricks-external-images
でホストされている仮想マシン イメージを信頼されたイメージ ポリシーに追加しないと、コンピュート リソースの起動に失敗します。
次の情報を使用して 、信頼できるイメージ ポリシー を設定します。
constraint: constraints/compute.trustedImageProjects
listPolicy:
allowedValues:
projects/databricks-external-images
GCEでコンピュートを試す
権限を更新した後、ワークスペースがGCEでコンピュートを起動しているかどうかをテストできます。
新しい all-purpose リソースまたは ジョブ コンピュート リソースを作成し、次のキーと値のペアをカスタム タグ フィールドに追加します。
キー: x-databricks-nextgen-cluster
価値: true
コンピュート リソースが起動したら、リソースの名前の横に GCE ラベルを含める必要があります。