All Purpose とジョブコンピュートに接続

この記事では、 Databricks ワークスペースの all-purpose とジョブコンピュートに接続して、データエンジニアリング、データサイエンス、データ分析のワークロードを実行する方法について説明します。汎用コンピュートを使用してノートブックを実行したり、ジョブコンピュートを使用してワークフローを実行したりできます。

コンピュートにアクセスしたりコンピュートを作成したりできるのは誰ですか?

コンピュートにアクセスまたは作成できるかどうかは、ユーザーの資格によって異なります。

ワークスペースがノートブックのサーバレスコンピュートに対して有効になっている場合、ワークスペース内のすべてのユーザーは、ノートブックおよびジョブで対話型ワークロードを実行するためのサーバレスコンピュートリソースにアクセスできます。

ワークスペース管理者は、あらゆるタイプのコンピュートを作成できます。また、ワークスペースで作成されたすべてのコンピュートに対する CAN MANAGE 権限も継承します。
無制限のクラスター作成権限を持つ非管理者ユーザーは、コンピュートを作成するときにすべての構成設定にアクセスできます。権限を与えられたコンピュートにアクセスでき、任意のタイプの新しいコンピュートを作成できます。利用可能な構成設定の詳細については、「コンピュート構成リファレンス」を参照してください。ワークスペース管理者は、この権限を任意のユーザー、グループ、またはサービスに割り当てることができます。「エンタイトルメントの管理」を参照してください。
無制限のクラスター作成権限を持たない管理者以外のユーザーは、アクセス許可が付与されているコンピュート、またはアクセス許可が割り当てられているポリシーを使用して作成したコンピュートにのみアクセスできます。

別のユーザーが設定したコンピュートを使用する

無制限のクラスター作成権限がない場合は、ワークスペース管理者によって付与されたコンピュートポリシーとコンピュートポリシーのみにアクセスできます。ユーザーはコンピュートに対して次のいずれかの権限を持つことができます。

Can Attach To : コンピューターをコンピュートにアタッチし、コンピュートメトリックとSpark UIを表示できます。
Can Restart : コンピュートを起動、再起動、終了できます。 Can Attach To権限も含まれます。
CAN MANAGE : コンピュートの詳細、権限、サイズを編集できます。 Can Attach ToおよびCan Restart権限も含まれます。
NO PERMISSIONS : コンピュートに権限がありません。

コンピュートにアタッチする権限がある場合は、開いているノートブックの[接続] ドロップダウンメニューから、または新しいジョブの作成時に[コンピュート]ドロップダウンメニューからコンピュートを選択できます。コンピュート権限の詳細については、「コンピュート権限」を参照してください。

ポリシーを使用して新しいコンピュートを作成する

コンピュートポリシーに対する権限がある場合は、独自のコンピュートを作成できます。ポリシーには最小限の構成オプションがあり、デフォルト設定を使用して効率的なリソースとなるように設計されています。設定を編集する場合は、構成設定のリファレンスで各設定について確認できます。

ワークスペースのサイドバーで「新規」 > 「クラスター」をクリックします。
[ポリシー]ドロップダウンメニューからポリシーを選択します。
(オプション) コンピュートの名前を更新します。
(オプション)使用可能な設定を構成します。
[コンピュートを作成]をクリックします。

これで、ワークロードの実行に使用できるコンピュートリソースが完成しました。

ポリシー

ワークスペース管理者は、ワークスペースでコンピュートポリシーを作成および管理できます。必要なコンピュートを作成できるポリシーにアクセスできない場合は、ワークスペース管理者に連絡してください。ポリシーの詳細については、「ポリシーの作成と管理」を参照してください。

ワークスペースにはカスタムポリシーが存在するか、Databricks のポリシーが使用されている可能性があります。デフォルトのポリシーには次のものが含まれます。

パーソナルコンピュート:ユーザーは、最小限の構成オプションを使用して、個別に割り当てられた単一ノードコンピュートリソースを作成できます。
共有コンピュート:複数のユーザーが共有することを目的とした、より大きなマルチノードリソースをユーザーが作成できるようにします。
パワーユーザーコンピュート:ユーザーがより大きなマルチノードリソースを作成できるようにします。このポリシーは、Personal コンピュートで許可されるよりも多くのコンピュートリソースを必要とするシングルユーザーワークロードを対象としています。
ジョブコンピュート:ユーザーがジョブの汎用のデフォルトコンピュートを作成できるようにします。

デフォルトでは、すべてのユーザーがパーソナルコンピュートポリシーにアクセスできます。パーソナルコンピュートポリシーが表示されない場合は、組織によってワークスペースから削除されています。

無制限のコンピュート作成

ワークスペース管理者、または無制限のクラスター作成権限を持つユーザーの場合は、無制限ポリシーを使用してコンピュートを作成できます。これにより、新しいコンピュートUI のすべてのコンピュート設定にアクセスできるようになります。利用可能なすべての設定のリファレンスについては、「コンピュート構成リファレンス」を参照してください。

All Purpose と ジョブ コンピュートに接続