ノートブック実行用サーバレスコンピュート
この記事では、ノートブック用のサーバレスコンピュートの使い方を説明します。 ジョブのサーバーレス コンピュートの使用については、「ワークフローのサーバーレス コンピュートを使用してDatabricksジョブを実行する」を参照してください。
価格情報については、 Databricks の価格を参照してください。
要件
ワークスペースで Unity Catalog が有効になっている必要があります。
ワークスペースはサポートされているリージョン内になければなりません。 Databricks のクラウドとリージョンを参照してください。
サーバーレス コンピュートを使用するには、アカウントが有効になっている必要があります。 「サーバレス コンピュートを有効にする」を参照してください。
サーバーレスコンピュートにノートブックを添付する
ワークスペースでサーバレスインタラクティブコンピュート が有効になっている場合、ワークスペース内のすべてのユーザーは、ノートブック実行用サーバレスコンピュートにアクセスできます。 追加の権限は必要ありません。
サーバレス コンピュートに接続するには、データベースの[接続]ドロップダウン メニューをクリックし、 [サーバレス]を選択します。 新しいコンピュータの場合、他のリソースが選択されていない場合、接続されたコンピュートはコード実行時に自動的にサーバレスにデフォルト設定されます。
サーバレス利用に対する予算ポリシーの選択
プレビュー
この機能はパブリックプレビュー段階です。
予算ポリシー を使用すると、組織はサーバレスの使用状況にカスタムタグを適用して、詳細な請求属性を実現できます。
ワークスペースで 予算ポリシーを使用してサーバレスの使用状況を属性付けしている場合は、ノートブックに適用する 予算ポリシーを選択できます。 が 1 つの予算ポリシーにのみ割り当てられている場合、そのポリシーがデフォルトで選択されます。
サーバレス コンピュートに接続する前に 予算ポリシーを選択するには、次の手順を実行します。
ノートブック UI で、 [接続 ] ドロップダウンをクリックします。
[詳細...]
「サーバレス」を選択し、「Budget」ポリシーを選択します。
[開始してアタッチ] をクリックします。
予算ポリシー は、ノートブックをサーバレス コンピュートに接続した後、[ Environment ] サイドパネルを使用して選択できます。
ノートブック UI で、 [環境 ] サイドパネル をクリックします。
[予算ポリシー] で、ノートブックに適用する予算ポリシーを選択します。
[適用] をクリックします。
その時点から、ノートブックからのすべての使用量は、予算ポリシーのカスタムタグを継承します。
注:
既存のノートブックには、次にノートブックがサーバレス コンピュートにアタッチされるときに、最後に選択した予算ポリシー が割り当てられます。
予算ポリシーの詳細については、 予算ポリシーによるサーバレス使用料の按分を参照してください。
クエリを表示
ノートブックとジョブのサーバーレス コンピュートは、クエリの知識を使用してSparkの実行パフォーマンスを評価します。 ノートブックでセルを実行した後、 「パフォーマンスを表示」SQL リンクをクリックすると、 およびPython クエリに関連する知見を表示できます。
いずれかのSparkステートメントをクリックすると、クエリ メトリックスが表示されます。 そこから、[ クエリ プロファイルの表示 ] をクリックして、クエリ実行の視覚化を表示できます。 クエリ プロファイルの詳細については、 「クエリ プロファイル」を参照してください。
注:
ジョブ実行のパフォーマンスに関する洞察を表示するには、 「ジョブ実行のクエリ洞察の表示」を参照してください。
クエリ履歴
サーバレス コンピュート上で実行されたすべてのクエリは、ワークスペースのクエリ履歴ページにも記録されます。 クエリ履歴の詳細については、 「クエリ履歴」を参照してください。
クエリの制限
クエリ プロファイルは、クエリの実行が終了した後にのみ使用できます。
実行中にクエリ プロファイルは表示されませんが、メトリックはリアルタイムで更新されます。
対象になるクエリ ステータスは、RUNNING、CANCELED、FAILED、FINISHED のみです。
実行中のクエリは、クエリ履歴ページからキャンセルできません。 ノートブックまたはジョブでキャンセルできます。
詳細なメトリックは使用できません。
クエリ プロファイルのダウンロードは利用できません。
Spark UI にアクセスできません。
ステートメント テキストには、実行された最後の行のみが含まれます。 ただし、この行の前に、同じステートメントの一部として実行された行が複数ある可能性があります。