メインコンテンツまでスキップ

サーバレス コンピュート for ノートブック

この記事では、サーバレス コンピュートをノートブックに使う方法について説明します。 サーバレス コンピュート for ジョブの使用に関する情報については、 サーバレス コンピュート for ワークフローで Databricks ジョブを実行するを参照してください。

価格情報については、 Databricksの価格を参照してください。

必要条件​

ノートブックをサーバレス コンピュートにアタッチする​

ワークスペースでサーバレスインタラクティブコンピュートが有効になっている場合、ワークスペース内のすべてのユーザーは、ノートブック実行用サーバレスコンピュートにアクセスできます。追加の権限は必要ありません。

サーバーレスコンピュートに接続するには、ノートブックの[ Connect ]ドロップダウンメニューをクリックし、[ サーバレス ]を選択します。新しいノートブックでは、他のリソースが選択されていない場合、コードの実行時にアタッチされたコンピートが自動的にサーバーレスにデフォルト設定されます。

サーバレス利用に対して予算ポリシーを選択する​

備考

プレビュー

この機能は パブリック プレビュー段階です。

予算ポリシー を使用すると、組織はサーバレスの使用状況にカスタムタグを適用して、詳細な請求の按分を実現できます。

ワークスペースで予算ポリシーを使用してサーバレスの使用状況を属性付けしている場合は、ノートブックに適用する予算ポリシーを選択できます。 ユーザーが 1 つの予算ポリシーにのみ割り当てられている場合、そのポリシーがデフォルトで選択されます。

予算ポリシー は、ノートブックをサーバレス コンピュートに接続した後、[ Environment ] サイドパネルを使用して選択できます。

  1. ノートブック UI で、サイドパネルの [ 環境 ] 環境サイドパネルをクリックします。
  2. [予算ポリシー] で、ノートブックに適用する予算ポリシーを選択します。
  3. [適用] をクリックします。

予算ポリシーを持つサーバレス ノートブックの環境パネル

その時点から、ノートブックからのすべての使用量は、予算ポリシーのカスタムタグを継承します。

注記

ノートブックが Git リポジトリから作成された場合、または 割り当てられた予算ポリシーがない場合、次にサーバレス コンピュートにアタッチされるときに、最後に選択した予算ポリシー にデフォルトされます。

サーバレスワークロードのハイメモリの設定​

備考

プレビュー

この機能は パブリック プレビュー段階です。

ノートブックでメモリ不足エラーが発生した場合は、より高いメモリ サイズを使用するようにノートブックを構成できます。 この設定により、ノートブックでコードを実行するときに使用される REPL メモリのサイズが増加します。 Spark セッションのメモリ サイズには影響しません。 メモリの多いサーバレス使用量は、標準メモリよりも DBU 排出量が高くなります。

  1. ノートブック UI で、サイドパネルの [ 環境 ] 環境サイドパネルをクリックします。
  2. [メモリ] で [ ハイ メモリ ] を選択します。
  3. [適用] をクリックします。

この設定は、ノートブックのメモリ設定を使用して実行されるノートブック ジョブ タスクにも適用されます。 ノートブックのメモリ設定を更新すると、次のジョブ実行に影響します。

クエリの知見を見る​

サーバレス コンピュート for ノートブック and ジョブは、クエリの知見を使用して Spark 実行パフォーマンスを評価します。 ノートブックでセルを実行した後、「SQL Pythonパフォーマンスを見る 」リンクをクリックすると、 クエリと クエリに関連する知見を表示できます。

クエリーのパフォーマンスを表示

Sparkステートメントのいずれかをクリックすると、クエリメトリクスを表示できます。そこから、[ クエリ プロファイルの表示 ] をクリックして、クエリ実行の視覚化を表示できます。 クエリ プロファイルの詳細については、「 クエリ プロファイル」を参照してください。

注記

ジョブ実行のパフォーマンスの知見を表示するには、 ジョブ実行クエリの知見の表示を参照してください。

クエリ履歴​

サーバレス コンピュートで実行されたすべてのクエリは、ワークスペースのクエリ履歴ページにも記録されます。 クエリ履歴に関する情報については、「 クエリ履歴」を参照してください。

クエリの知見の制限事項​

  • クエリープロファイルは、クエリーの実行が終了した後にのみ使用できます。
  • 実行中にクエリープロファイルは表示されませんが、メトリクスはライブで更新されます。
  • 以下のクエリーステータスのみが対象となります：実行中、キャンセル済み、失敗、完了
  • 実行中のクエリーをクエリー履歴ページからキャンセルすることはできません。これらは、ノートブックまたはジョブでキャンセルできます。
  • Verboseメトリクスは使用できません。
  • クエリープロファイルはダウンロードできません。
  • Spark UIにアクセスできません。
  • ステートメントテキストには、実行された最後の行のみが含まれます。ただし、この行の前に、同じステートメントの一部として実行された複数の行があるかもしれません。
に最終更新