ノートブック コンピュート リソース

この記事では、ノートブック コンピュート リソースのオプションについて説明します。 ノートブックは、汎用コンピュート リソース、サーバレス コンピュートで実行できます。また、SQLコマンドの場合は、SQL アナリティクス用に最適化されたコンピュートの一種である SQLウェアハウスを使用することもできます。コンピュートの種類の詳細については、 コンピュートを参照してください。

ノートブック実行用サーバレスコンピュート

サーバレス コンピュートを使用すると、ノートブックをオンデマンド コンピューティング リソースにすばやく接続できます。

サーバーレスコンピュートに接続するには、ノートブックの[Connect]ドロップダウンメニューをクリックし、[サーバレス]を選択します。

詳細については、 サーバレス コンピュート for ノートブック を参照してください。

ノートブックを万能コンピュート リソースにアタッチする

ノートブックを汎用コンピュート リソースにアタッチするには、コンピュート リソースに対する Can Attach To 権限 が必要です。

重要

ノートブックがコンピュート リソースにアタッチされている限り、ノートブックに対するCAN RUN 権限を持つすべてのユーザーは、コンピュート リソースにアクセスするための暗黙的なアクセス許可を持っています。

ノートブックをコンピュート リソースにアタッチするには、 ノートブック ツールバーのコンピュート セレクター をクリックし、ドロップダウン メニューからリソースを選択します。

メニューには、最近使用した、または現在稼働している万能コンピュートと SQLウェアハウスのセレクションが表示されます。

ノートブックをアタッチ

利用可能なすべてのコンピュートから選択するには、[ その他...] をクリックします。 利用可能な一般的なコンピュートまたは SQLウェアハウスから選択します。

「その他のクラスター」ダイアログ

また、ドロップダウン メニューから[新しいリソースの作成] を選択して、 新しい汎用コンピュート リソースを作成することもできます 。

重要

アタッチされたノートブックには、以下のApache Spark変数が定義されています。

クラス

変数名

SparkContext

sc

SQLContext/HiveContext

sqlContext

SparkSession (Spark 2.x)

spark

SparkSessionSparkContext、またはSQLContextの作成は行わないでください。これを行うと、一貫性のない動作が発生します。

SQLウェアハウスでノートブックを使用する

ノートブックが SQLウェアハウスにアタッチされている場合、 SQL セルと Markdown セルを実行できます。 他の言語 (Python や R など) でセルを実行すると、エラーが発生します。 SQLウェアハウスで実行されたセルSQL、SQLウェアハウスのクエリ履歴に表示されます。クエリを実行したユーザーは、出力の下部にある経過時間をクリックすることで、ノートブックから クエリ プロファイルを表示できます

ノートブックを実行するには、Pro または サーバレス SQLウェアハウスが必要です。 ワークスペースと SQLウェアハウスにアクセスできる必要があります。

ノートブックを SQLウェアハウスにアタッチするには、以下の手順を実行します。

  1. ノートブックツールバーのコンピュートセレクターをクリックします。ドロップダウン メニューには、現在実行中のリソースまたは最近使用したコンピュート リソースが表示されます。 SQLウェアハウスには SQLウェアハウスラベルマークが付いています。

  2. メニューからSQLウェアハウスを選択します。

    利用可能なすべてのSQLウェアハウスを表示するには、ドロップダウンメニューから「さらに表示…」を選択します。ダイアログが表示され、ノートブックで利用可能なコンピュートリソースが表示されます。「SQLウェアハウス」を選択し、使用するウェアハウスを選択して、「アタッチ」をクリックします。

    SQLウェアハウスが選択された状態の「その他のクラスター」ダイアログ

また、ワークフローまたはスケジュールされたジョブを作成するときに、SQL ノートブックのコンピュート リソースとして SQLウェアハウスを選択することもできます。

SQLウェアハウスの制限事項

詳細については 、ノートブック Databricks 既知の制限事項 を参照してください。

ノートブックをデタッチする

ノートブックをコンピュート リソースから切り離すには、ノートブック ツールバーのコンピュート セレクターをクリックし、リスト内のアタッチされたコンピュートにカーソルを合わせると、サイド メニューが表示されます。 サイドメニューから 「デタッチ」を選択します。

ノートブックをデタッチ

コンピュートの詳細ページの ノートブック タブを使用して、汎用コンピュート リソースからノートブックをデタッチすることもできます。

ヒント

Databricks 、未使用のノートブックをコンピュートから切り離すことをお勧めします。 これにより、ドライバーのメモリ領域が解放されます。