ノートブック コンピュート リソース
この記事では、ノートブック コンピュート リソースのオプションについて説明します。 ノートブックは、汎用コンピュート リソース、サーバレス コンピュートで実行できます。また、SQLコマンドの場合は、SQL アナリティクス用に最適化されたコンピュートの一種である SQLウェアハウスを使用することもできます。コンピュートの種類の詳細については、 コンピュートを参照してください。
ノートブック向けサーバレス コンピュート
サーバレス コンピュートを使用すると、ノートブックをオンデマンド コンピューティング リソースにすばやく接続できます。
サーバーレスコンピュートに接続するには、ノートブックの 接続 ドロップダウンメニューをクリックし、 サーバレス を選択します。
詳細については、 ノートブック向けサーバレス コンピュート を参照してください。
ノートブックを汎用コンピュート リソースにアタッチする
ノートブックを汎用コンピュート リソースにアタッチするには、コンピュート リソースに対する Can Attach To 権限 が必要です。
ノートブックがコンピュート リソースにアタッチされている限り、ノートブックに対するCAN RUN アクセス許可を持つすべてのユーザーは、コンピュート リソースにアクセスするための暗黙的なアクセス許可を持っています。
ノートブックをコンピュート リソースにアタッチするには、 ノートブック ツールバーのコンピュート セレクター をクリックし、ドロップダウン メニューからリソースを選択します。
メニューには、最近使用した、または現在稼働している万能コンピュートと SQLウェアハウスのセレクションが表示されます。
利用可能なすべてのコンピュートから選択するには、[ その他... ] をクリックします。 利用可能な一般的なコンピュートまたは SQLウェアハウスから選択します。
また、ドロップダウンメニューから 新しいリソースの作成 新しい汎用コンピュート リソースを作成することもできます 。
アタッチされたノートブックには、以下のApache Spark変数が定義されています。
クラス | 変数名 |
|---|---|
|
|
|
|
|
|
SparkSession、SparkContext、またはSQLContextの作成は行わないでください。これを行うと、一貫性のない動作が発生します。
SQLウェアハウスでノートブックを使用する
ノートブックが SQLウェアハウスにアタッチされている場合、 SQL セルと Markdown セルを実行できます。 他の言語 (Python や R など) でセルを実行すると、エラーが発生します。SQLウェアハウスで実行されたセルSQL、SQLウェアハウスのクエリ履歴に表示されます。クエリを実行したユーザーは、出力の下部にある経過時間をクリックすることで、ノートブックから クエリ プロファイルを表示できます 。
ノートブックを実行するには、Pro または サーバレス SQLウェアハウスが必要です。 ワークスペースと SQLウェアハウスにアクセスできる必要があります。
ノートブックを SQLウェアハウス にアタッチするには、次の手順を実行します。
-
ノートブックツールバーのコンピュートセレクターをクリックします。ドロップダウン メニューには、現在実行中のリソースまたは最近使用したコンピュート リソースが表示されます。 SQLウェアハウスには
マークが付いています。 -
メニューからSQLウェアハウスを選択します。
利用可能なすべてのSQLウェアハウスを表示するには、ドロップダウンメニューから「 さらに表示… 」を選択します。ダイアログが表示され、ノートブックで利用可能なコンピュートリソースが表示されます。「 SQLウェアハウス 」を選択し、使用するウェアハウスを選択して、「 アタッチ 」をクリックします。
また、ワークフローまたはスケジュールされたジョブを作成するときに、SQL ノートブックのコンピュート リソースとして SQLウェアハウスを選択することもできます。
SQLウェアハウスの制限
詳細については、Databricksノートブックの既知の制限事項 を参照してください。
ノートブックのデタッチ
ノートブックをコンピュート リソースから切り離すには、ノートブック ツールバーのコンピュート セレクターをクリックし、リスト内のアタッチされたコンピュートにカーソルを合わせると、サイド メニューが表示されます。 サイドメニューから 「デタッチ」 を選択します。
コンピュートの詳細ページの ノートブック タブを使用して、汎用コンピュート リソースからノートブックをデタッチすることもできます。
Databricksでは、未使用のノートブックをコンピュートからデタッチすることをお勧めします。 これにより、ドライバーのメモリ領域が解放されます。