ノートブック コンピュート リソース
この記事では、ノートブック コンピュート リソースのオプションについて説明します。 ノートブックは、汎用コンピュート リソース、サーバレス コンピュートで実行できます。また、SQLコマンドの場合は、SQL アナリティクス用に最適化されたコンピュートの一種である SQLウェアハウスを使用することもできます。コンピュートの種類の詳細については、 コンピュートを参照してください。
サーバレス コンピュート for ノートブック
サーバレス コンピュートを使用すると、ノートブックをオンデマンド コンピューティング リソースにすばやく接続できます。
サーバーレスコンピュートに接続するには、ノートブックの[ Connect ]ドロップダウンメニューをクリックし、[ サーバレス ]を選択します。
詳細については、 サーバレス コンピュート for ノートブック を参照してください。
ノートブックを万能コンピュート リソースにアタッチする
ノートブックを汎用コンピュート リソースにアタッチするには、コンピュート リソースに対する Can Attach To 権限 が必要です。
ノートブックがコンピュート リソースにアタッチされている限り、ノートブックに対するCAN RUN アクセス許可を持つすべてのユーザーは、コンピュート リソースにアクセスするための暗黙的なアクセス許可を持っています。
ノートブックをコンピュート リソースにアタッチするには、 ノートブック ツールバーのコンピュート セレクター をクリックし、ドロップダウン メニューからリソースを選択します。
メニューには、最近使用した、または現在稼働している万能コンピュートと SQLウェアハウスのセレクションが表示されます。
利用可能なすべてのコンピュートから選択するには、[ その他... ] をクリックします。 利用可能な一般的なコンピュートまたは SQLウェアハウスから選択します。
また、ドロップダウン メニューから[新しいリソースの作成] を選択して、 新しい汎用コンピュート リソースを作成することもできます 。
アタッチされたノートブックには、以下のApache Spark変数が定義されています。
クラス | 変数名 |
|---|---|
|
|
|
|
|
|
SparkSession、SparkContext、またはSQLContextの作成は行わないでください。これを行うと、一貫性のない動作が発生します。
SQLウェアハウスでノートブックを使用する
ノートブックが SQLウェアハウスにアタッチされている場合、 SQL セルと Markdown セルを実行できます。 他の言語 (Python や R など) でセルを実行すると、エラーが発生します。 SQLウェアハウスで実行されたセルSQL、SQLウェアハウスのクエリ履歴に表示されます。クエリを実行したユーザーは、出力の下部にある経過時間をクリックすることで、ノートブックから クエリ プロファイルを表示できます 。
ノートブックを実行するには、Pro または サーバレス SQLウェアハウスが必要です。 ワークスペースと SQLウェアハウスにアクセスできる必要があります。
ノートブックを SQLウェアハウス にアタッチするには、次の手順を実行します。
-
ノートブックツールバーのコンピュートセレクターをクリックします。ドロップダウン メニューには、現在実行中のリソースまたは最近使用したコンピュート リソースが表示されます。 SQLウェアハウスには
マークが付いています。 -
メニューからSQLウェアハウスを選択します。
利用可能なすべてのSQLウェアハウスを表示するには、ドロップダウンメニューから「 さらに表示… 」を選択します。ダイアログが表示され、ノートブックで利用可能なコンピュートリソースが表示されます。「 SQLウェアハウス 」を選択し、使用するウェアハウスを選択して、「 アタッチ 」をクリックします。
また、ワークフローまたはスケジュールされたジョブを作成するときに、SQL ノートブックのコンピュート リソースとして SQLウェアハウスを選択することもできます。
SQLウェアハウスの制限
詳細については 、「ノートブック Databricks 既知の制限事項 」を参照してください。
ノートブックのデタッチ
ノートブックをコンピュート リソースから切り離すには、ノートブック ツールバーのコンピュート セレクターをクリックし、リスト内のアタッチされたコンピュートにカーソルを合わせると、サイド メニューが表示されます。 サイドメニューから 「デタッチ」 を選択します。
コンピュートの詳細ページの ノートブック タブを使用して、汎用コンピュート リソースからノートブックをデタッチすることもできます。
Databricks 、未使用のノートブックをコンピュートから切り離すことをお勧めします。 これにより、ドライバーのメモリ領域が解放されます。