コンピュート

Databricksコンピュートとは、Databricksワークスペースで利用可能な一連のコンピューティングリソースを指します。ユーザーは、本番運用ETLパイプライン、ストリーミング分析、アドホックアナリティクス、機械学習などのデータエンジニアリング、データサイエンス、データアナリティクスのワークロードを実行するために、コンピュートへのアクセスが必要です。

ユーザは、適切な権限があれば、既存のコンピュートへの接続も、新しいコンピュートの作成もできます。

ワークスペースの [コンピュート] セクションを使用して、アクセスできるコンピュートを表示できます。

コンピュートの種類

Databricksで利用できるコンピュートの種類は次のとおりです。

サーバレスコンピュート for ノートブック: オンデマンドでスケーラブルなコンピュートを使用して、ノートブックで SQL コードと Python コードを実行するために使用されます。
サーバレスコンピュート for ジョブ: インフラストラクチャの設定やデプロイを行わずに Databricks ジョブを実行するために使用される、オンデマンドでスケーラブルなコンピュート。

All-purpose コンピュート: プロビジョニングコンピュートは、ノートブックでデータを分析するために使用されます。このコンピュートは、UI、 CLI、または REST APIを使用して作成、終了、および再起動できます。
Jobs コンピュート: プロビジョニングコンピュート used to run automated ジョブ. Databricks ジョブスケジューラは、ジョブが新しいコンピュートで実行されるように構成されるたびに、ジョブコンピュートを自動的に作成します。ジョブが完了すると、コンピュートは終了します。ジョブコンピュートは再始動 できません 。「ジョブのコンピュートの設定」を参照してください。
インスタンスプール: アイドル状態ですぐに使用できるインスタンスを備えたコンピュートで、開始時間とオートスケール時間を短縮するために使用されます。このコンピュートは、UI、 CLI、または REST APIを使用して作成できます。

サーバレス SQLウェアハウス: オンデマンドのエラスティックコンピュートを使用して、SQL エディタまたは対話型ノートブックのデータオブジェクトに対して SQL コマンドを実行します。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。

クラシック SQLウェアハウス: SQL エディターまたは対話型ノートブックでデータオブジェクトに対して SQL コマンドを実行するために使用されます。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。

このセクションの記事では、Databricks UIを使用してコンピュートリソースを操作する方法について説明します。その他の方法については、「Databricks CLIとは」および「Databricks REST APIリファレンス」を参照してください。

Databricks Runtime

Databricks Runtimeは、コンピュートで実行されるコアコンポーネントのセットです。Databricks Runtimeは、ジョブのコンピュートでは設定可能ですが、SQLウェアハウスでは自動的に選択されます。

Databricks Runtimeの各バージョンには、ビッグデータ分析の使いやすさ、パフォーマンス、セキュリティを向上させる更新プログラムが含まれています。コンピュート上のDatabricks Runtimeは、以下を含む多くの機能を追加します。

Delta Lakeは、Apache Spark上に構築された次世代ストレージレイヤーで、ACIDトランザクション、最適化されたレイアウトとインデックス、データパイプライン構築のための実行エンジンの改良を提供します。「Delta Lakeとは？」を参照してください。
Java、Scala、Python、R ライブラリをインストールしました。
Ubuntuとそれに付随するシステムライブラリ。
GPU対応クラスターのGPUライブラリ。
ノートブック、ジョブ、クラスター管理など、プラットフォームの他のコンポーネントと統合されるDatabricksサービス。

各Runtimeバージョンの内容については、リリースノートを参照してください。

Runtimeバージョン管理

Databricks Runtimeのバージョンは定期的にリリースされています。

長期サポートバージョンはLTS修飾子で表されます（例：3.5 LTS）。各メジャーリリースごとに「標準」機能バージョンを宣言し、3年間のサポートを提供します。詳細については、「Databricksのサポートライフサイクル」を参照してください。
メジャーバージョンは、小数点以下のバージョン番号の増加で表されます（3.5から4.0へのジャンプなど）。これらは大きな変更があった場合にリリースされますが、その一部は下位互換性がない可能性があります。
機能バージョンは、小数点の後ろにあるバージョン番号の増加で表されます（たとえば、3.4から3.5への更新など）。各メジャーリリースには複数の機能リリースが含まれます。機能リリースは常にそのメジャーリリース内の以前のリリースと下位互換性があります。