コンピュート

Databricks コンピュートとは、Databricks ワークスペースで使用できるコンピューティングリソースの選択を指します。データエンジニアリング、データサイエンス、本番運用 ETL パイプライン、ストリーミング分析、アドホック分析、機械学習などのデータ分析ワークロードを実行するには、ユーザーがコンピュートにアクセスする必要があります。

ユーザーは、適切な権限を持っている場合、既存のコンピュートに接続することも、新しいコンピュートを作成することもできます。

ワークスペースのコンピュートセクションを使用して、アクセスできるコンピュートを表示できます。

コンピュートの種類

Databricks で使用できるコンピュートのタイプは次のとおりです。

ノートブック実行用のサーバレスコンピュート (パブリックプレビュー) : ノートブックでSQLおよびPythonコードを実行するために使用される、オンデマンドでスケーラブルなコンピュート。
ワークフロー用のサーバレスコンピュート (パブリックプレビュー) : インフラストラクチャを構成および展開せずにDatabricksジョブを実行するために使用される、オンデマンドでスケーラブルなコンピュート。

多目的コンピュート: ドイツ語でデータを分析するために使用される灰色コンピュート。 UI、 CLI 、またはREST API使用して、このコンピュートを作成、終了、および再起動できます。
ジョブコンピュート: 自動化されたジョブを実行するために使用された灰色コンピュート。 Databricksジョブスケジューラは、ジョブが新しいコンピュート上で実行するように構成されるたびに、ジョブコンピュートを自動的に作成します。ジョブが完了するとコンピュートは終了します。ジョブコンピュートを再開することはできません。「ジョブでDatabricksコンピュートを使用する」を参照してください。
インスタンス・プール: アイドル状態のすぐに使用できるインスタンスでコンピューティングし、開始時間とオートスケール時間を短縮するために使用されます。このコンピュートは、UI、CLI、または REST API を使用して作成できます。

サーバーレス SQLウェアハウス: SQL エディターまたは対話型ノートブックでデータオブジェクトに対して SQL コマンドを実行するために使用されるオンデマンドのエラスティックコンピュート。 SQLウェアハウスは、UI、CLI、またはREST APIを使用して作成できます。

Classic SQLウェアハウス: SQLエディターまたはインタラクティブエディターでデータオブジェクトに対してSQLコマンドを実行するために使用されます。 UI、 CLI 、またはREST APIを使用してSQLウェアハウスを作成できます。

このセクションの記事では、Databricks UI を使用してコンピュートリソースを操作する方法について説明します。その他の方法については、「コマンドラインを使用する」と「 Databricks REST API リファレンス」を参照してください。

Databricks Runtime

Databricks Runtime は、コンピュート上で実行されるコアコンポーネントのセットです。 Databricks Runtime 、ジョブコンピュートの汎用的な設定で構成可能ですが、SQL ウェアハウスで自動選択されます。

Databricks Runtime の各バージョンには、ビッグデータ分析の使いやすさ、パフォーマンス、セキュリティを向上させる更新プログラムが含まれています。コンピュートのDatabricks Runtime 、次のような多くの機能を追加します。

Delta Lake は、Apache Spark 上に構築された次世代のストレージレイヤーで、データパイプラインを構築するための ACIDトランザクション、最適化されたレイアウトとインデックス、実行エンジンの改善を提供します。「Delta Lake とは」を参照してください。
Java、Scala、Python、R ライブラリをインストールしました。
Ubuntuとそれに付随するシステムライブラリ。
GPU 対応クラスターの GPU ライブラリ。
プラットフォームの他のコンポーネント (ノートブック、ジョブ、クラスター管理など) と統合される Databricks サービス。

各ランタイムバージョンの内容については、リリースノートを参照してください。

Runtime のバージョン管理

Databricks Runtime のバージョンは定期的にリリースされます。

長期サポート のバージョンは、 LTS 修飾子 ( 3.5 LTS など) で表されます。メジャーリリースごとに "正規" の機能バージョンを宣言し、丸 3 年間のサポートを提供します。詳細については、「 Databricks ランタイムサポートライフサイクル」を参照してください。
メジャー バージョンは、小数点の前にあるバージョン番号の増分 (たとえば、3.5 から 4.0 へのジャンプ) で表されます。これらは、大きな変更がある場合にリリースされ、その一部には下位互換性がない可能性があります。
機能バージョンは、小数点以下のバージョン番号の増分 (たとえば、3.4 から 3.5 へのジャンプ) で表されます。各メジャーリリースには、複数の機能リリースが含まれています。機能リリースには、メジャーリリース内の以前のリリースと常に下位互換性があります。