メインコンテンツまでスキップ

コンピュート

Databricksコンピュートとは、Databricksワークスペースで利用可能な一連のコンピューティングリソースを指します。ユーザーは、本番運用ETLパイプライン、ストリーミング分析、アドホックアナリティクス、機械学習などのデータエンジニアリング、データサイエンス、データアナリティクスのワークロードを実行するために、コンピュートへのアクセスが必要です。

ユーザは、適切な権限があれば、既存のコンピュートへの接続も、新しいコンピュートの作成もできます。

ワークスペースの [コンピュート] セクションを使用して、アクセスできるコンピュートを表示できます。

Databricksワークスペースの汎用コンピュートページ

コンピュートの種類​

Databricksで利用できるコンピュートの種類は次のとおりです。

  • ノートブック用のサーバレス コンピュート：ノートブックでSQLおよびPythonコードを実行するために使用される、オンデマンドでスケーラブルなコンピュート。

  • ジョブ用のサーバーレスコンピュート：インフラストラクチャの設定やデプロイなしでDatabricksジョブを実行できる、オンデマンドでスケーラブルなコンピュートです。

  • 多目的コンピュート: ノートブックでデータを分析するために使用されるプロビジョニングされたコンピュート。UI、 CLI 、またはREST API使用して、このコンピュートを作成、終了、および再起動できます。

  • Jobs コンピュート: プロビジョニング コンピュート used to run automated ジョブ. Databricks ジョブ スケジューラは、ジョブが新しいコンピュートで実行されるように構成されるたびに、ジョブ コンピュートを自動的に作成します。ジョブが完了すると、コンピュートは終了します。 ジョブ コンピュートは再始動 できません 。 「ジョブのコンピュートの設定」を参照してください。

  • インスタンスプール：起動時間と自動スケーリング時間を短縮するために使用される、アイドル状態の、すぐに使えるインスタンスで計算します。このコンピュートは、UI、CLI、またはREST APIを使用して作成できます。

  • サーバレス SQLウェアハウス: オンデマンドのエラスティック コンピュートは、SQL エディタまたはインタラクティブ ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されます。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。

  • クラシック SQLウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されます。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。

このセクションの記事では、 Databricks UI を使用してコンピュート リソースを操作する方法について説明します。 その他の方法については、「 Databricks CLI とは」 および 「Databricks REST API リファレンス」を参照してください。

Databricks Runtime​

Databricks Runtimeは、コンピュートで実行されるコアコンポーネントのセットです。Databricks Runtimeは、ジョブのコンピュートでは設定可能ですが、SQLウェアハウスでは自動的に選択されます。

Databricks Runtimeの各バージョンには、ビッグデータ分析の使いやすさ、パフォーマンス、セキュリティを向上させる更新プログラムが含まれています。コンピュート上のDatabricks Runtimeは、以下を含む多くの機能を追加します。

  • Delta Lakeは、 Apache Spark の上に構築された次世代のストレージレイヤーで、 ACIDトランザクション、最適化されたレイアウトとインデックス、およびデータパイプラインを構築するための実行エンジンの改善を提供します。 「Delta Lake とは」を参照してください。
  • Java、Scala、Python、R ライブラリをインストールしました。
  • Ubuntuとそれに付随するシステムライブラリ。
  • GPU対応クラスターのGPUライブラリ。
  • ノートブック、ジョブ、クラスター管理など、プラットフォームの他のコンポーネントと統合されるDatabricksサービス。

各ランタイムバージョンの内容については、 リリースノートを参照してください。

Runtime バージョニング​

Databricks Runtimeのバージョンは定期的にリリースされています。

  • 長期サポート のバージョンは、 LTS 修飾子 ( 3.5 LTS など) で表されます。 メジャー リリースごとに、"正規" 機能バージョンを宣言し、丸 3 年間サポートを提供します。 詳細については、「Databricks サポート ライフサイクル」を参照してください。
  • メジャー バージョンは、小数点以下のバージョン番号の増加で表されます（3.5から4.0へのジャンプなど）。これらは大きな変更があった場合にリリースされますが、その一部は下位互換性がない可能性があります。
  • 機能 バージョンは、小数点の後ろにあるバージョン番号の増加で表されます（たとえば、3.4から3.5への更新など）。各メジャーリリースには複数の機能リリースが含まれます。機能リリースは常にそのメジャーリリース内の以前のリリースと下位互換性があります。
に最終更新