コンピュート

Databricks コンピュートとは、Databricks ワークスペースで使用できるコンピューティング リソースの選択を指します。 データエンジニアリング、データサイエンス、本番運用 ETL パイプライン、ストリーミング分析、アドホック分析、機械学習などのデータ分析ワークロードを実行するには、ユーザーがコンピュートにアクセスする必要があります。

ユーザーは、適切な権限を持っている場合、既存のコンピュートに接続することも、新しいコンピュートを作成することもできます。

ワークスペースのコンピュートセクションを使用して、アクセスできるコンピュートを表示できます。

Databricks ワークスペースの汎用コンピュート ページ

コンピュートの種類

Databricks で使用できるコンピュートのタイプは次のとおりです。

  • ドイツ語用のサーバレス コンピュート (パブリック プレビュー) : ドイツ語でSQLおよびPythonコードを実行するために使用される、オンデマンドでスケーラブルなコンピュート。

  • ワークフロー用のサーバレス コンピュート (パブリック プレビュー) : インフラストラクチャを構成および展開せずにDatabricksジョブを実行するために使用される、オンデマンドでスケーラブルなコンピュート。

  • 多目的コンピュート: ドイツ語でデータを分析するために使用される灰色コンピュート。 UI、 CLI 、またはREST API使用して、このコンピュートを作成、終了、および再起動できます。

  • ジョブ コンピュート: 自動化されたジョブを実行するために使用された灰色コンピュート。 Databricksジョブ スケジューラは、ジョブが新しいコンピュート上で実行するように構成されるたびに、ジョブ コンピュートを自動的に作成します。 ジョブが完了するとコンピュートは終了します。 ジョブ コンピュートを再開することはできません「ジョブでDatabricksコンピュート を使用する」を参照してください。

  • インスタンス・プール: アイドル状態のすぐに使用できるインスタンスでコンピューティングし、開始時間とオートスケール時間を短縮するために使用されます。 このコンピュートは、UI、CLI、または REST API を使用して作成できます。

  • サーバーレス SQLウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されるオンデマンドのエラスティック コンピュート。 SQLウェアハウスは、UI、CLI、またはREST APIを使用して作成できます。

  • クラシック SQL ウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されるプロビジョニングされたコンピュート。 SQLウェアハウスは、UI、CLI、またはREST APIを使用して作成できます。

このセクションの記事では、Databricks UI を使用してコンピュート リソースを操作する方法について説明します。 その他の方法については、「 コマンド ラインを使用する」 と「 Databricks REST API リファレンス」を参照してください。

Databricks Runtime

Databricks Runtime は、コンピュート上で実行されるコア コンポーネントのセットです。 Databricks Runtime 、ジョブ コンピュートの汎用的な設定で構成可能ですが、SQL ウェアハウスで自動選択されます。

Databricks Runtime の各バージョンには、ビッグデータ分析の使いやすさ、パフォーマンス、セキュリティを向上させる更新プログラムが含まれています。 コンピュートのDatabricks Runtime 、次のような多くの機能を追加します。

  • Delta Lake は、Apache Spark 上に構築された次世代のストレージ レイヤーで、データパイプラインを構築するための ACIDトランザクション、最適化されたレイアウトとインデックス、実行エンジンの改善を提供します。 「Delta Lake とは」を参照してください。

  • Java、Scala、Python、R ライブラリをインストールしました。

  • Ubuntuとそれに付随するシステムライブラリ。

  • GPU 対応クラスターの GPU ライブラリ。

  • プラットフォームの他のコンポーネント (ノートブック、ジョブ、クラスター管理など) と統合される Databricks サービス。

各ランタイムバージョンの内容については、 リリースノートを参照してください。

Runtime のバージョン管理

Databricks Runtime のバージョンは定期的にリリースされます。

  • 長期サポート のバージョンは、 LTS 修飾子 ( 3.5 LTS など) で表されます。 メジャー リリースごとに "正規" の機能バージョンを宣言し、丸 3 年間のサポートを提供します。 詳細については、「 Databricks ランタイム サポート ライフサイクル 」を参照してください。

  • メジャー バージョンは、小数点の前にあるバージョン番号の増分 (たとえば、3.5 から 4.0 へのジャンプ) で表されます。 これらは、大きな変更がある場合にリリースされ、その一部には下位互換性がない可能性があります。

  • 機能 バージョンは、小数点以下のバージョン番号の増分 (たとえば、3.4 から 3.5 へのジャンプ) で表されます。 各メジャー リリースには、複数の機能リリースが含まれています。 機能リリースには、メジャーリリース内の以前のリリースと常に下位互換性があります。