メインコンテンツまでスキップ

サーバレスコンピュートに接続する

この記事では、 Databricksで利用できる複数のサーバレスサービスについて説明します。 サーバレス コンピュートを使用すると、オンデマンド コンピューティング リソースにすばやく接続できます。

このセクションの記事では、ノートブック、ジョブ、DLT のサーバレス コンピュートに焦点を当てています。 サーバレス SQLウェアハウスに関する情報については、 サーバレス SQLウェアハウスとはを参照してください。 モデルサービングに関する情報については、Mosaic AI Model Servingを使用したモデルのデプロイを参照してください。

サーバレスコンピュートプレーンアーキテクチャについては、 サーバレスコンピュート プレーンを参照してください。

サーバレス コンピュートとは?

サーバレス コンピュートを使用すると、クラスターをプロビジョンすることなし にワークロードを実行できます。 代わりに、Databricksが必要なコンピュート リソースを自動的に割り当てて管理します。これにより、クラスター管理やリソースの使用率を気にすることなく、コードの記述とデータの分析に集中できます。

サーバレス コンピュートには、次の利点があります。

  • クラウドリソースは Databricksで管理されるため、管理オーバーヘッドが削減され、ユーザーの生産性を向上させるためのインスタントコンピュートが提供されます。
  • サーバレス コンピュート リソースの迅速な起動とスケーリングにより、アイドル時間を最小限に抑え、使用したコンピュートに対してのみ料金を支払うことができます。
  • 容量の処理、セキュリティ、パッチ適用、アップグレードは自動的に管理されるため、信頼性、セキュリティポリシー、容量不足の心配が軽減されます。

Databricksにはどのような種類のサーバレス コンピュートがありますか?

Databricksでは現在、次のタイプのサーバーレス コンピュートを提供しています。

  • ノートブック用のサーバレス コンピュート:ノートブックでSQLおよびPythonコードを実行するために使用される、オンデマンドでスケーラブルなコンピュート。
  • ジョブ用のサーバーレスコンピュート:インフラストラクチャの設定やデプロイなしでDatabricksジョブを実行できる、オンデマンドでスケーラブルなコンピュートです。
  • サーバレス SQLウェアハウス: オンデマンドのエラスティック コンピュートは、SQL エディタまたはインタラクティブ ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されます。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。
  • サーバレス DLT パイプライン: DLT パイプラインアップデートのための最適化され、スケーラブルなコンピュートです。
  • Mosaic AI Model Serving: AI モデルをデプロイするための高可用性で低遅延のサービス。
  • Mosaic AI モデルのトレーニング - 予測: AutoML を使用して、ユーザー提供のデータセットに基づいて最適な予測アルゴリズムとハイパーパラメータを選択します。

サーバレスコンピュートを有効化する

ノートブック、ジョブ、DLTのサーバレス コンピュートにアクセスするには、アカウント管理者がこの機能を有効にする必要があります。 サーバレス コンピュートの有効化を参照してください。

サーバレス SQLウェアハウスにアクセスするには、 サーバレス SQLウェアハウスの有効化を参照してください。

サーバレスコンピュートの制限

制限事項の一覧については、 サーバレス コンピュートの制限事項を参照してください。

よくある質問(FAQ)

リリースはどのようにロールアウトされますか?

サーバレス コンピュートは バージョンレス 製品であるため、 Databricks はサーバレス コンピュート ランタイムを自動的にアップグレードして、プラットフォームの強化とアップグレードをサポートします。 すべてのユーザーに同じアップデートが配布され、短期間でロールアウトされます。

実行しているサーバレスのバージョンを確認するにはどうすればよいですか?

サーバレス ワークロードは、常に最新のランタイム バージョンで実行されます。 最新バージョンの リリースノート を参照してください。

サーバレスのコストを見積もるにはどうすればよいですか?

Databricks 、代表的なワークロードまたは特定のワークロードを実行してベンチマークし、請求システムテーブルを分析することをお勧めします。 課金利用 システムテーブル リファレンスを参照してください。

特定のワークロードの DBU 使用状況を分析するにはどうすればよいですか?

特定のワークロードのコストを確認するには、 system.billing.usage システムテーブルをクエリします。 サンプルクエリとサーバレスコンピュートのコスト監視ダッシュボードのダウンロードについては、サーバレス コンピュートのコストの監視 を参照してください。

ジョブやクエリを実行してから、課金利用 システムテーブルに料金が表示されるまでに遅延はありますか?

はい、ワークロードを実行してからその使用量が課金利用 システムテーブルに反映されるまでに、最大 24 時間の遅延が発生する可能性があります。

ジョブとノートブックでサーバレス コンピュートを有効にしていないのに、サーバレス ジョブの請求レコードが表示されるのはなぜですか?

レイクハウスモニタリング予測的最適化 は、 サーバレス ジョブ SKUにも請求されます。

サーバレス コンピュートは、これら 2 つの機能を使用するために有効にする必要はありません。

サーバレス コンピュートはプライベートリポジトリをサポートしていますか?

リポジトリはプライベートにすることも、認証を要求することもできます。 セキュリティ上の理由から、認証されたリポジトリにアクセスするときは、事前に署名された URL が必要です。

ジョブタスクのライブラリをインストールするにはどうすればよいですか?

Databricks では、環境を使用してジョブのライブラリをインストールおよび管理することをお勧めします。ノートブック以外のジョブ・タスクの環境の構成を参照してください。

カスタムデータソースに接続できますか?

いいえ、レイクハウスフェデレーションを使用するソースのみ対応しています。 サポートされているデータソースを参照してください。

サーバレス コンピュート プレーン ネットワークはどのように機能しますか。

サーバレス コンピュート リソース 実行 は、 Databricksによって管理されるサーバレス コンピュート プレーンにあります。 ネットワークとアーキテクチャの詳細については、 サーバレス コンピュート プレーン ネットワーキングを参照してください。

アセットバンドルが Databricks のジョブにサーバレス コンピュートを設定できますか?

はい、 Databricks Asset Bundles を使用して、サーバレス コンピュートを使用するジョブを設定できます。 サーバレス コンピュートを使用するジョブの設定を参照してください。