サーバレスコンピュートに接続する
この記事では、 Databricksで利用できる複数のサーバレスサービスについて説明します。 サーバレス コンピュートを使用すると、オンデマンド コンピューティング リソースにすばやく接続できます。
このセクションの記事では、ノートブック、ジョブ、DLT のサーバレス コンピュートに焦点を当てています。 サーバレス SQLウェアハウスに関する情報については、 サーバレス SQLウェアハウスとはを参照してください。 モデルサービングに関する情報については、Mosaic AI Model Servingを使用したモデルのデプロイを参照してください。
サーバレスコンピュートプレーンアーキテクチャについては、 サーバレスコンピュート プレーンを参照してください。
サーバレス コンピュートとは?
サーバレス コンピュートを使用すると、プロビジョニング a クラスターなしでワークロードを実行できます。 代わりに、必要なコンピュート リソースを自動的に割り当てて管理 Databricks 。 これにより、クラスター管理やリソースの使用率を気にすることなく、コードの記述とデータの分析に集中できます。
サーバレス コンピュートには、次の利点があります。
- クラウドリソースは Databricksで管理されるため、管理オーバーヘッドが削減され、ユーザーの生産性を向上させるためのインスタントコンピュートが提供されます。
- サーバレス コンピュート リソースの迅速な起動とスケーリングにより、アイドル時間を最小限に抑え、使用したコンピュートに対してのみ料金を支払うことができます。
- 容量の処理、セキュリティ、パッチ適用、アップグレードは自動的に管理されるため、信頼性、セキュリティポリシー、容量不足の心配が軽減されます。
Databricksにはどのような種類のサーバレス コンピュートがありますか?
Databricksでは現在、次のタイプのサーバーレス コンピュートを提供しています。
- ノートブック用のサーバレス コンピュート:ノートブックでSQLおよびPythonコードを実行するために使用される、オンデマンドでスケーラブルなコンピュート。
- ジョブ用のサーバーレスコンピュート:インフラストラクチャの設定やデプロイなしでDatabricksジョブを実行できる、オンデマンドでスケーラブルなコンピュートです。
- サーバレス SQLウェアハウス: オンデマンドのエラスティック コンピュートは、SQL エディタまたはインタラクティブ ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されます。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。
- サーバレス DLT パイプライン: Optimized and scalable コンピュート for your DLT パイプライン updates.
- Mosaic AI Model Serving: AI モデルをデプロイするための高可用性で低遅延のサービス。
- Mosaic AI モデルのトレーニング - 予測: AutoML を使用して、ユーザー提供のデータセットに基づいて最適な予測アルゴリズムとハイパーパラメータを選択します。
サーバレスコンピュートを有効化する
ノートブック、ジョブ、DLTのサーバレス コンピュートにアクセスするには、アカウント管理者がこの機能を有効にする必要があります。 Enable サーバレス コンピュートを参照してください。
サーバレス SQLウェアハウスにアクセスするには、 サーバレス SQLウェアハウスの有効化を参照してください。
サーバレスコンピュートの制限
制限事項の一覧については、 サーバレス コンピュートの制限事項を参照してください。
よくある質問(FAQ)
- リリースはどのようにロールアウトされますか?
- 実行しているサーバレスのバージョンを確認するにはどうすればよいですか?
- サーバレスのコストを見積もるにはどうすればよいですか?
- 特定のワークロードの DBU 使用状況を分析するにはどうすればよいですか?
- ジョブやクエリを実行してから、課金利用 システムテーブルに料金が表示されるまでに遅延はありますか?
- ジョブとノートブックでサーバレス コンピュートを有効にしていないのに、サーバレス ジョブの請求レコードが表示されるのはなぜですか?
- サーバレス コンピュートはプライベートリポジトリをサポートしていますか?
- ジョブタスクのライブラリをインストールするにはどうすればよいですか?
- カスタムデータソースに接続できますか?
- サーバレス コンピュート プレーン ネットワークはどのように機能しますか。
- サーバレス コンピュートを Databricks Asset Bundle のジョブに設定できますか?
リリースはどのようにロールアウトされますか?
サーバレス コンピュートは バージョンレス 製品であるため、 Databricks はサーバレス コンピュート ランタイムを自動的にアップグレードして、プラットフォームの強化とアップグレードをサポートします。 すべてのユーザーに同じアップデートが配布され、短期間でロールアウトされます。
実行しているサーバレスのバージョンを確認するにはどうすればよいですか?
サーバレス ワークロードは、常に最新のランタイム バージョンで実行されます。 最新バージョンの リリースノート を参照してください。
サーバレスのコストを見積もるにはどうすればよいですか?
Databricks 、代表的なワークロードまたは特定のワークロードを実行してベンチマークし、請求システムテーブルを分析することをお勧めします。 「課金利用 システムテーブル リファレンス」を参照してください。
特定のワークロードの DBU 使用状況を分析するにはどうすればよいですか?
特定のワークロードのコストを確認するには、 system.billing.usage
システムテーブルをクエリします。 サンプルクエリについては、「 サーバレス コンピュートのコストの監視 」を、コスト監視ダッシュボードのダウンロードについては、「サーバレス コンピュート」を参照してください。
ジョブやクエリを実行してから、課金利用 システムテーブルに料金が表示されるまでに遅延はありますか?
はい、ワークロードを実行してからその使用量が課金利用 システムテーブルに反映されるまでに、最大 24 時間の遅延が発生する可能性があります。
ジョブとノートブックでサーバレス コンピュートを有効にしていないのに、サーバレス ジョブの請求レコードが表示されるのはなぜですか?
レイクハウスモニタリング と 予測的最適化 は、 サーバレス ジョブ SKUにも請求されます。
サーバレス コンピュートは、これら 2 つの機能を使用するために有効にする必要はありません。
サーバレス コンピュートはプライベートリポジトリをサポートしていますか?
リポジトリはプライベートにすることも、認証を要求することもできます。 セキュリティ上の理由から、認証されたリポジトリにアクセスするときは、事前に署名された URL が必要です。
ジョブタスクのライブラリをインストールするにはどうすればよいですか?
Databricks では、環境を使用してジョブのライブラリをインストールおよび管理することをお勧めします。ノートブック以外のジョブ・タスクの環境の構成を参照してください。
カスタムデータソースに接続できますか?
いいえ、レイクハウスフェデレーションを使用するソースのみ対応しています。 「サポートされているデータソース」を参照してください。
サーバレス コンピュート プレーン ネットワークはどのように機能しますか。
サーバレス コンピュート リソース 実行 は、 Databricksによって管理されるサーバレス コンピュート プレーンにあります。 ネットワークとアーキテクチャの詳細については、 サーバレス コンピュート プレーン ネットワーキングを参照してください。
アセットバンドルが Databricks のジョブにサーバレス コンピュートを設定できますか?
はい、 Databricks Asset Bundles を使用して、サーバレス コンピュートを使用するジョブを設定できます。 サーバレス コンピュートを使用するジョブの設定を参照してください。