サーバレスコンピュートに接続する
この記事では、 Databricksで利用できる複数のサーバレスサービスについて説明します。 サーバレス コンピュートを使用すると、オンデマンド コンピューティング リソースにすばやく接続できます。
サーバレスコンピュートプレーンアーキテクチャについては、 サーバレスコンピュート プレーンを参照してください。
サーバレス コンピュートとは?
サーバレス コンピュートを使用すると、プロビジョニング a クラスターなしでワークロードを実行できます。 代わりに、必要なコンピュート リソースを自動的に割り当てて管理 Databricks 。 これにより、クラスター管理やリソースの使用率を気にすることなく、コードの記述とデータの分析に集中できます。
サーバレス コンピュートには、次の利点があります。
- クラウドリソースは Databricksで管理されるため、管理オーバーヘッドが削減され、ユーザーの生産性を向上させるためのインスタントコンピュートが提供されます。
- サーバレス コンピュート リソースの迅速な起動とスケーリングにより、アイドル時間を最小限に抑え、使用したコンピュートに対してのみ料金を支払うことができます。
- 容量の処理、セキュリティ、パッチ適用、アップグレードは自動的に管理されるため、信頼性、セキュリティポリシー、容量不足の心配が軽減されます。
Databricksにはどのような種類のサーバレス コンピュートがありますか?
Databricksでは現在、次のタイプのサーバーレス コンピュートを提供しています。
- サーバレス コンピュート for ノートブック: オンデマンドでスケーラブルなコンピュートは、ノートブックで SQL コードを実行し、コードを Python するために使用されます。
- ジョブ用のサーバーレスコンピュート:インフラストラクチャの設定やデプロイなしでDatabricksジョブを実行できる、オンデマンドでスケーラブルなコンピュートです。
- サーバレス SQLウェアハウス (パブリック プレビュー): SQL エディタまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使用されるオンデマンドのエラスティック コンピュート。SQLウェアハウスは、 UI 、 CLI、または REST APIを使用して作成できます。
- サーバレス DLT パイプライン: Optimized and scalable コンピュート for your DLT パイプライン updates.
サーバレスコンピュートを有効化する
ノートブック、ジョブ、DLTのサーバレス コンピュートにアクセスするには、アカウント管理者がこの機能を有効にする必要があります。 Enable サーバレス コンピュートを参照してください。
サーバレス SQLウェアハウスにアクセスするには、 サーバレス SQLウェアハウスの有効化を参照してください。
サーバレスコンピュートの制限
制限事項の一覧については、 サーバレス コンピュートの制限事項を参照してください。
よくある質問(FAQ)
- サーバレス コンピュートをサポートしているのはどの地域ですか?
- リリースはどのようにロールアウトされますか?
- 実行しているサーバレスのバージョンを確認するにはどうすればよいですか?
- サーバレスのコストを見積もるにはどうすればよいですか?
- 特定のワークロードの DBU 使用状況を分析するにはどうすればよいですか?
- ジョブやクエリを実行してから、課金利用 システムテーブルに料金が表示されるまでに遅延はありますか?
- ジョブとノートブックでサーバレス コンピュートを有効にしていないのに、サーバレス ジョブの請求レコードが表示されるのはなぜですか?
- サーバレス コンピュートはプライベートリポジトリをサポートしていますか?
- ジョブタスクのライブラリをインストールするにはどうすればよいですか?
- カスタムデータソースに接続できますか?
- サーバレス コンピュート プレーン ネットワークはどのように機能しますか。
サーバレス コンピュートをサポートしているのはどの地域ですか?
ノートブック用のサーバレスコンピュートおよびワークフロー用のサーバレスコンピュートは、次のリージョンでサポートされています。
us-central1
us-east1
リリースはどのようにロールアウトされますか?
サーバレス コンピュートは バージョンレス 製品であるため、 Databricks はサーバレス コンピュート ランタイムを自動的にアップグレードして、プラットフォームの強化とアップグレードをサポートします。 すべてのユーザーに同じアップデートが配布され、短期間でロールアウトされます。
実行しているサーバレスのバージョンを確認するにはどうすればよいですか?
サーバレス ワークロードは、常に最新のランタイム バージョンで実行されます。 最新バージョンの リリースノート を参照してください。
サーバレスのコストを見積もるにはどうすればよいですか?
Databricks 、代表的なワークロードまたは特定のワークロードを実行してベンチマークし、請求システムテーブルを分析することをお勧めします。 「課金利用 システムテーブル リファレンス」を参照してください。
特定のワークロードの DBU 使用状況を分析するにはどうすればよいですか?
特定のワークロードのコストを確認するには、 system.billing.usage
システムテーブルをクエリします。 サンプルクエリについては、「 サーバレス コンピュートのコストの監視 」を、コスト監視ダッシュボードのダウンロードについては、「サーバレス コンピュート」を参照してください。
ジョブやクエリを実行してから、課金利用 システムテーブルに料金が表示されるまでに遅延はありますか?
はい、ワークロードを実行してからその使用量が課金利用 システムテーブルに反映されるまでに、最大 24 時間の遅延が発生する可能性があります。
ジョブとノートブックでサーバレス コンピュートを有効にしていないのに、サーバレス ジョブの請求レコードが表示されるのはなぜですか?
予測的最適化 は、サーバレス ジョブ SKUでも請求されます。
この機能を使用するために、サーバレス コンピュートを有効にする必要はありません。
サーバレス コンピュートはプライベートリポジトリをサポートしていますか?
リポジトリはプライベートにすることも、認証を要求することもできます。 セキュリティ上の理由から、認証されたリポジトリにアクセスするときは、事前に署名された URL が必要です。
ジョブタスクのライブラリをインストールするにはどうすればよいですか?
Databricks では、環境を使用してジョブのライブラリをインストールおよび管理することをお勧めします。ノートブック以外のジョブ・タスクの環境の構成を参照してください。
カスタムデータソースに接続できますか?
いいえ、レイクハウスフェデレーションを使用するソースのみ対応しています。 「サポートされているデータソース」を参照してください。
サーバレス コンピュート プレーン ネットワークはどのように機能しますか。
サーバレス コンピュート リソース 実行 は、 Databricksによって管理されるサーバレス コンピュート プレーンにあります。 ネットワークとアーキテクチャの詳細については、 サーバレス コンピュート プレーン ネットワーキングを参照してください。