サーバーレスコンピュートに接続
この記事では、 Databricksで利用できる複数のサーバーレス オファリングについて説明します。 サーバレス コンピュートを使用すると、オンデマンド コンピューティング リソースにすばやく接続できます。
このセクションの記事は、ノートブック、ジョブ、およびDelta Live Tablesサーバレス コンピュートに焦点を当てています。 サーバレスSQLウェアハウスについては、 「サーバレスSQLウェアハウスとは?」をご覧ください。モデルサービングの詳細については、「Databricksによるモデルサービング」を参照してください。
サーバレス コンピュートプレーンのアーキテクチャについては、 サーバレス コンピュートプレーンを参照してください。
サーバレス コンピュートとは?
サーバレス コンピュートを使用すると、プロビジョニング a クラスタなしでワークロードを実行できます。 代わりに、必要なコンピュート リソースを自動的に割り当てて管理 Databricks 。 これにより、クラスター管理やリソース使用率を気にすることなく、コードの記述とデータの分析に集中できます。
サーバレス コンピュートには、次の利点があります。
クラウド リソースは Databricksによって管理され、管理オーバーヘッドを削減し、ユーザーの生産性を向上させるためのインスタント コンピュートを提供します。
サーバレス コンピュート リソースの迅速な起動とスケーリングにより、アイドル時間を最小限に抑え、使用したコンピュートに対してのみ料金を支払うことができます。
容量の処理、セキュリティ、パッチ適用、アップグレードは自動的に管理されるため、信頼性、セキュリティポリシー、容量不足の心配が軽減されます。
Databricksではどのような種類のサーバーレス コンピュートを利用できますか?
Databricksでは現在、次のタイプのサーバーレス コンピュートを提供しています。
ノートブック用のサーバレス コンピュート: ノートブックでSQLおよびPythonコードを実行するために使用される、オンデマンドでスケーラブルなコンピュート。
ジョブのサーバーレス コンピュート: インフラストラクチャの構成やデプロイを行わずに、 Databricksジョブを実行するために使用されるオンデマンドのスケーラブルなコンピュート。
サーバレスSQLウェアハウス: SQLエディタまたはインタラクティブエディタでデータオブジェクトに対してSQLコマンドを実行するために使用されるオンデマンドのエラスティックコンソール。 UI、CLI 、またはREST APIを使用して SQLウェアハウスを作成できます。
サーバレス DLT パイプライン: Delta Live Tablesパイプラインの更新用に最適化され、スケーラブルなパイプライン。
Mosaic AI Model Serving : AIモデルをデプロイするための高可用性と低レイテンシのサービス。
Mosaic AI モデルのトレーニング - 予測: AutoML を使用して、ユーザー提供のデータセットに基づいて最適な予測アルゴリズムとハイパーパラメータを選択します。
サーバーレスコンピュートを有効にする
サーバレス ノートブック, ジョブ, Delta Live Tablesにアクセスするには、アカウント管理者がこの機能を有効にする必要があります。 Enable サーバレス コンピュートを参照してください。
サーバレス SQLウェアハウスにアクセスするには、 サーバレス SQLウェアハウスの有効化を参照してください。
サーバレスコンピュートの制限
制限事項の一覧については、「 サーバレス コンピュート の制限事項」を参照してください。
よくある質問(FAQ)
リリースはどのようにロールアウトされますか?
サーバレス コンピュート はバージョンレス製品です。つまり、 Databricksサーバレス コンピュート を自動的にアップグレードして、プラットフォームの機能強化とアップグレードをサポートします。 すべてのユーザーに同じアップデートが配布され、短期間でロールアウトされます。
実行しているサーバーレス バージョンを確認するにはどうすればよいですか?
サーバレス ワークロードは常に最新バージョンで実行されます。 最新バージョンについてはリリースノートを参照してください。
サーバーレスのコストをどのように見積もればよいですか?
Databricks 、代表的なワークロードまたは特定のワークロードを実行してベンチマークし、課金システムテーブルを分析することをお勧めします。 課金利用システムテーブルリファレンスを参照してください。
特定のワークロードの DBU 使用状況を分析するにはどうすればよいですか?
特定のワークロードのコストを確認するには、 system.billing.usage
システムテーブルをクエリします。 サンプル クエリとコスト観測ダッシュボードのダウンロードについては、「サーバーレス コンピュートのコスト監視」を参照してください。
ジョブとノートブックのサーバレス コンピュートを有効にしていないのに、サーバレス ジョブの請求レコードが表示されるのはなぜですか?
レイクハウスモニタリングと予測的最適化も、サーバーレス ジョブSKUに基づいて請求されます。
これら 2 つの機能を使用するために、サーバレス コンピュート を有効にする必要はありません。
サーバレス コンピュートはプライベートリポジトリをサポートしていますか?
リポジトリは非公開にすることも、認証を必要とすることもできます。 セキュリティ上の理由から、認証されたリポジトリにアクセスする際には、事前に署名された URL が必要です。
ジョブタスク用のライブラリをインストールするにはどうすればよいですか?
Databricks では、ジョブのライブラリをインストールおよび管理するために環境を使用することをお勧めします。 「ノートブック以外のタスクの環境と依存関係を構成する」を参照してください。
カスタムデータソースに接続できますか?
いいえ、レイクハウスフェデレーションを使用するソースのみ対応しています。 「サポートされているデータソース」を参照してください。
サーバレス・コンピュート・プレーン・ネットワーキングはどのように機能しますか?
serverless コンピュートリソース は、 Databricksによって管理される serverless コンピュート プレーンで実行されます。 ネットワークとアーキテクチャの詳細については、 「サーバレス コンピュート プレーン ネットワーキング」を参照してください。
サーバレス コンピュートを Databricks Asset Bundle のジョブに設定できますか?
はい、 Databricks Asset Bundles を使用して、サーバレス コンピュートを使用するジョブを設定できます。 サーバレス コンピュートを使用するジョブの設定を参照してください。