検出warehouseのセットアップ
プレビュー
Lakewatchは プライベート プレビュー段階です。アクセスをリクエストするには、Databricksアカウントチームにお問い合わせください。
スケジュール設定された検出は、提供されたSQLウェアハウスでランされます。Lakewatchは、このwarehouseを作成または管理しません。代わりに、ワークスペースでウェアハウスを作成し、スケジュールされた検出を作成するときにそのウェアハウスを選択します。warehouseの作成とサイズ設定には通常、ワークスペース管理者権限が必要であるため、これは通常、管理者セットアップタスクです。
このページでは、検出warehouseの開始構成を推奨します。ワークスペース内のすべてのスケジュールされた検出で単一のwarehouseを共有できます。
推奨構成
ほとんどのワークスペースでは、スケジュールされたすべての検出で共有される1つのServerless SQL Warehouseから起動します。
設定 | 推奨値 |
|---|---|
Type | サーバーレス |
サイズ | 2X-Small |
クラスター (最小) | 1 |
クラスター (最大) |
|
自動停止 | 10 分 |
2X-Small warehouseは、100以上の単純な検出をランできます。SQL Warehouseはクエリーごとではなくクラスターの稼働時間に基づいて課金されるため、複数のルールでwarehouseを共有するほど、ルールあたりのコストは低くなります。
1つまたは2つのルールしか実行しないwarehouseは、Serverlessコンピュートと同じか、あるいはそれ以上のコストがかかる可能性があります。コスト上の利点は、多くの検出にわたって1つのwarehouseを共有することから得られます。
調整のタイミング
ワークロードに基づいてdefaultを変更する：
- 多く、高い、またはバースト的なルール : クエリーがキューに入らないように、最大クラスター数を増やします。クラスターの追加（スケールアウト）は、コンカレンシーの主なレバーです。各クラスターには約10個のクエリースロットがあります。
- レイテンシクリティカルな検出 ：コールド起動を回避するためにウォームフロア（最低2つ以上のクラスター）または長めの自動停止を設定しますが、コストは高くなります。
- 少数の、低頻度の、またはコストに敏感なルール : アイドル時間を短縮するため、自動停止を最小値である5分に短縮します。コールドwarehouseは、約5秒で再起動します。
- 重いクエリーまたは複雑なクエリー (大規模なスキャンまたは結合): warehouseのサイズを拡大します (小、中、またはそれ以上)。個々のクエリーでより多くのメモリまたはコンピュートが必要な場合にのみ、より大きなサイズを使用します（スケールアップ）。
コスト帰属
検出コストを個別に追跡するには、他のクエリー処理と共有せず、検出ワークロード専用のwarehouseを使用します。課金はクラスターの稼働時間に基づくため、専用のwarehouseを使用すると、検出にかかるコストを簡単に割り当てられます。
次のステップ
- 検出ルールの作成と管理: スケジュールされた検出を作成するときにこのwarehouseを選択します。