メインコンテンツまでスキップ
に最終更新

Lakehouse Real-TimeをAI/BIダッシュボードで使用する

備考

ベータ版

Lakehouse Real-Time（Lakehouse//RT）はベータ版であり、現在も積極的に開発されています。一般提供（GA）前に、パフォーマンス特性とサポートされる機能セットは変更されます。アカウントで有効にするには、Databricks アカウント チームにお問い合わせください。

Lakehouse//RT warehouseを使用すると、数百～数千の並列ユーザーに対して1秒未満の応答を必要とするAI/BIダッシュボードを稼働させることができます。Lakehouse//RTを使用して、現在の制限内に収まる新しいダッシュボードを構築します。既存のダッシュボードの移行は推奨されません。既存のダッシュボードは、Genie、外部テーブル、メトリクスビューのマテリアライゼーションなど、Lakehouse//RTがまだサポートしていない機能に依存していることが多いためです。

用途​

Lakehouse//RTは、少量のデータを読み取る選択的なクエリーに対して、1秒未満のレイテンシを実現します。大量のデータをスキャンしたり、多数の大規模なテーブルを結合したりするクエリーなど、コストの高いクエリーは高速化しません。

Lakehouse//RT のガードレール（Guardrailsを参照）は、適切に段階的な縮退を行うのではなく、厳格な制限を適用します。そのため、Lakehouse//RT warehouse に移行する前にワークロードを準備してください。

  • コストの高いクエリー を、早い段階でフィルタリングしてスキャンするデータ量を減らすことで最適化します。
  • ダッシュボードがスキャンするデータよりも読み取るデータがはるかに少ない場合は、マテリアライズドビューを使用して結果を事前集計します

Lakehouse//RT warehouse にダッシュボードを設定します。​

Lakehouse//RT上でランされるAI/BI dashboardを公開するには、warehouseを作成し、dashboardのwarehouseとして選択します：

  1. 他のSQLウェアハウスと同様に、Lakehouse//RT warehouseを作成します。「Lakehouse Real-Time」をご覧ください。
  2. ユーザーにwarehouseの 使用可能 以上の権限を付与します。その後、warehouseは、それらのユーザーのダッシュボード作成用コンピュートピッカーに表示されます。
  3. ダッシュボードで、ダッシュボードのウェアハウスとしてLakehouse//RT warehouseを選択します。
  4. 通常どおりダッシュボードを公開してください。

ガードレール​

共有の低レイテンシ サービスを保護するため、Lakehouse//RT ではクエリーごとのリソース制限が適用されます。ガードレールを超えるダッシュボード クエリーは、処理速度が遅くなる代わりにエラーを返します。そのため、これらの制限内に十分な余裕を持って収まるようにクエリーを設計してください。

これらの値はベータ版のテスト中に設定されたものであり、一般提供開始前に変更される可能性があります：

  • クエリーのランタイム ：2分。Lakehouse//RTは、実行時間が長いウィジェットのクエリーをキャンセルします。この制限に近づくクエリーは、完了した場合でも1秒未満の目標を達成できず、以下のシャッフルまたはspillの制限に達する可能性が高くなります。フィルタリングまたは事前集計をさらに行うためのシグナルとして扱ってください。
  • Statement timeout : 1分 by default.ステートメントごとのタイムアウトは、クエリーのランタイム上限である2分まで設定できます。
  • ステージあたりのシャッフル書き込みバイト数 ：300 GB。大規模なテーブル間のワイド結合や集計は、この制限を超える可能性があります。クエリーがこの制限を超える場合は、クエリー実行時に大規模なテーブルを結合するのではなく、マテリアライズドビューを使用して事前集計してください。
  • spill のサイズ ：30 GB、spill が有効な場合。
  • プルーニング後のファイル一覧 ：10,000ファイル、最大50,000ファイルまで調整可能です。クエリーがこの上限を超える場合は、パーティション列またはリキッドクラスタリング列でフィルターし、ダッシュボードが必要なファイルのみを読み取るようにしてください。

制限事項​

Lakehouse//RT warehouse のダッシュボードは、Unity CatalogマネージドテーブルのみのサポートやANSI準拠のSELECTクエリーのみの使用を含む、すべてのLakehouse//RTの制限事項を継承します。クエリーを実行する前に、外部テーブルなどの他のテーブルタイプをマネージドテーブルに変換してください。

次の制限は、Lakehouse//RT warehouse で公開されたダッシュボードに固有のものです。

  • Genieはサポートされていません。
  • ローカルメトリクス ビューのマテリアライゼーションはサポートされていません。

サポートを求める​

Lakehouse//RTのダッシュボードで問題が引き続き発生する場合は、次の情報を収集してDatabricksサポートにお問い合わせください：

  • 表示されるエラーメッセージ。
  • 生のクエリーテキストを含む、クエリープロファイルのエクスポート
  • ダッシュボードへのLink
  • Serverless SQLウェアハウスで同じエラーが発生しないことの確認。
このページの見出し