レイクハウス リアルタイム
ベータ版
この機能はベータ版です。アカウントでこの機能を有効にするには、Databricksアカウントチームにお問い合わせください。
Lakehouse//RTは現在開発中です。パフォーマンス特性およびサポートされている機能セットは変更される可能性があります。
Lakehouse Real-Time(Lakehouse//RT)は、カスタムアプリケーションや AI エージェントへの分析データの提供、運用アナリティクスの実行、数百から数千の並列ユーザーに対してサブ秒単位の応答を必要とする BI ダッシュボードの強化など、低遅延で high concurrency のワークロード向けに構築されたサーバレス SQLウェアハウスの種類です。
Lakehouse//RT は、クラウドストレージで Delta Lake または Apache Iceberg フォーマットを使用する Unity Catalog テーブルに対する SQL 読み取りクエリーで秒単位未満の待機時間を提供します。テーブルのクエリーはそのまま実行されるため、高速なレスポンスを得るためにデータを個別の低遅延サービングデータベースにコピーする必要はありません。Lakehouse//RT の作成と管理は、他の SQL ウェアハウスの場合とほぼ同じです。ワークスペース管理者または特権ユーザーがワークスペースごとに 1 つ以上作成し、ユーザーに権限を割り当てます。
Lakehouse//RT を使用する場合
Lakehouse//RT は、多数の並列選択クエリーを送信し、それぞれが 1 秒未満で応答する必要があるワークロードに適しています。ワークロードのコンピュートを選択するには、次の表を使用します。
Workload | 推奨コンピュート |
|---|---|
アプリケーションのバックエンドや AI エージェント ツールなど、high concurrency でサブ秒の応答が必要な特定の | Lakehouse//RT |
長時間実行されるクエリー、大きなテーブル間の結合、抽出、変換、読み込み(ETL)ジョブ、書き込み、または ANSI SQL 以外の動作に依存するクエリー | |
頻繁な行レベルの挿入、更新、削除を伴うトランザクションワークロード |
要件
Lakehouse//RTを使用するには、次の操作を行う必要があります。
- サポートされているリージョンをご利用ください。
- ワークスペースでレイクハウス//RT ベータを有効にしてください。
ワークスペースでレイクハウス//RTを有効にします
ワークスペース管理者は、ワークスペースでレイクハウス//RT Betaを有効にできます:
- ワークスペースのメニュー(右上隅)で、 プレビュー を選択します。
- レイクハウス RT を検索します。
- プレビューを有効にします。
プレビューを有効にすると、ワークスペースのSQLウェアハウス作成フローで リアルタイム ウェアハウスタイプが利用可能になります。
Lakehouse//RT warehouseを作成する
レイクハウス/RTウェアハウスを作成するには:
- 「コンピュート」 > 「SQL ウェアハウス」 > 「SQL ウェアハウスを作成」 をクリックします。
- Select リアルタイム .
- クエリーに必要なパフォーマンスに応じて、 Query size ( Small 、 Medium 、 Large 、または X-Large )を選択します。
- オートスケール を構成して、1時間あたりの課金対象となる最大DBUを決定します。
- アイドル状態のwarehouseがいつ停止するかを制御するには、 自動停止 を設定します。
- ウェアハウスの名前を入力します。
- 作成 をクリックします。
権限を割り当てるには、SQLウェアハウスと同様に、ユーザーとグループに 使用可能 、 監視可能 、または 管理可能 を付与します。SQLウェアハウスのACLを参照してください。すべてのSQLウェアハウスタイプに適用される設定については、「SQLウェアハウスの作成」を参照してください。
既存のSQLウェアハウスをLakehouse//RTにアップグレードしたり、既存のLakehouse//RTウェアハウスを別のウェアハウスタイプにダウングレードしたりすることはできません。
Lakehouse//RT warehouseのサイズ変更とスケーリング
Lakehouse//RT には、パフォーマンスとコストを制御する設定があります:
- クエリーサイズ は、単一のクエリーで使用可能なコンピュートを制御します。
- オートスケール は、並列クエリーを処理するためにwarehouseがどの程度スケールアウトするかを制御します。
- 自動停止 は、アイドル状態のwarehouseが停止するまでに実行を継続する時間を制御します。
クエリーサイズとオートスケールは、Serverless SQL Warehouseのサイズ設定やスケール設定とは異なる方法で機能します。
クエリーサイズ
クエリーサイズは、単一のクエリーが使用できる最大コンピュートを設定し、個々のクエリーがどれだけ速く実行できるかを決定します。また、warehouseが実行されている間にwarehouseが使用する最小コンピュートと、課金対象となる最小限のコンピュートも設定します。
warehouseを作成する際に、クエリーサイズを設定します。 Small 、 Medium 、 Large 、または X-Large を選択します。サイズを大きくすると、各クエリーにより多くのコンピュートが割り当てられ、結果が高速化されますが、最低コストが高くなります。
この設定は、単一のクエリーに使用可能なコンピュートも設定する、Serverless SQL Warehouseのサイズという概念と似ています。
オートスケール
オートスケールにより、warehouse はより多くの並列クエリーを処理できるようにコンピュートを追加し、需要が低下したときにそれを解放できます。warehouse がスケールアップできる最大コンピュートを DBU 単位で設定します。最大値を1時間あたり960 DBUまで設定できます。
Lakehouse//RT におけるオートスケールは、Serverless SQL Warehouse のクラスター・スケーリングとはいくつかの点で異なります:
- これはクラスターではなく、DBU で測定されます。
- 最大値はクエリーサイズとは無関係です。同時実行のサイズを参照してください。
- Lakehouse//RT のオートスケールは、クラスター単位ではなく、必要なコンピュートのみを追加および削除します。
warehouseがどの程度スケーリングされているかを確認するには、そのモニタリングページを使用してください。
同時実行のサイズ設定
多くの並列クエリーにサービスを提供するには、より大きなクエリーサイズを選択するのではなく、オートスケールでスケールアウトします。
- 単一のクエリーのレイテンシ目標を満たす最小のクエリーサイズを選択します。
- オートスケールの最大値を、並列クエリーのピーク数に十分対応できる高い値に設定します。
- モニタリングページでキューに入れられたクエリーを監視します。ピーク負荷時にクエリーがキューに入れられる場合は、オートスケールの最大値を引き上げます。
高いオートスケール最大値を持つ単一の Lakehouse//RT warehouse は、warehouseを追加することなく、多数の並列クエリーを処理できるようにスケーリングできます。high concurrency が必要な場合は、 Databricks アカウントチームにお問い合わせください。
自動停止
自動停止は、warehouseが設定された分数にわたりアイドル状態になった後にwarehouseを終了するため、アイドル状態のwarehouseで料金が発生し続けることはありません。アイドルタイムアウトは、warehouseを作成する際に設定します。
Lakehouse//RTの自動停止は、Serverless SQL Warehouseと同じように機能します。For the default and minimum values, see SQLウェアハウス設定の構成。
レイクハウス//RTアクティビティを監視する
他のSQL Warehouseと同様に、Lakehouse//RT Warehouseとそれが実行するクエリーを監視できます。
- クエリー履歴 : Lakehouse//RT クエリーは、クエリー履歴 UI および クエリー履歴システムテーブルに表示されます。
- クエリー プロファイル :クエリー履歴UIでLakehouse//RTクエリーを開き、そのクエリー プロファイルを表示します。
- モニタリングページ :各 Lakehouse//RT warehouseのモニタリングページで、クエリーのthroughput、キューに置かれたクエリー、およびクエリー履歴を監視します。
- warehouse : Lakehouse//RT warehouseはwarehouseシステムテーブルに表示されます。
- Warehouseイベント :Lakehouse//RT warehouseのイベントは、warehouseイベントシステムテーブルに表示されます。
- 課金 : Lakehouse//RT の利用状況は、
billing_origin_productがLAKEHOUSE_REAL_TIMEの値である課金利用システムテーブルに表示されます。
ワークロードを評価する
ワークロードをLakehouse//RTに移行する前に、独自のクエリーでテストを行い、現在のWarehouseのレイテンシーと比較してください:
- アプリケーションやダッシュボードで最も頻繁にランするクエリーを選択し、Serverless SQL Warehouseで数秒でランすることを確認します。
- Lakehouse//RT warehouseを作成し、同じクエリーをランします。同じテーブルを使用するため、データの移動は不要です。
- サポートされていない機能を使用している、またはガードレールを超えているために失敗するクエリーを修正します。
- クエリー履歴システムテーブル で 2 つの warehouse 間のレイテンシを比較します。
2つのSQL warehouse間の中央値と90パーセンタイルのレイテンシーを比較するには、次のクエリーをランし、プレースホルダーIDを実際のSQL warehouse IDに置き換えます。system.query.history テーブルに対して SELECT 権限が必要です:
SELECT
compute.warehouse_id,
count(*) AS queries,
percentile(total_duration_ms, 0.5) AS p50_ms,
percentile(total_duration_ms, 0.9) AS p90_ms
FROM system.query.history
WHERE compute.warehouse_id IN ('<serverless-warehouse-id>', '<real-time-warehouse-id>')
AND execution_status = 'FINISHED'
AND start_time >= current_timestamp() - INTERVAL 1 DAY
GROUP BY compute.warehouse_id;
クエリーは、過去1日間の各warehouseで完了したすべてのクエリーを比較するため、結果は両方のwarehouseが同じワークロードをランした場合にのみ比較可能です。比較をテストクエリーに制限するには、それらにクエリータグを設定し、query_tags列でフィルター処理します。クエリー履歴システムテーブルリファレンスを参照してください。
ガードレール
すべてのクエリーの低レイテンシーを保護するために、Lakehouse//RTはクエリーごとのリソース制限を強制します。ガードレールを超えるクエリーは、低速で実行されるのではなくエラーを返します。そのため、クエリーが制限内に収まるようにクエリーを設計してください。
ガードレール | 上限 | エラー |
|---|---|---|
クエリーのランタイム | 2分 |
|
ステートメントのタイムアウト | defaultで1分です。最大2分のクエリーランタイム制限まで構成できます。 |
|
ステージごとに書き込まれたシャッフルバイト | 300GB |
|
Spillサイズ | 30 GB、spill が有効な場合 |
|
プルーニング後にリストされたファイル | 10,000ファイル、最大50,000まで調整可能 |
|
Databricks はこれらの制限を変更できます。QUERY_RESOURCE_LIMIT_EXCEEDED エラーは SQLSTATE 53400 を返します。
制限内に収めるには、以下の方法を使用します。
- クエリーの実行時間 :制限に近づいているクエリーは、完了したとしてもサブセカンドのターゲットに達しません。フィルタリングを増やすか、事前に集計します。
- シャッフルバイト : 大きなテーブル間のワイド結合や集計が制限を超える可能性があります。クエリー実行時に大きなテーブルを結合するのではなく、マテリアライズドビューで事前に集計してください。
- リストされたファイル : パーティションまたは リキッドクラスタリング 列でフィルター処理して、クエリーが必要なファイルのみを読み取るようにします。
データの鮮度
低レイテンシーを維持するために、Lakehouse//RTは最近キャッシュされたテーブルメタデータを再利用します。クエリー結果は、テーブルへの最新のcommitより数秒遅れる場合があります。
Lakehouse//RT用にワークロードを準備する
ワークロードをLakehouse//RTに移行する前に準備します。ワークロードをエンドツーエンドでテストするには、ワークロードの評価を参照してください。
- Unity Catalogマネージドテーブルを使用します。予測的最適化 および リキッドクラスタリング を使用するマネージドテーブルは、クエリーパターンに合わせてデータをクラスタリングされた状態に保ちます。
- クエリーが選択的であることを確認します。サブ秒のレイテンシを実現するには、クエリーでスキャンするデータが少ないことを確認してください。
WHERE句を使用して早い段階でフィルタリングし、必要な列のみを選択して、集計を活用します。テーブル間の結合はサポートされていますが、クエリーが複雑または遅くなる場合は、データを事前に集計したマテリアライズドビューを使用してレイテンシを短縮することを検討してください。 - SQL カバレッジを確認します。Lakehouse//RT は、ANSI 準拠の読み取りクエリーと
CREATE TABLE AS SELECT(CTAS) のみをサポートしています。ワークロードが ANSI に準拠しており、制限にリストされているサポートされていないステートメント、関数、およびデータ型を回避していることを確認します。
サポートされている機能
このセクションでは、Lakehouse//RTがサポートするツール、テーブルタイプ、および接続方法について一覧表示します。サポートされていない項目については、「制限事項」を参照してください。
ツールとインターフェース
次の Databricks 機能のコンピュートピッカーから Lakehouse//RT を選択できます。
ガードレールやダッシュボード固有の制限事項など、Lakehouse//RT WarehouseでAI/BIダッシュボードを構築するには、Lakehouse Real-TimeでのAI/BIダッシュボードの構築を参照してください。
テーブルタイプ
Lakehouse//RTはUnity Catalogデータのみをクエリーします。最良のパフォーマンスを得るには、Unity Catalogのマネージドテーブルを使用してください。これにより、エンジンは低レイテンシーに必要なデータLayoutを取得できます。
レイクハウス//RTは以下のテーブルタイプをサポートしています:
- マネージドテーブル(Delta LakeテーブルおよびApache Icebergテーブル)
- マテリアライズドビューとストリーミングテーブル
- メトリクスビュー
- システムテーブル。アクセスするには、クエリー対象のシステムテーブルに対する
SELECT権限が必要です。
接続性
Lakehouse//RTは、 ステートメント実行APIを使用する接続のみを受け入れます。レガシーThriftプロトコルはサポートしていません。Thrift経由でLakehouse//RT warehouseにクエリーを送信するドライバーは、 SQLSTATE KP001 でエラーを受け取ります。
カスタム アプリケーションまたは AI エージェントを接続するには、「Lakehouse Real-Timeでのアプリケーションとエージェントの構築」を参照してください。
「Lakehouse//RT」ウェアハウスには、以下の方法で接続できます。
-
ステートメント実行 API: 外部アプリケーションから API を直接呼び出します。ステートメント実行 API: warehouse で SQL を ラン するを参照してください。利用可能なバージョンは次の2つです。
- Statement Execution API バージョン 2: 最高のLakehouse//RTパフォーマンスを得るには、このバージョンを使用してください。Lakehouse//RT warehouse向けに最適化されており、低遅延で high concurrency が可能で、すべての呼び出しでパスパラメーターとして
warehouse_idをとります。現在はLakehouse//RT warehouseのみをサポートしています。 - Statement Execution API バージョン 1: すべての SQL ウェアハウスタイプで動作します。バージョン 1 を使用して Lakehouse//RT warehouses でステートメントをランすることもできますが、バージョン 2 はそれらに最適化されています。
- Statement Execution API バージョン 2: 最高のLakehouse//RTパフォーマンスを得るには、このバージョンを使用してください。Lakehouse//RT warehouse向けに最適化されており、低遅延で high concurrency が可能で、すべての呼び出しでパスパラメーターとして
-
Databricks ドライバー: ドライバーの HTTP パスを Lakehouse//RT warehouse に指定し、リストされているバージョン以上のドライバーを使用してください。これらのバージョン以降、ドライバーは Lakehouse//RT を自動的に検出し、設定不要で最適化された接続パスを使用します。以前のバージョンでもリストされた設定で接続できますが、パフォーマンスは低下します。Databricks では、すべての機能と最高のパフォーマンスを利用するために、最新のドライバー バージョンを推奨しています。
- Databricks SQL Connector for Python: 4.9.0(
kernelエクストラでインストール)以前のバージョン:use_kernel=Trueを設定します。 - Node.js用のDatabricks SQLドライバー: 3.0.0。以前のバージョン:
useKernel: trueを設定します。 - Databricks SQL ドライバー for Go: 1.19.0、
databricks_kernelタグでビルドされます。以前のバージョン:WithUseKernel(true)を設定します。 - JDBC: 3.4.5.以前のバージョン:接続URLで
UseThriftClient=0を設定してください。 - Databricks OSS ODBC ドライバー (ベータ): 0.8.0.追加の設定は必要ありません。
- Databricks SQL Connector for Python: 4.9.0(
use_kernel=False、 useKernel: false、 WithUseKernel(false)、または UseThriftClient=1 を使用して Thrift を使用するように明示的に設定されたドライバーは、 SQLSTATE KP001 で Lakehouse//RT warehouse に対して失敗します。
-
サポートされているツール: 次のツールは、独自のコネクタを使用して Lakehouse//RT に接続します。
- Power BI (ADBC ドライバー経由): 詳細オプション で
Implementation=2.0とProtocol=REST(SEA)を設定します。 - Databricks Excelアドイン: アドインのコンピュートセレクターでLakehouse//RT warehouseを選択します。インポートのみがサポートされています。
- Power BI (ADBC ドライバー経由): 詳細オプション で
地理空間
Lakehouse//RTは、制限にリストされているものを除き、GEOGRAPHYおよびGEOMETRYデータ型とst_およびh3_関数をサポートします。
きめ細かなアクセス制御
Lakehouse//RTは、Unity Catalogの組み込みフィルタとマスクを含め、行フィルタと列マスクで保護されたテーブル、マテリアライズドビュー、およびストリーミングテーブルでの読み取りクエリーをサポートします。フィルタとマスクは、テーブルに直接割り当てるか、属性ベースのアクセス制御(ABAC)ポリシーを介して適用できます。行フィルタと列マスクおよびUnity Catalog の属性ベースのアクセス制御を参照してください。
行フィルター、列マスク、ABACポリシーを作成または変更するには、Serverless SQL Warehouseのようにポリシー管理をサポートするコンピュートを使用してください。Lakehouse//RTは、テーブルを読み取る際に既存のポリシーを適用します。ポリシー管理ステートメントやポリシーが適用されたテーブルへの書き込みはサポートされていません。クエリーの制限については、 「きめ細かなアクセス制御の制限」を参照してください。
列マスクの結果型
Lakehouse//RT は、列マスクの結果を ANSI セマンティクスを使用して列の宣言されたデータ型にキャストし直します。これは、テーブルレベルのマスクと ABAC マスクの両方に適用されます。結果を列の型にキャストできない場合、クエリーは失敗します。
例えば:
BOOLEAN列に対して文字列'REDACTED'を返すマスクは、文字列をBOOLEANにキャストできないためクエリーが失敗します。INT列に対してFALSEを返すマスクは、整数0を生成します。
Databricks Runtime では、テーブルレベルの列マスクによって、マスクの戻り型がクエリーに公開されます。同じクエリーを Lakehouse//RT に移動すると、結果の型が変更されるか、キャストエラーが発生する可能性があります。ABAC マスクは、Databricks Runtime と Lakehouse//RT の両方で、結果を列型にキャストし直します。Databricks は、列と同じ型を返すマスク関数を推奨しています。
保護されたテーブルのクエリー計画とプロファイル
行フィルターまたは列マスクを使用するクエリーの場合、Lakehouse//RTは、基になるデータとポリシーロジックに関する情報を保護するために、EXPLAIN出力およびクエリープロファイルに表示される詳細を制限します。
EXPLAIN出力は、保護されたデータを読み取るかポリシーを適用するクエリーステップを非表示にします。また、プラン統計も省略します。- クエリープロファイルはこれらのクエリーステップを非表示にし、保護されているテーブルの統計を省略します。
トラブルシューティング
次の表に、一般的なエラーとその解決方法を示します。
エラー | 原因 | 解決方法 |
|---|---|---|
Thrift プロトコルエラー (SQLSTATE | ドライバーは Thrift を介して接続します。 | ステートメント実行 API を使用するようにドライバーを構成します。接続を参照してください。 |
| このクエリーは、Lakehouse//RT がサポートしていないステートメント、関数、データ型、またはテーブル型を使用しています。このメッセージには機能の名前が記載されています。 | クエリーを書き換えてこの機能を避けるか、Serverless SQL Warehouseでクエリーをランしてください。詳細は制限事項を参照してください。 |
| クエリーがガードレールを超えています。エラーサブクラス( | クエリーを以前にフィルタリングする、列を減らす、またはマテリアライズドビューで事前集計を行います。ガードレールをご覧ください。 |
| クエリーのランがステートメントのタイムアウト時間より長くかかっています。 | クエリーを最適化するか、ステートメントのタイムアウトをクエリーのランタイム制限まで上げます。 |
列マスクを持つテーブルのキャストエラー | マスクは、カラムの型にキャストできない値を返します。 | カラムのデータ型を返すマスキング関数を使用します。「カラムマスクの結果型」を参照してください。 |
| ストレージファイアウォールがServerlessコンピュートをブロックしています。 | Serverless コンピュート用にファイアウォールを設定します。Serverlessコンピュートのファイアウォール設定を参照してください。 |
問題が解決しない場合は、以下の情報を収集してDatabricksサポートに連絡してください。
- エラーメッセージ。
- クエリープロファイルのエクスポート。未加工のクエリーテキストが含まれます。
- クエリーがAI/BI dashboardでランされている場合は、ダッシュボードへのLink。
- 同じクエリーがServerless SQL Warehouseでランされることを確認します。
価格
価格情報については、 Databricksの価格ページを参照してください。
制限事項:
クエリがサポートされていない機能を使用すると、レイクハウス//RT はその機能の名前を示すエラーを返します。クエリを正常に実行するには、サーバレスSQLウェアハウスを使用してください。
ツールと機能
レイクハウス//RT は、以下の機能をサポートしていません。
- Genie (Genieエージェントを含む)
- ジョブタスク
テーブルタイプ
レイクハウス//RT は以下のテーブルタイプをサポートしていません。
- Unity Catalog デフォルトストレージのテーブル
- Unity Catalog 外部テーブル
- Hive metastore テーブル(マネージドまたは外部)
- フォーリンテーブルとクエリフェデレーション(レイクハウスフェデレーション)
- Delta Sharing テーブル
- 一時テーブル
- 他のデータ形式(CSV、JSON、Avro、Parquet、ORC、およびテキスト)を使用するテーブル
詳細なアクセス制御の制限
行フィルターまたは列マスクを含むクエリーには、以下の制限があります。
table_changesを使用した チェンジデータフィード の読み取りは、保護されたテーブルではサポートされていません。- ビューに付加されたABACポリシーはサポートされていません。
- ポリシー関数内の集計に複数の
DISTINCT引数セットが存在すると、UNSUPPORTED_FEATUREエラーで失敗します。同じDISTINCT引数を共有する集計と、外側のクエリーの集計は引き続きサポートされます。
ドライバーとコネクタ
Lakehouse//RT では、Simba Spark ODBC ドライバーまたは Databricks ODBC ドライバーはサポートされていません。代わりに Databricks OSS ODBC ドライバーを使用してください。
SQL言語
Lakehouse//RT は、SQL 読み取りクエリーをANSI モードでのみ実行します。厳格なANSI SQLルールに従ってすべての暗黙的な型強制とキャストを評価し、この動作を無効にすることはできません。ANSI セマンティクスでは、非 ANSI 動作に依存していたクエリーが次のようになる可能性があります。
- サイレントに
NULLを生成する代わりに、ランタイム エラーを発生させます。たとえば、非数値文字列を数値にキャストする場合。 - 安全な共通型がない場合、分析時エラーを発生させます。たとえば、
COALESCE、CASE、IN、または互換性のない型に対するセット操作。 - ANSI 文字列プロモーションと数値の拡大は安全でロスレスな型を選択するため、レガシーモードとは異なる結果型を返します。
予測可能な結果を得るには、ANSI モードの暗黙的な変換が期待する動作を生成しない場合に、明示的な CAST 式を使用します。
レイクハウス//RTは、次のものはサポートされていません。
- 関数 :AI関数、Python UDF、XPathおよびXML関数。
- 空間関数 :
st_buffer、st_concavehull、st_simplify、st_envelope_agg、およびst_union_agg。 - H3関数 :
h3_tessellateaswkb、h3_try_tessellateaswkb、およびh3_getpentagoncellids。
Lakehouse//RTは、読み取り (SELECT) クエリーと CREATE TABLE AS SELECT (CTAS) 用です。他の書き込みおよびETLコマンドはサポートされていません。これには以下が含まれます。
- 書き込み操作 :
INSERT、UPDATE、DELETE、 およびMERGE。 - DDL :
CREATE(CTAS以外)、ALTER、DROP、およびオブジェクトを作成または変更するその他のステートメント。 - セキュリティ関連のステートメント :
GRANTおよびREVOKE。 - スクリプト、ストアドプロシージャ、一時テーブル、およびマルチステートメントトランザクション。
- Delta Lakeメンテナンス :
OPTIMIZE、ANALYZE、VACUUM、REFRESH。
コンプライアンス
Lakehouse//RTは、コンプライアンスセキュリティプロファイルをサポートしていません。