メインコンテンツまでスキップ
に最終更新

レイクハウス リアルタイム

備考

ベータ版

この機能はベータ版です。アカウントでこの機能を有効にするには、Databricksアカウントチームにお問い合わせください。

レイクハウス//RTは現在、積極的に開発中です。パフォーマンス特性とサポートされる機能セットは、一般提供前に変更される可能性があります。

Lakehouse Real-Time (Lakehouse//RT) は、カスタムアプリケーションへの分析データの提供、運用アナリティクスの実行、数百から数千の同時実行ユーザーに対してミリ秒以下の応答時間が必要な BI ダッシュボードの強化など、低レイテンシーで高同時実行性が求められるユースケース向けに構築されたサーバレス コンピュートです。

レイクハウス//RT は、クラウドストレージにある Delta Lake または Apache Iceberg 形式を使用する Unity Catalog テーブルに対する SQL 読み取りクエリで、ミリ秒以下の遅延を提供します。レイクハウス//RT は、他の SQLウェアハウス と同様に、作成および管理します。ワークスペース管理者または特権ユーザーがワークスペースごとに1つ以上作成し、ユーザーに権限を割り当てます。

要件​

Lakehouse//RTを使用するには、次の操作を行う必要があります。

ワークスペースでレイクハウス//RTを有効にします​

ワークスペース管理者は、ワークスペースでレイクハウス//RT Betaを有効にできます：

  1. ワークスペースのメニュー（右上隅）で、 プレビュー を選択します。
  2. レイクハウス RT を検索します。
  3. プレビューを有効にします。

プレビューを有効にすると、ワークスペースのSQLウェアハウス作成フローで リアルタイム ウェアハウスタイプが利用可能になります。

レイクハウスウェアハウスの作成​

レイクハウス/RTウェアハウスを作成するには：

  1. 「コンピュート」 > 「SQL ウェアハウス」 > 「SQL ウェアハウスを作成」 をクリックします。
  2. Select リアルタイム .
  3. クエリーに必要なパフォーマンスに応じて、 Query size （ Small 、 Medium 、 Large 、または X-Large ）を選択します。
  4. オートスケール を構成して、1時間あたりの課金対象となる最大DBUを決定します。
  5. アイドル状態のwarehouseがいつ停止するかを制御するには、 自動停止 を設定します。
  6. ウェアハウスの名前を入力します。
  7. 作成 をクリックします。

権限を割り当てるには、SQLウェアハウスと同様に、ユーザーとグループに 使用可能 、 監視可能 、または 管理可能 を付与します。

注記

現在、既存のSQLウェアハウスをレイクハウス//RTにアップグレードしたり、既存のレイクハウス//RTウェアハウスを別のウェアハウスタイプにダウングレードしたりすることはできません。

Lakehouse//RT warehouseのサイズ変更とスケーリング​

Lakehouse//RT には、パフォーマンスとコストを制御する設定があります：

  • クエリーサイズ は、単一のクエリーで使用可能なコンピュートを制御します。
  • オートスケール は、並列クエリーを処理するためにwarehouseがどの程度スケールアウトするかを制御します。
  • 自動停止 は、アイドル状態のwarehouseが停止するまでに実行を継続する時間を制御します。

クエリーサイズとオートスケールの動作は、Serverless SQL Warehouseのサイジングおよびスケーリング設定とは異なります。

クエリーサイズ​

クエリーサイズは、単一のクエリーが使用できる最大コンピュートを設定し、個々のクエリーがどれだけ速く実行できるかを決定します。また、warehouseが実行されている間にwarehouseが使用する最小コンピュートと、課金対象となる最小限のコンピュートも設定します。

warehouseを作成する際に、クエリーサイズを設定します。 Small 、 Medium 、 Large 、または X-Large を選択します。サイズを大きくすると、各クエリーにより多くのコンピュートが割り当てられ、結果が高速化されますが、最低コストが高くなります。

この設定は、単一のクエリーに使用可能なコンピュートも設定する、Serverless SQL Warehouseのサイズという概念と似ています。

オートスケール​

オートスケールにより、warehouseはより多くの並列クエリーを処理するためにコンピュートを追加し、需要が低下したときにそれを解放できます。You set the maximum コンピュート the warehouse can scale up to, measured in DBUs.

Lakehouse//RT におけるオートスケールは、Serverless SQL Warehouse のクラスター・スケーリングとはいくつかの点で異なります：

  • これはクラスターではなく、DBU で測定されます。
  • 最大値はクエリーサイズとは無関係です。クエリーサイズを小さくし、最大値を高く設定することで、各クエリーに追加のコンピュートを割り当てることなく、high concurrencyを実現できます。
  • Lakehouse//RT のオートスケールは、クラスター単位ではなく、必要なコンピュートのみを追加および削除します。

warehouseがどの程度スケーリングされているかを確認するには、そのモニタリングページを使用してください。

自動停止​

自動停止は、warehouseが設定された分数にわたりアイドル状態になった後にwarehouseを終了するため、アイドル状態のwarehouseで料金が発生し続けることはありません。アイドルタイムアウトは、warehouseを作成する際に設定します。

Lakehouse//RTの自動停止は、Serverless SQL Warehouseと同じように機能します。For the default and minimum values, see SQLウェアハウス設定の構成。

レイクハウス//RTアクティビティを監視する​

Lakehouse//RT クエリは、SQLウェアハウスで実行される任意のクエリと同じように監視できます。

  • クエリ履歴: レイクハウス//RTクエリは、「クエリ履歴 UI」および「クエリ履歴システムテーブル」に表示されます。
  • クエリ プロファイル： クエリ履歴 UI でレイクハウス//RT クエリを開いて、そのクエリ プロファイルを表示できます。
  • モニタリング ページ： 各レイクハウスまたはRTウェアハウスのクエリのスループット、キューに入っているクエリ、クエリ履歴をモニタリングページで確認します。
  • 請求：レイクハウス//RT の使用量は、請求システムテーブルにsku_name というLakehouse_Serverless で表示されます。

ベストプラクティス​

レイクハウス//RTから最高の結果を得るには、ワークロードを移行する前に準備してください。

  • サーバレスSQLを最初に検証する。 サーバレス SQLウェアハウスでクエリを実行し、数秒で実行されることを確認してください。
  • Unity Catalog マネージドテーブルを使用します。 予測的最適化とリキッドクラスタリングを備えたマネージドテーブルは、ワークロードパターンに合わせてデータが適切にクラスタリングされることを保証します。
  • クエリの選択性を確認します。 1秒以内のレイテンシを実現するには、クエリがスキャンするデータ量が少ないことを確認してください。WHERE句で早めにフィルタリングを行い、必要な列のみを選択し、集計を活用してください。テーブル間の結合はサポートされていますが、クエリが複雑になったり、処理が遅くなったりする場合は、より速い待機時間のためにデータを事前に集計するマテリアライズドビューの使用を検討してください。
  • SQLカバレッジを確認してください。 レイクハウス//RT は ANSI 準拠の読み取りクエリのみをサポートしています。ワークロードがANSI 準拠であることを確認し、制限事項に記載されているサポートされていないステートメント、関数、およびデータ型を避けてください。

サポートされている機能​

ツールとインターフェース​

以下のDatabricks機能のいずれかで、コンピュートピッカーからレイクハウス//RTを選択できます。

  • SQLエディタ
  • SQL ノートブック
  • AI/BIダッシュボード
  • カタログエクスプローラー
  • アラート

テーブルタイプ​

レイクハウス//RT は Unity Catalog データのみを照会します。最高のパフォーマンスを得るには、低遅延に必要なデータレイアウトをエンジンに提供するUnity Catalogのマネージドテーブルを使用してください。

レイクハウス//RTは以下のテーブルタイプをサポートしています：

  • マネージドテーブル（Delta Lake および Apache Iceberg テーブル）
  • マテリアライズドビュー と ストリーミングテーブル
  • メトリクスビュー

接続性​

レイクハウス//RT は、Statement Execution APIを使用する接続のみを受け入れます。レガシーなThriftプロトコルをサポートしていないため、Statement Execution API を明示的に使用せずに接続するドライバーは501エラーを受け取ります。

「Lakehouse//RT」ウェアハウスには、以下の方法で接続できます。

価格​

価格情報については、レイクハウス リアルタイム価格ページを参照してください。

制限事項：​

クエリがサポートされていない機能を使用すると、レイクハウス//RT はその機能の名前を示すエラーを返します。クエリを正常に実行するには、サーバレスSQLウェアハウスを使用してください。

ツールと機能​

Lakehouse//RT は、まだ以下の機能をサポートしていません：

  • Genie
  • Genieエージェント
  • ジョブタスク

テーブルタイプ​

次のテーブルタイプはまだサポートされていません：

  • システムテーブル
  • Delta Sharing テーブル
  • Unity Catalog デフォルトストレージのテーブル
  • Unity Catalog 外部テーブル

レイクハウス//RT は以下のテーブルタイプをサポートしていません。

  • Hive metastore テーブル（マネージドまたは外部）
  • フォーリンテーブルとクエリフェデレーション（レイクハウスフェデレーション）
  • 一時テーブル
  • 他のデータ形式（CSV、JSON、Avro、Parquet、ORC、およびテキスト）を使用するテーブル

ドライバーとコネクタ​

レイクハウス//RTは、次のドライバーとコネクタをサポートしていません。

  • ADBC
  • ODBC

SQL言語​

Lakehouse//RT は、SQL 読み取りクエリーをANSI モードでのみ実行します。厳格なANSI SQLルールに従ってすべての暗黙的な型強制とキャストを評価し、この動作を無効にすることはできません。ANSI セマンティクスでは、非 ANSI 動作に依存していたクエリーが次のようになる可能性があります。

  • サイレントに NULL を生成する代わりに、ランタイム エラーを発生させます。たとえば、非数値文字列を数値にキャストする場合。
  • 安全な共通型がない場合、分析時エラーを発生させます。たとえば、COALESCE、CASE、IN、または互換性のない型に対するセット操作。
  • ANSI 文字列プロモーションと数値の拡大は安全でロスレスな型を選択するため、レガシーモードとは異なる結果型を返します。

予測可能な結果を得るには、ANSI モードの暗黙的な変換が期待する動作を生成しない場合に、明示的な CAST 式を使用します。

レイクハウス//RTは、次のものはサポートされていません。

  • データ型: GEOGRAPHY および GEOMETRY のデータ型です。
  • 機能： AI 関数、Python UDF、空間 SQL 関数、XPath 関数および XML 関数。
  • ガバナンス：属性ベースのアクセス制御（ABAC）、行レベルセキュリティと列マスキングを含む。

レイクハウス//RT は読み取り (SELECT) クエリ専用です。「Write」コマンドおよびETLコマンドはサポートされていません：

  • 書き込み操作: INSERT 、UPDATE 、DELETE 、MERGE 、およびCREATE TABLE AS SELECT （CTAS）。
  • 「DDL」：オブジェクトを作成または変更する、 CREATE 、ALTER 、DROP 、およびその他のステートメントです。
  • セキュリティステートメント: GRANT およびREVOKE 。
  • スクリプト、ストアドプロシージャ、一時テーブル、およびマルチステートメントトランザクション。
  • Delta Lake のメンテナンス: OPTIMIZE、ANALYZE、VACUUM、およびREFRESH。

ネットワークセキュリティ​

重要

Lakehouse//RTは、DatabricksのServerlessコンピュート上で実行されます。サーバーレスコンピュートからのアクセスを許可しつつクラウドストレージの周囲にファイアウォールを作成するには、Serverlessコンピュートのファイアウォール構成を参照してください。従来のファイアウォール構成方法は最近非推奨となりました。それらがまだ使用中の場合、ストレージへのアクセスを試みるとServerlessコンピュートが 403 Forbidden エラーを返す可能性があります。

Lakehouse//RT は、次のネットワーク構成をまだサポートしていません。

コンプライアンス​

コンプライアンスセキュリティプロファイルは現在サポートされていません。

このページの見出し