メインコンテンツまでスキップ

リアルタイムモード参照

このページでは、Structured Streaming APIs を直接使用するリアルタイムモードクエリーのサポートについて説明します。マネージドパイプラインについては、個別のランタイム、ソース、シンク、オペレーターの要件があるLakeflow パイプラインのリアルタイムモードを参照してください。

対応言語​

リアルタイムモードは、Scala、Java、およびPythonをサポートしています。

コンピュートの種類​

オンライン モードは、次のコンピュート タイプをサポートします。

クラスタータイプ

サポート対象

専用(旧:シングルユーザー)

✓

標準(旧称:共有)

✓(Pythonのみ)

クラシック上のLakeFlow Pipelines

パイプライン構成を通じてサポートされます

Serverless 上の LakeFlow Pipelines

パイプライン構成を通じてサポートされます

Serverlessノートブックとジョブ

直接のStructured Streamingリアルタイムクエリーはサポートされていません

クラスタータイプ

サポート対象

専用(旧:シングルユーザー)

✓

標準(旧称:共有)

✓(Pythonのみ)

クラシック上のLakeFlow Pipelines

パイプライン構成を通じてサポートされます

Serverless 上の LakeFlow Pipelines

パイプライン構成を通じてサポートされます

Serverlessノートブックとジョブ

直接のStructured Streamingリアルタイムクエリーはサポートされていません

UDFを使用するレイテンシに敏感なワークロードの場合、Databricksは専用アクセスモードの使用を推奨します。テーブル関数を参照してください。

実行モード​

リアルタイムモードは更新モードのみをサポートします。

実行 モード

サポート対象

更新モード

✓

追加モード

サポートされていない

完全モード

サポートされていない

実行 モード

サポート対象

更新モード

✓

追加モード

サポートされていない

完全モード

サポートされていない

ソースとシンク​

リアルタイムモードでは、以下のソースとシンクがサポートされます。

ソースまたはシンク

ソースとして

シンクとして

Apache Kafka

✓

✓

イベントハブ(Kafkaコネクタを使用)

✓

✓

Kinesis

✓(EFOモードを推奨。Databricks Runtime 19以降ではポーリングを推奨)

サポートされていない

AWS MSK

✓

サポートされていない

Delta

サポートされていない

サポートされていない

Google Pub/Sub

サポートされていない

サポートされていない

Apache Pulsar

サポートされていない

サポートされていない

任意のシンク( forEachWriterを使用)

該当なし

✓

ソースまたはシンク

ソースとして

シンクとして

Apache Kafka

✓

✓

イベントハブ(Kafkaコネクタを使用)

✓

✓

Kinesis

✓(EFOモードを推奨。Databricks Runtime 19以降ではポーリングを推奨)

サポートされていない

AWS MSK

✓

サポートされていない

Delta

サポートされていない

サポートされていない

Google Pub/Sub

サポートされていない

サポートされていない

Apache Pulsar

サポートされていない

サポートされていない

任意のシンク( forEachWriterを使用)

該当なし

✓

オペレーター​

リアルタイムモードは、ほとんどの構造化ストリーミング演算子をサポートしています。

ステートレスな操作​

オペレーター

サポート対象

選択

✓

投影

✓

mapPartitions

サポートされていません(制限事項を参照)

結合

✓(一部制限あり)

オペレーター

サポート対象

選択

✓

投影

✓

mapPartitions

サポートされていません(制限事項を参照)

結合

✓(一部制限あり)

UDF​

オペレーター

サポート対象

Scala UDF

✓(スカラーUDF)。flatMapGroupsやmapGroupsWithStateなどのグループ化関数はサポートされていません。

Python UDF

✓(一部制限あり)

オペレーター

サポート対象

Scala UDF

✓(スカラーUDF)。flatMapGroupsやmapGroupsWithStateなどのグループ化関数はサポートされていません。

Python UDF

✓(一部制限あり)

集約​

関数

サポート対象

合計

✓

count

✓

max

✓

min

✓

avg

✓

集計関数

✓

関数

サポート対象

合計

✓

count

✓

max

✓

min

✓

avg

✓

集計関数

✓

ウィンドウ処理​

オペレーター

サポート対象

転倒

✓

スライディング

✓

セッション

サポートされていない

オペレーター

サポート対象

転倒

✓

スライディング

✓

セッション

サポートされていない

重複排除​

オペレーター

サポート対象

重複を削除

✓

ウォーターマーク内の重複を削除

✓

オペレーター

サポート対象

重複を削除

✓

ウォーターマーク内の重複を削除

✓

ストリームからテーブルへの結合​

オペレーター

サポート対象

Inner join

✓

アウター結合

✓

ブロードキャストテーブル結合 (テーブルサイズが10MB以下)

✓

テーブル結合(ブロードキャストなし)

サポートされていない

オペレーター

サポート対象

Inner join

✓

アウター結合

✓

ブロードキャストテーブル結合 (テーブルサイズが10MB以下)

✓

テーブル結合(ブロードキャストなし)

サポートされていない

ストリーム-ストリームJOIN​

オペレーター

サポート対象

Inner join

✓ (Databricks Runtime 18 LTS 以降、一部の構成で)

外部結合

サポートされていない

オペレーター

サポート対象

Inner join

✓ (Databricks Runtime 18 LTS 以降、一部の構成で)

外部結合

サポートされていない

注記

リアルタイムモードでストリーム-ストリーム結合を使用するには、追加の Spark 設定を行う必要があります。構成および複数のストリームを実行するための要件に関する詳細については、ストリーム-ストリームJOINを参照してください。

任意のステートフル演算子​

オペレーター

サポート対象

(flat)MapGroupsWithState

サポートされていない

transformWithState

✓(多少の違いはあるものの)

オペレーター

サポート対象

(flat)MapGroupsWithState

サポートされていない

transformWithState

✓(多少の違いはあるものの)

ユーザー定義シンク​

シンク

サポート対象

For each

✓

forEachBatch

サポートされていない

シンク

サポート対象

For each

✓

forEachBatch

サポートされていない

特別な考慮事項​

リアルタイムモードで使用する場合、一部の演算子や機能には特別な考慮事項や違いがあります。

transformWithStateリアルタイムモード​

カスタム ステートフル アプリケーションを構築するために、Databricks は Apache Spark Structured Streaming の API である transformWithState をサポートしています。APIとコードスニペットの詳細については、transformWithState を使用したカスタム ステートフル アプリケーションの構築を参照してください。

transformWithState リアルタイムモードで同期および非同期プロセッサの両方をサポートします。非同期処理の要件については、「transformWithState による非同期処理」を参照してください。

しかし、APIはリアルタイムモードではマイクロバッチクエリとは動作が異なります。

  • 同期プロセッサの場合、リアルタイムモードは行ごとに handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues) メソッドを呼び出します。

    • inputRows イテレータは単一の値を返します。マイクロバッチモードはキーごとに 1 回呼び出し、inputRows イテレータはマイクロバッチ内のキーのすべての値を返します。
    • コードを記述する際は、この違いを考慮してください。
  • 非同期プロセッサの場合、リアルタイムモードは、一緒に到着した行をグループ化し、グループ内の各キーに対して handleInputRows を 1 回呼び出し、そのキーのすべての行を含めます。リアルタイムモードは長時間のバッチを実行するため、同じキーが1つのバッチ内で複数回呼び出される可能性があります。

  • イベントタイムタイマーは、Databricks Runtime 19以上で、リアルタイムウォーターマーク伝搬と共にサポートされており、最近のDatabricks Runtime 19リリースでは、新しいクエリーに対してdefaultでオンになっています。ライブウォーターマークがタイマーのTimestampを通過すると、イベントタイムタイマーが起動します。リアルタイムウォーターマーク伝搬がない場合、イベントタイムタイマーを使用するクエリーはEVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTEDエラーで失敗します。

  • transformWithStateInPandas リアルタイムモードではサポートされていません。代わりに、 Pandas DataFramesではなくRowオブジェクトを使用する行ベースのtransformWithState API使用してください。

  • Databricks Runtime 19以降では、新しいデータが到着しない場合でも、処理時間タイマーが予定時刻に近く動作します。Databricks Runtime 18 LTS以下では、データが到着するまで処理時間タイマーが遅れる可能性があります。

    • タイマーが10:00:00に設定されている場合でも、データが到着しない場合は、タイマーはすぐに作動しません。
    • データが10時00分10秒に到着した場合、タイマーは10秒遅れて作動します。
    • データが到着せず、長時間実行中のバッチ処理が終了しようとしている場合、バッチ処理が終了する前にタイマーが作動します。
注記

Databricks Runtime 18.1以前のバージョンでは、スループットが低い(1秒あたり5レコード未満)PythonでtransformWithStateとリアルタイムモードを使用すると、レイテンシが数百ミリ秒まで増加する可能性があります。Databricksは、この問題を解決するためにDatabricks Runtime 18.2以降へのアップグレードを推奨しています。

複数ステップのステートフルクエリー​

Databricks Runtime 19以降では、リアルタイム モード クエリーはステートフル演算子を連結できるため、あるステートフル演算子の出力を別のステートフル演算子に供給できます。たとえば、dropDuplicates を使用してイベントを重複排除してから transformWithState で処理したり、ストリーム間結合の出力を別のステートフル演算子に渡したり、ストリームを別のステートフル演算子に渡したりできます。

多段階のステートフルクエリーはリアルタイムウォーターマーク伝達に依存しています。これは、最新のDatabricks Runtime 19リリースの新規クエリーでdefaultでオンになります。各ステートフル演算子は、データが到着するとウォーターマークを次の演算子に渡すため、ダウンストリームの演算子は遅延イベントをフィルタリングし、状態を継続的にクリーンアップします。リアルタイムウォーターマーク伝達がないと、ダウンストリームの演算子はバッチ境界でしかウォーターマークの更新を受け取れません。

リアルタイムモードのPython UDF​

Databricksは、リアルタイムモードでPythonのユーザー定義関数(UDF)の大部分をサポートしています。

ステートレス​

UDF型

サポート対象

PythonスカラーUDF(Pythonスカラーユーザー定義関数(UDF))

✓

矢印スカラーUDF

✓

PandasスカラーUDF ( Pandasユーザー定義関数)

✓

矢印関数 ( mapInArrow )

サポートされていません(制限事項を参照)

Pandas関数( Map )

サポートされていません(制限事項を参照)

UDF型

サポート対象

PythonスカラーUDF(Pythonスカラーユーザー定義関数(UDF))

✓

矢印スカラーUDF

✓

PandasスカラーUDF ( Pandasユーザー定義関数)

✓

矢印関数 ( mapInArrow )

サポートされていません(制限事項を参照)

Pandas関数( Map )

サポートされていません(制限事項を参照)

ステートフルグルーピング(UDAF)​

UDF型

サポート対象

transformWithState ( Rowインターフェースのみ)

✓

transformWithStateInPandas

サポートされていません。代わりに、 Pandas DataFramesではなくRowオブジェクトを使用する行ベースのtransformWithState API使用してください。 詳細については、 transformWithStateInPandasがサポートされていないことを参照してください。

applyInPandasWithState

サポートされていない

UDF型

サポート対象

transformWithState ( Rowインターフェースのみ)

✓

transformWithStateInPandas

サポートされていません。代わりに、 Pandas DataFramesではなくRowオブジェクトを使用する行ベースのtransformWithState API使用してください。 詳細については、 transformWithStateInPandasがサポートされていないことを参照してください。

applyInPandasWithState

サポートされていない

非ステートフルなグループ化(UDAF)​

UDF型

サポート対象

apply

サポートされていない

applyInArrow

サポートされていない

applyInPandas

サポートされていない

UDF型

サポート対象

apply

サポートされていない

applyInArrow

サポートされていない

applyInPandas

サポートされていない

テーブル関数​

UDF型

サポート対象

UDTF( Pythonユーザー定義テーブル関数(UDTF) )

サポートされていない

UC UDF

サポートされていない

UDF型

サポート対象

UDTF( Pythonユーザー定義テーブル関数(UDTF) )

サポートされていない

UC UDF

サポートされていない

Python UDFをリアルタイムモードで使用する際には、考慮すべき点がいくつかあります。

  • Databricks Runtime 19以降では、リアルタイムモードは、リアルタイムモードがサポートするすべてのUDFに対して、入力行を時間単位でバッチ処理します。各バッチは、短い時間ウィンドウ(10ミリ秒)内に到着する行、または最大バッチサイズに達するまでの行を収集し、それらをUDFに送信します。これにより、レイテンシーとthroughputのバランスが取れるため、Arrowバッチサイズ(spark.sql.execution.arrow.maxRecordsPerBatch)を1に設定する必要はありません。

  • Databricks Runtime 18 LTS 以下では、行は数によってのみバッチ処理されます。

    • レイテンシーを最小限に抑えるには、 Arrow バッチサイズ(spark.sql.execution.arrow.maxRecordsPerBatch)を 1 に設定します。この構成は、 throughput を犠牲にしてレイテンシーを最適化します。入力ボリュームに対応するためにthroughputの向上が必要な場合にのみバッチサイズを増やし、レイテンシーの潜在的な増加を許容してください。
    • Pandas UDFは、Arrowバッチサイズが1の場合、パフォーマンスが低下します。pandas UDFを使用する場合は、Arrowバッチサイズをより高い値(例えば100以上)に設定してください。これは、より高い遅延を意味します。Databricksでは、可能であればArrow UDFを使用することをおすすめします。
  • transformWithStateInPandas リアルタイムモードではサポートされていません。代わりに、 Pandas DataFramesではなくRowオブジェクトを使用する行ベースのtransformWithState API使用してください。 行ベースの API を使用した動作する Python の例については、 transformWithStateInPandasサポートされていないものおよびリアルタイム モードの例を参照してください。

  • UDFを使用するレイテンシに敏感なワークロードの場合、Databricksは専用アクセスモードの使用を推奨します。標準アクセスモードでは、セキュリティ分離のオーバーヘッドによりUDFのパフォーマンスが低下する可能性があります。