リアルタイムモード参照
このページでは、Structured Streaming APIs を直接使用するリアルタイムモードクエリーのサポートについて説明します。マネージドパイプラインについては、個別のランタイム、ソース、シンク、オペレーターの要件があるLakeflow パイプラインのリアルタイムモードを参照してください。
対応言語
リアルタイムモードは、Scala、Java、およびPythonをサポートしています。
コンピュートの種類
オンライン モードは、次のコンピュート タイプをサポートします。
UDFを使用するレイテンシに敏感なワークロードの場合、Databricksは専用アクセスモードの使用を推奨します。テーブル関数を参照してください。
実行モード
リアルタイムモードは更新モードのみをサポートします。
実行 モード | サポート対象 |
|---|---|
更新モード | ✓ |
追加モード | サポートされていない |
完全モード | サポートされていない |
ソースとシンク
リアルタイムモードでは、以下のソースとシンクがサポートされます。
ソースまたはシンク | ソースとして | シンクとして |
|---|---|---|
Apache Kafka | ✓ | ✓ |
イベントハブ(Kafkaコネクタを使用) | ✓ | ✓ |
Kinesis | ✓(EFOモードを推奨。Databricks Runtime 19以降ではポーリングを推奨) | サポートされていない |
AWS MSK | ✓ | サポートされていない |
Delta | サポートされていない | サポートされていない |
Google Pub/Sub | サポートされていない | サポートされていない |
Apache Pulsar | サポートされていない | サポートされていない |
任意のシンク( | 該当なし | ✓ |
オペレーター
リアルタイムモードは、ほとんどの構造化ストリーミング演算子をサポートしています。
ステートレスな操作
UDF
オペレーター | サポート対象 |
|---|---|
Scala UDF | ✓(スカラーUDF)。 |
Python UDF | ✓(一部制限あり) |
集約
関数 | サポート対象 |
|---|---|
合計 | ✓ |
count | ✓ |
max | ✓ |
min | ✓ |
avg | ✓ |
✓ |
ウィンドウ処理
オペレーター | サポート対象 |
|---|---|
転倒 | ✓ |
スライディング | ✓ |
セッション | サポートされていない |
重複排除
オペレーター | サポート対象 |
|---|---|
重複を削除 | ✓ |
ウォーターマーク内の重複を削除 | ✓ |
ストリームからテーブルへの結合
オペレーター | サポート対象 |
|---|---|
Inner join | ✓ |
アウター結合 | ✓ |
ブロードキャストテーブル結合 (テーブルサイズが10MB以下) | ✓ |
テーブル結合(ブロードキャストなし) | サポートされていない |
ストリーム-ストリームJOIN
オペレーター | サポート対象 |
|---|---|
Inner join | ✓ (Databricks Runtime 18 LTS 以降、一部の構成で) |
外部結合 | サポートされていない |
リアルタイムモードでストリーム-ストリーム結合を使用するには、追加の Spark 設定を行う必要があります。構成および複数のストリームを実行するための要件に関する詳細については、ストリーム-ストリームJOINを参照してください。
任意のステートフル演算子
オペレーター | サポート対象 |
|---|---|
(flat)MapGroupsWithState | サポートされていない |
transformWithState | ✓(多少の違いはあるものの) |
ユーザー定義シンク
シンク | サポート対象 |
|---|---|
For each | ✓ |
forEachBatch | サポートされていない |
特別な考慮事項
リアルタイムモードで使用する場合、一部の演算子や機能には特別な考慮事項や違いがあります。
transformWithStateリアルタイムモード
カスタム ステートフル アプリケーションを構築するために、Databricks は Apache Spark Structured Streaming の API である transformWithState をサポートしています。APIとコードスニペットの詳細については、transformWithState を使用したカスタム ステートフル アプリケーションの構築を参照してください。
transformWithState リアルタイムモードで同期および非同期プロセッサの両方をサポートします。非同期処理の要件については、「transformWithState による非同期処理」を参照してください。
しかし、APIはリアルタイムモードではマイクロバッチクエリとは動作が異なります。
-
同期プロセッサの場合、リアルタイムモードは行ごとに
handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues)メソッドを呼び出します。inputRowsイテレータは単一の値を返します。マイクロバッチモードはキーごとに 1 回呼び出し、inputRowsイテレータはマイクロバッチ内のキーのすべての値を返します。- コードを記述する際は、この違いを考慮してください。
-
非同期プロセッサの場合、リアルタイムモードは、一緒に到着した行をグループ化し、グループ内の各キーに対して
handleInputRowsを 1 回呼び出し、そのキーのすべての行を含めます。リアルタイムモードは長時間のバッチを実行するため、同じキーが1つのバッチ内で複数回呼び出される可能性があります。 -
イベントタイムタイマーは、Databricks Runtime 19以上で、リアルタイムウォーターマーク伝搬と共にサポートされており、最近のDatabricks Runtime 19リリースでは、新しいクエリーに対してdefaultでオンになっています。ライブウォーターマークがタイマーのTimestampを通過すると、イベントタイムタイマーが起動します。リアルタイムウォーターマーク伝搬がない場合、イベントタイムタイマーを使用するクエリーはEVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTEDエラーで失敗します。
-
transformWithStateInPandasリアルタイムモードではサポートされていません。代わりに、 Pandas DataFramesではなくRowオブジェクトを使用する行ベースのtransformWithStateAPI使用してください。 -
Databricks Runtime 19以降では、新しいデータが到着しない場合でも、処理時間タイマーが予定時刻に近く動作します。Databricks Runtime 18 LTS以下では、データが到着するまで処理時間タイマーが遅れる可能性があります。
- タイマーが10:00:00に設定されている場合でも、データが到着しない場合は、タイマーはすぐに作動しません。
- データが10時00分10秒に到着した場合、タイマーは10秒遅れて作動します。
- データが到着せず、長時間実行中のバッチ処理が終了しようとしている場合、バッチ処理が終了する前にタイマーが作動します。
Databricks Runtime 18.1以前のバージョンでは、スループットが低い(1秒あたり5レコード未満)PythonでtransformWithStateとリアルタイムモードを使用すると、レイテンシが数百ミリ秒まで増加する可能性があります。Databricksは、この問題を解決するためにDatabricks Runtime 18.2以降へのアップグレードを推奨しています。
複数ステップのステートフルクエリー
Databricks Runtime 19以降では、リアルタイム モード クエリーはステートフル演算子を連結できるため、あるステートフル演算子の出力を別のステートフル演算子に供給できます。たとえば、dropDuplicates を使用してイベントを重複排除してから transformWithState で処理したり、ストリーム間結合の出力を別のステートフル演算子に渡したり、ストリームを別のステートフル演算子に渡したりできます。
多段階のステートフルクエリーはリアルタイムウォーターマーク伝達に依存しています。これは、最新のDatabricks Runtime 19リリースの新規クエリーでdefaultでオンになります。各ステートフル演算子は、データが到着するとウォーターマークを次の演算子に渡すため、ダウンストリームの演算子は遅延イベントをフィルタリングし、状態を継続的にクリーンアップします。リアルタイムウォーターマーク伝達がないと、ダウンストリームの演算子はバッチ境界でしかウォーターマークの更新を受け取れません。
リアルタイムモードのPython UDF
Databricksは、リアルタイムモードでPythonのユーザー定義関数(UDF)の大部分をサポートしています。
ステートレス
UDF型 | サポート対象 |
|---|---|
PythonスカラーUDF(Pythonスカラーユーザー定義関数(UDF)) | ✓ |
矢印スカラーUDF | ✓ |
PandasスカラーUDF ( Pandasユーザー定義関数) | ✓ |
矢印関数 ( | サポートされていません(制限事項を参照) |
Pandas関数( Map ) | サポートされていません(制限事項を参照) |
ステートフルグルーピング(UDAF)
UDF型 | サポート対象 |
|---|---|
| ✓ |
| サポートされていません。代わりに、 Pandas DataFramesではなく |
| サポートされていない |
非ステートフルなグループ化(UDAF)
UDF型 | サポート対象 |
|---|---|
| サポートされていない |
| サポートされていない |
| サポートされていない |
テーブル関数
UDF型 | サポート対象 |
|---|---|
UDTF( Pythonユーザー定義テーブル関数(UDTF) ) | サポートされていない |
UC UDF | サポートされていない |
Python UDFをリアルタイムモードで使用する際には、考慮すべき点がいくつかあります。
-
Databricks Runtime 19以降では、リアルタイムモードは、リアルタイムモードがサポートするすべてのUDFに対して、入力行を時間単位でバッチ処理します。各バッチは、短い時間ウィンドウ(10ミリ秒)内に到着する行、または最大バッチサイズに達するまでの行を収集し、それらをUDFに送信します。これにより、レイテンシーとthroughputのバランスが取れるため、Arrowバッチサイズ(
spark.sql.execution.arrow.maxRecordsPerBatch)を1に設定する必要はありません。 -
Databricks Runtime 18 LTS 以下では、行は数によってのみバッチ処理されます。
- レイテンシーを最小限に抑えるには、 Arrow バッチサイズ(
spark.sql.execution.arrow.maxRecordsPerBatch)を 1 に設定します。この構成は、 throughput を犠牲にしてレイテンシーを最適化します。入力ボリュームに対応するためにthroughputの向上が必要な場合にのみバッチサイズを増やし、レイテンシーの潜在的な増加を許容してください。 - Pandas UDFは、Arrowバッチサイズが1の場合、パフォーマンスが低下します。pandas UDFを使用する場合は、Arrowバッチサイズをより高い値(例えば100以上)に設定してください。これは、より高い遅延を意味します。Databricksでは、可能であればArrow UDFを使用することをおすすめします。
- レイテンシーを最小限に抑えるには、 Arrow バッチサイズ(
-
transformWithStateInPandasリアルタイムモードではサポートされていません。代わりに、 Pandas DataFramesではなくRowオブジェクトを使用する行ベースのtransformWithStateAPI使用してください。 行ベースの API を使用した動作する Python の例については、transformWithStateInPandasサポートされていないものおよびリアルタイム モードの例を参照してください。 -
UDFを使用するレイテンシに敏感なワークロードの場合、Databricksは専用アクセスモードの使用を推奨します。標準アクセスモードでは、セキュリティ分離のオーバーヘッドによりUDFのパフォーマンスが低下する可能性があります。