リアルタイムモードを設定する
このページでは、クラシック コンピュート上のStructured Streaming APIs を使用してリアルタイム モードのクエリーを直接ランする方法について説明します。ステップバイステップのチュートリアルについては、「チュートリアル: リアルタイム ストリーミング ワークロードをラン」を参照してください。リアルタイム モードに関する概念的な情報については、「リアルタイム モードの概念」を参照してください。
LakeFlow Pipelinesのリアルタイムモードは、クラシックおよびServerlessコンピュート上のマネージドパイプラインをサポートしており、ランタイム、ソース、シンク、およびオペレーターの要件は分離されています。
前提条件
ログイン モードを使用するには、次の要件を満たすようにコンピュートを構成する必要があります。
- クラシックコンピュートを使用します。専用および標準アクセスモードがサポートされています。標準アクセスモードはPythonでのみサポートされています。このページでの直接クエリー構成は、Serverlessノートブックまたはジョブではサポートされていません。Serverlessリアルタイム処理には、LakeFlow Pipelinesのリアルタイムモードを使用してください。
- Databricks Runtime 16.4 LTS以降を使用してください。
- オートスケールをオフにします。
- Photonをオフにしてください。
spark.databricks.streaming.realTimeMode.enabledtrueに設定します。- 中断を避けるため、スポットインスタンスをオフにしてください。
UDFを使用するレイテンシに敏感なワークロードの場合、Databricksは専用アクセスモードの使用を推奨します。テーブル関数を参照してください。
クラシック コンピュートの作成および構成の手順については、 「コンピュート構成リファレンス」を参照してください。
ストリーム to ストリーム joins
ストリーム-ストリーム内部結合には、リアルタイムモード用の追加構成が必要です。ストリーム-ストリーム外部結合はサポートされていません。ストリーム-ストリームJOINを参照してください。
同じクラスター上の複数の他のStreamとのStream-Stream結合をリアルタイムモードでランするには、Databricks Runtime 18 LTS以降を使用する必要があります。
リアルタイムモードでストリーム間の結合を有効にするには、以下のSpark構成を設定します。
- Python
- Scala
- SQL
spark.conf.set("spark.databricks.streaming.realTimeMode.streamStreamJoin.enabled", "true")
spark.conf.set("spark.sql.streaming.join.stateFormatVersion", "4")
spark.conf.set("spark.sql.streaming.join.stateFormatV4.enabled", "true")
spark.conf.set("spark.sql.streaming.stateStore.rocksdb.mergeOperatorVersion", "2")
spark.conf.set("spark.sql.streaming.realTimeMode.controlMessage.enabled", "true")
spark.conf.set("spark.databricks.streaming.realTimeMode.streamStreamJoin.enabled", "true")
spark.conf.set("spark.sql.streaming.join.stateFormatVersion", "4")
spark.conf.set("spark.sql.streaming.join.stateFormatV4.enabled", "true")
spark.conf.set("spark.sql.streaming.stateStore.rocksdb.mergeOperatorVersion", "2")
spark.conf.set("spark.sql.streaming.realTimeMode.controlMessage.enabled", "true")
SET spark.databricks.streaming.realTimeMode.streamStreamJoin.enabled = true;
SET spark.sql.streaming.join.stateFormatVersion = 4;
SET spark.sql.streaming.join.stateFormatV4.enabled = true;
SET spark.sql.streaming.stateStore.rocksdb.mergeOperatorVersion = 2;
SET spark.sql.streaming.realTimeMode.controlMessage.enabled = true;
クエリ構成
クエリをリアルタイムモードで実行するには、リアルタイムトリガーを有効にする必要があります。リアルタイムトリガーは更新モードでのみサポートされます。
- Python
- Scala
query = (
spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", broker_address)
.option("subscribe", input_topic)
.load()
.writeStream
.format("kafka")
.option("kafka.bootstrap.servers", broker_address)
.option("topic", output_topic)
.option("checkpointLocation", checkpoint_location)
.outputMode("update")
# In PySpark, the realTime trigger requires specifying the interval.
.trigger(realTime="5 minutes")
.start()
)
import org.apache.spark.sql.streaming.Trigger
val readStream = spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", brokerAddress)
.option("subscribe", inputTopic).load()
.writeStream
.format("kafka")
.option("kafka.bootstrap.servers", brokerAddress)
.option("topic", outputTopic)
.option("checkpointLocation", checkpointLocation)
.outputMode("update")
.trigger(Trigger.RealTime())
// Trigger.RealTime can also accept an argument specifying the batch duration.
// For example, this code sets a batch duration of 5 minutes:
// .trigger(Trigger.RealTime("5 minutes"))
.start()
リアルタイムウォーターマークの伝搬
Databricks Runtime 19以上では、リアルタイムモードでリアルタイムウォーターマーク伝達がサポートされます。各ステートフル演算子は、バッチ境界だけでなく、リアルタイムでウォーターマークを進め、状態をクリーンアップし、イベントタイムタイマーを起動し、ウォーターマークを下流に渡します。
新しいリアルタイムモードのクエリーでは、最近のDatabricks Runtime 19リリースから、リアルタイムのウォーターマークの伝播がdefaultでオンになっています。ウォーターマークがバッチ境界でのみ進行する以前の動作に戻るには、クエリーを起動する前に、このSpark設定をfalseに設定してください。次の例に示すように、セッションで設定するか、コンピュートのSpark設定で設定できます。
- Python
- Scala
- SQL
spark.conf.set("spark.databricks.streaming.realTimeMode.realTimeWatermark.enabled", "false")
spark.conf.set("spark.databricks.streaming.realTimeMode.realTimeWatermark.enabled", "false")
SET spark.databricks.streaming.realTimeMode.realTimeWatermark.enabled = false;
リアルタイムのウォーターマーク伝搬をdefaultで有効にしても、既存のクエリーには影響しません。クエリーは、起動時の設定を保持し、同じチェックポイントから再起動した後もその設定を維持します。既存のクエリーの設定を変更するには、新しいチェックポイントからクエリーを再起動してください。
新しいステートフルクエリーの場合、以前のセマンティクスと比較して、より積極的な遅延イベントフィルタリングと短いステートリテンションが表示されることがあります。本番運用で新しいクエリーを実行する前に、本番運用前の環境で検証してください。
リアルタイムのウォーターマーク伝播がステートフル演算子にどのような影響を与えるかについては、リアルタイムモードのtransformWithStateおよびマルチステップステートフルクエリーをご覧ください。
最大値の最小値ウォーターマーク
リアルタイムウォーターマーク伝搬がオンの場合、リアルタイムモードは、リアルタイムモードがサポートするすべてのソースに対して、最大値の最小値セマンティクスを用いてウォーターマークをコンピュートします。各withWatermarkについて、Databricksは各ソースパーティションで観測された最大イベント時間を追跡します。ウォーターマークは、これらのパーティションごとの最大値の最小値からウォーターマークの遅延を差し引いた値です。ウォーターマークは最も遅いソースパーティションと同じ速度でのみ進行するため、より速いパーティションがウォーターマークを先に移動させたために遅いパーティションからのイベントが遅れてドロップされることはありません。
ほとんどのソースでは、各 Spark 入力パーティションがソースパーティションとなります。Apache Kafka および Amazon Kinesis ソースは例外です。Databricks は、1 つの Spark 入力パーティションが複数の Kafka トピックパーティションおよび Kinesis シャードを読み取る場合でも、それぞれのトピックパーティションまたはシャードをソースパーティションとして追跡します。たとえば、maxPartitionsをKafkaトピックのパーティション数よりも小さく設定すると、低速のトピックパーティションが高速のトピックパーティションとSpark入力パーティションを共有している場合、そのパーティションによってウォーターマークが遅延します。
Databricksは、バッチごとに1つのウォーターマーク値を保持し、ソースパーティションごとに1つの値を保持するわけではありません。ソースパーティションがバッチ中にデータを受信しない場合、ウォーターマークはそのバッチで進みません。
リアルタイムのウォーターマーク伝播がオフの場合、リアルタイムモードでは、マイクロバッチモードと同様に、代わりに最大値の最大値セマンティクスが使用されます。ウォーターマークは、すべてのソースパーティションにおける最大イベント時刻からウォーターマークの遅延を引いた値です。
ステートフル演算子にストリーム間結合などの複数のwithWatermark入力がある場合、Databricks は複数ウォーターマークポリシーを使用してウォーターマークを組み合わせます。
サポートされていないクエリー形状
リアルタイムウォーターマーク伝搬がオンの場合、Databricksはバッチを計画する際、タスクが実行される前に、次のクエリーシェイプを拒否します。
withWatermarkの前のシャッフル(repartition(n).withWatermark(...)など)。クエリーがSHUFFLE_NOT_SUPPORTED_BEFORE_WATERMARKエラーで失敗します。- クエリー内で、ステートフル演算子と、その前にある最も近い
withWatermarkまたはステートフル演算子との間に複数のシャッフルがあります。Databricksはステートフル演算子の各入力を個別にチェックするため、結合の各入力に1つのシャッフルを含めることができます。たとえば、withWatermark(...)、続いてrepartition(2)、続いてgroupByKey(...).transformWithState(...)には2つのシャッフルがあります。repartitionが追加するシャッフルとgroupByKeyが追加するシャッフルです。クエリーはMULTIPLE_SHUFFLES_NOT_SUPPORTEDエラーで失敗します。
ワークロードでこれらのクエリーシェイプのいずれかが必要な場合は、Databricksサポートにお問い合わせください。
コンピュートのサイジング
コンピュートに十分なタスク スロットがある場合は、コンピュート リソースごとに 1 つの保留ジョブを実行できます。
低遅延モードで実行するには、使用可能なタスク スロットの合計数が、すべてのクエリ ステージにわたるタスクの数以上である必要があります。
スロット計算例
パイプラインタイプ | 構成 | 必要なスロット数 |
|---|---|---|
シングルステージステートレス ( Kafkaソース + シンク) |
| 8スロット |
2 段階ステートフル ( Kafkaソース + シャッフル) |
| 28スロット(8+20) |
3 段階 ( Kafkaソース + シャッフル + 再分割) |
| 48スロット(8 + 20 + 20) |
maxPartitionsを設定しない場合は、Kafkaトピックのパーティション数を使用します。