ストリーミングエラー状態
ストリーミング リアルタイム モードには、次の制限があります。
ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED
任意のステートフルストリーミング演算子 <op>は、現在サポートされていません。 サポートされているオペレーターのリストについては、リアルタイム Mode ユーザーガイドを参照してください。
ASYNC_PROGRESS_TRACKING_NOT_SUPPORTED
非同期進行状況の追跡は、リアルタイム モードではサポートされていません。オプション asyncProgressTrackingEnabled を false に設定し、クエリを再試行します。
ASYNC_STATE_CHECKPOINT_NOT_SUPPORTED
非同期状態のチェックポイント処理は、リアルタイム モードではサポートされていません。spark.databricks.ストリーミング.statefulOperator.asyncCheckpoint.enabled を false に設定し、クエリを再試行します。
BATCH_UNION_NOT_SUPPORTED
リアルタイム モードは、バッチ データソースとの結合をサポートしていません。 union ストリーミング クエリにストリーミング データソースのみが含まれていることを確認します。
CHECKPOINT_V2_REQUIRED
リアルタイム モードにはチェックポイント v2 が必要です。spark.sql.ストリーミング.stateStore.checkpointFormatVersion を設定します。 を 2 に変更し、クエリを再試行します。
並列
リアルタイム モードには、並列ステージ DAG スケジューラが必要です。 Spark クラスタリングを再起動し、spark.databricks.dagScheduler.type を ConcurrentStageDAGScheduler に設定します。
DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED
dropDuplicatesWithinWatermark はサポートされていません。 この制限を回避するには、代わりに dropDuplicates を使用できます。 stateを削除できるように、event-time列をdropDuplicatesに渡すことを忘れないでください。
EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED
transformWithState 演算子のイベント時間ベースのタイマーはまだサポートされていません。 transformWithState 演算子を使用する場合は、transformWithState 演算子で処理時間を指定し、クエリを再試行してください。
IDENTICAL_SOURCES_IN_UNION_NOT_SUPPORTED
リアルタイム モードでは、1 つのクエリで 2 つ以上の同一のストリーミング データソースでの結合はサポートされていません。 これには、同じソース DataFrame を複数回参照するシナリオや、一部のソースに対して同じ構成の 2 つのデータソースを使用するなどのシナリオが含まれます。 Kafka の場合は、同じ DataFrame を再利用せず、異なる DataFrame を作成してください。Kinesis では、データフレームの複製に加えて、各 DataFrame が "consumerName" オプションに一意の値を設定していることを確認します。クエリで提供されるソース: <sources>
INPUT_STREAM_NOT_SUPPORTED
入力ストリーム <className> はサポートされていません。サポートされている入力ストリームの一覧については、リアルタイム Mode ユーザー ガイドを参照してください。
MULTI_SHUFFLE_MANAGER_REQUIRED
リアルタイム モードには、マルチ シャッフル マネージャーが必要です。spark.shuffle.manager を org.apache.spark.shuffle.ストリーミング.MultiShuffleManager に設定し、Spark クラスタリングを再起動します。
OPERATOR_OR_SINK_NOT_IN_ALLOWLIST
<errorType>(s): <message> リアルタイム Modeの<errorType>許可リストにありません。このチェックを回避するには、spark.databricks.ストリーミング.realTimeMode.allowlistCheck を false に設定します。 これを変更することにより、お客様は自己責任でクエリを実行することに同意するものとします。
OUTPUT_MODE_NOT_SUPPORTED
出力モード <outputMode> はサポートされていません。 この制限を回避するには、出力モードを [更新] に設定します。 将来的には、 <outputMode> がサポートされる可能性があります。
ROCKSDB_STATE_STORE_PROVIDER_REQUIRED
リアルタイム モードには、 RocksDB 状態ストア プロバイダーまたはそれを拡張するためのプロバイダーが必要です。 spark.sql.ストリーミング.stateStore.providerClass を設定します。 org.apache.spark.sql.execution.ストリーミング.state.RocksDBStateStoreProvider に移動し、クエリを再試行します。
SESSION_WINDOWS_NOT_SUPPORTED
セッション・ウィンドウはまだサポートされていません。 許可されるウィンドウ集約は、オーバータンブリングウィンドウとスライディングウィンドウのみです。
SPECULATIVE_EXECUTION_NOT_SUPPORTED
投機的実行は、リアルタイム モードではサポートされていません。spark.speculation を false に設定し、Spark クラスタリングを再起動します。
STATEFUL_OPERATORS_BEFORE_UNION_NOT_SUPPORTED
リアルタイム モードでのストリーミング クエリには、ステートフル演算子 (例:aggregate、deduplicate、transformWithState) を結合の前に配置する必要があります。ステートフルな操作の前にユニオンを適用するようにクエリを再構築してください。
ストリーム
ストリーミング結合のタイプはまだサポートされていません。