ストリーミングエラー状態
ストリーミング リアルタイム モードには、次の制限があります。
ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED
任意のステートフルストリーミング演算子 <op>は、現在サポートされていません。 サポートされているオペレーターのリストについては、リアルタイム Mode ユーザーガイドを参照してください。
ASYNC_PROGRESS_TRACKING_NOT_SUPPORTED
非同期進行状況の追跡は、リアルタイム モードではサポートされていません。オプション asyncProgressTrackingEnabled を false に設定し、クエリを再試行します。
ASYNC_STATE_CHECKPOINT_NOT_SUPPORTED
非同期状態のチェックポイント処理は、リアルタイム モードではサポートされていません。spark.databricks.ストリーミング.statefulOperator.asyncCheckpoint.enabled を false に設定し、クエリを再試行します。
CHECKPOINT_V2_REQUIRED
リアルタイム モードにはチェックポイント v2 が必要です。spark.sql.ストリーミング.stateStore.checkpointFormatVersion を設定します。 を 2 に変更し、クエリを再試行します。
並列
リアルタイム モードには、並列ステージ DAG スケジューラが必要です。 Spark クラスタリングを再起動し、spark.databricks.dagScheduler.type を ConcurrentStageDAGScheduler に設定します。
DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED
dropDuplicatesWithinWatermark はサポートされていません。 この制限を回避するには、代わりに dropDuplicates を使用できます。 stateを削除できるように、event-time列をdropDuplicatesに渡すことを忘れないでください。
EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED
transformWithState 演算子のイベント時間ベースのタイマーはまだサポートされていません。 transformWithState 演算子を使用する場合は、transformWithState 演算子で処理時間を指定し、クエリを再試行してください。
MULTI_SHUFFLE_MANAGER_REQUIRED
リアルタイム モードには、マルチ シャッフル マネージャーが必要です。spark.shuffle.manager を org.apache.spark.shuffle.ストリーミング.MultiShuffleManager に設定し、Spark クラスタリングを再起動します。
OUTPUT_MODE_NOT_SUPPORTED
出力モード <outputMode> はサポートされていません。 この制限を回避するには、出力モードを [更新] に設定します。 将来的には、 <outputMode> がサポートされる可能性があります。
ROCKSDB_STATE_STORE_PROVIDER_REQUIRED
リアルタイム モードには、 RocksDB 状態ストア プロバイダーまたはそれを拡張するためのプロバイダーが必要です。 spark.sql.ストリーミング.stateStore.providerClass を設定します。 org.apache.spark.sql.execution.ストリーミング.state.RocksDBStateStoreProvider に移動し、クエリを再試行します。
SESSION_WINDOWS_NOT_SUPPORTED
セッション・ウィンドウはまだサポートされていません。 許可されるウィンドウ集約は、オーバータンブリングウィンドウとスライディングウィンドウのみです。
SPECULATIVE_EXECUTION_NOT_SUPPORTED
投機的実行は、リアルタイム モードではサポートされていません。spark.speculation を false に設定し、Spark クラスタリングを再起動します。
ストリーム
ストリーミング結合のタイプはまだサポートされていません。