ストリーミングエラー状態
ストリーミング リアルタイム モードには、次の制限があります。
ARBITRARY_STATEFUL_OPERATIONS_NOT_SUPPORTED
任意のステートフルストリーミング演算子 <op>は、現在サポートされていません。 サポートされているオペレーターのリストについては、リアルタイム Mode ユーザーガイドを参照してください。
ASYNC_PROGRESS_TRACKING_NOT_SUPPORTED
非同期進行状況の追跡は、リアルタイム モードではサポートされていません。オプション asyncProgressTrackingEnabled を false に設定し、クエリを再試行します。
ASYNC_STATE_CHECKPOINT_NOT_SUPPORTED
非同期状態のチェックポイント処理は、リアルタイム モードではサポートされていません。spark.databricks.ストリーミング.statefulOperator.asyncCheckpoint.enabled を false に設定し、クエリを再試行します。
BATCH_UNION_NOT_SUPPORTED
リアルタイム モードは、バッチ データソースとの結合をサポートしていません。 union ストリーミング クエリにストリーミング データソースのみが含まれていることを確認します。
CLUSTER_CONFIGURATION_NOT_SUPPORTED
次の設定はサポートされていません。
<invalidReasons>.クラスタリング構成で spark.databricks.ストリーミング.realTimeMode.enabled を true に設定し、存在する場合はクラスタリング構成から <confNames> を削除してから、 Spark クラスタリングを再起動します。
DROP_DUPLICATES_WITHIN_WATERMARK_NOT_SUPPORTED
dropDuplicatesWithinWatermark はサポートされていません。 この制限を回避するには、代わりに dropDuplicates を使用できます。 stateを削除できるように、event-time列をdropDuplicatesに渡すことを忘れないでください。
EVENT_TIME_BASED_TIMERS_IN_TRANSFORM_WITH_STATE_NOT_SUPPORTED
transformWithState 演算子のイベント時間ベースのタイマーはまだサポートされていません。 transformWithState 演算子を使用する場合は、transformWithState 演算子で処理時間を指定し、クエリを再試行してください。
IDENTICAL_SOURCES_IN_UNION_NOT_SUPPORTED
リアルタイム モードでは、1 つのクエリで 2 つ以上の同一のストリーミング データソースでの結合はサポートされていません。 これには、同じソース DataFrame を複数回参照するシナリオや、一部のソースに対して同じ構成の 2 つのデータソースを使用するなどのシナリオが含まれます。 Kafka の場合は、同じ DataFrame を再利用せず、異なる DataFrame を作成してください。Kinesis では、データフレームの複製に加えて、各 DataFrame が "consumerName" オプションに一意の値を設定していることを確認します。クエリで提供されるソース: <sources>
INPUT_STREAM_NOT_SUPPORTED
入力ストリーム <className> はサポートされていません。サポートされている入力ストリームの一覧については、リアルタイム Mode ユーザー ガイドを参照してください。
OPERATOR_OR_SINK_NOT_IN_ALLOWLIST
<errorType>(s): <message> リアルタイム Modeの<errorType>許可リストにありません。このチェックを回避するには、spark.databricks.ストリーミング.realTimeMode.allowlistCheck を false に設定します。 これを変更することにより、お客様は自己責任でクエリを実行することに同意するものとします。
OUTPUT_MODE_NOT_SUPPORTED
出力モード <outputMode> はサポートされていません。 この制限を回避するには、出力モードを [更新] に設定します。 将来的には、 <outputMode> がサポートされる可能性があります。
SESSION_WINDOWS_NOT_SUPPORTED
セッション・ウィンドウはまだサポートされていません。 許可されるウィンドウ集約は、オーバータンブリングウィンドウとスライディングウィンドウのみです。
SHUFFLE_MORE_THAN_ONCE
物理プランには <shuffleCount> org.apache.spark.sql.execution.exchange.ShuffleExchangeExec 演算子があります。おそらく、シャッフルが必要な操作を複数回呼び出していますが、RTM はこれをサポートしていません。クエリを実行するには、spark.databricks.ストリーミング.realTimeMode.allowlistCheck を false に設定します。 これを変更することにより、お客様は自己責任でクエリを実行することに同意するものとします。
SINK_NOT_SUPPORTED
<className>シンクは現在サポートされていません。サポートされているシンクのリストについては、リアルタイム Mode ユーザーガイドを参照してください。
SQL_CONFIGURATION_NOT_SUPPORTED
次の設定はサポートされていません。
<invalidReasons>.クラスタリング構成で spark.databricks.ストリーミング.realTimeMode.enabled を true に設定し、SparkSession構成から <confNames> が存在する場合は削除してから、Spark クラスタリングを再起動します。
STATEFUL_OPERATORS_BEFORE_UNION_NOT_SUPPORTED
リアルタイム モードでのストリーミング クエリには、ステートフル演算子 (例:aggregate、deduplicate、transformWithState) を結合の前に配置する必要があります。ステートフルな操作の前にユニオンを適用するようにクエリを再構築してください。
ストリーム
ストリーミング結合のタイプはまだサポートされていません。