メインコンテンツまでスキップ

リアルタイムモードの制限

このページでは、構造化ストリーミングのリアルタイムモードにおける既知の制限事項について説明します。

ソースの制限​

Kinesisの場合、Databricksは最小のレイテンシを実現するためにEnhanced Fan-Out(EFO)モードを推奨します。また、頻繁な再パーティション化はレイテンシに悪影響を及ぼす可能性があります。

連合の制限​

Unionオペレーターにはいくつかの制限があります。

  • 自己結合はサポートされていません。

    • Kafkaでは、同じソースデータフレームオブジェクトと、そこから派生したデータフレームの結合を使用することはできません。回避策として、同じデータフレームから読み込む別のDataFramesを使用してください。
    • Kinesisでは、同じ構成を持つ同じKinesisソースから派生したデータフレームを結合することはできません。 回避策として、異なるDataFrames使用する代わりに、各DataFrameに異なるconsumerNameオプションを割り当てることができます。
  • 状態を持つ演算子(例えば、 aggregate 、 deduplicate 、 transformWithState )は、Union の前に定義することはできません。

  • バッチソースとの結合はサポートされていません。

mapPartitions制限​

リアルタイムモードは、ScalaのmapPartitions、または類似したPythonのAPIs(mapInPandas、mapInArrow)をサポートしていません。これらは入力パーティション全体のイテレータを受け取り、出力全体のイテレータを生成しますが、これらをすぐに生成しない場合は、出力をブロックし、レイテンシが増大する可能性があります。また、そのセマンティクスはウォーターマークの伝播を適切にサポートしていません。

同様の機能を実現するには、代わりにスカラーUDFと複雑なデータ型の変換、またはfilterを組み合わせて使用してください。

transformWithStateInPandasサポートされていません​

リアルタイムモードでは、 transformWithStateInPandas演算子はサポートされていません。リアルタイムモードでカスタムステートフル処理をPythonで行う必要がある場合は、代わりに行ベースのtransformWithState APIを使用してください。行ベースのAPI 、 Pandas DataFramesではなくRowオブジェクトを使用して、同じステートフルな処理機能を提供します。

ラケット モードでのtransformWithState動作の詳細については、ラケット モードのtransformWithState参照してください。また、行ベースAPIを使用した動作するPython例については、ラケット モードの例を参照してください。