パーティション (DataSourceStreamReader)

開始オフセットと終了オフセットを指定して、 InputPartitionのオブジェクトのリストを返します。

各InputPartitionは、1 つのSparkタスクで処理できるデータ分割を表します。 オフセット範囲が空でstart == endの場合、このメソッドは空のシーケンスを返す必要があります。

Databricks Runtime 15.2で追加されました

構文

partitions(start: dict, end: dict)

パラメーター

パラメーター	Type	説明
start	辞書	マイクロバッチの分割計画における開始オフセット。
end	辞書	マイクロバッチの終了オフセットから、計画パーティショニングまでのオフセット。

戻り値

Sequence[InputPartition]

このデータソースのパーティションのシーケンス。各パーティション値は、 InputPartitionのインスタンス、またはそのサブクラスでなければなりません。