メインコンテンツまでスキップ

読み取り(DataSourceStreamReader)

指定されたパーティションのデータを生成し、タプルまたは行のイテレータを返します。

このメソッドは、パーティションごとに1回呼び出され、データを読み取ります。ストリームリーダーには、このメソッドの実装が必須です。このメソッド内で、データソースからデータを読み取るために必要な、シリアル化不可能なリソースを初期化できます。

Databricks Runtime 15.2で追加されました

構文

read(partition: InputPartition)

パラメーター

パラメーター

Type

説明

partition

入力パーティション

読み込むパーティション。これは、 partitions()によって返されるパーティション値のいずれかでなければなりません。

戻り値

Iterator[Tuple] または Iterator[RecordBatch]

タプルまたは行のイテレータ。各タプルまたは行は、最終的なDataFrameの行に変換されます。 データソースがサポートしている場合は、PyArrow RecordBatchオブジェクトのイテレータを返すこともできます。

注意

このメソッドは静的でステートレスです。read()の異なる呼び出し間で、可変クラスメンバーにアクセスしたり、メモリ内の状態を保持したりしないでください。

このページの見出し