読み取り(DataSourceStreamReader)
指定されたパーティションのデータを生成し、タプルまたは行のイテレータを返します。
このメソッドは、パーティションごとに1回呼び出され、データを読み取ります。ストリームリーダーには、このメソッドの実装が必須です。このメソッド内で、データソースからデータを読み取るために必要な、シリアル化不可能なリソースを初期化できます。
Databricks Runtime 15.2で追加されました
構文
read(partition: InputPartition)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| 入力パーティション | 読み込むパーティション。これは、 |
戻り値
Iterator[Tuple] または Iterator[RecordBatch]
タプルまたは行のイテレータ。各タプルまたは行は、最終的なDataFrameの行に変換されます。 データソースがサポートしている場合は、PyArrow RecordBatchオブジェクトのイテレータを返すこともできます。
注意
このメソッドは静的でステートレスです。read()の異なる呼び出し間で、可変クラスメンバーにアクセスしたり、メモリ内の状態を保持したりしないでください。