名前(DataStreamReader)
チェックポイント進化のためのストリーミングソースに名前を割り当てます。これにより、チェックポイントの互換性を損なうことなく、ソースの順序変更や追加が可能になり、ストリーミングクエリの進化が促進されます。ソース進化が有効な場合、クエリ内のすべてのソースに名前を付ける必要があります。
構文
name(source_name)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str | このストリーミング ソースの名前。 使用できる文字は、ASCII文字(az、AZ)、数字(0~9)、アンダースコア(_)のみです。 |
戻り値
DataStreamReader
注意
spark.sql.streaming.enableSourceEvolution設定でストリーミングソースの進化を有効にする必要があります。
例
2 つのソースに名前を付けて結合します。
Python
df1 = spark.readStream.format("rate").name("source1").load()
df2 = spark.readStream.format("rate").name("source2").load()
query = df1.union(df2).writeStream.format("console").start()
有効なソース名と無効なソース名:
Python
# Valid names
spark.readStream.format("rate").name("mySource").load()
spark.readStream.format("rate").name("my_source_123").load()
# Invalid name — raises AnalysisException
spark.readStream.format("rate").name("my-source").load()