メインコンテンツまでスキップ

名前(DataStreamReader)

チェックポイント進化のためのストリーミングソースに名前を割り当てます。これにより、チェックポイントの互換性を損なうことなく、ソースの順序変更や追加が可能になり、ストリーミングクエリの進化が促進されます。ソース進化が有効な場合、クエリ内のすべてのソースに名前を付ける必要があります。

構文

name(source_name)

パラメーター

パラメーター

Type

説明

source_name

str

このストリーミング ソースの名前。 使用できる文字は、ASCII文字(az、AZ)、数字(0~9)、アンダースコア(_)のみです。

戻り値

DataStreamReader

注意

spark.sql.streaming.enableSourceEvolution設定でストリーミングソースの進化を有効にする必要があります。

2 つのソースに名前を付けて結合します。

Python
df1 = spark.readStream.format("rate").name("source1").load()
df2 = spark.readStream.format("rate").name("source2").load()
query = df1.union(df2).writeStream.format("console").start()

有効なソース名と無効なソース名:

Python
# Valid names
spark.readStream.format("rate").name("mySource").load()
spark.readStream.format("rate").name("my_source_123").load()

# Invalid name — raises AnalysisException
spark.readStream.format("rate").name("my-source").load()