união

Retorna um novo DataFrame contendo a união das linhas deste DataFrame com as de outro DataFrame.

Sintaxe

union(other: "DataFrame")

Parâmetros

Parâmetro	Tipo	Descrição
other	DataFrame	Outro DataFrame que precisa ser unido.

Devoluções

DataFrameUm novo DataFrame contendo as linhas combinadas com as colunas correspondentes.

Notas

Este método realiza uma união de conjuntos no estilo SQL das linhas de ambos os objetos DataFrame , sem desduplicação automática de elementos.

Use o método distinct() para realizar a desduplicação de linhas.

O método resolve as colunas por posição (e não por nome), seguindo o comportamento padrão do SQL.

Exemplos

Python

df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+

df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+