união
Retorna um novo DataFrame contendo a união das linhas deste DataFrame com as de outro DataFrame.
Sintaxe
union(other: "DataFrame")
Parâmetros
Parâmetro | Tipo | Descrição |
|---|---|---|
| DataFrame | Outro DataFrame que precisa ser unido. |
Devoluções
DataFrameUm novo DataFrame contendo as linhas combinadas com as colunas correspondentes.
Notas
Este método realiza uma união de conjuntos no estilo SQL das linhas de ambos os objetos DataFrame , sem desduplicação automática de elementos.
Use o método distinct() para realizar a desduplicação de linhas.
O método resolve as colunas por posição (e não por nome), seguindo o comportamento padrão do SQL.
Exemplos
Python
df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# | 1| A|
# | 2| B|
# | 3| C|
# | 4| D|
# +---+-----+
df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# | 1| A|
# | 2| B|
# | 3| C|
# | 4| D|
# +---+-----+