exceptAll
Retourne un nouveau DataFrame contenant des lignes de ce DataFrame mais pas de l'autre DataFrame, tout en préservant les doublons.
Syntaxe
exceptAll(other: "DataFrame")
parameter
parameter | Type | Description |
|---|---|---|
| DataFrame | L'autre DataFrame à comparer. |
Renvoie
DataFrame
Notes
Ceci est l'équivalent de EXCEPT ALL en SQL. Comme standard en SQL, cette fonction résout les colonnes par position (et non par nom).
Exemples
Python
df1 = spark.createDataFrame(
[("a", 1), ("a", 1), ("a", 1), ("a", 2), ("b", 3), ("c", 4)], ["C1", "C2"])
df2 = spark.createDataFrame([("a", 1), ("b", 3)], ["C1", "C2"])
df1.exceptAll(df2).show()
# +---+---+
# | C1| C2|
# +---+---+
# | a| 1|
# | a| 1|
# | a| 2|
# | c| 4|
# +---+---+