withColumn
Renvoie un nouveau DataFrame en ajoutant une colonne ou en remplaçant la colonne existante qui a le même nom.
Syntaxe
withColumn(colName: str, col: Column)
parameter
parameter | Type | Description |
|---|---|---|
| str | chaîne, nom de la nouvelle colonne. |
| Colonne | Une expression de colonne pour la nouvelle colonne. |
Renvoie
DataFrame: DataFrame avec une colonne nouvelle ou remplacée.
Notes
Cette méthode introduit une projection en interne. Par conséquent, l'appeler plusieurs fois, par exemple, via des boucles afin d'ajouter plusieurs colonnes peut générer des plans importants ce qui peut entraîner des problèmes de performance et même StackOverflowException. Pour éviter cela, utilisez select avec plusieurs colonnes à la fois.
Exemples
Python
df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.withColumn('age2', df.age + 2).show()
# +---+-----+----+
# |age| name|age2|
# +---+-----+----+
# | 2|Alice| 4|
# | 5| Bob| 7|
# +---+-----+----+