save
Enregistre le contenu du DataFrame dans une source de données. La source de données est spécifiée par format et un ensemble de options. Si format n'est pas spécifié, la source de données par default configurée par spark.sql.sources.default est utilisée.
Syntaxe
save(path=None, format=None, mode=None, partitionBy=None, **options)
parameter
parameter | Type | Description |
|---|---|---|
| str, facultatif | Le chemin d'accès dans un système de fichiers pris en charge par Hadoop. |
| str, facultatif | Le format utilisé pour enregistrer. |
| str, facultatif | Le comportement lorsque des données existent déjà. Les valeurs acceptées sont |
| liste, facultative | Noms des colonnes de partitionnement. |
| dict | Options de chaîne supplémentaires. |
Renvoie
Aucun
Exemples
Écrivez un DataFrame dans un fichier JSON et relisez-le.
import tempfile
with tempfile.TemporaryDirectory(prefix="save") as d:
spark.createDataFrame(
[{"age": 100, "name": "Alice"}]
).write.mode("overwrite").format("json").save(d)
spark.read.format('json').load(d).show()
# +---+------------+
# |age| name|
# +---+------------+
# |100|Alice|
# +---+------------+