à

Renvoie un nouveau DataFrame où chaque ligne est rapprochée pour correspondre au schéma spécifié.

Syntaxe

to(schema: StructType)

parameter

parameter	Type	Description
schema	StructType	Schéma spécifié.

parameter	Type	Description
schema	StructType	Schéma spécifié.

Renvoie

DataFrame: DataFrame rapproché.

Notes

• Réorganiser les colonnes et/ou les champs internes par nom pour qu’ils correspondent au schéma spécifié.
• Éliminer les colonnes et/ou les champs internes qui ne sont pas nécessaires au schéma spécifié. Des colonnes et/ou champs internes manquants (présents dans le schéma spécifié mais pas dans le DataFrame d'entrée) entraînent des échecs.
• Convertissez les colonnes et/ou les champs internes pour qu'ils correspondent aux types de données du schéma spécifié, si les types sont compatibles, par exemple, numérique à numérique (erreur en cas de dépassement), mais pas chaîne à int.
• Reporter les métadonnées du schéma spécifié, tandis que les colonnes et/ou les champs internes conservent leurs propres métadonnées si elles ne sont pas écrasées par le schéma spécifié.
• Échec si la nullabilité n'est pas compatible. Par exemple, la colonne et/ou le champ interne sont nullables, mais le schéma spécifié exige qu'ils ne le soient pas.

Prend en charge Spark Connect.

Exemples

Python

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+