Classe de colonne

Une colonne dans un DataFrame.

Prend en charge Spark Connect

Syntaxe

Méthodes

Méthode	Description
`alias(alias, *kwargs)`	Renvoie cette colonne avec un nouveau nom ou de nouveaux noms en tant qu'alias (dans le cas d'expressions qui renvoient plus d'une colonne, tel que explode).
`asc()`	Renvoie une expression de tri basée sur l'ordre croissant de la colonne.
`asc_nulls_first()`	Renvoie une expression de tri basée sur l'ordre croissant de la colonne, et les valeurs nulles sont renvoyées avant les valeurs non nulles.
`asc_nulls_last()`	Retourne une expression de tri basée sur l'ordre croissant de la colonne, et les valeurs nulles apparaissent après les valeurs non nulles.
`astype(dataType)`	Alias de `cast()`.
`between(lowerBound, upperBound)`	Vérifiez si les valeurs de la colonne actuelle se situent entre les bornes inférieure et supérieure spécifiées, incluses.
`bitwiseAND(other)`	Calculer l'opération ET binaire de cette expression avec une autre expression.
`bitwiseOR(other)`	Compute l'OR binaire de cette expression avec une autre expression.
`bitwiseXOR(other)`	Compute le XOR bit à bit de cette expression avec une autre expression.
`cast(dataType)`	Convertit la colonne en type `dataType`.
`contains(other)`	Contient l'autre élément.
`desc()`	Renvoie une expression de tri basée sur l'ordre décroissant de la colonne.
`desc_nulls_first()`	Retourne une expression de tri basée sur l'ordre décroissant de la colonne, et les valeurs nulles apparaissent avant les valeurs non nulles.
`desc_nulls_last()`	Renvoie une expression de tri basée sur l'ordre décroissant de la colonne, et les valeurs nulles apparaissent après les valeurs non nulles.
`dropFields(*fieldNames)`	Une expression qui supprime les champs de type StructType par nom.
`endswith(other)`	Chaîne se termine par.
`eqNullSafe(other)`	Test d'égalité sécurisé pour les valeurs nulles.
`getField(name)`	Une expression qui obtient un champ par nom dans un StructType.
`getItem(key)`	Une expression qui obtient un élément à la position ordinale d'une liste, ou qui obtient un élément par clé d'un dictionnaire.
`ilike(other)`	Expression SQL ILIKE (LIKE non sensible à la casse).
`isNaN()`	Vrai si l'expression actuelle est NaN.
`isNotNull()`	Vrai si l'expression actuelle n'est PAS nulle.
`isNull()`	Vrai si l'expression actuelle est nulle.
`isin(*cols)`	Une expression booléenne qui est évaluée à vrai si la valeur de cette expression est contenue dans les valeurs évaluées des arguments.
`like(other)`	Expression de type SQL.
`name(alias, *kwargs)`	Alias de `alias()`.
`otherwise(value)`	Évalue une liste de conditions et renvoie l'une des multiples expressions de résultat possibles.
`over(window)`	Définissez une colonne de fenêtrage.
`rlike(other)`	Expression SQL RLIKE (LIKE avec Regex).
`startswith(other)`	Chaîne start par.
`substr(startPos, length)`	Retourne une colonne qui est une sous-chaîne de la colonne.
`try_cast(dataType)`	Il s'agit d'une version spéciale de `cast` qui effectue la même opération, mais renvoie une valeur NULL au lieu de générer une erreur si la méthode d'appel lève une exception.
`when(condition, value)`	Évalue une liste de conditions et renvoie l'une des multiples expressions de résultat possibles.
`withField(fieldName, col)`	Une expression qui ajoute/remplace un champ dans StructType par son nom.

Méthode	Description
`alias(alias, *kwargs)`	Renvoie cette colonne avec un nouveau nom ou de nouveaux noms en tant qu'alias (dans le cas d'expressions qui renvoient plus d'une colonne, tel que explode).
`asc()`	Renvoie une expression de tri basée sur l'ordre croissant de la colonne.
`asc_nulls_first()`	Renvoie une expression de tri basée sur l'ordre croissant de la colonne, et les valeurs nulles sont renvoyées avant les valeurs non nulles.
`asc_nulls_last()`	Retourne une expression de tri basée sur l'ordre croissant de la colonne, et les valeurs nulles apparaissent après les valeurs non nulles.
`astype(dataType)`	Alias de `cast()`.
`between(lowerBound, upperBound)`	Vérifiez si les valeurs de la colonne actuelle se situent entre les bornes inférieure et supérieure spécifiées, incluses.
`bitwiseAND(other)`	Calculer l'opération ET binaire de cette expression avec une autre expression.
`bitwiseOR(other)`	Compute l'OR binaire de cette expression avec une autre expression.
`bitwiseXOR(other)`	Compute le XOR bit à bit de cette expression avec une autre expression.
`cast(dataType)`	Convertit la colonne en type `dataType`.
`contains(other)`	Contient l'autre élément.
`desc()`	Renvoie une expression de tri basée sur l'ordre décroissant de la colonne.
`desc_nulls_first()`	Retourne une expression de tri basée sur l'ordre décroissant de la colonne, et les valeurs nulles apparaissent avant les valeurs non nulles.
`desc_nulls_last()`	Renvoie une expression de tri basée sur l'ordre décroissant de la colonne, et les valeurs nulles apparaissent après les valeurs non nulles.
`dropFields(*fieldNames)`	Une expression qui supprime les champs de type StructType par nom.
`endswith(other)`	Chaîne se termine par.
`eqNullSafe(other)`	Test d'égalité sécurisé pour les valeurs nulles.
`getField(name)`	Une expression qui obtient un champ par nom dans un StructType.
`getItem(key)`	Une expression qui obtient un élément à la position ordinale d'une liste, ou qui obtient un élément par clé d'un dictionnaire.
`ilike(other)`	Expression SQL ILIKE (LIKE non sensible à la casse).
`isNaN()`	Vrai si l'expression actuelle est NaN.
`isNotNull()`	Vrai si l'expression actuelle n'est PAS nulle.
`isNull()`	Vrai si l'expression actuelle est nulle.
`isin(*cols)`	Une expression booléenne qui est évaluée à vrai si la valeur de cette expression est contenue dans les valeurs évaluées des arguments.
`like(other)`	Expression de type SQL.
`name(alias, *kwargs)`	Alias de `alias()`.
`otherwise(value)`	Évalue une liste de conditions et renvoie l'une des multiples expressions de résultat possibles.
`over(window)`	Définissez une colonne de fenêtrage.
`rlike(other)`	Expression SQL RLIKE (LIKE avec Regex).
`startswith(other)`	Chaîne start par.
`substr(startPos, length)`	Retourne une colonne qui est une sous-chaîne de la colonne.
`try_cast(dataType)`	Il s'agit d'une version spéciale de `cast` qui effectue la même opération, mais renvoie une valeur NULL au lieu de générer une erreur si la méthode d'appel lève une exception.
`when(condition, value)`	Évalue une liste de conditions et renvoie l'une des multiples expressions de résultat possibles.
`withField(fieldName, col)`	Une expression qui ajoute/remplace un champ dans StructType par son nom.

Opérateurs

La classe Column prend en charge les opérateurs Python standard pour les Opérations arithmétiques, de comparaison et logiques :

Arithmétique : +, -, *, /, %, **
Comparaison : ==, !=, <, <=, >, >=
Logique : & (AND), | (OR), ~ (NOT)

Exemples

Pour d'autres exemples simples qui illustrent l'utilisation des colonnes, consultez Opérations sur les colonnes.

Créer des instances de colonne

Sélectionnez une colonne d'un DataFrame :

Python
df = spark.createDataFrame(
    [(2, "Alice"), (5, "Bob")], ["age", "name"])

# Access by attribute
df.name
# Column<'name'>

# Access by bracket notation
df["name"]
# Column<'name'>

Créer une colonne à partir d'une expression :

Python
df.age + 1
# Column<...>

1 / df.age
# Column<...>

Opérations de colonne de base

Python
# Arithmetic operations
df.select(df.age + 10).show()

# Comparison operations
df.filter(df.age > 3).show()

# String operations
df.filter(df.name.startswith("A")).show()

# Null checking
df.filter(df.name.isNotNull()).show()

Logique conditionnelle

Python
from pyspark.sql import functions as F

df.select(
    F.when(df.age < 3, "child")
     .when(df.age < 13, "kid")
     .otherwise("adult")
     .alias("age_group")
).show()

Tri

Python
df.orderBy(df.age.desc()).show()
df.orderBy(df.age.asc_nulls_last()).show()

Syntaxe​

Méthodes​

Opérateurs​

Exemples​

Créer des instances de colonne​

Opérations de colonne de base​

Logique conditionnelle​

Tri​