dropna

Renvoie un nouveau DataFrame en omettant les lignes avec des valeurs nulles ou NaN. DataFrame.dropna et DataFrameNaFunctions.drop sont des alias l'un de l'autre.

Syntaxe

dropna(how: str = "any", thresh: Optional[int] = None, subset: Optional[Union[str, Tuple[str, ...], List[str]]] = None)

parameter

parameter	Type	Description
how	str, optional, default 'any'	les valeurs qui peuvent être 'n'importe laquelle' ou 'toutes'. Si « any », supprimez une ligne si elle contient des valeurs nulles. Si « all », supprimez une ligne uniquement si toutes ses valeurs sont nulles.
thresh	entier, facultatif, par défaut default	Si spécifié, supprimez les lignes qui ont moins de thresh valeurs non nulles. Ceci écrase le paramètre how.
subset	chaîne, tuple ou liste, facultatif	Liste facultative de noms de colonne à prendre en compte.

parameter	Type	Description
how	str, optional, default 'any'	les valeurs qui peuvent être 'n'importe laquelle' ou 'toutes'. Si « any », supprimez une ligne si elle contient des valeurs nulles. Si « all », supprimez une ligne uniquement si toutes ses valeurs sont nulles.
thresh	entier, facultatif, par défaut default	Si spécifié, supprimez les lignes qui ont moins de thresh valeurs non nulles. Ceci écrase le paramètre how.
subset	chaîne, tuple ou liste, facultatif	Liste facultative de noms de colonne à prendre en compte.

Renvoie

DataFrame: DataFrame avec les lignes nulles uniquement exclues.

Exemples

Python

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80.0, name="Alice"),
    Row(age=5, height=float("nan"), name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=float("nan"), name=None),
])

df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# +---+------+-----+

df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# |  10|  80.0|Alice|
# |   5|   NaN|  Bob|
# |NULL|  NULL|  Tom|
# +----+------+-----+

df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+