ドロップナ

null値またはNaN値を含む行を除外した新しいDataFrameを返します。DataFrame.dropnaとDataFrameNaFunctions.dropは互いの別名です。

構文

dropna(how: str = "any", thresh: Optional[int] = None, subset: Optional[Union[str, Tuple[str, ...], List[str]]] = None)

パラメーター

パラメーター	Type	説明
how	str型、オプション、デフォルト値は「any」	「any」または「all」のいずれかの値をとることができます。「any」の場合、null値を含む行は削除する。「all」の場合、行のすべての値がnullである場合にのみ、その行を削除します。
thresh	int、オプション、デフォルト値なし	指定されている場合、 thresh未満の非null値を持つ行を削除します。これにより、 how問題が上書きされます。
subset	文字列、タプル、またはリスト（省略可能）	検討対象となる列名のリスト（任意）。

戻り値

DataFrame: null値のみを含む行を除外したDataFrame 。

例

Python

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80.0, name="Alice"),
    Row(age=5, height=float("nan"), name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=float("nan"), name=None),
])

df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# +---+------+-----+

df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# |  10|  80.0|Alice|
# |   5|   NaN|  Bob|
# |NULL|  NULL|  Tom|
# +----+------+-----+

df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+