ドロップ（DataFrameNaFunctions）

null値またはNaN値を含む行を除外した新しいDataFrameを返します。DataFrame.dropnaとDataFrameNaFunctions.dropは互いの別名です。

構文

drop(how='any', thresh=None, subset=None)

パラメーター

パラメーター	Type	説明
how	文字列、オプション	行にnull値が1つでも含まれている場合に削除するか、すべての値がnullの場合のみ削除するか。許容値は'any' （デフォルト）と'all'です。threshが指定されている場合、 howは無視されます。
thresh	整数、オプション	指定されている場合、 thresh未満の非ヌル値を持つ行を削除します。howを上書きします。
subset	文字列、タプル、またはリスト（省略可能）	null値またはNaN値をチェックする際に考慮すべき列名。

戻り値

DataFrame

例

Python

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80.0, name="Alice"),
    Row(age=5, height=float("nan"), name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=float("nan"), name=None),
])

null値またはNaN値が含まれている行は削除します。

Python

df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# +---+------+-----+

すべての値がnullまたはNaNの場合にのみ、その行を削除します。

Python

df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# |  10|  80.0|Alice|
# |   5|   NaN|  Bob|
# |NULL|  NULL|  Tom|
# +----+------+-----+

非ヌル値および非NaN値がthresh未満の行を削除します。

Python

df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+

指定された列にnull値とNaN値が含まれる行を削除します。

Python

df.na.drop(subset=['age', 'name']).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+