説明する

デバッグ目的で、（論理プランと物理プランの）内容をコンソールに出力します。

構文

explain(extended: Optional[Union[bool, str]] = None, mode: Optional[str] = None)

パラメーター

パラメーター	Type	説明
extended	ブール値、オプション	デフォルトはFalse 。Falseの場合、物理プランのみを出力します。これがmodeを指定しない文字列の場合、モードが指定されているとおりに動作します。
mode	文字列、オプション	プランの出力形式を指定します。simple : 物理的な図面のみを印刷します。extended : 論理プランと物理プランの両方を出力します。codegen : 物理プランと生成されたコードが利用可能な場合は、それらを印刷します。cost : 利用可能な場合は、論理プランと統計情報を出力します。formatted : explain の出力を、物理的なプランの概要とノードの詳細の 2 つのセクションに分割します。

例

Python

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.explain()
# == Physical Plan ==
# *(1) Scan ExistingRDD[age...,name...]

df.explain(extended=True)
# == Parsed Logical Plan ==
# ...
# == Analyzed Logical Plan ==
# ...
# == Optimized Logical Plan ==
# ...
# == Physical Plan ==
# ...

df.explain(mode="formatted")
# == Physical Plan ==
# * Scan ExistingRDD (...)
# (1) Scan ExistingRDD [codegen id : ...]
# Output [2]: [age..., name...]
# ...