explicar

Imprime os planos (lógicos e físicos) no console para fins de depuração.

Sintaxe

explain(extended: Optional[Union[bool, str]] = None, mode: Optional[str] = None)

Parâmetros

Parâmetro	Tipo	Descrição
extended	booleano, opcional	default False. Se False, imprime apenas a planta física. Quando se trata de uma string sem especificar o mode, funciona conforme o modo especificado.
mode	str, opcional	Especifica o formato de saída esperado dos planos. simple: Imprima apenas uma planta física. extended: Imprima os planos lógico e físico. codegen: Imprima um plano físico e os códigos gerados, se disponíveis. cost: Imprima um plano lógico e estatísticas se estiverem disponíveis. formatted: Dividir a saída do explain em duas seções: um esboço do plano físico e detalhes do nó.

Exemplos

Python

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.explain()
# == Physical Plan ==
# *(1) Scan ExistingRDD[age...,name...]

df.explain(extended=True)
# == Parsed Logical Plan ==
# ...
# == Analyzed Logical Plan ==
# ...
# == Optimized Logical Plan ==
# ...
# == Physical Plan ==
# ...

df.explain(mode="formatted")
# == Physical Plan ==
# * Scan ExistingRDD (...)
# (1) Scan ExistingRDD [codegen id : ...]
# Output [2]: [age..., name...]
# ...