取得(観測)
観測されたメトリクスを取得します。
観測対象のデータセットが最初のアクションを完了するまで待機します。最初のアクションの結果のみが利用可能です。その後の操作は結果に影響を与えません。
構文
get
戻り値
dict
例
Python
from pyspark.sql.functions import col, count, lit, max
from pyspark.sql import Observation
df = spark.createDataFrame([["Alice", 2], ["Bob", 5]], ["name", "age"])
observation = Observation("my metrics")
observed_df = df.observe(observation, count(lit(1)).alias("count"), max(col("age")))
observed_df.count()
# 2
observation.get
# {'count': 2, 'max(age)': 5}