sampleBy (DataFrameStatFunctions)
各層で指定された割合に基づいて、非復元抽出による層別標本を返します。
構文
sampleBy(col, fractions, seed=None)
パラメーター
パラメーター | Type | 説明 |
|---|---|---|
| str | 階層を定義する列。 |
| 辞書 | 各層における標本抽出率。指定されていない層は、割合がゼロとして扱われます。 |
| 整数、オプション | 乱数シード。 |
戻り値
DataFrame
例
Python
from pyspark.sql import functions as sf
dataset = spark.range(0, 100, 1, 5).select((sf.col("id") % 3).alias("key"))
sampled = dataset.stat.sampleBy("key", fractions={0: 0.1, 1: 0.2}, seed=0)
sampled.groupBy("key").count().orderBy("key").show()
# +---+-----+
# |key|count|
# +---+-----+
# | 0| 4|
# | 1| 9|
# +---+-----+