メインコンテンツまでスキップ

ランダム分割

指定された重みでこのDataFrameをランダムに分割します。

構文

randomSplit(weights: List[float], seed: Optional[int] = None)

パラメーター

パラメーター

Type

説明

weights

list

DataFrameを分割するための重みとして使用されるdouble型の値のリスト。重みの合計が1.0にならない場合は、重みは正規化されます。

seed

整数、オプション

サンプリングの種。

戻り値

リスト: DataFramesのリスト。

Python
from pyspark.sql import Row
df = spark.createDataFrame([
Row(age=10, height=80, name="Alice"),
Row(age=5, height=None, name="Bob"),
Row(age=None, height=None, name="Tom"),
Row(age=None, height=None, name=None),
])

splits = df.randomSplit([1.0, 2.0], 24)
splits[0].count()
# 2
splits[1].count()
# 2
このページの見出し