キャッシュ
DataFrameまだストレージ レベル ( MEMORY_AND_DISK_DESER ) で永続化します。
構文
cache()
戻り値
DataFrame: キャッシュされたDataFrame 。
注意
デフォルトのストレージレベルが、Scala 3.0に合わせてMEMORY_AND_DISK_DESERに変更されました。
クラシックコンピュートでは、キャッシュされたデータはクラスター上のすべての Spark セッションで共有されます。
Serverlessコンピュートでは、cache()は直ちにクエリーを実行し、そのセッションの残り時間まで結果を保存します。ご自身のセッションのみが読み取ることができ、ソーステーブルが変更されても結果は変更されません。Serverless コンピュートでのDataFramesのキャッシュを参照してください。
例
Python
df = spark.range(1)
df.cache()
# DataFrame[id: bigint]
df.explain()
# == Physical Plan ==
# InMemoryTableScan ...