メインコンテンツまでスキップ

キャッシュ

DataFrameまだストレージ レベル ( MEMORY_AND_DISK_DESER ) で永続化します。

構文​

cache()

戻り値​

DataFrame: キャッシュされたDataFrame 。

注意​

デフォルトのストレージレベルが、Scala 3.0に合わせてMEMORY_AND_DISK_DESERに変更されました。

クラシックコンピュートでは、キャッシュされたデータはクラスター上のすべての Spark セッションで共有されます。

Serverlessコンピュートでは、cache()は直ちにクエリーを実行し、そのセッションの残り時間まで結果を保存します。ご自身のセッションのみが読み取ることができ、ソーステーブルが変更されても結果は変更されません。Serverless コンピュートでのDataFramesのキャッシュを参照してください。

例​

Python
df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...
このページの見出し