メインコンテンツまでスキップ

パーティションの復元

指定されたテーブルのすべてのパーティションを復元し、カタログを更新します。

構文

recoverPartitions(tableName: str)

パラメーター

パラメーター

Type

説明

tableName

str

取得するテーブルの名前。

注意

パーティション化されたテーブルでのみ機能し、ビューでは機能しません。

Python
# The example below creates a partitioned table against the existing directory of
# the partitioned table. After that, it recovers the partitions.
import tempfile
with tempfile.TemporaryDirectory(prefix="recoverPartitions") as d:
_ = spark.sql("DROP TABLE IF EXISTS tbl1")
spark.range(1).selectExpr(
"id as key", "id as value").write.partitionBy("key").mode("overwrite").save(d)
_ = spark.sql(
"CREATE TABLE tbl1 (key LONG, value LONG)"
"USING parquet OPTIONS (path '{}') PARTITIONED BY (key)".format(d))
spark.table("tbl1").show()
spark.catalog.recoverPartitions("tbl1")
spark.table("tbl1").show()
# +-----+---+
# |value|key|
# +-----+---+
# +-----+---+
# +-----+---+
# |value|key|
# +-----+---+
# | 0| 0|
# +-----+---+
_ = spark.sql("DROP TABLE tbl1")
このページの見出し