清除缓存

从内存中缓存中删除所有缓存表。

Syntax

clearCache()

注释

缓存的数据在群集上的所有 Spark 会话之间共享,因此清除缓存会影响所有会话。

示例

_ = spark.sql("DROP TABLE IF EXISTS tbl1")
_ = spark.sql("CREATE TABLE tbl1 (name STRING, age INT) USING parquet")
spark.catalog.clearCache()
spark.catalog.isCached("tbl1")
# False
_ = spark.sql("DROP TABLE tbl1")