解除持久化

将 DataFrame 标记为非持久性,并从内存和磁盘中删除其所有块。

Syntax

unpersist(blocking: bool = False)

参数

参数 类型 Description
blocking 布尔 是否阻止,直到删除所有块。

退货

DataFrame:未压缩的数据帧。

注释

blocking 默认值已更改为 False 匹配 2.0 中的 Scala。

在经典计算中,缓存数据会在集群上的所有 Spark 会话间共享,因此如果不持久,缓存会影响所有会话。

在无服务器计算中,标记 unpersist() 缓存结果为可回收,忽略 blocking。 之后,DataFrame及其衍生的数据帧就无法再使用。 参见 在无服务器计算上缓存 DataFrame。

示例

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]