持久化

设置存储级别,以在首次计算数据帧后跨操作保留数据帧的内容。 仅当 DataFrame 尚未设置存储级别时,这才可用于分配新的存储级别。 如果未指定存储级别,则默认为 (MEMORY_AND_DISK_DESER)。

Syntax

persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)

参数

参数 类型 Description
storageLevel StorageLevel 要为持久性设置的存储级别。 默认值为MEMORY_AND_DISK_DESER。

退货

DataFrame:持久化数据帧。

注释

默认存储级别已更改为 MEMORY_AND_DISK_DESER 匹配 3.0 中的 Scala。

在经典计算中,缓存数据会在集群上的所有 Spark 会话间共享。

在无服务器计算中, persist() 行为与 相同 cache() ,且忽略 storageLevel。 它会立即运行查询,并存储结果以供会话剩余时间使用。 参见 在无服务器计算上缓存 DataFrame。

示例

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...

from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]