分区转换函数:时间戳和日期的转换,将数据分区为年份。 支持 Spark Connect。
警告
在 4.0.0 中弃用。 请改用 partitioning.years。
Syntax
from pyspark.databricks.sql import functions as dbf
dbf.years(col=<col>)
参数
| 参数 | 类型 | Description |
|---|---|---|
col |
pyspark.sql.Column 或 str |
要处理的目标日期或时间戳列。 |
退货
pyspark.sql.Column:按年划分的数据。
例子
df.writeTo("catalog.db.table").partitionedBy(
years("ts")
).createOrReplace()
注释
此函数只能与 partitionedBy DataFrameWriterV2 方法结合使用。