按给定列对数据进行聚类分析,以优化查询性能。
Syntax
clusterBy(*cols)
参数
| 参数 | 类型 | Description |
|---|---|---|
*cols |
str 或 list | 要分类的列的名称。 |
退货
DataFrameWriter
示例
使用群集将 DataFrame 写入 Parquet 文件。
import tempfile
with tempfile.TemporaryDirectory(prefix="clusterBy") as d:
spark.createDataFrame(
[{"age": 100, "name": "Alice"}, {"age": 120, "name": "Ruifeng Zheng"}]
).write.clusterBy("name").mode("overwrite").format("parquet").save(d)