用于分区 ID 的列。
Syntax
from pyspark.sql import functions as sf
sf.spark_partition_id()
退货
pyspark.sql.Column：记录所属的分区 ID。
例子
示例 1：获取每行的分区 ID
from pyspark.sql import functions as sf
spark.range(10, numPartitions=5).select("*", sf.spark_partition_id()).show()
+---+--------------------+
| id|SPARK_PARTITION_ID()|
+---+--------------------+
| 0| 0|
| 1| 0|
| 2| 1|
| 3| 1|
| 4| 2|
| 5| 2|
| 6| 3|
| 7| 3|
| 8| 4|
| 9| 4|
+---+--------------------+