Compartir a través de

theta_union

使用 Datasketches Union 对象合并 Datasketches ThetaSketch 对象的两个二进制表示形式。

Syntax

from pyspark.sql import functions as sf

sf.theta_union(col1, col2, lgNomEntries=None)

参数

参数 类型 Description
col1 pyspark.sql.Column 或 str 第一个 Theta 草图。
col2 pyspark.sql.Column 或 str 第二个 Theta 草图。
lgNomEntries pyspark.sql.Column 或 int，可选 联合作名义条目的 log-base-2（必须介于 4 到 26 之间，默认值为 12）。

退货

pyspark.sql.Column：合并的 ThetaSketch 的二进制表示形式。

例子

示例 1：联合两个 Theta 草图

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.theta_sketch_agg("v1").alias("sketch1"),
    sf.theta_sketch_agg("v2").alias("sketch2")
)
df.select(sf.theta_sketch_estimate(sf.theta_union(df.sketch1, "sketch2"))).show()

+--------------------------------------------------------+
|theta_sketch_estimate(theta_union(sketch1, sketch2, 12))|
+--------------------------------------------------------+
|                                                       6|
+--------------------------------------------------------+
  • Last updated on