函数
适用于: Databricks Runtime
Spark SQL 提供了两个函数功能来满足各种需求:内置函数和用户定义函数 (UDF)。
若要了解函数解析和函数调用,请参阅:函数调用。
内置函数
本文介绍了用于聚合、数组和映射、日期和时间戳以及 JSON 数据的常用内置函数类别的用法和说明。
SQL 和 Python 用户定义的函数
SQL 和 Python 用户定义的函数 (UDF) 是你可以自行定义的函数,它会返回标量值或结果集。
有关详细信息,请参阅 CREATE FUNCTION (SQL、Python)。
外部用户定义的函数
利用 UDF 可以在系统内置函数不足以执行所需任务时定义自己的函数。 若要使用 UDF,请先定义函数,然后将函数注册到 Spark 中,最后调用已注册的函数。 UDF 可以对单个行执行操作,也可以一次对多个行执行操作。 Spark SQL 还支持与 UDF、用户定义的聚合函数 (UDAF) 和用户定义的表函数 (UDTF) 的现有 Hive 实现集成。