函数

  • 项目

适用于：check marked yes Databricks Runtime

Spark SQL 提供了两个函数功能来满足各种需求：内置函数和用户定义函数 (UDF)。

若要了解函数解析和函数调用，请参阅：函数调用。

内置函数

本文介绍了用于聚合、数组和映射、日期和时间戳以及 JSON 数据的常用内置函数类别的用法和说明。

SQL 和 Python 用户定义的函数

SQL 和 Python 用户定义的函数 (UDF) 是你可以自行定义的函数，它会返回标量值或结果集。

有关详细信息，请参阅 CREATE FUNCTION (SQL、Python)。

外部用户定义的函数

利用 UDF 可以在系统内置函数不足以执行所需任务时定义自己的函数。 若要使用 UDF，请先定义函数，然后将函数注册到 Spark 中，最后调用已注册的函数。 UDF 可以对单个行执行操作，也可以一次对多个行执行操作。 Spark SQL 还支持与 UDF、用户定义的聚合函数 (UDAF) 和用户定义的表函数 (UDTF) 的现有 Hive 实现集成。