Apache Spark API 参考

Azure Databricks 基于 Apache Spark 构建，是用于大数据和机器学习的统一分析引擎。 有关详细信息，请参阅 Azure Databricks 上的 Apache Spark。

Apache Spark 具有用于操作大型数据集的 DataFrame API，其中包括 100 多个运算符。 有关详细信息，请参阅 Databricks PySpark API 参考。

• 适用于 Python 开发人员的 PySpark API。 请参阅教程：在 PySpark 数据帧中加载和转换数据。 关键类包括：
  • SparkSession - 使用数据集和数据帧 API 对 Spark 进行编程的入口点。
  • 数据帧 - 已分组到命名列的分布式数据集合。 请参阅数据帧和基于数据帧的 MLlib。
• 面向 R 开发人员的 SparkR 概述。 关键类包括：
  • SparkSession - SparkSession 是 SparkR 的入口点。 请参阅起点：SparkSession。
  • Spark 数据帧 - 已分组到命名列的分布式数据集合。 请参阅数据集和数据帧、创建数据帧和创建 Spark 数据帧。
• Scala API。 关键类包括：
  • SparkSession - 使用数据集和数据帧 API 对 Spark 进行编程的入口点。 请参阅起点：SparkSession。
  • 数据集 - 域特定对象的强类型集合，可以使用函数或关系操作并行转换。 每个 Dataset 还有一个名为 DataFrame（即行的 Dataset）的非类型化视图。 请参阅数据集和数据帧、创建数据集、创建数据帧和数据帧函数。
• Java API。 关键类包括：
  • SparkSession - 使用数据集和数据帧 API 对 Spark 进行编程的入口点。 请参阅起点：SparkSession。
  • 数据集 - 域特定对象的强类型集合，可以使用函数或关系操作并行转换。 每个 Dataset 还有一个名为 DataFrame（即行的 Dataset）的非类型化视图。 请参阅数据集和数据帧、创建数据集、创建数据帧和数据帧函数。

要了解如何在 Azure Databricks 上使用 Apache Spark API，请参阅：

• 适用于 Python 开发人员的 Azure Databricks
• 适用于 R 开发人员的 Azure Databricks
• 适用于 Scala 开发人员的 Azure Databricks
• 对于 Java，可以将 Java 代码作为 JAR 作业运行。