通过

管理 Apache Spark 配置

  • 项目

在本教程中，你将了解如何为 Synapse Studio 创建 Apache Spark 配置。 可以以标准化方式管理创建的 Apache Spark 配置，并且在创建 Notebook 或 Apache Spark 作业定义时，可以选择要用于 Apache Spark 池的 Apache Spark 配置。 选择配置时，将显示配置的详细信息。

创建 Apache Spark 配置

可以从不同的入口点创建自定义配置，例如从现有 Spark 池的 Apache Spark 配置页。

在 Apache Spark 配置中创建自定义配置

按照以下步骤在 Synapse Studio 中创建 Apache Spark 配置。

  1. 选择“管理”>“Apache Spark 配置”。

  2. 单击“新建”按钮创建新的 Apache Spark 配置，或单击“导入”以将本地 .json 文件导入工作区。

  3. 单击“新建”按钮后，将打开“新建 Apache Spark 配置”页。

  4. 对于 “名称”，可以输入有效的首选名称。

  5. 对于“说明”，可以在其中输入一些说明。

  6. 对于“注释”，可以通过单击“新建”按钮来添加注释，还可以通过选择并单击“删除”按钮来删除现有注释。

  7. 对于“配置属性”，请通过单击“添加”按钮添加属性来自定义配置。 如果未添加属性，Azure Synapse 将使用默认值（如果适用）。

    Screenshot that create spark configuration.

  8. 单击“继续”按钮。

  9. 当验证成功时，单击“创建”按钮。

  10. 全部发布

注意

“上传 Apache Spark 配置”功能已被移除，但 Synapse Studio 将保留你之前上传的配置。

在现有的 Apache Spark 池中创建 Apache Spark 配置

按照以下步骤在现有 Apache Spark 池中创建 Apache Spark 配置。

  1. 选择现有的 Apache Spark 池，然后单击操作“...”按钮。

  2. 在内容列表中选择“Apache Spark 配置”。

    Screenshot that apache spark configuration.

  3. 对于 Apache Spark 配置，你可以从下拉列表中选择已创建的配置，或单击“+ 新建”以创建新配置。

    • 如果单击“ +新建”，则会打开“Apache Spark 配置”页，并按照在 Apache Spark 配置中创建自定义配置中的步骤创建新的配置。

    • 如果选择现有配置，则会在页面底部显示配置详细信息，也可以单击“编辑”按钮编辑现有配置。

      Screenshot that edit spark configuration.

  4. 单击“查看配置”以打开“选择配置”页。 所有配置都将在此页上显示。 你可以选择要在此 Apache Spark 池上使用的配置。

    Screenshot that select a configuration.

  5. 单击“应用”按钮以保存你的操作。

在笔记本的配置会话中创建 Apache Spark 配置

如果你在创建笔记本时需要使用自定义 Apache Spark 配置，你可以按照以下步骤在配置会话中创建和配置。

  1. 创建新笔记本/打开现有笔记本。

  2. 打开此笔记本的属性。

  3. 单击“配置会话”以打开“配置会话”页。

  4. 向下滚动“配置会话”页，针对 Apache Spark 配置展开下拉菜单，单击“新建”按钮以创建新配置。 或者，如果选择现有配置，请单击“编辑”图标转到“编辑 Apache Spark 配置”页以编辑配置。

  5. 单击“查看配置”以打开“选择配置”页。 所有配置都将在此页上显示。 可以选择要使用的配置。

    Screenshot that create configuration in configure session.

在 Apache Spark 作业定义中创建 Apache Spark 配置

在创建 Spark 作业定义时，需要使用 Apache Spark 配置，可以按照以下步骤创建：

  1. 创建一个新的/打开一个现有的 Apache Spark 作业定义。

  2. 对于“Apache Spark 配置”，可以单击“新建”按钮来创建新配置。 或者，如果在下拉菜单中选择现有配置，请单击“编辑”图标转到“编辑 Apache Spark 配置”页以编辑配置。

  3. 单击“查看配置”以打开“选择配置”页。 所有配置都将在此页上显示。 可以选择要使用的配置。

    Screenshot that create configuration in spark job definitions.

注意

如果果笔记本和 Apache Spark 作业订阅中的 Apache Spark 配置不执行任何特殊操作，则运行作业时将使用默认配置。

导入和导出 Apache Spark 配置

可以采用三种格式导入 .txt/.conf/.json 配置，然后将其转换为项目并发布。 还可以导出为这三种格式之一。

  • 从本地导入.txt/.conf/.json 配置。

    Screenshot that import config.

  • 将.txt/.conf/.json 配置导出到本地。

    Screenshot that export config.

对于.txt 配置文件和 .conf 配置文件，可以参考以下示例：


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

对于 .json 配置文件，可以参考以下示例：

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

后续步骤