管理 Apache Spark 配置

项目
12/23/2024

本文介绍了如何为 Synapse Studio 创建 Apache Spark 配置。可以以标准化方式管理创建的 Apache Spark 配置，并且在创建 Notebook 或 Apache Spark 作业定义时，可以选择要用于 Apache Spark 池的 Apache Spark 配置。选择配置时，将显示配置的详细信息。

创建 Apache Spark 配置

可以从不同的入口点创建自定义配置，例如从现有 Spark 池的 Apache Spark 配置页。

在 Apache Spark 配置中创建自定义配置

按照以下步骤在 Synapse Studio 中创建 Apache Spark 配置。

选择“管理”>“Apache Spark 配置”。
选择“新建”按钮创建新的 Apache Spark 配置，或选择“导入”以将本地 .json 文件导入工作区。
选择“新建”按钮后，将打开“新建 Apache Spark 配置”页。
对于 “名称”，可以输入有效的首选名称。
对于“说明”，可以在其中输入一些说明。
对于“注释”，可以通过单击“新建”按钮来添加注释，还可以通过选择并单击“删除”按钮来删除现有注释。
对于“配置属性”，请通过单击“添加”按钮添加属性来自定义配置。如果未添加属性，Azure Synapse 将使用默认值（如果适用）。
选择“继续”按钮。
当验证成功时，选择“创建”按钮。
全部发布。

注意

已移除“上传 Apache Spark 配置”功能。

需要更新使用上传配置的池。通过选择现有配置或在池的“Apache Spark 配置”菜单中创建新配置来更新池的配置。如果未选择新配置，将使用 Spark 系统设置中的默认配置运行这些池的作业。

在现有的 Apache Spark 池中创建 Apache Spark 配置

按照以下步骤在现有 Apache Spark 池中创建 Apache Spark 配置。

选择现有的 Apache Spark 池，然后选择操作“...”按钮。
在内容列表中选择“Apache Spark 配置”。
对于 Apache Spark 配置，可以从下拉列表中选择已创建的配置，也可选择“+ 新建”以创建新配置。
- 如果选择“+ 新建”，则会打开“Apache Spark 配置”页，可按照在 Apache Spark 配置中创建自定义配置中的步骤创建新的配置。
- 如果选择现有配置，则会在页面底部显示配置详细信息，也可以选择“编辑”按钮编辑现有配置。
选择“查看配置”以打开“选择配置”页。所有配置都将在此页上显示。你可以选择要在此 Apache Spark 池上使用的配置。
选择“应用”按钮以保存你的操作。

在笔记本的配置会话中创建 Apache Spark 配置

如果你在创建笔记本时需要使用自定义 Apache Spark 配置，你可以按照以下步骤在配置会话中创建和配置。

创建新笔记本/打开现有笔记本。
打开此笔记本的属性。
选择“配置会话”以打开“配置会话”页。
向下滚动“配置会话”页，对于 Apache Spark 配置，展开下拉菜单，可以选择“新建”按钮以创建新配置。也可选择现有配置，如果选择现有配置，请选择“编辑”图标转到“编辑 Apache Spark 配置”页以编辑配置。
选择“查看配置”以打开“选择配置”页。所有配置都将在此页上显示。可以选择要使用的配置。

在 Apache Spark 作业定义中创建 Apache Spark 配置

在创建 Spark 作业定义时，需要使用 Apache Spark 配置，可以按照以下步骤创建该配置：

创建一个新的/打开一个现有的 Apache Spark 作业定义。
对于“Apache Spark 配置”，可以选择“新建”按钮来创建新配置。也可在下拉菜单中选择现有配置，如果选择现有配置，请选择“编辑”图标转到“编辑 Apache Spark 配置”页以编辑配置。
选择“查看配置”以打开“选择配置”页。所有配置都将在此页上显示。可以选择要使用的配置。

注意

如果果笔记本和 Apache Spark 作业订阅中的 Apache Spark 配置不执行任何特殊操作，则运行作业时将使用默认配置。

导入和导出 Apache Spark 配置

可以采用三种格式导入 .txt/.conf/.json 配置，然后将其转换为项目并发布。还可以导出为这三种格式之一。

从本地导入.txt/.conf/.json 配置。
将.txt/.conf/.json 配置导出到本地。

对于.txt 配置文件和 .conf 配置文件，可以参考以下示例：


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

对于 .json 配置文件，可以参考以下示例：

{
"configs": {
   "spark.synapse.key1": "hello world",
"spark.synapse.key2": "true"
},
"annotations": [
   "Sample"
]
}

注意

Synapse Studio 将继续支持基于 terraform 或 bicep 的配置文件。

通过