Spark 提交任务弃用通知和迁移指南

为什么 Spark Submit 已弃用？

由于 JAR、Notebook 或 Python 脚本任务中不存在的技术限制和功能差距，Spark 提交任务类型已被弃用。 这些任务提供与 Databricks 功能更好的集成、改进的性能和可靠性。

弃用措施

Databricks 正在实施与即将淘汰相关的以下措施：

• 受限创建：仅从 2025 年 11 月开始使用 Spark 提交 任务的用户才能创建新的 Spark 提交 任务。 如果您需要特殊豁免，请联系您的账户支持。
• API 弃用通知：尝试创建或编辑 Spark 提交 任务的 API 请求可能会被随机拒绝，以处理弃用通知。 重试具有相同参数的请求，直到它们成功。
• DBR 版本限制： Spark 提交 使用仅限于现有 DBR 版本和维护版本。 使用 Spark Submit 的现有 DBR 版本将继续接收安全和 bugfix 维护版本，直到功能完全关闭。 DBR 17.3+ 和 18.x+ 不支持此任务类型。
• UI 警告：整个 Databricks UI 中会出现警告，当 Spark 提交 任务在使用时，通信将发送给属于现有用户帐户的工作区管理员。

将 JVM 工作负荷迁移到 JAR 任务

对于 JVM 工作负荷，请将 Spark 提交 任务迁移到 JAR 任务。 JAR 任务提供更好的功能支持和与 Databricks 的集成。

按照以下步骤迁移：

1. 在作业中创建新的 JAR 任务。
2. 在 Spark 提交 任务参数中，标识前三个参数。 它们通常遵循以下模式： ["--class", "org.apache.spark.mainClassName", "dbfs:/path/to/jar_file.jar"]
3. 删除--class参数。
4. 将主类名称（例如） org.apache.spark.mainClassName设置为 JAR 任务的 Main 类 。
5. 在 JAR 任务配置中提供 JAR 文件的路径（例如 dbfs:/path/to/jar_file.jar）。
6. 将 Spark 提交 任务中的任何剩余参数复制到 JAR 任务参数。
7. 运行 JAR 任务并验证它是否按预期工作。

有关配置 JAR 任务的详细信息，请参阅 JAR 任务。

迁移 R 工作负荷

如果要直接从 Spark 提交 任务启动 R 脚本，则可以使用多个迁移路径。

选项 A：使用笔记本任务

将 R 脚本迁移到 Databricks 笔记本。 笔记本任务支持一组完整的功能，包括群集自动缩放，并更好地与 Databricks 平台集成。

选项 B：从笔记本任务启动 R 脚本

使用 Notebook 任务启动 R 脚本。 使用以下代码创建笔记本，并将 R 文件引用为作业参数。 根据需要修改以添加 R 脚本使用的参数：

dbutils.widgets.text("script_path", "", "Path to script")
script_path <- dbutils.widgets.get("script_path")
source(script_path)

需要帮助？

如果需要其他帮助，请联系帐户支持人员。