在 Lakeflow 作业中使用 JAR

Java 存档或 JAR 文件格式基于常用的 ZIP 文件格式,用于将多个 Java 或 Scala 文件聚合为一个。 使用 JAR 任务,可以确保在 Lakeflow 作业中快速可靠地安装 Java 或 Scala 代码。 本页介绍如何创建运行 JAR 中打包的 Scala 应用程序的作业。

要求

  • 与计算群集的 Databricks Runtime 兼容的 Scala JAR。 若要创建可打印传递给 JAR 的作业参数列表的兼容 Scala JAR,请参阅 生成 JAR

步骤 1. 上传您的 JAR

将您创建的 JAR 上传到工作空间中的卷。 请参阅将文件上传到 Unity Catalog 卷

如果使用具有标准访问权限的计算,则需要管理员将 JAR 库的 Maven 坐标和路径添加到允许列表。 请参阅在采用标准访问模式(以前称为“共享访问模式”)的计算上将库和初始化脚本加入允许列表

步骤 2. 创建用于运行 JAR 的作业

  1. 在工作区中,单击工作流图标,然后在边栏中选择作业和管道

  2. 单击创建,然后选择作业

    任务 ”选项卡显示空任务窗格。

    注意

    如果 Lakeflow 作业 UION,请单击 JAR 磁贴以配置第一个任务。 如果 JAR 磁贴不可用,请单击“ 添加其他任务类型 ”并搜索 JAR

  3. (可选)将默认为 New Job <date-time>作业名称的作业名称替换为作业名称。

  4. 任务名称中,输入任务的名称,例如 JAR_example

  5. 如有必要,请从“类型”下拉菜单中选择 JAR

  6. 对于 Main 类,请输入 Jar 的包和类。 如果遵循了 “创建 Azure Databricks 兼容 JAR”中的示例,请输入 com.example.SparkJar

  7. 对于 计算,请选择兼容的群集。

  8. 对于 依赖库,请单击 “加号”图标。添加

  9. “添加依赖库”对话框中,选择“卷”,在“卷文件路径”中输入您在上一步上传JAR的位置,或通过筛选和浏览以找到该JAR。 选择它。

  10. 单击“添加” 。

  11. 对于此示例,请输入 作为“参数”。["Hello", "World!"]

  12. 单击“创建任务”。

步骤 3:运行作业并查看作业运行详细信息

单击 立即运行按钮 以运行工作流。 若要查看运行详细信息,请在“已触发的运行”弹出窗口中单击“查看运行”,或者在作业运行视图中单击运行“开始时间”列中的链接。

运行完成后,输出会显示在“输出”面板中,其中包括传递给任务的参数。

后续步骤