经典作业要求创建和配置符合数据转换方案需求的经典计算资源。
Azure Databricks建议对大多数作业工作负荷使用无服务器计算。 无服务器计算管理所有基础结构,并消除了特定计算配置的需求。 请参阅 使用适用于工作流的无服务器计算运行 Lakeflow 作业。
如果无服务器不支持您的工作负载,请使用 经典计算配置最佳做法 中所述的通用经典计算最佳做法,并查阅本页上的作业专用指南。
注释
结构化流式处理工作流具有特定配置建议。 请参阅结构化流式处理的生产注意事项。
使用作业计算,而不是通用计算
出于以下原因,Azure Databricks建议禁止对作业使用通用计算:
- Azure Databricks 按与作业计算不同的费率为通用计算计费。
- 作业计算在作业运行完成后自动终止。 通用计算支持自动终止,并且这种终止与非活动状态相关联,而不是与作业运行结束相关联。
- 通用计算通常会跨用户团队共享。 计划在通用计算资源上执行的作业通常由于计算资源竞争而导致延迟增加。
- 优化作业计算配置的许多建议不适用于在通用计算上运行的临时查询和交互式工作负载类型。
少数例外
以下是您可能会选择使用通用计算来处理作业的情况:
- 你正在迭代开发或测试新作业。 作业计算的启动时间可能使得迭代开发变得繁琐。 使用通用计算有助于快速应用更改和运行作业。
- 你有一些短期作业,它们必须经常或按特定计划运行。 没有与当前运行的通用计算任务关联的启动时间。 如果使用此模式,请注意与空闲时间相关的成本。
建议将用于作业的无服务器计算作为大多数任务类型的推荐替代方案,针对通用计算运行。
作业专属计算策略
Azure Databricks建议工作区管理员为作业定义计算策略,并为配置作业的所有用户强制实施这些策略。
Azure Databricks 为作业配置了默认策略。 管理员可以将此策略提供给其他工作区用户使用。 请参阅 作业计算。