在此 Azure Batch 服务核心组件的概述中,我们将讨论 Batch 开发人员可用于生成大规模并行计算解决方案的高级工作流,以及使用的主要服务资源。
无论是开发发布直接 REST API 调用的分布式计算应用程序或服务,还是使用另一个 Batch SDK,都会使用此处讨论的许多资源和功能。
小窍门
有关 Batch 服务的更高级别简介,请参阅 什么是 Azure Batch?。 另请参阅最新的 Batch 服务更新。
基本工作流
以下高级工作流通常是使用 Batch 服务处理并行工作负荷的几乎所有应用程序和服务:
- 将要处理的 数据文件 上传到 Azure 存储帐户 。 Batch 包括对访问 Azure Blob 存储的内置支持,任务可以在运行任务时将这些文件下载到 计算节点 。
- 上传您的任务将运行的应用程序文件。 这些文件可以是二进制文件或脚本及其依赖项,并由作业中的任务执行。 任务可以从存储帐户下载这些文件,也可以使用 Batch 的应用程序包 功能进行应用程序管理和部署。
- 创建计算节点 池 。 创建池时,可以指定池的计算节点数、其大小和作系统。 运行作业中的每个任务时,会将任务分配到池中的某个节点以执行。
- 创建 作业。 作业管理任务的集合。 你可以将每个作业关联到要运行该作业的任务的特定池。
- 将任务添加到作业。 每个任务运行上传的应用程序或脚本,以处理从存储帐户下载的数据文件。 完成每个任务后,它可以将其输出上传到 Azure 存储。
- 监视作业进度并从 Azure 存储中检索任务输出。
注释
需要使用 Batch 帐户 才能使用 Batch 服务。 大多数 Batch 解决方案还使用关联的 Azure 存储帐户 进行文件存储和检索。
批处理服务资源
以下主题讨论支持分布式计算方案的 Batch 资源。
后续步骤
- 了解适用于生成批处理解决方案的批处理 API 和工具。
- 了解使用批处理 .NET 客户端库或 Python 开发支持批处理的应用程序的基本概念。 这些快速入门指导你完成一个示例应用程序,该应用程序使用 Batch 服务在多个计算节点上执行工作负荷,并包括使用 Azure 存储进行工作负荷文件暂存和检索。
- 下载并安装 Batch Explorer ,以便在开发 Batch 解决方案时使用。 使用 Batch Explorer 帮助创建、调试和监视 Azure Batch 应用程序。
- 请参阅社区资源,包括 Stack Overflow、 Batch 社区存储库和 Azure Batch 论坛。