快速入门:使用 .NET 创建 Batch 池并运行作业
本快速入门通过运行一个使用 Azure Batch .NET API 的 C# 应用,展示了如何开始使用 Azure Batch。 .NET 应用会:
- 将多个输入数据文件上传到 Azure 存储 Blob 容器,以供用于 Batch 任务处理。
- 创建一个池,其中包含两个虚拟机 (VM) 或计算节点(均运行 Windows Server)。
- 创建一个作业,该作业在节点上运行任务,使用 Windows 命令行处理每个输入文件。
- 显示各个任务返回的输出文件。
完成本快速入门后,你将了解 Batch 服务的关键概念,并准备好将 Batch 用于更现实、更大规模的工作负载。
先决条件
具有活动订阅的 Azure 帐户。 如果没有,请创建一个试用版订阅。
Batch 帐户及其关联的 Azure 存储帐户。 你可以使用以下任一方法创建这些帐户:Azure CLI | Azure 门户 | Bicep | ARM 模板。
适用于 Linux 或 Windows 的 Visual Studio 2019(或更高版本)或 .NET 6.0(或更高版本)。
运行应用
为了完成本快速入门,请下载或克隆应用、提供帐户值、构建和运行应用,并验证输出内容。
下载或克隆该应用
从 GitHub 下载或克隆 Azure Batch .NET 快速入门应用。 若要使用 Git 客户端克隆应用存储库,请使用以下命令:
git clone https://github.com/Azure-Samples/batch-dotnet-quickstart.git
提供帐户信息
该应用需要使用 Batch 和存储帐户名称、帐户密钥值以及 Batch 帐户终结点。 你可以通过 Azure 门户、Azure API 或命令行工具获取这些信息。
若要从 Azure 门户获取帐户信息,请执行以下操作:
- 在 Azure 搜索栏中,搜索并选择你的 Batch 帐户名称。
- 在 Batch 帐户页面上,从左侧导航栏中选择“密钥”。
- 在“密钥”页面上,复制以下值:
- 批处理帐户
- 帐户终结点
- 主访问密钥
- 存储帐户名称
- Key1
导航到所下载的 batch-dotnet-quickstart 文件夹,并在 Program.cs 中编辑凭据字符串,以提供复制的值:
// Batch account credentials
private const string BatchAccountName = "<batch account>";
private const string BatchAccountKey = "<primary access key>";
private const string BatchAccountUrl = "<account endpoint>";
// Storage account credentials
private const string StorageAccountName = "<storage account name>";
private const string StorageAccountKey = "<key1>
重要
在实际使用时,不建议在应用源代码中公开帐户密钥。 正确的做法是限制对这些凭据的访问权限,通过使用变量或配置文件来在代码中引用它们。 最好是将 Batch 和存储帐户密钥存储在 Azure 密钥保管库中。
构建和运行应用并查看输出内容
若要 Batch 工作流的操作情况,请在 Visual Studio 中构建并运行应用程序。 还可使用命令行 dotnet build
和 dotnet run
命令。
在 Visual Studio 中:
打开 BatchDotNetQuickstart.sln 文件,右键单击解决方案资源管理器中的解决方案,然后选择“生成”。 如果出现提示,请使用 NuGet 包管理器来更新或还原 NuGet 包。
生成完成后,在顶部菜单栏中选择 BatchDotNetQuickstart 来运行应用。
采用默认配置的典型运行时间约为 5 分钟。 初始池节点设置花费的时间最多。 若要重新运行作业,请从以前的运行中删除作业,但不要删除池。 在预配置的池中,该作业数秒即可完成。
该应用将返回类似于以下示例的输出:
Sample start: 11/16/2022 4:02:54 PM
Container [input] created.
Uploading file taskdata0.txt to container [input]...
Uploading file taskdata1.txt to container [input]...
Uploading file taskdata2.txt to container [input]...
Creating pool [DotNetQuickstartPool]...
Creating job [DotNetQuickstartJob]...
Adding 3 tasks to job [DotNetQuickstartJob]...
Monitoring all tasks for 'Completed' state, timeout in 00:30:00...
当池的计算节点启动时,会在 Monitoring all tasks for 'Completed' state, timeout in 00:30:00...
出现暂停。 创建任务后,Batch 会将要在池中运行的任务排队。 在第一个计算节点可用后,第一个任务将在该节点上运行。 你可以从 Azure 门户中的 Batch 帐户页面监视节点、任务和作业状态。
每个任务完成后,都会显示类似于以下示例的输出:
Printing task output.
Task: Task0
Node: tvm-2850684224_3-20171205t000401z
Standard out:
Batch processing began with mainframe computers and punch cards. Today it still plays a central role...
stderr:
...
查看代码
请查看代码,了解 Azure Batch .NET 快速入门中的步骤。
创建服务客户端并上传资源文件
为了与存储帐户交互,应用会使用适用于 .NET 的 Azure 存储 Blob 客户端库来创建 BlobServiceClient。
var sharedKeyCredential = new StorageSharedKeyCredential(storageAccountName, storageAccountKey); string blobUri = "https://" + storageAccountName + ".blob.core.chinacloudapi.cn"; var blobServiceClient = new BlobServiceClient(new Uri(blobUri), sharedKeyCredential); return blobServiceClient;
该应用使用
blobServiceClient
引用在存储帐户中创建容器,然后将数据文件上传到该容器。 存储中的文件定义为 Batch ResourceFile 对象,Batch 随后可将这些对象下载到计算节点。List<string> inputFilePaths = new() { "taskdata0.txt", "taskdata1.txt", "taskdata2.txt" }; var inputFiles = new List<ResourceFile>(); foreach (var filePath in inputFilePaths) { inputFiles.Add(UploadFileToContainer(containerClient, inputContainerName, filePath)); }
该应用会创建一个 BatchClient 对象,用来创建和管理 Batch 池、作业和任务。 该 Batch 客户端将使用共享密钥身份验证。 Batch 还支持 Microsoft Entra 身份验证。
var cred = new BatchSharedKeyCredentials(BatchAccountUrl, BatchAccountName, BatchAccountKey); using BatchClient batchClient = BatchClient.Open(cred); ...
创建计算节点池
为了创建 Batch 池,应用使用 BatchClient.PoolOperations.CreatePool 方法设置节点数、VM 大小和池配置。 下面的 VirtualMachineConfiguration 对象指定了对 Windows Server 市场映像的 ImageReference。 Batch 支持广泛的 Windows Server 和 Linux 市场 OS 映像,还支持自定义 VM 映像。
PoolNodeCount
和 VM 大小 PoolVMSize
是定义的常量。 该应用会创建一个池包含 2 个 Standard_A1_v2 节点的池。 就此快速入门而言,此节点大小在性能与成本之间达成了很好的平衡。
Commit 方法将池提交到 Batch 服务。
private static VirtualMachineConfiguration CreateVirtualMachineConfiguration(ImageReference imageReference)
{
return new VirtualMachineConfiguration(
imageReference: imageReference,
nodeAgentSkuId: "batch.node.windows amd64");
}
private static ImageReference CreateImageReference()
{
return new ImageReference(
publisher: "MicrosoftWindowsServer",
offer: "WindowsServer",
sku: "2016-datacenter-smalldisk",
version: "latest");
}
private static void CreateBatchPool(BatchClient batchClient, VirtualMachineConfiguration vmConfiguration)
{
try
{
CloudPool pool = batchClient.PoolOperations.CreatePool(
poolId: PoolId,
targetDedicatedComputeNodes: PoolNodeCount,
virtualMachineSize: PoolVMSize,
virtualMachineConfiguration: vmConfiguration);
pool.Commit();
}
...
创建 Batch 作业
Batch 作业是对一个或多个任务进行逻辑分组。 该作业包含这些任务的公用设置,例如优先级以及运行任务的池。
应用使用 BatchClient.JobOperations.CreateJob 方法在池中创建作业。 Commit 方法将作业提交到 Batch 服务。 作业一开始没有任务。
try
{
CloudJob job = batchClient.JobOperations.CreateJob();
job.Id = JobId;
job.PoolInformation = new PoolInformation { PoolId = PoolId };
job.Commit();
}
...
创建任务
Batch 提供了多种将应用和脚本部署到计算节点的方式。 该应用创建 CloudTask 输入 ResourceFile
对象的列表。 每个任务使用 CommandLine 属性来处理输入文件。 可在 Batch 命令行中指定应用或脚本。
以下代码中的命令行运行 Windows type
命令来显示输入文件。 然后,应用使用 AddTask 方法将每个任务添加到作业,使任务按顺序在计算节点上运行。
for (int i = 0; i < inputFiles.Count; i++)
{
string taskId = String.Format("Task{0}", i);
string inputFilename = inputFiles[i].FilePath;
string taskCommandLine = String.Format("cmd /c type {0}", inputFilename);
var task = new CloudTask(taskId, taskCommandLine)
{
ResourceFiles = new List<ResourceFile> { inputFiles[i] }
};
tasks.Add(task);
}
batchClient.JobOperations.AddTask(JobId, tasks);
查看任务输出
该应用会创建一个 TaskStateMonitor 来监视任务并确保任务完成。 当每个任务成功运行时,其输出将写入 stdout.txt。 然后,应用使用 CloudTask.ComputeNodeInformation 属性来显示每个已完成的任务的 stdout.txt 文件。
foreach (CloudTask task in completedtasks)
{
string nodeId = String.Format(task.ComputeNodeInformation.ComputeNodeId);
Console.WriteLine("Task: {0}", task.Id);
Console.WriteLine("Node: {0}", nodeId);
Console.WriteLine("Standard out:");
Console.WriteLine(task.GetNodeFile(Constants.StandardOutFileName).ReadAsString());
}
清理资源
应用自动删除所创建的存储容器,并允许你选择是否删除 Batch 池和作业。 池和节点会在节点运行时产生费用,即使它们未运行作业也是如此。 不再需要相应池时,请将其删除。
不再需要 Batch 帐户和存储帐户时,可删除包含这些帐户的资源组。 在 Azure 门户,选择资源组页面顶部的“删除资源组”。 在“删除资源组”屏幕上,输入资源组名称,然后选择“删除”。
后续步骤
在本快速入门中,你运行了一个应用,该应用使用 Batch .NET API 来创建 Batch 池、节点、作业和任务。 作业将资源文件上传到存储容器,在节点上运行任务,并显示来自节点的输出。
现在你已经了解了 Batch 服务的关键概念,可以将 Batch 用于更现实、更大规模的工作负载了。 若要详细了解 Azure Batch 并使用实际的应用程序演练并行工作负载,请继续学习 Batch .NET 教程。