什么是 Azure 机器学习管道?

适用范围:Azure CLI ml 扩展 v1Python SDK azureml v1

重要

本文提供有关使用 Azure 机器学习 SDK v1 的信息。 SDK v1 自 2025 年 3 月 31 日起弃用。 对它的支持将于 2026 年 6 月 30 日结束。 可以在该日期之前安装和使用 SDK v1。 使用 SDK v1 的现有工作流将在支持结束日期后继续运行。 但是,在产品发生体系结构更改时,可能会面临安全风险或中断性变更。

建议在 2026 年 6 月 30 日之前过渡到 SDK v2。 有关 SDK v2 的详细信息,请参阅 什么是 Azure 机器学习 CLI 和 Python SDK v2? 以及 SDK v2 参考。

重要

本文中的一些 Azure CLI 命令使用适用于 Azure 机器学习的 azure-cli-ml 或 v1 扩展。 对 CLI v1 的支持于 2025 年 9 月 30 日结束。 Microsoft将不再为此服务提供技术支持或更新。 使用 CLI v1 的现有工作流将继续在支持终止日期后运行。 但是,在产品发生体系结构更改时,可能会面临安全风险或中断性变更。

建议尽快过渡到 mlv2 扩展。 有关 v2 扩展的详细信息,请参阅 Azure 机器学习 CLI 扩展和 Python SDK v2。

适用范围:Azure CLI ml 扩展 v2(最新版)Python SDK azure-ai-ml v2(最新版)

Azure 机器学习管道是自动化完整机器学习任务的工作流。 它标准化最佳做法、支持团队协作并提高效率。

为什么需要 Azure 机器学习管道?

流水线将机器学习任务分解成多个步骤。 每个步骤都是一个可管理组件,可以单独开发和自动执行。 Azure 机器学习管理步骤之间的依赖关系。 这种模块化方法标准化 MLOps,支持团队协作,提高培训效率,并降低成本。

将 MLOps 实践标准化,并支持可扩展的团队协作

MLOps 自动生成和部署模型。 管道通过将每个步骤映射到特定任务来简化此过程,以便团队可以独立工作。

例如,项目可能包括数据收集、准备、训练、评估和部署。 数据工程师、科学家和 ML 工程师各自拥有自己的步骤。 步骤最好构建为 组件,然后集成到单个工作流中。 管道可以通过 DevOps 实践对管道进行版本控制、自动化和标准化。

训练效率和成本缩减

管道还可以提高效率并降低成本。 它们重复使用未更改步骤的输出,并允许你在任务的最佳计算资源上运行每个步骤。

入门最佳做法

你可以根据起始点,通过多种方式构建管道。

如果不熟悉管道,请首先将现有代码拆分为步骤、参数化输入并将所有内容包装到管道中。

要实现规模化,请针对常见问题使用管道模板。 团队派生模板,处理分配给自己的步骤,并仅在需要时更新自己负责的部分。

借助可重用的管道和组件,团队可以通过克隆或组合现有片段来快速创建新工作流。

可以使用 CLI、 Python SDK 或 设计器 UI 生成管道。

我应该使用哪种 Azure 管道技术?

Azure 提供了多种类型的管道,以实现不同的目的:

场景 主要角色 Azure 产品/服务 OSS 产品 规范的管道 优势
模型编排(机器学习) 数据科学家 Azure 机器学习管道 Kubeflow 流水线 数据->模型 分布、缓存、代码优先、重用
数据编排(数据准备) 数据工程师 Azure 数据工厂管道 Apache Airflow 数据 -> 数据 强类型迁移,以数据为中心的活动
代码和应用编排(CI/CD) 应用开发/运维 Azure Pipelines Jenkins 代码 + 模型 -> 应用/服务 最开放、最灵活的活动支持、审批队列以及设有门禁的阶段

后续步骤

Azure 机器学习管道从开发之初就开始带来价值。