在 Azure 机器学习中使用 MLflow 项目进行训练（预览版）

本文介绍如何连同 MLflow 项目一起提交训练作业，MLflow 项目使用 Azure 机器学习工作区进行跟踪。 你可以提交作业并仅使用 Azure 机器学习跟踪作业，或者将运行迁移到云，以完全在 Azure 机器学习计算上运行。

使用 MLflow 项目 可以组织和描述代码，以便其他数据科学家（或自动化工具）可以运行它。 使用 Azure 机器学习的 MLflow 项目使你可以在工作区中跟踪和管理训练运行。

详细了解 MLflow 和 Azure 机器学习集成。

先决条件

• 安装 MLflow SDK mlflow 包和适用于 MLflow 的 Azure 机器学习 azureml-mlflow 插件：

  pip install mlflow azureml-mlflow
  

  提示

  可以使用 mlflow-skinny 包，它是一个不带 SQL 存储、服务器、UI 或数据科学依赖项的轻型 MLflow 包。 对于主要需要 MLflow 跟踪和日志记录功能但不是完整的功能套件（包括部署）的用户，我们建议使用此包。

• 创建 Azure 机器学习工作区。 若要创建工作区，请参阅创建入门所需的资源。 查看在工作区中执行 MLflow 操作所需的 访问权限。

• 若要执行远程跟踪（即跟踪在 Azure 机器学习以外运行的试验），请将 MLflow 配置为指向 Azure 机器学习工作区的跟踪 URI。 有关如何将 MLflow 连接到工作区的详细信息，请参阅为 Azure 机器学习配置 MLflow。

• 若要将 Azure 机器学习用作 MLflow 项目的后端，需要包 azureml-core。

  pip install azureml-core
  

连接到工作区

如果在 Azure 机器学习外部操作，则需要将 MLflow 配置为指向 Azure 机器学习工作区的跟踪 URI。 有关详细信息，请参阅 为 Azure 机器学习配置 MLflow。

跟踪 Azure 机器学习工作区中的 MLflow 项目

此示例演示如何提交 MLflow 项目并在 Azure 机器学习中跟踪它们。

1. 将 azureml-mlflow 包作为 pip 依赖项添加到环境配置文件，以跟踪工作区中的指标和关键项目。

   conda.yaml

   name: mlflow-example
   channels:
     - defaults
   dependencies:
     - numpy>=1.14.3
     - pandas>=1.0.0
     - scikit-learn
     - pip:
       - mlflow
       - azureml-mlflow
   

2. 提交本地运行并设置参数 backend = "azureml"。 此参数添加了对工作区中的自动跟踪、模型捕获、日志文件、快照和打印错误的支持。 在此示例中，要运行的 MLflow 项目位于当前文件夹中 uri="."。

   • MLflow CLI
   • Python

   mlflow run . --experiment-name  --backend azureml --env-manager=local -P alpha=0.3
   

   在 Azure 机器学习工作室中查看运行和指标。

在 Azure 机器学习作业中训练 MLflow 项目

此示例演示如何将 MLflow 项目作为在 Azure 机器学习计算上运行的作业提交。

1. 创建后端配置对象。 在此示例中，将后端配置设置为 COMPUTE。 此参数引用要用于运行项目的远程计算群集的名称。 如果包括 COMPUTE，项目会自动作为 Azure 机器学习任务提交到指定的计算资源。

   • MLflow CLI
   • Python

   backend_config.json

   {
       "COMPUTE": "cpu-cluster"
   }
   
   

2. 将 azureml-mlflow 包作为 pip 依赖项添加到环境配置文件，以跟踪工作区中的指标和关键项目。

   conda.yaml

   name: mlflow-example
   channels:
     - defaults
   dependencies:
     - numpy>=1.14.3
     - pandas>=1.0.0
     - scikit-learn
     - pip:
       - mlflow
       - azureml-mlflow
   

3. 提交本地运行并设置参数 backend = "azureml"。 此参数添加了对工作区中的自动跟踪、模型捕获、日志文件、快照和打印错误的支持。 在此示例中，要运行的 MLflow 项目位于当前文件夹中 uri="."。

   • MLflow CLI
   • Python

   mlflow run . --backend azureml --backend-config backend_config.json -P alpha=0.3
   

   注意

   由于 Azure 机器学习作业始终在环境的上下文中运行，因此将忽略参数 env_manager。

   在 Azure 机器学习工作室中查看运行和指标。

清理资源

如果不打算在工作区中使用记录的指标和项目，则不能单独删除它们。 可以改为删除包含存储帐户和工作区的资源组，这样就不会产生任何费用：

1. 在 Azure 门户中，选择最左侧的“资源组”。

   

2. 从列表中选择已创建的资源组。

3. 选择“删除资源组”。

4. 输入资源组名称。 然后选择“删除”。

示例笔记本

将 MLflow 与 Azure 机器学习笔记本配合使用演示了本文中所述的概念，并在这些概念的基础上有所延伸。

• 在本地计算上训练 MLflow 项目
• 在远程计算上训练 MLflow 项目。

后续步骤

• 使用 MLflow 跟踪 Azure Databricks 运行。
• 使用 MLflow 查询并比较试验和运行。
• 使用 MLflow 在 Azure 机器学习中管理模型注册表。
• 有关部署 MLflow 模型的指南。