在自动化机器学习试验中配置训练、验证、交叉验证和测试数据

适用于：适用于 Python 的 Azure 机器学习 SDK v1

本文介绍了用于为自动化机器学习（自动化 ML）试验配置训练数据和验证数据拆分以及交叉验证设置的各种选项。 在 Azure 机器学习中，当使用自动化 ML 来生成多个机器学习模型时，每个子运行都需要通过计算该模型的质量指标（例如准确度或加权曲线下面积 (AUC)）来验证相关的模型。 这些指标的计算方法是将每个模型所做的预测与验证数据中过去观察到的实际标签进行比较。 自动化 ML 试验会自动执行模型验证。

以下部分介绍如何使用 Azure 机器学习 Python SDK 自定义验证设置。 若要详细了解如何基于验证类型计算指标，请参阅 “设置交叉验证的指标计算 ”部分。 如果你对低代码或无代码体验感兴趣，请参阅 在 Azure 机器学习工作室中创建自动化 ML 试验。

先决条件

• Azure 机器学习工作区。 若要创建工作区，请参阅 “创建工作区资源”。

• 熟悉如何使用 Azure 机器学习 SDK 设置自动化 ML 试验。 若要查看基本的自动化机器学习试验设计模式，请完成“ 使用 Python 训练对象检测模型 ”教程或 “设置 AutoML 训练” 指南。

• 了解训练/验证数据拆分和交叉验证等机器学习概念。 有关简要说明，请参阅以下文章：

  • 关于机器学习中的训练、验证和测试数据集

  • 了解机器学习中的交叉验证

在机器学习中设置默认数据拆分和交叉验证

若要在机器学习中设置默认数据拆分和交叉验证，请使用 AutoMLConfig 类对象定义试验和训练设置。 以下示例仅定义所需的参数。 不包括 n_cross_validations 和 validation_data 参数。

data = "https://automlsamplenotebookdata.blob.core.chinacloudapi.cn/automl-sample-notebook-data/creditcard.csv"

dataset = Dataset.Tabular.from_delimited_files(data)

automl_config = AutoMLConfig(compute_target = aml_remote_compute,
                             task = 'classification',
                             primary_metric = 'AUC_weighted',
                             training_data = dataset,
                             label_column_name = 'Class'
                            )

如果未显式指定 validation_data 或 n_cross_validations 参数，自动化 ML 会根据单个数据集 training_data 中提供的行数应用默认技术。

提供验证数据集

有两个选项可用于提供验证数据。 你可以从单个数据文件开始，将其拆分为训练数据集和验证数据集，也可以为验证集提供单独的数据文件。 无论采用哪种方式，validation_data 对象中的 AutoMLConfig 参数都将分配要用作验证集的数据。 此参数仅接受 Azure 机器学习数据集 或 pandas 数据帧形式的数据集。

下面是使用验证参数的其他一些注意事项：

• 只能设置一个验证参数，要么是 validation_data 参数，要么是 n_cross_validations 参数，而不能同时设置两个参数。
• 使用 validation_data 参数时，还必须指定 training_data 和 label_column_name 参数。

下面的示例显式定义了要将 dataset 中的哪部分用于训练 (training_data) 和验证 (validation_data)：

data = "https://automlsamplenotebookdata.blob.core.chinacloudapi.cn/automl-sample-notebook-data/creditcard.csv"

dataset = Dataset.Tabular.from_delimited_files(data)

training_data, validation_data = dataset.random_split(percentage=0.8, seed=1)

automl_config = AutoMLConfig(compute_target = aml_remote_compute,
                             task = 'classification',
                             primary_metric = 'AUC_weighted',
                             training_data = training_data,
                             validation_data = validation_data,
                             label_column_name = 'Class'
                            )

提供验证数据集大小

提供验证集大小时，只需为试验提供单个数据集。 未指定 validation_data 参数，提供的数据集将分配给 training_data 参数。

在 AutoMLConfig 对象中，你可以设置 validation_size 参数来保存一部分用于验证的训练数据。 对于此策略，自动化 ML 作业将从提供的初始 training_data 拆分验证集。 值的范围应为 0.0 到 1.0（不含，例如，0.2 表示保留 20% 的数据用作验证数据）。

以下示例为试验提供单个 dataset。 training_data 访问完整数据集，并分配 20% 的数据集用于验证 (validation_size = 0.2)：

data = "https://automlsamplenotebookdata.blob.core.chinacloudapi.cn/automl-sample-notebook-data/creditcard.csv"

dataset = Dataset.Tabular.from_delimited_files(data)

automl_config = AutoMLConfig(compute_target = aml_remote_compute,
                             task = 'classification',
                             primary_metric = 'AUC_weighted',
                             training_data = dataset,
                             validation_size = 0.2,
                             label_column_name = 'Class'
                            )

执行 K-折交叉验证

若要执行 k-折交叉验证，请包括 n_cross_validations 参数并定义折数。 此参数基于相同的折数设置要执行的交叉验证次数。

下面的示例定义了一种 5 折交叉验证。 该过程运行五种不同的训练，其中每种训练会用到 4/5 的数据。 每次验证时使用 1/5 的数据，每次都会使用不同的维持数据折。 因此，将使用五个验证指标的平均值来计算指标。

data = "https://automlsamplenotebookdata.blob.core.chinacloudapi.cn/automl-sample-notebook-data/creditcard.csv"

dataset = Dataset.Tabular.from_delimited_files(data)

automl_config = AutoMLConfig(compute_target = aml_remote_compute,
                             task = 'classification',
                             primary_metric = 'AUC_weighted',
                             training_data = dataset,
                             n_cross_validations = 5
                             label_column_name = 'Class'
                            )

执行 Monte Carlo 交叉验证

若要执行 Monte Carlo 交叉验证，请在 validation_size 对象中同时包含 n_cross_validations 和 AutoMLConfig 参数。

对于蒙特卡洛交叉验证，AutoML 会将 validation_size 参数指定的训练数据部分留出进行验证，然后将其余数据分配给训练。 然后，根据 n_cross_validations 参数中指定的值重复此过程，每次都随机生成新的训练和验证拆分。

下面的示例定义了一种 7 折交叉验证，其中会留出 20% 的训练数据进行验证。 该过程运行七种不同的训练，其中每种训练会用到 80% 的数据。 每次验证时使用 20% 的数据，每次都会使用不同的维持数据折。

data = "https://automlsamplenotebookdata.blob.core.chinacloudapi.cn/automl-sample-notebook-data/creditcard.csv"

dataset = Dataset.Tabular.from_delimited_files(data)

automl_config = AutoMLConfig(compute_target = aml_remote_compute,
                             task = 'classification',
                             primary_metric = 'AUC_weighted',
                             training_data = dataset,
                             n_cross_validations = 7
                             validation_size = 0.2,
                             label_column_name = 'Class'
                            )

指定自定义交叉验证数据折数

你还可以提供自己的交叉验证 (CV) 数据折数。 此方法被视为更高级的方案，因为你需要指定要将哪些列拆分出来用于验证。 请在训练数据中包括自定义 CV 拆分列，并通过在 cv_split_column_names 参数中填充列名来指定列。 每列表示一个交叉验证拆分，列中的值只能是整数 1 或 0。 值为 1 表示对应的行应用于训练。 值为 0 表示对应的行应用于验证。

下面的示例包含具有两个 CV 拆分列（“cv1”和“cv2”）的银行营销数据：

data = "https://automlsamplenotebookdata.blob.core.chinacloudapi.cn/automl-sample-notebook-data/bankmarketing_with_cv.csv"

dataset = Dataset.Tabular.from_delimited_files(data)

automl_config = AutoMLConfig(compute_target = aml_remote_compute,
                             task = 'classification',
                             primary_metric = 'AUC_weighted',
                             training_data = dataset,
                             label_column_name = 'y',
                             cv_split_column_names = ['cv1', 'cv2']
                            )

设置用于交叉验证的指标计算

当使用 k 折或 Monte Carlo 交叉验证时，将针对每个验证折计算指标，然后对其进行聚合。 聚合操作是计算标量指标的平均值和图表的总和。 交叉验证期间计算得出的指标基于所有折，因此基于训练集中的所有示例。 有关详细信息，请参阅 评估自动化 ML 试验结果。

当使用自定义验证集或自动选择的验证集时，只会基于该验证集计算模型评估指标，不会基于训练数据进行计算。

提供测试数据集（预览）

还可以提供测试数据来评估自动化 ML 在试验完成后为你生成的推荐模型。 如果提供测试数据，则会将数据视为独立于训练和验证，以防止对推荐模型的测试运行结果产生任何偏差影响。 有关详细信息，请参阅 训练、验证和测试数据。

测试数据集必须采用 Azure 机器学习 TabularDataset 的形式。 可以在 test_data 对象中使用 test_size 和 AutoMLConfig 参数指定测试数据集。 这些参数是互斥的，不能同时指定或者与 cv_split_column_names 或 cv_splits_indices 参数一起指定。

在 AutoMLConfig 对象中，使用 test_data 参数指定现有数据集：

automl_config = AutoMLConfig(task='forecasting',
                             ...
                             # Provide an existing test dataset
                             test_data=test_dataset,
                             ...
                             forecasting_parameters=forecasting_parameters)

若要使用训练/测试拆分而不是直接提供测试数据，请在创建 test_size 时使用 AutoMLConfig 参数。 此参数必须是介于 0.0 和 1.0 之间（不含）的浮点值。 它指定要用于测试数据集的训练数据集的百分比。

automl_config = AutoMLConfig(task = 'regression',
                             ...
                             # Specify train/test split
                             training_data=training_data,
                             test_size=0.2)

下面是使用测试数据集的其他一些注意事项：

• 对于回归任务，使用随机采样。
• 对于分类任务，使用分层采样，但当分层采样不可行时，则退而使用随机采样。

将 test_data 或 test_size 参数传递到 AutoMLConfig 对象中，会在试验完成后自动触发远程测试运行。 此测试运行使用提供的测试数据来评估自动化 ML 推荐的最佳模型。 有关详细信息，请参阅 “获取测试作业结果”。

相关内容

• 使用自动化 ML 防止过度拟合和不平衡的数据
• 设置自动化 ML 以使用 Python SDK 训练时序预测模型（v1）