自动化机器学习中的数据特征化

适用于：Python SDK azureml v1

本文介绍如何为自动化机器学习 (AutoML) 试验自定义 Azure 机器学习中的数据特征化设置。

训练数据由行和列构成。 每一行都是一条观测或记录，而每行的列则是用于描述每条记录的特征。 通常，会选择对数据中模式的特点描述效果最佳的特征来创建预测模型。

虽然许多原始数据字段都可以直接用于训练模型，但通常还是需要创建其他（工程化）特征来提供信息，以更好地区分数据中的模式。 此过程被称为特征工程，它会利用数据领域知识来创建特征，这些特征反过来又会帮助机器学习算法更好地学习。

在 Azure 机器学习中，应用了数据缩放和规范化技术来简化特征工程。 这些技术和此特征工程在自动化机器学习 (ML) 试验中统称为特征化。

本文假设你已知道如何配置自动化 ML 试验。

有关配置的信息，请参阅以下文章：

• 对于代码优先体验：使用 Python 设置 AutoML 训练
• 对于无代码体验：使用工作室 UI 为表格数据设置无代码 AutoML 训练

在每一个自动化机器学习试验中，默认情况下都会将自动缩放和规范化技术应用于数据。 这些技术是特征化的类型，用于帮助对不同规模数据的特征敏感的某些算法。 可以启用更多特征化，例如缺失值插补、编码和转换 。

对于使用 Python SDK 配置的试验，你可以启用或禁用特征化设置，并进一步指定要用于试验的特征化步骤。 如果使用的是 Azure 机器学习工作室，请参阅启用特征化的步骤。

下表列出了 AutoMLConfig 类中 featurization 的已接受设置：

下表汇总了自动应用于你的数据的技术。 这些方法适用于使用 SDK 或工作室 UI 配置的试验。 若要禁用此行为，请在 AutoMLConfig 对象中设置 "featurization": 'off'。

在每个自动化机器学习试验中，数据将自动缩放或规范化，以帮助确保算法的良好性能。 在模型训练过程中，将对每个模型应用以下缩放或规范化技术之一。

“数据护栏”有助于识别数据的潜在问题（例如缺少值或类不平衡）。 它们还可帮助你采取纠正措施来改进结果。

数据护栏适用于：

• 对于 SDK 试验：在 AutoMLConfig 对象中指定了参数 "featurization": 'auto' 或 validation=auto 时
• 对于工作室试验：当启用了自动特征化时

可通过以下方式查看试验的数据护栏：

• 使用 SDK 提交试验时设置 show_output=True。
• 访问工作室中自动化机器学习运行的“数据护栏”选项卡。

数据护栏显示以下三种状态之一：

下表描述了当前支持的数据护栏，以及你在提交试验时可能会看到的相关状态：

你可以自定义特征化设置，以确保用于训练机器学习模型的数据和特征能够产生相关的预测。

若要自定义特征化，请在 AutoMLConfig 对象中指定 "featurization": FeaturizationConfig。 如果使用 Azure 机器学习工作室进行试验，请参阅操作方法文章。 若要为预测任务类型自定义特征化，请参阅预测操作指南。

支持的自定义项包括：

使用 API 调用创建 FeaturizationConfig 对象：

featurization_config = FeaturizationConfig()
featurization_config.blocked_transformers = ['LabelEncoder']
featurization_config.drop_columns = ['aspiration', 'stroke']
featurization_config.add_column_purpose('engine-size', 'Numeric')
featurization_config.add_column_purpose('body-style', 'CategoricalHash')
#default strategy mean, add transformer param for 3 columns
featurization_config.add_transformer_params('Imputer', ['engine-size'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['city-mpg'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['bore'], {"strategy": "most_frequent"})
featurization_config.add_transformer_params('HashOneHotEncoder', [], {"number_of_bits": 3})

每个 AutoML 模型均已自动应用特征化。 特征化包括自动特征工程（执行 "featurization": 'auto' 时）和缩放和归一化，这会影响所选算法及其超参数值。 AutoML 支持不同的方法，以确保你直观了解对模型应用了哪些内容。

请考虑此预测示例：

• 有四个输入功能：A（数值）、B（数值）、C（数值）、D（日期/时间）。
• 数值特征 C 被删除，因为它是一个 ID 列，包含所有唯一值。
• 数值特征 A 和 B 包含缺失值，因此由平均值进行插补。
• 日期/时间特征 D 已特征化为 11 个不同的工程特征。

若要获取此信息，请使用来自自动化 ML 试验运行的 fitted_model 输出。

automl_config = AutoMLConfig(…)
automl_run = experiment.submit(automl_config …)
best_run, fitted_model = automl_run.get_output()

get_engineered_feature_names() 返回工程特征名称的列表。

fitted_model.named_steps['timeseriestransformer']. get_engineered_feature_names ()

此列表包括所有工程特征的名称。

['A', 'B', 'A_WASNULL', 'B_WASNULL', 'year', 'half', 'quarter', 'month', 'day', 'hour', 'am_pm', 'hour12', 'wday', 'qday', 'week']

get_featurization_summary() 获取所有输入特征的特征化摘要。

fitted_model.named_steps['timeseriestransformer'].get_featurization_summary()

输出

[{'RawFeatureName': 'A',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'B',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'C',
  'TypeDetected': 'Numeric',
  'Dropped': 'Yes',
  'EngineeredFeatureCount': 0,
  'Tranformations': []},
 {'RawFeatureName': 'D',
  'TypeDetected': 'DateTime',
  'Dropped': 'No',
  'EngineeredFeatureCount': 11,
  'Tranformations': ['DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime',ateTime','DateTime','DateTime']}]

若要了解缩放/归一化和所选算法及其超参数值，请使用 fitted_model.steps。

下面的示例输出是针对所选运行而运行 fitted_model.steps 的结果：

[('RobustScaler', 
  RobustScaler(copy=True, 
  quantile_range=[10, 90], 
  with_centering=True, 
  with_scaling=True)), 

  ('LogisticRegression', 
  LogisticRegression(C=0.18420699693267145, class_weight='balanced', 
  dual=False, 
  fit_intercept=True, 
  intercept_scaling=1, 
  max_iter=100, 
  multi_class='multinomial', 
  n_jobs=1, penalty='l2', 
  random_state=None, 
  solver='newton-cg', 
  tol=0.0001, 
  verbose=0, 
  warm_start=False))]

若要获取更多详细信息，请使用此帮助程序函数：

from pprint import pprint

def print_model(model, prefix=""):
    for step in model.steps:
        print(prefix + step[0])
        if hasattr(step[1], 'estimators') and hasattr(step[1], 'weights'):
            pprint({'estimators': list(e[0] for e in step[1].estimators), 'weights': step[1].weights})
            print()
            for estimator in step[1].estimators:
                print_model(estimator[1], estimator[0]+ ' - ')
        elif hasattr(step[1], '_base_learners') and hasattr(step[1], '_meta_learner'):
            print("\nMeta Learner")
            pprint(step[1]._meta_learner)
            print()
            for estimator in step[1]._base_learners:
                print_model(estimator[1], estimator[0]+ ' - ')
        else:
            pprint(step[1].get_params())
            print()   

此帮助程序函数使用 LogisticRegression with RobustScalar 作为特定算法返回特定运行的以下输出。

RobustScaler
{'copy': True,
'quantile_range': [10, 90],
'with_centering': True,
'with_scaling': True}

LogisticRegression
{'C': 0.18420699693267145,
'class_weight': 'balanced',
'dual': False,
'fit_intercept': True,
'intercept_scaling': 1,
'max_iter': 100,
'multi_class': 'multinomial',
'n_jobs': 1,
'penalty': 'l2',
'random_state': None,
'solver': 'newton-cg',
'tol': 0.0001,
'verbose': 0,
'warm_start': False}

使用自动化 ML 生成的模型都具有包装器对象，这些对象对其开源来源类中的功能进行镜像。 自动化 ML 返回的大多数分类模型包装器对象都实现了 predict_proba() 函数，该函数接受特征（X 值）的数组式或稀疏矩阵数据样本，并返回每个样本的 n 维数组及其各自的类概率。

假设你已使用相同调用检索了最佳运行和拟合模型，则可以直接从拟合模型调用 predict_proba()，从而根据模型类型提供相应格式的 X_test 样本。

best_run, fitted_model = automl_run.get_output()
class_prob = fitted_model.predict_proba(X_test)

如果基础模型不支持 predict_proba() 函数或者格式不正确，则会引发特定于模型类的异常。 有关如何针对不同的模型类型实现此函数的示例，请参阅 RandomForestClassifier 和 XGBoost 参考文档。

BERT 在自动化 ML 的特征化层中使用。 在此层中，如果列包含自由文本或其他类型的数据（例如时间戳或简单编号），则会相应地应用特征化。

对于 BERT，已利用用户提供的标签对该模型进行了微调和训练。 在这里，文档嵌入会作为特征随其他特征（例如基于时间戳的特征、一周中的某一天）一起输出。

了解如何设置 AutoML 以使用 Python 训练自然语言处理模型。

若要调用 BERT，请在 automl_settings 中设置 enable_dnn: True，并使用 GPU 计算（vm_size = "STANDARD_NC6" 或性能更高的 GPU）。 如果使用 CPU 计算，则 AutoML 会启用 BiLSTM DNN 特征化器，而非启用 BERT。

自动化 ML 会为 BERT 执行以下步骤。

1. 所有文本列的预处理和标记化。 例如，可以在最终模型的特征化摘要中找到 StringCast 转换器。 此笔记本中提供了一个有关如何生成模型的特征化摘要的示例。

2. 将所有文本列连接到单个文本列中，因此在最终模型中会调用 StringConcatTransformer。

   我们实现的 BERT 将训练示例的总文本长度限制为 128 个标记。 这意味着，当已连接时，所有文本列在理想情况下的长度最多应为 128 个标记。 如果存在多个列，则应修剪每个列，使此条件得到满足。 否则，对于长度大于 128 个标记的已连接列，BERT 的 tokenizer 层会将此输入截断为 128 个标记。

3. 在特征扫描过程中，AutoML 在数据样本上将 BERT 与基线（词袋特征）进行比较。 这一比较确定了 BERT 是否可以提高准确性。 如果 BERT 的性能优于基线，AutoML 会使用 BERT 对整个数据进行文本特征化。 在这种情况下，你将在最终模型中看到 PretrainedTextDNNTransformer。

BERT 的运行时间通常比其他的特征化器更长。 为了提高性能，我们建议使用 STANDARD_NC24r 或 STANDARD_NC24rs_V3 以使用其 RDMA 功能。

如有多个节点可用（最多可以使用 8 个节点），则 AutoML 会在多个节点之间分配 BERT 训练。 可以通过将 max_concurrent_iterations 参数设置为大于 1，在 AutoMLConfig 对象中完成此操作。

AutoML 目前支持大约 100 种语言，它根据数据集的语言选择合适的 BERT 模型。 对于德语数据，我们使用德语 BERT 模型。 对于英语，我们使用英语 BERT 模型。 对于所有其他语言，我们使用多语言 BERT 模型。

在下面的代码中，将触发德语 BERT 模型，因为数据集语言被指定为 deu，而根据 ISO 分类，这一 3 个字母的代码表示德语：

from azureml.automl.core.featurization import FeaturizationConfig

featurization_config = FeaturizationConfig(dataset_language='deu')

automl_settings = {
    "experiment_timeout_minutes": 120,
    "primary_metric": 'accuracy',
# All other settings you want to use
    "featurization": featurization_config,
    
    "enable_dnn": True, # This enables BERT DNN featurizer
    "enable_voting_ensemble": False,
    "enable_stack_ensemble": False
}

• 将机器学习模型部署到 Azure
• 使用 AutoML 和 Python 训练回归模型