自动化机器学习中的数据特征化 (AutoML)

适用于：Python SDK azureml v1

本文介绍如何为自动化机器学习 (AutoML) 试验自定义 Azure 机器学习中的数据特征化设置。

训练数据由行和列构成。 每一行都是一条观测或记录，而每行的列则是用于描述每条记录的特征。 通常，会选择对数据中模式的特点描述效果最佳的特征来创建预测模型。

尽管许多原始数据字段可以直接用于训练模型，但通常需要创建其他（工程）特征，以便更好地区分数据中的模式。 此过程被称为特征工程，它会利用数据领域知识来创建特征，这些特征反过来又会帮助机器学习算法更好地学习。

在 Azure 机器学习中，应用了数据缩放和规范化技术来简化特征工程。 这些技术和此功能工程在 AutoML 试验中称为 特征化 。

本文假定你已了解如何配置 AutoML 试验。

有关配置的信息，请参阅以下文章：

• 对于代码优先体验：使用 Python 设置 AutoML 训练
• 对于无代码体验：使用工作室 UI 为表格数据设置无代码 AutoML 训练

在每个 AutoML 试验中，默认情况下， 自动缩放和规范化技术 将应用于数据。 这些技术是特征化的类型，用于帮助对不同规模数据的特征敏感的某些算法。 可以启用更多特征化，例如缺失值插补、编码和转换 。

对于使用 Python SDK 配置的试验，你可以启用或禁用特征化设置，并进一步指定要用于试验的特征化步骤。 如果使用的是 Azure 机器学习工作室，请参阅启用特征化的步骤。

下表列出了 featurization中 的已接受设置：

下表汇总了自动应用于你的数据的技术。 这些方法适用于使用 SDK 或工作室 UI 配置的试验。 若要禁用此行为，请在 "featurization": 'off' 对象中设置 AutoMLConfig。

在每个 AutoML 试验中，数据会自动缩放或规范化，以帮助算法性能良好。 在模型训练过程中，将对每个模型应用以下缩放或规范化技术之一。

数据防护有助于 识别数据的潜在问题，例如缺失值或 不平衡的数据。 它们还可帮助你采取纠正措施来改进结果。

数据护栏适用于：

• 对于 SDK 试验：当在"featurization": 'auto'对象中指定validation=auto或AutoMLConfig参数时。
• 对于工作室试验：当启用了自动特征化时。

可通过以下方式查看试验的数据护栏：

• 使用 SDK 提交试验时设置 show_output=True。
• 访问工作室中 AutoML 运行的“数据护栏”选项卡。

数据护栏显示以下三种状态之一：

下表描述了当前支持的数据护栏，以及你在提交试验时可能会看到的相关状态：

可以自定义特征化设置，以确保用于训练机器学习模型的数据和特征会导致相关的预测。

若要自定义特征化，请在 "featurization": FeaturizationConfig 对象中指定 AutoMLConfig。 如果使用 Azure 机器学习工作室进行试验，请参阅 “配置特征化设置”。 若要自定义预测任务类型的特征化，请参阅 “自定义特征化”。

支持的自定义项包括：

可以使用 API 调用创建 FeaturizationConfig 对象：

featurization_config = FeaturizationConfig()
featurization_config.blocked_transformers = ['LabelEncoder']
featurization_config.drop_columns = ['aspiration', 'stroke']
featurization_config.add_column_purpose('engine-size', 'Numeric')
featurization_config.add_column_purpose('body-style', 'CategoricalHash')
#default strategy mean, add transformer param for 3 columns
featurization_config.add_transformer_params('Imputer', ['engine-size'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['city-mpg'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['bore'], {"strategy": "most_frequent"})
featurization_config.add_transformer_params('HashOneHotEncoder', [], {"number_of_bits": 3})

每个 AutoML 模型均已自动应用特征化。 特征化包括自动特征工程（执行 "featurization": 'auto' 时）和缩放和归一化，这会影响所选算法及其超参数值。 AutoML 支持不同的方法，以确保你直观了解对模型应用了哪些内容。

请考虑此预测示例：

• 有四个输入功能：A（数值）、B（数值）、C（数值）、D（日期/时间）。
• 数值特征 C 被删除，因为它是一个 ID 列，包含所有唯一值。
• 数值特征 A 和 B 包含缺失值，因此由平均值进行插补。
• 日期/时间特征 D 已特征化为 11 个不同的工程特征。

若要获取此信息，请使用 AutoML 试验运行的 fitted_model 输出。

automl_config = AutoMLConfig(…)
automl_run = experiment.submit(automl_config …)
best_run, fitted_model = automl_run.get_output()

get_engineered_feature_names() 返回工程特征名称的列表。

fitted_model.named_steps['timeseriestransformer']. get_engineered_feature_names ()

此列表包括所有工程特征的名称。

['A', 'B', 'A_WASNULL', 'B_WASNULL', 'year', 'half', 'quarter', 'month', 'day', 'hour', 'am_pm', 'hour12', 'wday', 'qday', 'week']

get_featurization_summary() 获取所有输入特征的特征化摘要。

fitted_model.named_steps['timeseriestransformer'].get_featurization_summary()

输出

[{'RawFeatureName': 'A',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'B',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'C',
  'TypeDetected': 'Numeric',
  'Dropped': 'Yes',
  'EngineeredFeatureCount': 0,
  'Tranformations': []},
 {'RawFeatureName': 'D',
  'TypeDetected': 'DateTime',
  'Dropped': 'No',
  'EngineeredFeatureCount': 11,
  'Tranformations': ['DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime',ateTime','DateTime','DateTime']}]

若要了解缩放/规范化及其超参数值的所选算法，请使用 fitted_model.steps。

下面的示例输出是针对所选运行而运行 fitted_model.steps 的结果：

[('RobustScaler', 
  RobustScaler(copy=True, 
  quantile_range=[10, 90], 
  with_centering=True, 
  with_scaling=True)), 

  ('LogisticRegression', 
  LogisticRegression(C=0.18420699693267145, class_weight='balanced', 
  dual=False, 
  fit_intercept=True, 
  intercept_scaling=1, 
  max_iter=100, 
  multi_class='multinomial', 
  n_jobs=1, penalty='l2', 
  random_state=None, 
  solver='newton-cg', 
  tol=0.0001, 
  verbose=0, 
  warm_start=False))]

若要获取更多详细信息，请使用此帮助程序函数：

from pprint import pprint

def print_model(model, prefix=""):
    for step in model.steps:
        print(prefix + step[0])
        if hasattr(step[1], 'estimators') and hasattr(step[1], 'weights'):
            pprint({'estimators': list(e[0] for e in step[1].estimators), 'weights': step[1].weights})
            print()
            for estimator in step[1].estimators:
                print_model(estimator[1], estimator[0]+ ' - ')
        elif hasattr(step[1], '_base_learners') and hasattr(step[1], '_meta_learner'):
            print("\nMeta Learner")
            pprint(step[1]._meta_learner)
            print()
            for estimator in step[1]._base_learners:
                print_model(estimator[1], estimator[0]+ ' - ')
        else:
            pprint(step[1].get_params())
            print()   

此帮助程序函数使用 LogisticRegression with RobustScalar 作为特定算法返回特定运行的以下输出。

RobustScaler
{'copy': True,
'quantile_range': [10, 90],
'with_centering': True,
'with_scaling': True}

LogisticRegression
{'C': 0.18420699693267145,
'class_weight': 'balanced',
'dual': False,
'fit_intercept': True,
'intercept_scaling': 1,
'max_iter': 100,
'multi_class': 'multinomial',
'n_jobs': 1,
'penalty': 'l2',
'random_state': None,
'solver': 'newton-cg',
'tol': 0.0001,
'verbose': 0,
'warm_start': False}

使用 AutoML 的生成的模型都包含包装器对象，这些对象与开放源代码原始类中的功能形成镜像。 AutoML 返回的大多数分类模型包装器对象实现该 predict_proba() 函数，该函数接受特征（X 值）的类似数组或稀疏矩阵数据样本，并返回每个样本及其各自的类概率的 n 维数组。

假设你已使用相同调用检索了最佳运行和拟合模型，则可以直接从拟合模型调用 predict_proba()，从而根据模型类型提供相应格式的 X_test 样本。

best_run, fitted_model = automl_run.get_output()
class_prob = fitted_model.predict_proba(X_test)

如果基础模型不支持 predict_proba() 函数或者格式不正确，则会引发特定于模型类的异常。 有关如何针对不同的模型类型实现此函数的示例，请参阅 RandomForestClassifier 和 XGBoost 参考文档。

基于变换器的双向编码器表示技术 (BERT) 用于 AutoML 的特征化层。 在此层中，如果列包含自由文本或其他类型的数据（例如时间戳或简单编号），则会相应地应用特征化。

对于 BERT，该模型通过利用用户提供的标签进行微调和训练。 在这里，文档嵌入会作为特征随其他特征（例如基于时间戳的特征、一周中的某一天）一起输出。

了解如何设置 AutoML 以使用 Python 训练自然语言处理模型。

若要调用 BERT，请在你的enable_dnn: True中设置automl_settings并使用 GPU 计算（vm_size = "STANDARD_NC6"或更高的 GPU）。 如果使用 CPU 计算，则 AutoML 会启用 BiLSTM DNN 特征化器，而非启用 BERT。

AutoML 对 BERT 执行以下步骤。

1. 预处理并标记所有文本列。 例如，可以在最终模型的特征化摘要中找到 StringCast 转换器。 有关如何生成模型的特征化摘要的示例，可在此 Jupyter 笔记本中找到。

2. 将所有文本列串联成单个文本列，因此在最终模型中会有StringConcatTransformer。

   我们实现的 BERT 将训练示例的总文本长度限制为 128 个标记。 这意味着，当已连接时，所有文本列在理想情况下的长度最多应为 128 个标记。 如果存在多个列，则应修剪每个列，使此条件得到满足。 否则，对于长度大于 128 个标记的已连接列，BERT 的 tokenizer 层会将此输入截断为 128 个标记。

3. 在特征扫描过程中，AutoML 在数据样本上将 BERT 与基线（词袋特征）进行比较。 这一比较确定了 BERT 是否可以提高准确性。 如果 BERT 的性能优于基线，AutoML 会使用 BERT 对整个数据进行文本特征化。 在这种情况下，你将在最终模型中看到 PretrainedTextDNNTransformer。

BERT 的运行时间通常比其他的特征化器更长。 为了提高性能，我们建议使用 STANDARD_NC24r 或 STANDARD_NC24rs_V3 以使用其 RDMA 功能。

如有多个节点可用（最多可以使用 8 个节点），则 AutoML 会在多个节点之间分配 BERT 训练。 可以通过将 AutoMLConfig 参数设置为大于 1，在 max_concurrent_iterations 对象中完成此操作。

AutoML 目前支持大约 100 种语言。 根据数据集的语言，AutoML 选择适当的 BERT 模型。 对于德语数据，我们使用德语 BERT 模型。 对于英语，我们使用英语 BERT 模型。 对于所有其他语言，我们使用多语言 BERT 模型。

在以下代码中，将调用德语 BERT 模型，因为数据集语言被指定为 deu，这是根据 ISO 分类，德语所使用的三字母语言代码。

from azureml.automl.core.featurization import FeaturizationConfig

featurization_config = FeaturizationConfig(dataset_language='deu')

automl_settings = {
    "experiment_timeout_minutes": 120,
    "primary_metric": 'accuracy',
# All other settings you want to use
    "featurization": featurization_config,
    
    "enable_dnn": True, # This enables BERT DNN featurizer
    "enable_voting_ensemble": False,
    "enable_stack_ensemble": False
}

• 将机器学习模型部署到 Azure
• 使用 AutoML 和 Python 训练回归模型