自动化机器学习中的数据特征化 (AutoML)

适用于：适用于 Python 的 Azure 机器学习 SDK v1

本文介绍如何为自动化机器学习 (AutoML) 试验自定义 Azure 机器学习中的数据特征化设置。

特征工程和特征化

训练数据由行和列构成。 每一行都是一条观测或记录，而每行的列则是用于描述每条记录的特征。 通常，选择最能描述数据中模式的特征以创建预测模型。

尽管可以直接使用许多原始数据字段来训练模型，但通常需要创建其他（工程）特征，以便更好地区分数据中的模式。 此过程称为 特征工程。 使用数据的域知识创建有助于机器学习算法更好地学习的功能。

在 Azure 机器学习中，应用了数据缩放和规范化技术来简化特征工程。 这些技术和此功能工程在 AutoML 试验中称为 特征化 。

先决条件

本文假定你已了解如何配置 AutoML 试验。

有关配置的信息，请参阅以下文章：

• 对于以代码为主的体验：使用 Python 进行 AutoML 训练设置
• 对于无代码体验：使用工作室 UI 为表格数据设置无代码 AutoML 训练

配置特征化

每个 AutoML 试验都会自动对数据应用 自动缩放和规范化技术 。 某些算法对不同规模的特征敏感，这些技术是特征化方法，可以用来帮助这些算法。 可以启用更多的特征化，例如缺失值插补、编码和转换。

对于使用 Python SDK 配置的试验，可以启用或禁用特征化设置，并进一步指定要用于试验的特征化步骤。 如果使用的是 Azure 机器学习工作室，请参阅启用特征化的步骤。

下表列出了 featurization 在 AutoMLConfig 类 中的已接受设置：

自动特征化

下表汇总了系统自动应用于数据的技术。 这些技术适用于使用 SDK 或工作室 UI 配置的试验。 若要禁用此行为，请在 "featurization": 'off' 对象中设置 AutoMLConfig。

在每个 AutoML 试验中，系统会自动缩放或规范化数据，以帮助算法性能良好。 在模型训练期间，系统将以下缩放或规范化技术之一应用于每个模型。

数据控制措施

数据防护有助于 识别数据的潜在问题，例如缺失值或 不平衡的数据。 它们还有助于采取纠正措施，以便获得更好的结果。

通过以下方式应用数据防护：

• 对于 SDK 试验：在 "featurization": 'auto' 对象中指定 validation=auto 或 AutoMLConfig 参数。
• 对于实验室实验：启用自动特征化。

可通过以下方式查看试验的数据护栏：

• 使用 SDK 提交试验时，请设置 show_output=True。
• 访问工作室中 AutoML 运行的“数据护栏”选项卡。

数据护栏状态

数据护栏显示以下三种状态之一：

支持的数据护栏

下表描述了当前支持的数据护栏，以及你在提交试验时可能会看到的相关状态：

自定义特征化

自定义您的特征化设置，以确保用于训练机器学习模型的数据和特征能够实现相关的预测。

若要自定义特征化，请在 "featurization": FeaturizationConfig 对象中指定 AutoMLConfig。 如果使用 Azure 机器学习工作室进行试验，请参阅 “配置特征化设置”。 若要自定义预测任务类型的特征化，请参阅 “自定义特征化”。

支持的自定义项包括：

FeaturizationConfig使用 API 调用创建对象：

featurization_config = FeaturizationConfig()
featurization_config.blocked_transformers = ['LabelEncoder']
featurization_config.drop_columns = ['aspiration', 'stroke']
featurization_config.add_column_purpose('engine-size', 'Numeric')
featurization_config.add_column_purpose('body-style', 'CategoricalHash')
#default strategy mean, add transformer param for 3 columns
featurization_config.add_transformer_params('Imputer', ['engine-size'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['city-mpg'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['bore'], {"strategy": "most_frequent"})
featurization_config.add_transformer_params('HashOneHotEncoder', [], {"number_of_bits": 3})

特征化透明度

每个 AutoML 模型都会自动应用特征化。 特征化包括自动化特征工程（when "featurization": 'auto'），以及缩放和标准化。 这些步骤会影响所选算法及其超参数值。 AutoML 提供了不同的方法来帮助你查看它应用于模型的特征化。

请考虑此预测示例：

• 数据集有四个输入特征：A（数字）、B（数字）、C（数字）和 D（DateTime）。
• 进程删除数值特征 C，因为它是具有所有唯一值的 ID 列。
• 该过程使用平均值将数值特征 A 和 B 中的缺失值进行插补。
• 该过程将 DateTime 功能 D 特征化为 11 个不同的工程特征。

若要获取此信息，请使用 AutoML 试验运行的 fitted_model 输出。

automl_config = AutoMLConfig(…)
automl_run = experiment.submit(automl_config …)
best_run, fitted_model = automl_run.get_output()

自动化特征工程

该 get_engineered_feature_names() 函数返回工程特征名称的列表。

fitted_model.named_steps['timeseriestransformer']. get_engineered_feature_names ()

此列表包括所有工程特征的名称。

['A', 'B', 'A_WASNULL', 'B_WASNULL', 'year', 'half', 'quarter', 'month', 'day', 'hour', 'am_pm', 'hour12', 'wday', 'qday', 'week']

该 get_featurization_summary() 函数获取所有输入特征的特征化摘要。

fitted_model.named_steps['timeseriestransformer'].get_featurization_summary()

输出

[{'RawFeatureName': 'A',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'B',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'C',
  'TypeDetected': 'Numeric',
  'Dropped': 'Yes',
  'EngineeredFeatureCount': 0,
  'Tranformations': []},
 {'RawFeatureName': 'D',
  'TypeDetected': 'DateTime',
  'Dropped': 'No',
  'EngineeredFeatureCount': 11,
  'Tranformations': ['DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime']}]

缩放和归一化

若要了解缩放和规范化，并使用其超参数值查看所选算法，请使用 fitted_model.steps。

以下示例输出来自所选运行的 fitted_model.steps 运行：

[('RobustScaler', 
  RobustScaler(copy=True, 
  quantile_range=[10, 90], 
  with_centering=True, 
  with_scaling=True)), 

  ('LogisticRegression', 
  LogisticRegression(C=0.18420699693267145, class_weight='balanced', 
  dual=False, 
  fit_intercept=True, 
  intercept_scaling=1, 
  max_iter=100, 
  multi_class='multinomial', 
  n_jobs=1, penalty='l2', 
  random_state=None, 
  solver='newton-cg', 
  tol=0.0001, 
  verbose=0, 
  warm_start=False))]

若要获取更多详细信息，请使用此帮助程序函数：

from pprint import pprint

def print_model(model, prefix=""):
    for step in model.steps:
        print(prefix + step[0])
        if hasattr(step[1], 'estimators') and hasattr(step[1], 'weights'):
            pprint({'estimators': list(e[0] for e in step[1].estimators), 'weights': step[1].weights})
            print()
            for estimator in step[1].estimators:
                print_model(estimator[1], estimator[0]+ ' - ')
        elif hasattr(step[1], '_base_learners') and hasattr(step[1], '_meta_learner'):
            print("\nMeta Learner")
            pprint(step[1]._meta_learner)
            print()
            for estimator in step[1]._base_learners:
                print_model(estimator[1], estimator[0]+ ' - ')
        else:
            pprint(step[1].get_params())
            print()   

此辅助函数针对使用LogisticRegression with RobustScalar作为特定算法的某次运行返回以下输出。

RobustScaler
{'copy': True,
'quantile_range': [10, 90],
'with_centering': True,
'with_scaling': True}

LogisticRegression
{'C': 0.18420699693267145,
'class_weight': 'balanced',
'dual': False,
'fit_intercept': True,
'intercept_scaling': 1,
'max_iter': 100,
'multi_class': 'multinomial',
'n_jobs': 1,
'penalty': 'l2',
'random_state': None,
'solver': 'newton-cg',
'tol': 0.0001,
'verbose': 0,
'warm_start': False}

预测类概率

AutoML 创建的所有模型都有一个包装对象，其反映了开源源类的功能。 AutoML 返回的大多数分类模型包装器对象实现函数 predict_proba() 。 此函数接受特征（X 值）的类似数组或稀疏矩阵数据样本，并返回每个样本及其各自的类概率的 n 维数组。

如果使用相同的调用检索最佳运行和拟合模型，可以直接从拟合模型调用 predict_proba() 。 请根据模型类型，提供采用适当格式的示例。

best_run, fitted_model = automl_run.get_output()
class_prob = fitted_model.predict_proba(X_test)

如果基础模型不支持 predict_proba() 函数或格式不正确，则代码将引发模型类特定的异常。 有关如何为不同模型类型实现此函数的示例，请参阅 RandomForestClassifier 和 XGBoost 参考文档。

AutoML 中的 BERT 集成

基于变换器的双向编码器表示技术 (BERT) 用于 AutoML 的特征化层。 在此层中，如果列包含自由文本或其他类型的数据（如时间戳或简单数字），则会相应地应用特征化。

对于 BERT，模型使用您提供的标签进行微调和训练。 模型输出文档嵌入功能以及其他功能，如基于时间戳的功能和一周中的一天。

了解如何设置 AutoML 以使用 Python 训练自然语言处理模型。

调用 BERT 的步骤

若要调用 BERT，请在enable_dnn: True中设置automl_settings，并使用 GPU 进行计算（使用vm_size = "STANDARD_NC6"或更高配置的 GPU）。 如果使用 CPU 计算，AutoML 将启用 BiLSTM DNN 特征化器，而不是 BERT。

AutoML 针对 BERT 执行以下步骤：

1. 预处理并标记所有文本列。 例如，可以在最终模型的特征化摘要中找到 StringCast 转换器。 可以在此 Jupyter 笔记本中找到有关如何生成模型特征化摘要的示例。

2. 将所有文本列串联成单个文本列，因此在最终模型中会有StringConcatTransformer。

   我们实现的 BERT 将训练示例的总文本长度限制为 128 个标记。 这意味着，当已连接时，所有文本列在理想情况下的长度最多应为 128 个标记。 如果存在多个列，则应修剪每个列，使此条件得到满足。 否则，对于长度超过 128 个标记的串联列，BERT 的 tokenizer 层将此输入截断为 128 个标记。

3. 在特征扫描过程中，AutoML 在数据样本上将 BERT 与基线（词袋特征）进行比较。 这一比较确定了 BERT 是否可以提高准确性。 如果 BERT 的性能优于基线，AutoML 会使用 BERT 对整个数据进行文本特征化。 在这种情况下，你将在最终模型中看到 PretrainedTextDNNTransformer。

BERT 的运行时间通常比其他的特征化器更长。 为了获得更好的性能，请使用 STANDARD_NC24r 或 STANDARD_NC24rs_V3 以利用其 RDMA 功能。

如有多个节点可用（最多可以使用 8 个节点），则 AutoML 会在多个节点之间分配 BERT 训练。 可以通过在AutoMLConfig对象中将max_concurrent_iterations参数设置为大于 1 来执行此操作。

BERT 支持的语言

AutoML 目前支持大约 100 种语言。 根据数据集的语言，AutoML 选择适当的 BERT 模型。 对于德国数据，它使用德国 BERT 模型。 对于英语，它使用英语 BERT 模型。 对于所有其他语言，它使用多语言 BERT 模型。

在以下代码中，将触发德语 BERT 模型，因为数据集语言被指定为 deu，这是根据 ISO 分类为德语的三字母语言代码：

from azureml.automl.core.featurization import FeaturizationConfig

featurization_config = FeaturizationConfig(dataset_language='deu')

automl_settings = {
    "experiment_timeout_minutes": 120,
    "primary_metric": 'accuracy',
# All other settings you want to use
    "featurization": featurization_config,
    
    "enable_dnn": True, # This enables BERT DNN featurizer
    "enable_voting_ensemble": False,
    "enable_stack_ensemble": False
}

相关内容

• 将机器学习模型部署到 Azure
• 使用 AutoML 和 Python 训练回归模型