设置 AutoML 以训练自然语言处理模型

适用于：Azure CLI ml 扩展 v2（当前版本）Python SDK azure-ai-ml v2（当前版本）

本文介绍如何使用 自动化 机器学习（AutoML）在 Azure 机器学习中训练自然语言处理（NLP）模型。 可以通过 Azure 机器学习 CLI v2 或 Azure 机器学习 Python SDK v2 使用 AutoML 创建 NLP 模型。

AutoML 中的 NLP 允许机器学习专业人员和数据科学家使用自己的文本数据，并为多类文本分类、多标签文本分类和命名实体识别（NER）生成自定义模型。 可以与 Azure 机器学习数据标签 无缝集成，以标记文本数据，或使用现有的标记数据。

AutoML 提供了在多 GPU 计算群集上使用分布式训练的选项，以便更快地进行模型训练。 可以利用 Azure 机器学习的 MLOps 功能，将生成的模型大规模投入运行。

先决条件

• Azure 订阅。 如果没有 Azure 订阅，请立即注册来试用试用版订阅。

• 具有 GPU 训练计算的 Azure 机器学习工作区。 若要创建工作区，请参阅创建工作区资源。 有关 Azure 提供的 GPU 实例的详细信息，请参阅 GPU 优化虚拟机大小。

  注意

  某些 NLP 用例（如非英语数据集和较长范围文档）需要使用多语言模型或具有较长最大序列长度的模型。 这些方案可能需要更高的 GPU 内存才能成功训练模型，例如 NCv3 或 NDv2 系列。

• 对设置 AutoML 实验有一些了解。 有关 AutoML 试验设计范式的详细信息，请参阅 设置表格数据的 AutoML 训练。

选择 NLP 任务

确定要完成的 NLP 任务。 AutoML 支持以下深度神经网络 NLP 任务：

阈值

阈值是多标签文本分类功能，用于确定预测概率产生正标签的阈值。 较低的数值允许更多标签，这在用户重视召回率时会更好，但可能会导致更多误报。 较高的数值允许更少的标签，这在用户关注精度时会更好，但可能会导致更多的漏报。

准备数据

对于 AutoML NLP 试验，您可以以 .csv 格式提供数据，用于多类和多标签分类任务。 对于 NER 任务，请提供使用空格作为分隔符并遵循.txt格式的两列CoNLL文件。 以下部分提供有关每个任务接受的数据格式的详细信息。

多类

对于多类分类，数据集最多可以包含多个文本列和一个标签列。 以下示例只有一个文本列。

text,labels
"I love watching Shanghai Bulls games.","NBA"
"Tom Brady is a great player.","NFL"
"There is a game between Yankees and Orioles tonight","MLB"
"Stephen Curry made the highest number of three-pointers","NBA"

多标签

对于多标签分类，数据集列可以与多类相同，但标签列中的数据有特殊的格式要求。 下表显示了包含示例的两种接受格式。

以下示例以纯文本格式显示多标签数据：

text,labels
"I love watching Shanghai Bulls games.","basketball"
"The four most popular leagues are NFL, MLB, NBA and NHL","football,baseball,basketball,hockey"
"I like drinking beer.",""

以下示例演示 Python 列表中的多标签数据（采用引号格式）。

text,labels
"I love watching Shanghai Bulls games.","['basketball']"
"The four most popular leagues are NFL, MLB, NBA and NHL","['football','baseball','basketball','hockey']"
"I like drinking beer.","[]"

命名实体识别 (NER)

与采用 .csv 格式数据集的多类或多标签分类不同，NER 需要 CoNLL 格式。 数据文件必须仅包含两列，每个行中的标记和标签由一个空格分隔。

例如，

Hudson B-loc
Square I-loc
is O
a O
famous O
place O
in O
New B-loc
York I-loc
City I-loc

Stephen B-per
Curry I-per
got O
three O
championship O
rings O

数据验证

在训练模型之前，AutoML 对输入数据应用数据验证检查，以确保可以正确处理数据。 如果上述任何检查都失败，运行将失败，并出现相关的错误消息。 要通过每个任务的数据验证检查，需要满足以下因素。

配置试验

AutoML NLP 功能通过特定于任务的automl类型作业触发，与用于提交分类、回归和预测 AutoML 任务的工作流相同。 可以设置与这些试验相同的参数，例如experiment_name、compute_name以及数据输入。 但是，存在以下主要差异：

• 可以忽略 primary_metric，因为它仅用于报告。 对于 NLP，AutoML 每次运行仅训练一个模型，并且没有模型选择。
• 此参数 label_column_name 仅适用于多类和多标签文本分类任务。

• 如果数据集中超过 10% 的样本包含的标记超过 128 个，则会将其视为长范围。

# general job parameters
compute_name = "gpu-cluster"
exp_name = "dpv2-nlp-text-classification-experiment"

# Create the AutoML job with the related factory-function.
text_classification_job = automl.text_classification(
    compute=compute_name,
    # name="dpv2-nlp-text-classification-multiclass-job-01",
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="Sentiment",
    primary_metric="accuracy",
    tags={"my_custom_tag": "My custom value"},
)

text_classification_job.set_limits(timeout=120)

max_concurrent_iterations = number_of_vms
enable_distributed_dnn_training = True

语言设置

作为 NLP 功能的一部分，AutoML 支持 104 种语言的深度神经网络（DNN）模型中的预训练文本，这些文本可以是特定于语言的，也可以是多语言的，例如双向编码器表征的转换器（BERT）模型。 语言选择默认为英语。

下表总结了基于任务类型和语言应用了哪个模型。 有关详细信息，请参阅 支持的语言及其代码。

BERT 还用于 AutoML 试验训练的特征化过程。 有关详细信息，请参阅 AutoML （SDK v1）中的 BERT 集成和特征化。

featurization:
   dataset_language: "eng"

text_classification_job.set_featurization(dataset_language='eng')

提交 AutoML 作业

az ml job create --file ./<YAML filename> --workspace-name <machine-learning-workspace> --resource-group <resource-group> --subscription <subscription ID>

returned_job = ml_client.jobs.create_or_update(
    text_classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")
ml_client.jobs.stream(returned_job.name)

代码示例

模型扫描和超参数优化（预览版）

AutoML NLP 允许通过配置中的超参数搜索空间提供超参数模型和组合的列表。Hyperdrive 生成多个子运行。 每个子实验都是对给定 NLP 模型进行微调的过程，使用一组基于提供的搜索空间所选择并遍历的超参数值。

支持的模型算法

以下列表显示了 AutoML NLP 中可用于微调的所有预先训练的文本 DNN 模型：

• bert-base-cased
• bert-large-uncased
• bert-base-多语言案例
• bert-base-german-cased
• bert-large-cased
• distilbert-base-cased
• distilbert-base-uncased
• roberta-base
• roberta-large
• distilroberta-base
• xlm-roberta-base
• xlm-roberta-large
• xlnet-base-cased
• xlnet-large-cased

大型模型大于其基本模型，通常性能更高，但占用更多的 GPU 内存和训练时间。 大型模型 SKU 要求更为严格，需要使用 NDv2 系列 VM 获得最佳效果。

支持的超参数

下表描述了 AutoML NLP 支持的超参数。

所有离散超参数只允许使用选择分布，例如整数类型的 training_batch_size 和字符串类型的 model_name 超参数。 learning_rate 等所有连续超参数支持所有分布。

配置扫描设置

可以配置所有与扫描相关的参数。 可以依据各自模型的超参数构造多个模型子空间，正如每个超参数调优示例所示。

支持与常规 HyperDrive 作业相同的离散和连续分布选项。 有关所有九个选项，请参阅 超参数优化模型。

limits: 
  timeout_minutes: 120  
  max_trials: 4 
  max_concurrent_trials: 2 

sweep: 
  sampling_algorithm: grid 
  early_termination: 
    type: bandit 
    evaluation_interval: 10 
    slack_factor: 0.2 

search_space: 
  - model_name: 
      type: choice 
      values: [bert_base_cased, roberta_base] 
    number_of_epochs: 
      type: choice 
      values: [3, 4] 
  - model_name: 
      type: choice 
      values: [distilbert_base_cased] 
    learning_rate: 
      type: uniform 
      min_value: 0.000005 
      max_value: 0.00005 

text_ner_job.set_limits( 
                        timeout_minutes=120, 
                        trial_timeout_minutes=20, 
                        max_trials=4, 
                        max_concurrent_trials=2, 
                        max_nodes=4) 

text_ner_job.extend_search_space( 
    [ 
        SearchSpace( 
            model_name=Choice([NlpModels.BERT_BASE_CASED, NlpModels.ROBERTA_BASE]) 
        ), 
        SearchSpace( 
            model_name=Choice([NlpModels.DISTILROBERTA_BASE]), 
            learning_rate_scheduler=Choice([NlpLearningRateScheduler.LINEAR,  
                                            NlpLearningRateScheduler.COSINE]), 
            learning_rate=Uniform(5e-6, 5e-5) 
        ) 
    ] 
) 

text_ner_job.set_sweep( 
    sampling_algorithm="Random", 
    early_termination=BanditPolicy( 
        evaluation_interval=2, slack_factor=0.05, delay_evaluation=6 
    ) 
) 

扫描的采样方法

扫描超参数时，需要指定用于对定义的参数空间进行扫描的采样方法。 参数sampling_algorithm支持以下采样方法：

试验预算

可以使用参数timeout_minutes在limits为 AutoML NLP 训练作业选择性地指定试验预算。 此参数定义试验终止前几分钟的时间量。 如果未指定超时，则默认试验超时为 7 天，最大值为 60 天。

AutoML NLP 还支持 trial_timeout_minutes（单个试运行在终止之前可以运行的最长时间，以分钟为单位）和 max_nodes（后备计算群集中可用于作业的最大节点数）。 这些参数也在 limits 节中设置。

limits: 
  timeout_minutes: 60 
  trial_timeout_minutes: 20 
  max_nodes: 2 

提前终止策略

可以使用提前终止策略自动终止性能不佳的运行。 早期终止可提高计算效率，从而节省将花费在不太有希望的配置上的计算资源。

AutoML NLP 支持使用 early_termination 参数的提前终止策略。 如果未指定终止策略，则所有配置将运行到完成为止。 有关详细信息，请参阅 指定提前终止策略。

用于扫描的资源

可以通过为扫描指定 max_trials 和 max_concurrent_trials 来控制在超参数扫描上花费的资源。

以下示例演示如何配置扫描相关参数。

sweep:
  limits:
    max_trials: 10
    max_concurrent_trials: 2
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

已知问题

无论 NLP 任务如何，某些数据集都会生成低分数，甚至为零。 高损失值伴随着这些分数，这意味着神经网络未能聚合。 此类情况不常见，但可能，在某些 GPU 系列上可能更频繁地发生。

处理这些事例的最佳方式是使用超参数优化并提供更广泛的值，尤其是对于学习速率等超参数。 在生产环境中提供超参数优化功能之前，如果遇到这些问题，请使用 NC6 或 ND6 计算群集。 这些群集通常具有相当稳定的训练结果。

相关内容

• 如何将 AutoML 模型部署到联机终结点
• 超参数优化模型 （v2）