使用 Microsoft 音频堆栈 (MAS)

  • 项目

语音 SDK 集成 Microsoft 音频堆栈 (MAS)，允许任何应用程序或产品对输入音频使用其音频处理功能。 有关概述，请参阅音频处理文档。

本文介绍如何将 Microsoft 音频堆栈 (MAS) 与语音 SDK 结合使用。

重要

在适用于 C++ 和 C# v1.33.0 及更高版本的语音 SDK 上，必须安装 Microsoft.CognitiveServices.Speech.Extension.MAS 包才能在 Windows 上使用 Microsoft 音频堆栈；如果你使用 NuGet 来安装语音 SDK，则必须在 Linux 上使用 Linux 音频堆栈。

默认选项

此示例显示了如何将 MAS 与所有默认的增强功能选项配合用于设备的默认麦克风的输入。

var speechConfig = SpeechConfig.FromSubscription("YourSubscriptionKey", "YourServiceRegion");

var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT);
var audioInput = AudioConfig.FromDefaultMicrophoneInput(audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

预设麦克风几何结构

此示例显示了如何在指定的音频输入设备上将 MAS 与预定义的麦克风几何配合使用。 在本示例中：

  • 增强功能选项 - 应用于输入音频流的默认增强功能。
  • 预设几何 - 预设几何表示线性双麦克风阵列。
  • 音频输入设备 - 音频输入设备 ID 是 hw:0,1。 若要详细了解如何选择音频输入设备，请参阅如何：使用语音 SDK 选择音频输入设备。
var speechConfig = SpeechConfig.FromSubscription("YourSubscriptionKey", "YourServiceRegion");

var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT, PresetMicrophoneArrayGeometry.Linear2);
var audioInput = AudioConfig.FromMicrophoneInput("hw:0,1", audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

自定义麦克风几何结构

此示例显示了如何在指定的音频输入设备上将 MAS 与自定义麦克风几何配合使用。 在此示例中：

  • 增强功能选项 - 应用于输入音频流的默认增强功能。
  • 自定义几何结构 - 通过麦克风坐标提供 7 麦克风阵列的自定义麦克风几何结构。 坐标单位为毫米。
  • 音频输入 - 音频输入来自文件，文件中的音频应来自与指定的自定义几何结构相对应的音频输入设备。
var speechConfig = SpeechConfig.FromSubscription("YourSubscriptionKey", "YourServiceRegion");

MicrophoneCoordinates[] microphoneCoordinates = new MicrophoneCoordinates[7]
{
    new MicrophoneCoordinates(0, 0, 0),
    new MicrophoneCoordinates(40, 0, 0),
    new MicrophoneCoordinates(20, -35, 0),
    new MicrophoneCoordinates(-20, -35, 0),
    new MicrophoneCoordinates(-40, 0, 0),
    new MicrophoneCoordinates(-20, 35, 0),
    new MicrophoneCoordinates(20, 35, 0)
};
var microphoneArrayGeometry = new MicrophoneArrayGeometry(MicrophoneArrayType.Planar, microphoneCoordinates);
var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT, microphoneArrayGeometry, SpeakerReferenceChannel.LastChannel);
var audioInput = AudioConfig.FromWavFileInput("katiesteve.wav", audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

选择增强功能

此示例显示了如何将 MAS 与一组自定义增强功能配合用于输入音频。 默认启用所有增强功能，但可以使用一些选项通过 AudioProcessingOptions 来分别禁用残响消除、噪声抑制、自动增益控制和回声消除。

在本示例中：

  • 增强功能选项 - 禁用回声消除和噪声抑制，并让所有其他增强功能保持启用状态。
  • 音频输入设备 - 音频输入设备是此设备的默认麦克风。
var speechConfig = SpeechConfig.FromSubscription("YourSubscriptionKey", "YourServiceRegion");

var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_DISABLE_ECHO_CANCELLATION | AudioProcessingConstants.AUDIO_INPUT_PROCESSING_DISABLE_NOISE_SUPPRESSION | AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT);
var audioInput = AudioConfig.FromDefaultMicrophoneInput(audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

指定波束形成角度

此示例显示了如何在指定的音频输入设备上将 MAS 与自定义麦克风几何以及波束赋形配合使用。 在此示例中：

  • 增强功能选项 - 应用于输入音频流的默认增强功能。
  • 自定义几何 - 通过指定麦克风坐标来提供四麦阵列的自定义麦克风几何。 坐标单位为毫米。
  • 波束赋形角度 - 指定波束赋形角度可以针对源自该范围内的音频进行优化。 角度单位为度。
  • 音频输入 - 音频输入来自推送流，流中的音频应来自与指定的自定义几何结构相对应的音频输入设备。

在下面的代码示例中，开始角度设置为 70 度，结束角度设置为 110 度。

var speechConfig = SpeechConfig.FromSubscription("YourSubscriptionKey", "YourServiceRegion");

MicrophoneCoordinates[] microphoneCoordinates = new MicrophoneCoordinates[4]
{
    new MicrophoneCoordinates(-60, 0, 0),
    new MicrophoneCoordinates(-20, 0, 0),
    new MicrophoneCoordinates(20, 0, 0),
    new MicrophoneCoordinates(60, 0, 0)
};
var microphoneArrayGeometry = new MicrophoneArrayGeometry(MicrophoneArrayType.Linear, 70, 110, microphoneCoordinates);
var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT, microphoneArrayGeometry, SpeakerReferenceChannel.LastChannel);
var pushStream = AudioInputStream.CreatePushStream();
var audioInput = AudioConfig.FromStreamInput(pushStream, audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

回声消除的参考通道

Microsoft 音频堆栈要求使用参考通道（也称为环回通道）来执行回声消除。 参考通道的源因平台而异：

  • Windows - 如果在创建 AudioProcessingOptions 时提供 SpeakerReferenceChannel::LastChannel 选项，则语音 SDK 会自动收集参考通道。
  • Linux - 必须将 ALSA（高级 Linux 声音体系结构）配置为提供参考音频流作为所用音频输入设备的最后一个通道。 在创建 AudioProcessingOptions 时，除了提供 SpeakerReferenceChannel::LastChannel 选项外，还要配置 ALSA。

语言和平台支持

语言 平台 参考文档
C++ Windows、Linux C++ 文档
C# Windows、Linux C# 文档
Java Windows、Linux Java 文档

后续步骤

安装开发环境