使用 Microsoft 音频堆栈进行基于 DSP 的音频处理

Microsoft音频堆栈中默认基于 DSP 的管道(AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT)使用传统的数字信号处理算法来增强输入音频。 有关可用管道的比较,请参阅 音频处理概述 。 有关基于模型的回声消除的更多信息,请参阅使用 Microsoft 音频堆栈的基于模型的回声消除。

Prerequisites

在Windows上安装 Microsoft.CognitiveServices.Speech.Extension.MAS NuGet 包。 最佳做法是使用与语音 SDK 版本匹配的包版本。

基于 DSP 的处理不需要 Microsoft.CognitiveServices.Speech.Extension.MAS.AEC.Model 包。

DSP 增强功能

基于 DSP 的管道针对输入音频信号提供以下增强功能:

  • 波束成形 - 确定声源位置,并使用多个麦克风优化音频信号。
  • Dereverberation - 减少环境中各表面的声音反射。
  • 声学回声消除 - 在麦克风输入处于活动状态时,抑制设备播放的音频。
  • 自动增益控制 - 动态调整人员的语音级别,以适应说话声音较小的人、距离较远或未经校准的麦克风。
  • 干扰抑制 - 降低背景噪音级别。 需要使用麦克风阵列以获得最佳性能;使用单个麦克风或信噪比低的音频时,效果不佳。

Microsoft音频堆栈增强功能的块图。

不同场景和用例可能需要进行不同的优化来影响音频处理堆栈的行为。 例如,在诸如电话通话之类的电信场景中,在应用了处理之后,音频信号中的轻微失真是可以接受的。 正是因为人们可以持续高精度地理解语音。 然而,在回声中听到自己的声音是不可接受的,这也具有扰乱性。 这与语音处理场景形成对比,在语音处理场景中,失真的音频可能会对机器学习语音识别模型的准确度产生不利影响,但可以接受轻微程度的回声残余。

主要功能

基于 DSP 的管道通过语音 SDK 支持以下功能:

  • 选择增强功能 - 为了完全控制方案,SDK 允许禁用单个增强功能,如去色、噪音抑制、自动增益控制和声学回声取消。 例如,如果您的方案不包括渲染需要从输入音频中消除的输出音频,那么您可以选择禁用声学回声消除。
  • 自定义麦克风几何图形 - SDK 允许提供自己的自定义麦克风几何信息,除了支持线性双麦克风、线性四麦克风和圆形 7 麦克风数组等预设几何图形(请参阅 麦克风阵列建议中支持的预设几何图形的详细信息)。
  • 梁形角度 - 可以提供特定的梁形角度,以优化源自预先确定位置的音频输入,相对于麦克风。

输入参数

基于 DSP 的管道需要以下输入参数:

  • 原始音频 - Microsoft音频堆栈需要原始(未处理)音频作为输入才能产生最佳结果。
  • 麦克风几何图形 - 设备上每个麦克风的几何信息是正确执行所有增强功能所必需的。 该信息包括麦克风数量、其物理排列和坐标。 最多支持 16 个输入麦克风通道。
  • 环回或参考音频 - 执行声学回声消除需要一个表示设备正在播放的音频的音频通道。
  • 输入格式 - 支持对采样率为 16 kHz 整数倍的音频进行降采样。 要求最低采样率为16 kHz。

代码示例

以下示例演示如何使用不同的配置使用基于 DSP 的管道。

默认选项

此示例演示如何将 MAS 结合所有默认增强选项应用于来自设备默认麦克风的输入。

var speechConfig = SpeechConfig.FromEndpoint(new Uri("YourSpeechEndpoint"), "YourSpeechKey");

var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT);
var audioInput = AudioConfig.FromDefaultMicrophoneInput(audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

预设麦克风几何结构

此示例显示了如何在指定的音频输入设备上将 MAS 与预定义的麦克风几何配合使用。 在本示例中:

  • 增强选项 - 默认增强功能应用于输入音频流。
  • 预设几何图形 - 预设几何图形表示线性 2 麦克风阵列。
  • 音频输入设备 - 音频输入设备 ID 为 hw:0,1。 若要详细了解如何选择音频输入设备,请参阅如何:使用语音 SDK 选择音频输入设备。
var speechConfig = SpeechConfig.FromEndpoint(new Uri("YourSpeechEndpoint"), "YourSpeechKey");

var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT, PresetMicrophoneArrayGeometry.Linear2);
var audioInput = AudioConfig.FromMicrophoneInput("hw:0,1", audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

自定义麦克风几何结构

此示例显示了如何在指定的音频输入设备上将 MAS 与自定义麦克风几何配合使用。 在本示例中:

  • 增强选项 - 默认增强功能应用于输入音频流。
  • 自定义几何图形 - 通过麦克风坐标提供 7 麦克风阵列的自定义麦克风几何图形。 坐标单位为毫米。
  • 音频输入 - 音频输入来自文件,其中文件内的音频应来自与指定的自定义几何图形对应的音频输入设备。
var speechConfig = SpeechConfig.FromEndpoint(new Uri("YourSpeechEndpoint"), "YourSpeechKey");

MicrophoneCoordinates[] microphoneCoordinates = new MicrophoneCoordinates[7]
{
    new MicrophoneCoordinates(0, 0, 0),
    new MicrophoneCoordinates(40, 0, 0),
    new MicrophoneCoordinates(20, -35, 0),
    new MicrophoneCoordinates(-20, -35, 0),
    new MicrophoneCoordinates(-40, 0, 0),
    new MicrophoneCoordinates(-20, 35, 0),
    new MicrophoneCoordinates(20, 35, 0)
};
var microphoneArrayGeometry = new MicrophoneArrayGeometry(MicrophoneArrayType.Planar, microphoneCoordinates);
var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT, microphoneArrayGeometry, SpeakerReferenceChannel.LastChannel);
var audioInput = AudioConfig.FromWavFileInput("katiesteve.wav", audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

选择增强功能

此示例显示了如何将 MAS 与一组自定义增强功能配合用于输入音频。 默认情况下,所有增强功能均已启用,但可以使用 AudioProcessingOptions 中的选项单独禁用残响消除、噪声抑制、自动增益控制和回声消除。

在本示例中:

  • 增强选项 - 回声取消和干扰抑制处于禁用状态,而所有其他增强功能仍保持启用状态。
  • 音频输入设备 - 音频输入设备是设备的默认麦克风。
var speechConfig = SpeechConfig.FromEndpoint(new Uri("YourSpeechEndpoint"), "YourSpeechKey");

var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_DISABLE_ECHO_CANCELLATION | AudioProcessingConstants.AUDIO_INPUT_PROCESSING_DISABLE_NOISE_SUPPRESSION | AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT);
var audioInput = AudioConfig.FromDefaultMicrophoneInput(audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

指定波束形成角度

此示例显示了如何在指定的音频输入设备上将 MAS 与自定义麦克风几何以及波束赋形配合使用。 在本示例中:

  • 增强选项 - 默认增强功能应用于输入音频流。
  • 自定义几何图形 - 通过指定麦克风坐标来提供 4 麦克风阵列的自定义麦克风几何图形。 坐标单位为毫米。
  • 波束成形角度 - 指定波束成形角度,以便优化该范围内来源的音频。 角度单位为度。
  • 音频输入 - 音频输入来自推送流,其中流中的音频应来自与指定的自定义几何图形对应的音频输入设备。

在下面的代码示例中,开始角度设置为 70 度,结束角度设置为 110 度。

var speechConfig = SpeechConfig.FromEndpoint(new Uri("YourSpeechEndpoint"), "YourSpeechKey");

MicrophoneCoordinates[] microphoneCoordinates = new MicrophoneCoordinates[4]
{
    new MicrophoneCoordinates(-60, 0, 0),
    new MicrophoneCoordinates(-20, 0, 0),
    new MicrophoneCoordinates(20, 0, 0),
    new MicrophoneCoordinates(60, 0, 0)
};
var microphoneArrayGeometry = new MicrophoneArrayGeometry(MicrophoneArrayType.Linear, 70, 110, microphoneCoordinates);
var audioProcessingOptions = AudioProcessingOptions.Create(AudioProcessingConstants.AUDIO_INPUT_PROCESSING_ENABLE_DEFAULT, microphoneArrayGeometry, SpeakerReferenceChannel.LastChannel);
var pushStream = AudioInputStream.CreatePushStream();
var audioInput = AudioConfig.FromStreamInput(pushStream, audioProcessingOptions);

var recognizer = new SpeechRecognizer(speechConfig, audioInput);

回声消除的参考通道

Microsoft 音频堆栈要求使用参考通道(也称为环回通道)来执行回声消除。 参考通道的源因平台而异:

  • Windows - 如果创建AudioProcessingOptions时提供了该选项,SpeakerReferenceChannel::LastChannel则语音 SDK 会自动收集引用通道。
  • Linux - ALSA(高级 Linux 声音体系结构)必须配置为提供参考音频流作为所用音频输入设备的最后一个通道。 在创建 SpeakerReferenceChannel::LastChannel 时,除了提供 AudioProcessingOptions 选项,还要配置 ALSA。

语言和平台支持

语言 Platform 参考文档
C++ Windows、Linux C++ 文档
C# Windows、Linux C# 文档
Java Windows、Linux Java文档