假设语音信号为x(n), 在噪声信号中随机取一段噪声片段h(n), 含噪语音信号y(n)即为：

x(n)+ h(n)=y(n) （1）

为分析语音随时间的变化, 根据语音的短时平稳性, 将得到的净语音x(n)、含噪语音y(n)分别进行分帧、加窗处理, 得到信号的连续性变化; 为避免使用窗函数处理后语音信号丢失的情况, 设置窗之间的重叠部分, 使窗的滑动步长小于窗长^[8]。在本次实验中为了获得语音信号的周期性变化, 防止突然截断导致的频谱泄露, 使用海明窗（Hamming）。窗函数为：

（2）

随后对预处理后的y(n)做短时傅里叶变换（short-time Fourier transform, STFT）, 获得STFT向量：

（3）

若令 , 得到离散STFT, 获得信号在频率上的采样。

（4）

1.2.1 卷积神经网络的搭建

考虑到全连接神经网络参数庞大的问题, 采用全卷积神经网络代替, 相比于其他网络, 卷积神经网络能够更加准确地获取语音信号的局部特征, 将其运用在语音降噪中, 能够更好地恢复出语音信号的主要成分。实验中使用的深度卷积神经网络包含17个2D卷积层、部分批量归一化层（batch normalization）、Relu激活层、回归层。中间的15个卷积层分为3组, 重复6次。2D卷积层在输入中应用滑动过滤器, 卷积层沿输入的垂直、水平方向移动, 计算权重与输入的点积, 然后添加一个偏置项。本实验所采用的卷积神经网络结构搭建示意图如图1。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 网络结构搭建示意图Fig.1 Schematic of the network structure

在卷积操作中, 以same设置padding参数, 该操作可保持经过卷积层的量前后大小不变。设置批量归一化层使得每次卷积过后, 数据分布趋于一致, 从而提高深层网络模型训练的效率及稳定性。四种卷积层的参数设定如表1。

表1

Table 1

表1(Table 1)

表1 卷积层的参数设定 Table 1 Parameter setting for the convolutional layers 卷积层 滤波器(宽度) 滤波器(数量) 池化 Conv2D [9 8] 18 same Conv2D [5 1] 30 same Conv2D [9 1] 8 same Conv2D [129 1] 1 same

表1 卷积层的参数设定 Table 1 Parameter setting for the convolutional layers

1.2.2 网络训练参数优化

Adam（adaptive moment estimation）算法是由Open-AI的Kingma和多伦多大学的Ba于2015年在ICLR论文中提出的一种一阶优化算法, 它能够替代传统的随机梯度下降算法（stochastic gradient descent, SGD）, 由此基于训练数据迭代来实现神经网络权重参数的更新。这是因为SGD在网络训练过程中总是保持单一学习率更新所有的权重, 学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率, 兼具适应性梯度算法（AdaGrad）和均方根传播算法（RMSProp）的优点, 加快函数收敛的速度, 完成噪声模型的预测, 实现较好的语音降噪效果。

1.3.1 均方根误差

均方根误差（root mean squared error, RMSE）亦称标准误差, 是预测值与真实值偏差的平方与观测次数n比值的平方根, 即均方误差（mean square error, MSE）的平方根。

（5）

其中, d_i是预测值与真实值的偏差, 即d_i=y⁽ⁱ⁾-ŷ⁽ⁱ⁾, n表示观测次数。

该指标能够体现降噪过后的语音与原始净语音的偏差, 以此衡量该模型的降噪效果。在本实验中, 该模型在训练阶段使用均方根误差作为衡量模型训练效果的依据, 将模型训练至均方根误差最小的状态, 也认为此时模型参数为最优, 能够达到最好的降噪效果。

1.3.2 MOS评分

MOS（mean opinion score）评分也即平均意见得分, 是由国际电信联盟（International Telecommunication Union, 以下简称ITU）电信标准化部门制定的用于对话音/视频质量进行评价的评估方法。值得注意的是, 在话音业务中要求受试者提供质量评估的过程一样可以轻松地应用于视频和一般音频业务, 还可以要求受试者评价业务的整体视听质量。除了话音应用, ITU针对视频和一般音频制定了不同的标准来描述主观测试的不同方面^[9]。

在测试中进行评价时, 最常用的评分量表是5点绝对等级评定的ACR量表, ACR量表是离散量表, 也即单个受试者对于话音或者音频信号质量的评价只能由1、2、3、4、5这五个数字表示。在本文的实验中, 为避免离散化ACR量表的局限性, 规定受试者可以采用0~5之间的小数（保留一位）来对降噪后的语音进行打分, 以此来消除5点绝对等级评定只能用整数值来评价的局限性。

在实验设计中, 话音或视频的持续时间一般要在6~10 s, 这种限定为受试者提供了足够的评价时间, 并且不会引入过多的偏差, 此外, 为了减少性别因素带来的偏差, 要求受试者的性别子条件平均, 这种设置方式使得MOS评价的结果更具可信性及可借鉴性。

本实验共采用三个开源数据库, 包括：由Mozilla发布的Common Voice数据库, 该开源语音识别数据集覆盖了18种不同的语言, 包括大约42 000人的1 400 h的语音, 目前仍然在持续更新^[10]; ESC-50 数据库^[11]包括50 个语义类, 每类有40个示例, 共计2 000段环境录音, 每段录音时长为5 s; NoiseX-92数据库包含了英国荷兰感知研究所（Institute for Perception-TNO）的语音研究单位（Speech Research Unit, SRU）在2589-SAM（1990年2月）项目下实地测量的不同噪声数据, 共包含15种噪声, 每种噪声的持续时间都是235 s^[12]。

语音样本的收集分为两部分：1）在训练阶段, 净语音采用Common Voice数据库中的21 000条英文语音, 语音时长及说话人的性别、年龄不固定, 以排除模型对特定年龄或性别的语音过拟合的情况。噪声使用ESC 50 数据库中的洗衣机噪声、鼓掌噪声以及NoiseX-92噪声库中的汽车内部噪声, 共计三种噪声。2）在测试阶段, 净语音包括10名男性的133条语音以及7名女性的67条语音, 共计200条中文语音, 语音内容不限, 发音人的年龄多在20~30岁。噪声语音取自ESC 50中的洗衣机噪声、鼓掌噪声以及NoiseX-92噪声库中汽车内部噪声三种噪声。

本次实验分为训练和测试两部分。为研究低信噪比条件下模型的降噪效果, 将噪声以0 dB的信噪比叠加到纯净语音中, 得到带噪语音信号。训练阶段采用的客观验证标准分别是均方根误差（RMSE）, 以及模型损失（Loss）。

训练阶段用STFT从训练中获得目标（净语音）和预测（去噪语音）的振幅向量。定义系统参数时, 窗函数采用汉明窗, 窗长为256, 窗之间的重叠部分为窗长的75%, 即窗的滑动步长为64, 在处理过程中为减小网络运算量, 使用一个采样率转换器, 将语音信号降采样到8 kHz, 通过MATLAB的内置函数randi函数产生随机数, 使用随机数在噪声向量中随机创建一段噪声片段, 以0 dB信噪比将噪声添加到净语音中。在对净语音及含噪信号做短时傅里叶变换后, 对结果取绝对值以去除与负频率相关的频率样本, 减小网络的计算量。从带噪信号STFT中获得8个片段的训练预测信号, 相邻连续的预测器之间的重叠部分为7个片段。测试阶段通过与训练阶段类似的方法获得带噪语音信号, 通过训练段的均值和标准误差来测量输出并用带噪语音信号的STFT向量相位来重建时间域信号。本次实验随机抽取降噪测试集中的11条语音, 由10个人进行打分, 受试者由5名男性及5名女性组成, 受试者年龄在20~40岁之间, 要求在安静环境中（低于35 dB）使用设备中等音量听音, 借助MOS评价体系依次对测试语音进行评分。

通过前期的调试, 本次实验网络在训练时的基本参数如下：InitiaLearnRate（初始学习率）设置为0.000 01; Learn Rate Drop Factor（学习率增长因子）设置为0.9; Learn Rate Period（学习率增长周期）设置为1; Validation Frequency（验证频率）设置为训练预测的第四维大小与最小批量数的比值向下取整; miniBatchSize（最小训练批量的大小）设置为128; Epoch（训练周期）设置为6、20、40。

3.1.1 洗衣机噪声

图2a显示的是对于洗衣机噪声经过20个周期的卷积神经网络训练过程, 图2b显示的是经过卷积神经网络后对带有洗衣机噪声的语音的降噪效果。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 深度卷积神经网络对洗衣机噪声降噪的训练过程（a）和效果（b）Fig.2 The training process (a) and effect (b) of deep convolutional neural network to denoise the washing machine noise

由图2a可以看出, RMSE在训练的前三个周期的变化率较大, 这是由于初始的学习率较低, 而学习率增长因子较大, 因此真实值与预测值偏差的变化在训练刚开始时最大, 随着训练的进行, 真实值与预测值的偏差及其变化逐渐变小, 经过20个周期的训练, 最终RMSE为3.486 9。由图2b可以看出经过卷积神经网络降噪后的语音的一些细节特征得到了较完整的保留, 但还是出现了语音降噪过程中不可避免的语音失真的情况, 但这种程度的失真并不会影响语音的质量以及可懂度。

3.1.2 鼓掌噪声

图3a显示的是对于鼓掌噪声经过20个周期的卷积神经网络训练过程, 图3b显示的是经过卷积神经网络后对带有鼓掌噪声的语音的降噪效果。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 深度卷积神经网络对鼓掌噪声降噪的训练过程（a）和效果（b）Fig.3 The training process (a) and effect t(b) of deep convolutional neural network to denoise the clapping noise

从图3a可以看出, 经过20个周期的训练, 最终RMSE为5.851 6, 该模型对鼓掌噪声的降噪效果不理想, 从降噪效果的图谱来看, 在一些细节的地方造成了语音的失真, 在这种情况下语音的质量及可懂度都一般, 一方面, 这可能与鼓掌噪声本身的片段质量不高或存在其他噪声有关, 另一方面, 可能是由于鼓掌噪声本身会引起空间混响增强, 相比于其他噪声来说不易去除。

3.1.3 汽车内部噪声

图4a显示的是对于汽车内部噪声经过20个周期的卷积神经网络训练过程, 图4b显示的是经过卷积神经网络后对带有汽车内部噪声的语音的降噪效果。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 深度卷积神经网络对汽车内部噪声降噪的训练过程（a）和效果（b）Fig.4 The training process (a) and effect (b) of deep convolutional neural network to denoise the noise inside automobile

由图4a可以看出, 经过20个周期的训练, 最终RMSE为3.134 9, 该模型对含有汽车内部噪声语音的降噪效果比较好, 并且在训练周期相同的情况下, 训练的时间相对较短。

本次实验针对不同类型噪声的训练周期以及相应的RMSE、训练时长如表2。根据表中信息可知, 该网络结构对于不同的噪声具有不同的泛化能力。

表2

Table 2

表2(Table 2)

表2 不同类型噪声在训练中的均方根误差及训练时长 Table 2 RMSE and training duration for type-different noises to undergo training 噪声类型 训练周期 RMSE 训练时长（时：分：秒） 洗衣机噪声 6 5.963 00：16：25 20 3.4869 01：11：54 40 3.5311 01：58：49 汽车内部噪声 20 3.1349 00：54：38 鼓掌噪声 20 5.8516 00：55：29

表2 不同类型噪声在训练中的均方根误差及训练时长 Table 2 RMSE and training duration for type-different noises to undergo training

对语音增强的效果进行评价的方式有多种, 大致可以分为主观评价方法及客观评价方法, 本文主要采用基于MOS的方法, 对降噪语音效果进行主观评价。这种方法是指由不同的人分别对原始语料和经过系统处理后有衰退的语料进行主观感觉对比, 得出MOS评分, 最后求取平均值, 这是一种比较纯粹的主观定性分析。评分细则如表3。

表3

Table 3

表3(Table 3)

表3 对降噪语音的MOS评分细则 Table 3 The grading rules of MOS for denosing 级别 MOS值 降噪语音效果 优 4.0~5.0 很好, 流畅, 内容清晰, 有轻微失真 良 3.5~4.0 稍差, 有瑕疵, 有失真, 但能够明白内容 中 3.0~3.5 还可以, 有明显失真, 听不太清, 但能够明白内容 差 1.5~3.0 较差, 严重失真, 不流畅, 内容听不太清 劣 0~1.5 极差, 无法听清内容

表3 对降噪语音的MOS评分细则 Table 3 The grading rules of MOS for denosing

本次实验随机抽取对洗衣机噪声降噪测试集中的11条语音, 由10个人进行打分。每个人对每条语音的打分情况如图5所示, 由于打分均无雷同或对所有语音打分一致的情况, 因此该主观评价过程具有有效性及可信性。每个人对11条语音的MOS评分在3.65以上。如图6所示, 每条降噪语音的MOS评分均在3.8以上, 说明该模型对于语音中的洗衣机噪声的降噪具有可行性, 并且所有语音的总体MOS平均分达到3.91, 说明该模型对于洗衣机噪声的降噪效果较好, 具有实际的应用价值。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 10个人对每条语音的评分Fig.5 Score of each selected speech evaluated from ten people

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 每条语音的MOS评分Fig.6 MOS score of each speech