第14章_語(yǔ)音增強(qiáng)

1、語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-1頁(yè)第第14章章 語(yǔ)音增強(qiáng)語(yǔ)音增強(qiáng)14.1 14.1 概述概述14.2 14.2 語(yǔ)音特性、人耳感知特性及噪聲特性語(yǔ)音特性、人耳感知特性及噪聲特性14.3 14.3 濾波法語(yǔ)音增強(qiáng)技術(shù)濾波法語(yǔ)音增強(qiáng)技術(shù)14.4 14.4 利用相關(guān)特性的語(yǔ)音增強(qiáng)技術(shù)利用相關(guān)特性的語(yǔ)音增強(qiáng)技術(shù)14.5 14.5 非線性處理法語(yǔ)音增強(qiáng)技術(shù)非線性處理法語(yǔ)音增強(qiáng)技術(shù)14.6 14.6 減譜法語(yǔ)音增強(qiáng)技術(shù)減譜法語(yǔ)音增強(qiáng)技術(shù)14.7 14.7 利用利用WeinerWeiner濾波法的語(yǔ)音增強(qiáng)技術(shù)濾波法的語(yǔ)音增強(qiáng)技術(shù)語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院

2、電子教案第1-2頁(yè)14.1 概述概述 語(yǔ)音增強(qiáng)是指語(yǔ)音質(zhì)量的改善或提高。因?yàn)閷?shí)語(yǔ)音增強(qiáng)是指語(yǔ)音質(zhì)量的改善或提高。因?yàn)閷?shí)際語(yǔ)音都是在有噪聲和干擾的情況下產(chǎn)生的，所以際語(yǔ)音都是在有噪聲和干擾的情況下產(chǎn)生的，所以語(yǔ)音增強(qiáng)的目的就是去掉語(yǔ)音信號(hào)中的噪聲和干擾。語(yǔ)音增強(qiáng)的目的就是去掉語(yǔ)音信號(hào)中的噪聲和干擾。 語(yǔ)音增強(qiáng)技術(shù)有廣泛的應(yīng)用，如作為語(yǔ)音編碼語(yǔ)音增強(qiáng)技術(shù)有廣泛的應(yīng)用，如作為語(yǔ)音編碼和語(yǔ)音識(shí)別的預(yù)處理，消除語(yǔ)音中的混響和語(yǔ)音識(shí)別的預(yù)處理，消除語(yǔ)音中的混響, , 從錄音從錄音中恢復(fù)出高質(zhì)量的語(yǔ)音。中恢復(fù)出高質(zhì)量的語(yǔ)音。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-3頁(yè)應(yīng)用于研究的語(yǔ)音數(shù)

3、據(jù)大都在無(wú)噪環(huán)境下采集的。應(yīng)用于研究的語(yǔ)音數(shù)據(jù)大都在無(wú)噪環(huán)境下采集的。1）實(shí)際環(huán)境存在各種各樣的干擾噪聲，最常）實(shí)際環(huán)境存在各種各樣的干擾噪聲，最常見(jiàn)的是背景噪聲，噪聲干擾下的語(yǔ)音，其特征見(jiàn)的是背景噪聲，噪聲干擾下的語(yǔ)音，其特征參數(shù)發(fā)生了很大的扭曲，噪聲干擾下的語(yǔ)音識(shí)參數(shù)發(fā)生了很大的扭曲，噪聲干擾下的語(yǔ)音識(shí)別率大大降低、合成語(yǔ)音質(zhì)量急劇惡化等。別率大大降低、合成語(yǔ)音質(zhì)量急劇惡化等。2）語(yǔ)音增強(qiáng)的目的：從帶噪語(yǔ)音中提取盡可）語(yǔ)音增強(qiáng)的目的：從帶噪語(yǔ)音中提取盡可能純凈的原始語(yǔ)音，從主觀度量上講，就是改能純凈的原始語(yǔ)音，從主觀度量上講，就是改善語(yǔ)音質(zhì)量、消除背景噪聲，從客觀度量講，善語(yǔ)音質(zhì)量、消除背

4、景噪聲，從客觀度量講，即提高語(yǔ)音可懂度。即提高語(yǔ)音可懂度。3）針對(duì)不同的噪聲，采用不同的語(yǔ)音增強(qiáng)方）針對(duì)不同的噪聲，采用不同的語(yǔ)音增強(qiáng)方法，因噪聲種類繁多，不可能有通用的語(yǔ)音增法，因噪聲種類繁多，不可能有通用的語(yǔ)音增強(qiáng)方案。強(qiáng)方案。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-4頁(yè)14.1 語(yǔ)音特性、人耳感知特性及噪聲特性語(yǔ)音特性、人耳感知特性及噪聲特性1 語(yǔ)音特性：語(yǔ)音特性：前已述及，這里簡(jiǎn)單回顧前已述及，這里簡(jiǎn)單回顧A、是時(shí)變的、非平穩(wěn)、非遍歷的隨機(jī)過(guò)程，、是時(shí)變的、非平穩(wěn)、非遍歷的隨機(jī)過(guò)程，短時(shí)相對(duì)平穩(wěn)；短時(shí)相對(duì)平穩(wěn)；B、分濁音和清音，前者表現(xiàn)出周期性，在頻、分濁音和清音

5、，前者表現(xiàn)出周期性，在頻域有共振峰，能量大都集中在較低頻段內(nèi)；后域有共振峰，能量大都集中在較低頻段內(nèi)；后者類于白噪者類于白噪聲，無(wú)明顯的時(shí)域和頻域特性。聲，無(wú)明顯的時(shí)域和頻域特性。C、可用統(tǒng)計(jì)分析特性描述。、可用統(tǒng)計(jì)分析特性描述。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-5頁(yè)2.人耳感知特性人耳感知特性目前，用于語(yǔ)音增強(qiáng)的語(yǔ)音感知方面的一些結(jié)論：目前，用于語(yǔ)音增強(qiáng)的語(yǔ)音感知方面的一些結(jié)論：A、幅度譜對(duì)感知起決定性影響，相位譜對(duì)不敏感；、幅度譜對(duì)感知起決定性影響，相位譜對(duì)不敏感；B、人耳對(duì)頻率高低的感受近似與該頻率的對(duì)數(shù)成正比；、人耳對(duì)頻率高低的感受近似與該頻率的對(duì)數(shù)成正比；

6、C、人耳有掩蔽效應(yīng)，即強(qiáng)信號(hào)對(duì)弱信號(hào)起抑制作用。、人耳有掩蔽效應(yīng)，即強(qiáng)信號(hào)對(duì)弱信號(hào)起抑制作用。人耳有掩蔽效應(yīng)：即指一個(gè)聲音的存在會(huì)影響對(duì)另一個(gè)人耳有掩蔽效應(yīng)：即指一個(gè)聲音的存在會(huì)影響對(duì)另一個(gè)較弱聲音的聽(tīng)覺(jué)，另外，當(dāng)一個(gè)聲音突然停止時(shí)，人耳約較弱聲音的聽(tīng)覺(jué)，另外，當(dāng)一個(gè)聲音突然停止時(shí)，人耳約在在150ms內(nèi)對(duì)其它弱音聽(tīng)不清楚，甚至聽(tīng)不見(jiàn)。因此提高內(nèi)對(duì)其它弱音聽(tīng)不清楚，甚至聽(tīng)不見(jiàn)。因此提高語(yǔ)音的語(yǔ)音的SNR，就可在語(yǔ)音與噪聲共存時(shí)，感覺(jué)不到噪聲的，就可在語(yǔ)音與噪聲共存時(shí)，感覺(jué)不到噪聲的存在。存在。D、共振峰對(duì)語(yǔ)音感知非常重要，特別是第二共振峰比、共振峰對(duì)語(yǔ)音感知非常重要，特別是第二共振峰比第一共振

7、峰更為重要，因此對(duì)語(yǔ)音信號(hào)進(jìn)行一定的高通濾第一共振峰更為重要，因此對(duì)語(yǔ)音信號(hào)進(jìn)行一定的高通濾波不會(huì)對(duì)可懂度產(chǎn)生影響。波不會(huì)對(duì)可懂度產(chǎn)生影響。E、人耳在多人的說(shuō)話環(huán)境中，能分辨出所需聲音。、人耳在多人的說(shuō)話環(huán)境中，能分辨出所需聲音。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-6頁(yè)3. 噪聲特性：噪聲特性： （a）加性噪聲）加性噪聲（1）沖激噪聲：例如打火、放電都會(huì)引起沖激噪聲。）沖激噪聲：例如打火、放電都會(huì)引起沖激噪聲。它的時(shí)域波形是類似于沖激函數(shù)的窄脈沖。消除沖激噪它的時(shí)域波形是類似于沖激函數(shù)的窄脈沖。消除沖激噪聲的方法通常有兩種：對(duì)帶噪語(yǔ)音信號(hào)的幅度求均值，聲的方法通常有兩

8、種：對(duì)帶噪語(yǔ)音信號(hào)的幅度求均值，將該均值作為閾值，超過(guò)該閾值則判斷為噪聲，在時(shí)域?qū)⒃摼底鳛殚撝?，超過(guò)該閾值則判斷為噪聲，在時(shí)域?yàn)V除；當(dāng)沖激脈沖不太密的時(shí)候，也可以通過(guò)內(nèi)插的方濾除；當(dāng)沖激脈沖不太密的時(shí)候，也可以通過(guò)內(nèi)插的方法避開(kāi)或平滑掉沖激點(diǎn)，從而在重建語(yǔ)音時(shí)去掉沖激噪法避開(kāi)或平滑掉沖激點(diǎn)，從而在重建語(yǔ)音時(shí)去掉沖激噪聲。聲。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-7頁(yè)（2）周期噪聲：例如發(fā)動(dòng)機(jī)產(chǎn)生的干擾、市電）周期噪聲：例如發(fā)動(dòng)機(jī)產(chǎn)生的干擾、市電干擾都是周期性的干擾。在頻譜上表現(xiàn)為離散的干擾都是周期性的干擾。在頻譜上表現(xiàn)為離散的窄譜，通?？梢圆捎孟莶ㄆ鞣椒ㄟM(jìn)行消除。窄譜

9、，通常可以采用陷波器方法進(jìn)行消除。（3）寬帶噪聲：例如說(shuō)話時(shí)同時(shí)伴隨著呼吸引）寬帶噪聲：例如說(shuō)話時(shí)同時(shí)伴隨著呼吸引起的噪聲，隨機(jī)噪聲源產(chǎn)生的噪聲，以及量化噪起的噪聲，隨機(jī)噪聲源產(chǎn)生的噪聲，以及量化噪聲等。應(yīng)用中常近似為高斯噪聲或白噪聲。噪聲聲等。應(yīng)用中常近似為高斯噪聲或白噪聲。噪聲頻譜遍布于語(yǔ)音信號(hào)頻譜中，消除比較困難，一頻譜遍布于語(yǔ)音信號(hào)頻譜中，消除比較困難，一般需要采用非線性處理方法，減譜法，般需要采用非線性處理方法，減譜法，Weiner濾波法。濾波法。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-8頁(yè)（4）語(yǔ)音干擾：干擾語(yǔ)音信號(hào)和待傳語(yǔ)音信）語(yǔ)音干擾：干擾語(yǔ)音信號(hào)和待傳語(yǔ)

10、音信號(hào)同時(shí)在一個(gè)信道中傳輸所造成的干擾（如在號(hào)同時(shí)在一個(gè)信道中傳輸所造成的干擾（如在通信中串話引起的）。區(qū)別它們的方法是利用通信中串話引起的）。區(qū)別它們的方法是利用基音差別?？梢杂檬釥顬V波器提取基音和各次基音差別?？梢杂檬釥顬V波器提取基音和各次諧波，再恢復(fù)出有用的信號(hào)。諧波，再恢復(fù)出有用的信號(hào)。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-9頁(yè)（b）非加性噪聲）非加性噪聲傳輸噪聲：傳輸系統(tǒng)的電路噪聲。與背景噪聲不同，傳輸噪聲：傳輸系統(tǒng)的電路噪聲。與背景噪聲不同，它在時(shí)域中是語(yǔ)音和噪聲的卷積。處理這種噪聲可它在時(shí)域中是語(yǔ)音和噪聲的卷積。處理這種噪聲可以用同態(tài)處理的方法，把非加性噪

11、聲變換為加性噪以用同態(tài)處理的方法，把非加性噪聲變換為加性噪聲來(lái)處理。聲來(lái)處理。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-10頁(yè)干擾語(yǔ)音背景噪聲純凈語(yǔ)音+信道傳輸噪聲語(yǔ)音增強(qiáng)增強(qiáng)語(yǔ)音語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-11頁(yè)14.3 濾波法語(yǔ)音增強(qiáng)技術(shù)濾波法語(yǔ)音增強(qiáng)技術(shù)1 陷波器法陷波器法 對(duì)于周期噪聲采用陷波器是比較簡(jiǎn)便和有效的方法，設(shè)計(jì)的陷波器的幅頻曲線的凹處對(duì)應(yīng)于周期噪聲的基頻和各次諧波，并使這些頻率處的限波寬度足夠窄。帶噪語(yǔ)音DFTIDFT頻譜整形器增強(qiáng)語(yǔ)音語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-12頁(yè)2 自適應(yīng)濾波器自

12、適應(yīng)濾波器 自適應(yīng)濾波器能有效地在未知環(huán)境中跟蹤時(shí)變的輸入信號(hào)。使輸出信號(hào)達(dá)到最優(yōu)，所以可以用來(lái)構(gòu)成自適應(yīng)的噪聲消除器。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-13頁(yè)+自適應(yīng)濾波器r(t)-+r(t)s(t)y(t)=s(t)+n(t)s(t)為語(yǔ)音信號(hào)，n(t)為未知噪聲信號(hào)，y(t) 為帶噪語(yǔ)音信號(hào)，r(t) 為參考噪聲輸入，與語(yǔ)音信號(hào)無(wú)關(guān)，與噪聲有關(guān)。該濾波器的實(shí)質(zhì)是實(shí)現(xiàn)帶噪信號(hào)中的噪聲估計(jì)，并用原始信號(hào)y(t)減去估計(jì)值r(t)， 達(dá)到語(yǔ)音增強(qiáng)的目的。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-14頁(yè)14.4 利用相關(guān)特性的語(yǔ)音增強(qiáng)技術(shù)利用相關(guān)特

13、性的語(yǔ)音增強(qiáng)技術(shù)1 自相關(guān)處理抗噪法語(yǔ)音增強(qiáng)技術(shù)自相關(guān)處理抗噪法語(yǔ)音增強(qiáng)技術(shù) 該方法利用語(yǔ)音信號(hào)本身相關(guān)，而語(yǔ)音與噪聲、噪聲與噪聲可認(rèn)為互不相關(guān)的性質(zhì)，對(duì)帶噪語(yǔ)音信號(hào)做自相關(guān)處理，可以得到與不帶噪語(yǔ)音信號(hào)同樣的自相關(guān)序列。即帶噪語(yǔ)音的自相關(guān)函數(shù)近似等于純凈語(yǔ)音信號(hào)的自相關(guān)函數(shù)。將自相關(guān)系數(shù)作為識(shí)別系統(tǒng)的特征，可以達(dá)到抗噪聲的目的。( )( )ysRR語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-15頁(yè)開(kāi)方器移動(dòng)Tp自相關(guān)系數(shù)確定Tp一周期波形切除相關(guān)波形連接輸出帶噪語(yǔ)音信號(hào)自相關(guān)處理抗噪法的流程語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-16頁(yè)2 利用復(fù)數(shù)幀段

14、主分量特征的降噪方法利用復(fù)數(shù)幀段主分量特征的降噪方法 來(lái)自環(huán)境的噪聲具有幀間相關(guān)性小，能量分布頻率范圍廣且數(shù)值較小，在語(yǔ)音信號(hào)主分量特征中對(duì)應(yīng)于貢獻(xiàn)率較小的分量的特點(diǎn)。因此可以利用復(fù)數(shù)幀段主分量特征提高抗噪性。 復(fù)數(shù)幀段特征是采用相繼的復(fù)數(shù)幀組成的特征參數(shù)矢量作為語(yǔ)音識(shí)別輸入特征量，由于噪聲成分具有幀間相關(guān)性小的特征，所以利用復(fù)數(shù)幀段特征量等于相應(yīng)的減弱了噪聲的影響。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-17頁(yè) 為了進(jìn)一步降噪，可以求取復(fù)數(shù)幀段參數(shù)特征的主分量特征，由于噪聲對(duì)應(yīng)于較小的分量，所以貢獻(xiàn)率較大的主分量作為語(yǔ)音識(shí)別特征，而舍棄較小的分量，這樣既可以降低噪聲，也

15、可以解決輸入特征矢量維數(shù)增加時(shí)，計(jì)算量增大的問(wèn)題。 主分量是N個(gè)D維樣本的自相關(guān)矩陣的本征向量，每一個(gè)本征向量對(duì)應(yīng)一個(gè)本征值，本征值小的重要性也小，小本征值部分往往對(duì)應(yīng)噪聲，所以可以從特征量中去除小本征值對(duì)應(yīng)的主分量，達(dá)到降低噪聲的影響。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-18頁(yè)14.5 非線性處理法語(yǔ)音增強(qiáng)技術(shù)非線性處理法語(yǔ)音增強(qiáng)技術(shù)1 中心削波法中心削波法 對(duì)于噪聲頻譜遍布于語(yǔ)音信號(hào)頻譜中的寬帶噪聲，如果噪聲振幅比大部分的語(yǔ)音信號(hào)振幅低，則削去低幅度成分也就削去了寬帶噪聲。所以我們可以在頻域中采取中心限幅的方法，高幅度的頻譜可以通過(guò)而低幅成分不允許通過(guò)，從而實(shí)現(xiàn)噪

16、聲抑制。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-19頁(yè)2 同態(tài)濾波法同態(tài)濾波法 對(duì)于乘性或卷積性噪聲可以采用同態(tài)濾波的方法。帶噪語(yǔ)音FFTln IFFT音調(diào)提取FFT頻譜分析合成輸出復(fù)倒譜串脈沖同態(tài)濾波法原理框圖 同態(tài)濾波可以用于識(shí)別系統(tǒng)的預(yù)處理。卷積信號(hào)經(jīng)過(guò)同態(tài)濾波器后由卷積運(yùn)算變成了相應(yīng)的復(fù)倒譜求和運(yùn)算，這樣可以分離出乘性噪聲。再由復(fù)倒譜提取音調(diào)參數(shù)，經(jīng)過(guò)頻譜分析獲取降噪處理之后的共振峰，最后合成為降噪后的語(yǔ)音信號(hào)。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-20頁(yè)14.6 減譜法語(yǔ)音增強(qiáng)技術(shù)減譜法語(yǔ)音增強(qiáng)技術(shù) 減譜法是假定加性噪聲與短時(shí)平穩(wěn)的語(yǔ)音信

17、號(hào)相互獨(dú)立的條件下，從帶噪語(yǔ)音的功率譜中減去噪聲功率譜，從而得到較為純凈的語(yǔ)音頻譜。減譜法假定語(yǔ)音信號(hào)短時(shí)平穩(wěn)，所以需要對(duì)輸入語(yǔ)音加窗后處理。y(t)=s(t)+n(t)FFT | |2 Pn() + - ( )1/2 相位恢復(fù)()IFFTs(t)Py()=Ps()+Pn()語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-21頁(yè)設(shè)s(t)為純凈語(yǔ)音信號(hào)，n(t) 為噪聲信號(hào)，y(t)為帶噪信號(hào)，有 y(t)= s(t) +n(t) 其傅立葉變換為 Y()=S()+N()假定語(yǔ)音信號(hào)與加性噪聲獨(dú)立，則有 |Y()|2=|S()|2+|N()|2即功率譜的關(guān)系為： Py()=Ps()

18、+Pn() Ps()= Py()-Pn()噪聲功率譜Pn()可以通過(guò)發(fā)聲前的靜音段的功率譜來(lái)估計(jì)。帶噪語(yǔ)音功率譜和噪聲功率譜相減就可以認(rèn)為是純凈語(yǔ)音功率譜。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-22頁(yè)由于在傅立葉變換后只考慮了功率譜，沒(méi)有考慮相位的變化，所以在傅立葉反變換時(shí)，還要考慮相位的變化，即()。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-23頁(yè)14.7 利用利用Weiner濾波法的語(yǔ)音增強(qiáng)技術(shù)濾波法的語(yǔ)音增強(qiáng)技術(shù) 該方法是在最小均方準(zhǔn)則下用Weiner濾波器實(shí)現(xiàn)對(duì)語(yǔ)音信號(hào)的估計(jì),即對(duì)于帶噪語(yǔ)音信號(hào),確定濾波器的沖激響應(yīng),使帶噪語(yǔ)音信號(hào)經(jīng)過(guò)該濾波器的輸出能夠滿足均方誤差最小。語(yǔ)音信號(hào)處理語(yǔ)音信號(hào)處理天津商業(yè)大學(xué)信息工程學(xué)院電子教案第1-24頁(yè)設(shè)s(t)為純凈語(yǔ)音信號(hào)，n(t) 為噪聲信號(hào)，y(t)為帶噪信號(hào)，有 y(t)= s(t) +n(t)假定s(t)和 n(t)都是短時(shí)平穩(wěn)隨機(jī)過(guò)