聲音信號處理與項目實踐 課件 第1章 緒論

第1章緒論1.1聲音信號處理的研究內(nèi)容1.2聲音信號處理的發(fā)展歷史1.3聲音效果評價2什么是聲音信號處理聲音信號處理的應(yīng)用領(lǐng)域目前的挑戰(zhàn)1.1聲音信號處理的研究內(nèi)容31.1聲音信號處理的研究內(nèi)容語音，作為人工智能的重要組成部分和人類最自然的溝通方式之一，是日常生活交流活動中不可或缺的媒介。聲音信號處理是信息科技領(lǐng)域中不可或缺的一環(huán)，通過提取分析和修改聲音信號來改善人類生活的各個方面。從基本的需求到復雜的數(shù)據(jù)分析，聲音信號處理在現(xiàn)代社會扮演了極其重要的角色。4聲音信號處理技術(shù)遍及許多領(lǐng)域，如通信系統(tǒng)、醫(yī)療健康、智能駕駛、虛擬現(xiàn)實等等圖聲音信號處理技術(shù)的部分應(yīng)用場景1.1聲音信號處理的研究內(nèi)容51.1聲音信號處理的研究內(nèi)容研究目標：主要集中在提高算法性能，提升系統(tǒng)的可用性及穩(wěn)定性以及拓展應(yīng)用的范圍。算法的復雜性與計算成本環(huán)境噪聲和回聲的影響深度學習和人工智能的整合用戶隱私和數(shù)據(jù)安全61.2.1語音編碼算法的發(fā)展歷史1.2.2語音識別算法的發(fā)展歷史1.2.3語音去噪及增強算法的發(fā)展歷史1.2.4語音合成轉(zhuǎn)換等其他算法的發(fā)展歷史1.2.5基于語音和視覺信息的多模態(tài)融合方法1.2聲音信號處理的發(fā)展歷史71.2聲音信號處理的發(fā)展歷史20世紀初，聲音信號處理技術(shù)處于起步階段，技術(shù)手段主要局限于模擬電路。隨著貝爾實驗室在1937年發(fā)明了電子計算機上的脈沖編碼調(diào)制（PCM）技術(shù)，聲音信號處理迎來了其第一個重大突破。820世紀50年代至70年代，隨著半導體技術(shù)和集成電路的發(fā)展，數(shù)字信號處理器誕生并逐漸成熟。在此時期，傅里葉變換等數(shù)學工具被引入聲音信號分析，為頻域處理提供了理論基礎(chǔ)，成為聲音信號處理不可或缺的一部分。21世紀，隨著計算能力的不斷增強和算法的進一步優(yōu)化，多通道編碼、音頻技術(shù)、聲音識別和降噪技術(shù)等等技術(shù)產(chǎn)生重大進展。1.2聲音信號處理的發(fā)展歷史91.2.1語音編碼算法的發(fā)展歷史語音編碼方法主要分為以下幾類：脈沖編碼調(diào)制（PCM）、差分脈沖編碼調(diào)制（DifferencePulseCodingModulation,DPCM）、增量調(diào)制（ΔM）、線性預測編碼（LinearPredictiveCoding,LPC）、碼激勵線性預測（CodeExcitedLinearPredictiion,CELP）、矢量量化（Vector

Quantization,VQ）、子帶編碼（SubbandCoding,SBC）、變換編碼（TransferCoding,TC）、矢量量化器（VQ）和混合激勵線性預測（Mixed

Excitation

Linear

Prediction,MELP）的結(jié)合。脈沖編碼調(diào)制（PCM）脈沖編碼調(diào)制是最早的數(shù)字語音編碼方法之一它通過將語音信號采樣為離散的樣值，然后對這些樣值進行量化，最終實現(xiàn)語音的數(shù)字化PCM技術(shù)最初在20世紀50年代被提出，并被廣泛應(yīng)用于電話通信中隨著技術(shù)的發(fā)展，PCM的采樣率和量化精度不斷提高，目前已經(jīng)可以實現(xiàn)高質(zhì)量的語音傳輸圖PCM編碼概述圖差分脈沖編碼調(diào)制（DPCM）圖DPCM編碼概述圖差分脈沖編碼調(diào)制是PCM的一種改進，它通過預測下一個樣值，并指傳輸與預測值之間的差值，從而減少傳輸?shù)臄?shù)據(jù)量，其在音頻壓縮和語音編碼中得到了廣泛應(yīng)用。增量調(diào)制（ΔM）增量調(diào)制是一種簡單而有效的語音編碼算法，它通過只傳輸樣值之間的增量來減少數(shù)據(jù)量。ΔM算法在20世紀70年代被提出，并被廣泛應(yīng)用于低比特率語音編碼中。其中最具代表性的算法是μ率編碼和A率編碼，它們已經(jīng)被廣泛應(yīng)用于電話通信和音頻壓縮領(lǐng)域。線性預測編碼（LPC）LPC是一種基于語音信號和線性預測模型的數(shù)字語音編碼方法。LPC跨越有效地去除語音信號中的冗余信息，從而高效地實現(xiàn)語音壓縮碼激勵線性預測（CELP）CELP是一種基于碼本和線性預測模型的數(shù)字語音編碼方法，被廣泛應(yīng)用于低比特率語音編碼中。CELP通過在碼本中搜索與輸入信號最接近的樣本來實現(xiàn)高效的語音壓縮。矢量量化（VQ）VQ是一種將輸入信號與一組已知矢量進行比較，并選擇最接近的矢量進行傳輸?shù)臄?shù)字語音編碼方法。VQ被廣泛應(yīng)用于音頻壓縮和語音編碼中。其中最具代表性的算法是多頻帶矢量化（MB-VQ）和格型矢量量化（LVQ）。圖VQ編碼概述圖子帶編碼（SBC）圖SBC編碼概述圖SBC是一種將音頻信號分解為若干子帶的數(shù)字語音編碼方法，被廣泛應(yīng)用于音頻壓縮和語音編碼中。SBC通過在每個子帶上應(yīng)用不同的編碼算法來提高音頻壓縮效率。變換編碼（TC）圖TC編碼概述圖TC是一種將音頻信號從時域轉(zhuǎn)換到頻域的數(shù)字語音編碼方法，被廣泛應(yīng)用于音頻壓縮和語音編碼中。TC通過去除信號中的冗余信息來提高音頻壓縮效率。其中最具代表性的算法是離散余弦變換和快速傅里葉變換。161.2.2語音識別算法的發(fā)展歷史初期階段統(tǒng)計方法的引入機器學習的應(yīng)用深度學習的革命現(xiàn)代技術(shù)與應(yīng)用隱馬爾科夫模型HMM成為主流模型，用于處理語音信號。引入梅爾頻率倒譜系數(shù)MFCC來提取特征，使得語音信號的表示更為有效隨著DNN、CNN、RNN等深度學習技術(shù)的發(fā)展，在識別語音情感上表現(xiàn)優(yōu)異1956年，隨著人工智能研究的大門的開啟，對語音識別的研究也隨之開始。隨著機器學習的逐步發(fā)展，研究者們結(jié)合多個模型（如HMM和神經(jīng)網(wǎng)絡(luò)）以調(diào)高識別準確率目前，語音識別算法在自監(jiān)督學習，多模態(tài)學習等技術(shù)的進步下仍在不斷發(fā)展171.2.3語音去噪及增強算法的發(fā)展歷史數(shù)字語音去噪聲音去噪算法聲音增強算法聲音異常檢測算法免疫K-奇異值算法譜減法小波分析技術(shù)兩級語音增強算法正交匹配追蹤算法自適應(yīng)的維納濾波算法音頻事件定位音頻事件識別181.2.4語音合成轉(zhuǎn)換等其他算法的發(fā)展歷史語音合成轉(zhuǎn)換算法語音合成算法聲音轉(zhuǎn)換算法物理機理語音合成統(tǒng)計參數(shù)的語音合成濾波器語音合成基于波形拼接技術(shù)的語音合成矢量量化（VQ）生成對抗網(wǎng)絡(luò)（GAN）高斯混合模型（GMM）變分自動編碼器（VAE）191.2.5基于語音和視覺信息的多模態(tài)融合方法近年來，盡管單模態(tài)聲音識別任務(wù)取得了一些研究成果，但研究表明，多模態(tài)的識別任務(wù)效果優(yōu)于單一模態(tài)。研究者們嘗試結(jié)合不同模式的信號，如語音、視覺等信息，從而提高各種識別任務(wù)的效率和精確度。201.2.5基于語音和視覺信息的多模態(tài)融合方法方法分類：模型無關(guān)的方法和基于模型的方法根據(jù)特征融合的時期，又可以將模型無關(guān)的方法進一步分為：早期融合（基于特征層）、晚期融合（基于決策層）和混合融合模型無關(guān)的特征融合方法圖模型無關(guān)的特征融合方法早期融合方法如圖（a）所示，為解決各模態(tài)中原始數(shù)據(jù)維度不一致的問題，從每種模態(tài)分別提取特征，然后在特征級別進行融合，即特征融合。此外，由于深度學習本質(zhì)上會涉及從原始數(shù)據(jù)中學習特征的具體表示，這就導致了有時可能在沒有抽取特征之前就需要進行融合，即數(shù)據(jù)融合。無論是特征層面還是數(shù)據(jù)層面的融合都稱為早期融合。（a）早期融合方法（b）晚期融合方法（c）混合融合方法模型無關(guān)的特征融合方法圖模型無關(guān)的特征融合方法晚期融合方法如圖（b）所示，晚期融合也叫決策級融合。深度學習模型先對不同的模態(tài)進行訓練，再融合多個模型輸出的結(jié)果。當模態(tài)之間相關(guān)性比較大時晚期融合優(yōu)于早期融合，當各個模態(tài)在很大程度上不相關(guān)時，例如維數(shù)和采樣率極不相關(guān)，采用晚期融合方法則要更適合。（a）早期融合方法（b）晚期融合方法（c）混合融合方法模型無關(guān)的特征融合方法圖模型無關(guān)的特征融合方法混合融合方法如圖（c）所示，混合融合結(jié)合了早期和晚期融合方法，在綜合了二者優(yōu)點的同時，也增加了模型的結(jié)構(gòu)復雜度和訓練難度。由于深度學習模型結(jié)構(gòu)的多樣性和靈活性，比較適合使用混合融合方法，在多媒體、圖像問答任務(wù)、手勢識別等領(lǐng)域應(yīng)用得非常廣泛。（a）早期融合方法（b）晚期融合方法（c）混合融合方法模型相關(guān)的特征融合方法圖基于多層LSTM的模型層特征融合方法模型層融合：該方法旨在獲得多種模態(tài)的聯(lián)合特征表示，它的實現(xiàn)主要取決于使用的融合模型。模型層融合是更深層次的融合方法，為分類和回歸任務(wù)產(chǎn)生更優(yōu)化的聯(lián)合判別特征表示。多層LSTM（Multi-layersLSTM，ML-LSTM）作為模型層融合方法之一，該方法是將多層網(wǎng)絡(luò)與傳統(tǒng)的LSTM模型相結(jié)合，通過充分考慮話語之間的關(guān)系，來使得在學習過程中處理話語層面的多模態(tài)融合問題。251.3聲音效果評價語音作為信息傳遞的重要載體，與其相關(guān)構(gòu)成的通信、編碼、存儲和處理等語音系統(tǒng)已成為現(xiàn)代社會信息交流的必要手段，且已廣泛應(yīng)用于社會各個領(lǐng)域。這些系統(tǒng)的性能好壞成為信息交流是否暢通的重要因素，而評價這些系統(tǒng)性能優(yōu)劣的根本標志是在于系統(tǒng)輸出語音質(zhì)量的好壞。可以將語音質(zhì)量評價方法分為兩大類：主觀評價和客觀評價。261.3.1主觀評價方法主觀評價以人為主體來評價語音的質(zhì)量優(yōu)點：符合人耳對語音質(zhì)量的感覺；缺點：受人的主觀意識影響大，成本高，穩(wěn)定性較差且靈活性不夠等語音質(zhì)量常用的方法是平均意見得分（MeanOpinionScore，M