數(shù)字聲音及應(yīng)用

1、 5.3 數(shù)字聲音及應(yīng)用5.3.1 波形聲音的獲取與播放5.3.2 波形聲音的表示與應(yīng)用5.3.3 波形聲音的編輯5.3.4 計(jì)算機(jī)合成聲音5.3.1 波形聲音的獲取與播放聲音的特性和類型 聲音由振動(dòng)產(chǎn)生，通過空氣進(jìn)行傳播 聲音是一種波，它由許多不同頻率的諧波組成 諧波的頻率范圍稱為聲音的“帶寬”n計(jì)算機(jī)處理的聲音類型：計(jì)算機(jī)處理的聲音類型：n話音或語(yǔ)音話音或語(yǔ)音(speech)，專指人的說話聲音，帶寬僅為，專指人的說話聲音，帶寬僅為3003400Hzn全頻帶聲音全頻帶聲音(如音樂聲、風(fēng)雨聲、汽車聲等如音樂聲、風(fēng)雨聲、汽車聲等)，其帶寬可達(dá)到，其帶寬可達(dá)到20Hz20kHz n人耳可聽到的聲音

2、統(tǒng)稱人耳可聽到的聲音統(tǒng)稱“可聽聲可聽聲”(audio) ，20Hz20kHz數(shù)字波形聲音的獲取步驟：2. 量化（量化（quantization，模數(shù)轉(zhuǎn)換，模數(shù)轉(zhuǎn)換 )3. 編碼（編碼（encoding）1. 取樣（取樣（sampling）取取 樣樣模擬聲音信號(hào)模擬聲音信號(hào)取樣的目的是把時(shí)間上連取樣的目的是把時(shí)間上連續(xù)的信號(hào)轉(zhuǎn)換成時(shí)間上離續(xù)的信號(hào)轉(zhuǎn)換成時(shí)間上離散的信號(hào)散的信號(hào)量量 化化量化是把每個(gè)樣本從模擬量化是把每個(gè)樣本從模擬量轉(zhuǎn)換成為數(shù)字量量轉(zhuǎn)換成為數(shù)字量(8位或位或16位整數(shù)表示位整數(shù)表示)數(shù)字?jǐn)?shù)字聲音聲音01100011001編編 碼碼將所有樣本的二進(jìn)制將所有樣本的二進(jìn)制代碼組織在一起，

3、并代碼組織在一起，并進(jìn)行數(shù)據(jù)壓縮進(jìn)行數(shù)據(jù)壓縮數(shù)字波形聲音的獲取設(shè)備聲音的聯(lián)機(jī)獲取設(shè)備(聲卡)聲波轉(zhuǎn)換聲波轉(zhuǎn)換為電信號(hào)為電信號(hào)n聲音的脫機(jī)獲取設(shè)備：數(shù)碼錄音筆聲音的脫機(jī)獲取設(shè)備：數(shù)碼錄音筆麥克風(fēng)麥克風(fēng)（microphone）聲音卡聲音卡（sound card）模擬聲音模擬聲音數(shù)字聲音數(shù)字聲音取樣、量取樣、量化和編碼化和編碼聲音的重建與播放 計(jì)算機(jī)輸出聲音分為兩步：1 聲音的重建：把聲音從數(shù)字形式轉(zhuǎn)換成模擬信號(hào)形式，由聲卡完成2 聲音播放：將模擬聲音信號(hào)經(jīng)處理和放大后送到音箱聲音播放：將模擬聲音信號(hào)經(jīng)處理和放大后送到音箱(揚(yáng)聲器揚(yáng)聲器)n關(guān)于音箱：關(guān)于音箱：n普通音箱普通音箱接收的是重建的模擬聲音

4、信號(hào)接收的是重建的模擬聲音信號(hào)n數(shù)字音箱數(shù)字音箱直接接收數(shù)字聲音信號(hào)，失真更小直接接收數(shù)字聲音信號(hào)，失真更小 數(shù)字?jǐn)?shù)字聲音聲音011010011101插插 值值數(shù)模轉(zhuǎn)換數(shù)模轉(zhuǎn)換解解 碼碼把壓縮編碼的數(shù)字把壓縮編碼的數(shù)字聲音恢復(fù)為壓縮編聲音恢復(fù)為壓縮編碼前的狀態(tài)碼前的狀態(tài)把聲音樣本從把聲音樣本從數(shù)字量轉(zhuǎn)換為數(shù)字量轉(zhuǎn)換為模擬量模擬量把時(shí)間上離散的一組把時(shí)間上離散的一組樣本轉(zhuǎn)換成在時(shí)間上樣本轉(zhuǎn)換成在時(shí)間上連續(xù)的模擬聲音信號(hào)連續(xù)的模擬聲音信號(hào)重建的模擬重建的模擬 聲音信號(hào)聲音信號(hào)聲卡的功能與邏輯組成波形聲音的獲取與編碼波形聲音的重建與播放MIDI消息的輸入MIDI音樂的合成DSPDMA接口接口PC總線

5、總線取樣，量化取樣，量化D/A重建，濾波重建，濾波聲音輸出聲音輸出聲音輸入聲音輸入音樂合成器音樂合成器mixerMIDI接口接口聲卡的主要功能聲卡的主要功能選講： 聲卡的物理實(shí)現(xiàn) 聲卡主要由聲卡主要由2塊芯片組成：塊芯片組成：主處理芯片：包括數(shù)字信號(hào)處理器、主處理芯片：包括數(shù)字信號(hào)處理器、MIDI控制、控制、I/O控制等控制等 CODEC芯片：負(fù)責(zé)多聲道取樣、芯片：負(fù)責(zé)多聲道取樣、A/D與與D/A轉(zhuǎn)換、混音處理等轉(zhuǎn)換、混音處理等音頻音頻主芯片主芯片音頻混合音頻混合芯片芯片運(yùn)運(yùn) 算算放大器放大器功功 率率放大器放大器MIDI/joystickMIC輸入輸入/線路輸入線路輸入P C I 總總 線線

6、 線路輸出線路輸出 揚(yáng)聲器揚(yáng)聲器Audio CODEC芯片芯片 當(dāng)前當(dāng)前PCPC機(jī)的聲卡大多已不再做成獨(dú)立的插卡形式，而是機(jī)的聲卡大多已不再做成獨(dú)立的插卡形式，而是與主板集成在一起，稱為集成聲卡與主板集成在一起，稱為集成聲卡2種音頻技術(shù)規(guī)范：種音頻技術(shù)規(guī)范：- AC97音頻技術(shù)規(guī)范音頻技術(shù)規(guī)范- HD Audio選講： 聲卡的幾種類型硬聲卡：硬聲卡：除除CODEC芯片外，主板上還芯片外，主板上還有有1塊音頻主處理芯片，很多音效處理塊音頻主處理芯片，很多音效處理任務(wù)無需任務(wù)無需CPU參與就可獨(dú)立完成參與就可獨(dú)立完成 聲卡的類型聲卡的類型獨(dú)立聲卡：以擴(kuò)展卡形式插在機(jī)箱中使用獨(dú)立聲卡：以擴(kuò)展卡形式插

7、在機(jī)箱中使用集成聲卡集成聲卡軟聲卡軟聲卡：主板上僅：主板上僅1塊塊CODEC芯片，芯片，負(fù)責(zé)取樣與量化處理，負(fù)責(zé)取樣與量化處理，I/O控制器部分控制器部分集成在主板上的南橋芯片中，集成在主板上的南橋芯片中，DSP的功的功能需由能需由CPU協(xié)助完成協(xié)助完成 聲卡的組成部聲卡的組成部分均集成在主分均集成在主板上板上5.3.2 波形聲音的 表示與應(yīng)用數(shù)字波形聲音的表示及其參數(shù) 數(shù)字波形聲音是使用二進(jìn)位表示的一種串行比特流，其數(shù)據(jù)按時(shí)間順序進(jìn)行組織，文件擴(kuò)展名為“.wav” 數(shù)字波形聲音的主要參數(shù)有：取樣頻率：語(yǔ)音的取樣頻率低，一般為8k 16k Hz全頻帶聲音(如音樂)取樣頻率高，一般為44.1k

8、48k Hz量化位數(shù)：通常為8位、12位或16位聲道數(shù)目：?jiǎn)温暤罏?，雙聲道為2碼率(比特率)，每秒鐘的數(shù)據(jù)量數(shù)字波形聲音碼率的計(jì)算 未壓縮時(shí)數(shù)字波形聲音的碼率計(jì)算公式 碼率 = 取樣頻率 量化位數(shù) 聲道數(shù) 例：聲音類型聲音類型聲音信號(hào)帶寬聲音信號(hào)帶寬(Hz)取樣頻率取樣頻率(kHz)量化位數(shù)量化位數(shù)(bits)聲道聲道數(shù)數(shù)未壓縮時(shí)的未壓縮時(shí)的碼率碼率數(shù)字語(yǔ)音數(shù)字語(yǔ)音3003 40088164 kb/sCD立體聲立體聲2020 00044.11621411.2 kb/sn壓縮編碼之后數(shù)字波形聲音的碼率為：壓縮編碼之后數(shù)字波形聲音的碼率為： 壓縮后的碼率壓縮后的碼率 = 未壓縮時(shí)的碼率未壓縮時(shí)的

9、碼率/ /壓縮比壓縮比n例：上面例：上面CDCD唱片的立體聲音樂壓縮為唱片的立體聲音樂壓縮為MP3MP3后，若壓縮比是后，若壓縮比是1212，則該則該MP3MP3音樂的碼率是：音樂的碼率是：1411.2 1411.2 /12/12118 kb/s118 kb/s左右左右數(shù)字波形聲音的數(shù)據(jù)壓縮 數(shù)據(jù)壓縮的必要性： 為了降低存儲(chǔ)成本和提高在網(wǎng)絡(luò)上的傳輸效率 數(shù)據(jù)壓縮的可能性： 聲音中包含有大量冗余信息； 人耳靈敏度有限，允許有一定失真而不易察覺 數(shù)字波形聲音壓縮編碼的方法： 全頻帶聲音：國(guó)際標(biāo)準(zhǔn)MPEG；工業(yè)標(biāo)準(zhǔn)Dolby AC-3 數(shù)字語(yǔ)音：固定電話使用ADPCM編碼 手機(jī)使用高效率的混合編碼技

10、術(shù)所謂所謂“MP3音樂音樂”，它是一種采用，它是一種采用MPEG-1層層3編碼的高編碼的高質(zhì)量數(shù)字聲音質(zhì)量數(shù)字聲音, 壓縮比大約壓縮比大約1012倍，使一張普通倍，使一張普通CD光盤光盤上可以存儲(chǔ)大約上可以存儲(chǔ)大約100首首MP3歌曲，可連續(xù)播放歌曲，可連續(xù)播放10小時(shí)。小時(shí)。 選講： MP3播放器的結(jié)構(gòu)與原理程序程序存儲(chǔ)器存儲(chǔ)器閃爍閃爍存儲(chǔ)器存儲(chǔ)器液晶顯示液晶顯示D/A轉(zhuǎn)換轉(zhuǎn)換嵌入式處理器嵌入式處理器及及DSP聲音輸出聲音輸出控制按鍵控制按鍵USB接口接口嵌入式處理器用于運(yùn)行控制程序，控制各個(gè)部件嵌入式處理器用于運(yùn)行控制程序，控制各個(gè)部件協(xié)調(diào)工作：它接收控制按鍵的操作命令，從閃爍協(xié)調(diào)工作：它

11、接收控制按鍵的操作命令，從閃爍存儲(chǔ)器讀取存儲(chǔ)器讀取MP3音樂數(shù)據(jù)送到音樂數(shù)據(jù)送到DSP去解碼；顯示去解碼；顯示播放器的工作狀態(tài)；負(fù)責(zé)與主機(jī)連接并交換數(shù)據(jù)播放器的工作狀態(tài)；負(fù)責(zé)與主機(jī)連接并交換數(shù)據(jù)等等等等數(shù)字信號(hào)處理器數(shù)字信號(hào)處理器DSP完成完成MP3數(shù)據(jù)流的解碼操作，并數(shù)據(jù)流的解碼操作，并輸出波形格式的數(shù)字音頻信輸出波形格式的數(shù)字音頻信號(hào)，經(jīng)數(shù)模轉(zhuǎn)換和功率放大號(hào)，經(jīng)數(shù)模轉(zhuǎn)換和功率放大之后，用戶即可聽到聲音之后，用戶即可聽到聲音 存放存放MP3音樂數(shù)音樂數(shù)據(jù)，容量越大，據(jù)，容量越大，可存放的歌曲數(shù)可存放的歌曲數(shù)目就越多目就越多 固定存放固定存放MP3播放器的控制播放器的控制程序程序顯示顯示MP3

12、播放器的播放器的工作狀態(tài)工作狀態(tài)和歌曲的和歌曲的歌詞歌詞波形聲音的文件類型及其應(yīng)用 音頻音頻格式格式文件文件擴(kuò)展名擴(kuò)展名編碼編碼類型類型效果效果主要應(yīng)用主要應(yīng)用開發(fā)者開發(fā)者WAV.wav未壓縮未壓縮聲音達(dá)到聲音達(dá)到CD品質(zhì)品質(zhì)支持多種采樣頻率和量支持多種采樣頻率和量化位數(shù)，獲得廣泛支持化位數(shù)，獲得廣泛支持微軟公司微軟公司FLAC.flac無損壓縮無損壓縮壓縮比為壓縮比為2:1左右左右高品質(zhì)數(shù)字音樂高品質(zhì)數(shù)字音樂Xiph.Org基金會(huì)基金會(huì)APE.ape無損壓縮無損壓縮壓縮比為壓縮比為2:1左右左右高品質(zhì)數(shù)字音樂高品質(zhì)數(shù)字音樂Matthew T. AshlandM4A.m4a無損壓縮無損壓縮壓縮

13、比為壓縮比為2:1左右左右QuickTime, iTunes, iPod，Real Player蘋果公司蘋果公司MP3.mp3有損壓縮有損壓縮MPEG-1 audio層層3壓縮比為壓縮比為8:112:1因特網(wǎng)，因特網(wǎng)，MP3音樂音樂ISOWMA.wma有損壓縮有損壓縮壓縮比高于壓縮比高于MP3使用數(shù)字版權(quán)保護(hù)使用數(shù)字版權(quán)保護(hù)因特網(wǎng)，音樂因特網(wǎng)，音樂微軟公司微軟公司AC3.ac3有損壓縮有損壓縮壓縮比可調(diào)，壓縮比可調(diào)，支持支持5.1、7.1聲道聲道DVD, 數(shù)字電視，數(shù)字電視，家庭影院等家庭影院等美國(guó)美國(guó)Dolby公司公司AAC.aac有損壓縮有損壓縮壓縮比可調(diào)，壓縮比可調(diào)，支持支持5.1、7.

14、1聲道聲道DVD, 數(shù)字電視，數(shù)字電視，家庭影院等家庭影院等ISO MPEG-2/MPEG-4 什么是流媒體？ 在因特網(wǎng)上收聽(看)音(視)頻節(jié)目的2種方式：i下載存儲(chǔ)方式：先下載存儲(chǔ)在計(jì)算機(jī)中，下載完畢后再播放（缺點(diǎn)：需要等待較長(zhǎng)時(shí)間，并需要較大的存儲(chǔ)容量）i流式傳輸方式：邊下載、邊播放（優(yōu)點(diǎn)：只需要下載一部分?jǐn)?shù)據(jù)之后, 就可以開始一邊播放一邊下載，等待時(shí)間短、存儲(chǔ)需求?。?流媒體就是一種允許在網(wǎng)絡(luò)上讓用戶一邊下載一邊收看(聽)音視頻媒體的媒體分發(fā)(delivery)技術(shù) 目前流行的主要有3個(gè)公司的流媒體技術(shù)：Real Networks公司的 Real Media （RealAudio和Re

15、alVideo）微軟公司的 Windows Media Services (WMA、WMV和ASF)1. 蘋果公司的 Quick Time選講： 流媒體是如何工作的？流媒體流媒體播放軟件播放軟件 Web服務(wù)器服務(wù)器Web 瀏覽器瀏覽器流媒體流媒體專用服務(wù)器專用服務(wù)器 音頻音頻(視頻視頻)流媒體文件流媒體文件 網(wǎng)網(wǎng) 頁(yè)頁(yè) （客戶計(jì)算機(jī)）（客戶計(jì)算機(jī)）http協(xié)議3 點(diǎn)擊點(diǎn)擊流媒體流媒體節(jié)目，節(jié)目，啟動(dòng)流啟動(dòng)流媒體播媒體播放程序放程序RTSP/TCPRTP/UDP6 播放器播放器可以邊播可以邊播放邊接收放邊接收數(shù)據(jù)，并數(shù)據(jù)，并可以控制可以控制播放、暫播放、暫停、快進(jìn)停、快進(jìn)、快倒等、快倒等5 將音

16、將音(視視)頻頻節(jié)目傳輸給客節(jié)目傳輸給客戶計(jì)算機(jī)戶計(jì)算機(jī)RTCP/UDPHTML網(wǎng)頁(yè)1 請(qǐng)求網(wǎng)頁(yè)請(qǐng)求網(wǎng)頁(yè)2 服務(wù)器送回網(wǎng)頁(yè)服務(wù)器送回網(wǎng)頁(yè)4 向流媒體服向流媒體服務(wù)器發(fā)出請(qǐng)求務(wù)器發(fā)出請(qǐng)求5.3.3 波形聲音的編輯波形聲音編輯軟件的功能主要功能：1 編輯聲音：如聲音剪輯、復(fù)制、調(diào)節(jié)音量2 聲音的效果處理：如混響、回聲、淡入、淡出等3 錄音4 聲音的格式轉(zhuǎn)換5 播放聲音數(shù)字聲音數(shù)字聲音的參數(shù)的參數(shù)左聲道左聲道信號(hào)波形信號(hào)波形右聲道右聲道信號(hào)波形信號(hào)波形淡入淡入淡出淡出時(shí)間刻度時(shí)間刻度播放標(biāo)尺播放標(biāo)尺聲音編輯軟件的聲音編輯軟件的典型用戶界面典型用戶界面5.3.4 計(jì)算機(jī)合成聲音什么是計(jì)算機(jī)合成聲音？

17、計(jì)算機(jī)合成聲音就是計(jì)算機(jī)模仿人說話或演奏音樂 計(jì)算機(jī)合成聲音有兩類： 計(jì)算機(jī)合成話音（語(yǔ)音）：計(jì)算機(jī)模仿人把一段文字朗讀出來，即把文字轉(zhuǎn)換為說話聲音（簡(jiǎn)稱為 TTS）應(yīng)用：有聲查詢、文稿校對(duì)、語(yǔ)言學(xué)習(xí)、語(yǔ)音秘書、自動(dòng)報(bào)警、殘疾人服務(wù)等 計(jì)算機(jī)合成音樂（MIDI）：計(jì)算機(jī)模擬各種樂器發(fā)聲并按照樂譜演奏音樂應(yīng)用：計(jì)算機(jī)作曲、配器等例：計(jì)算機(jī)合成的語(yǔ)音 Hello，everybody （1） 你好，我是貝爾實(shí)驗(yàn)室的中文語(yǔ)音合成系統(tǒng)（BellTTS1） 南京大學(xué)計(jì)算機(jī)系2002年招收了202名本科生，22名博士生，130多名碩士生。（中科大訊飛公司） （Bell） 安徽中科大訊飛信息科技有限公司是專門

18、從事中文語(yǔ)音及語(yǔ)言技術(shù)軟件 （訊飛） 我們都是同行，我們一路同行，去參加人參培植研討會(huì) （訊飛） （Bell）需要進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力需要進(jìn)一步提高之處：發(fā)音和斷句要正確，提高自然度，豐富表現(xiàn)力計(jì)算機(jī)合成音樂（MIDI）音樂音樂合成器合成器音樂音樂MIDI文件文件媒體媒體播放器播放器MIDI消息消息n計(jì)算機(jī)合成音樂需要三個(gè)要素：樂器、樂譜和計(jì)算機(jī)合成音樂需要三個(gè)要素：樂器、樂譜和 “演奏員演奏員” 聲卡上的音樂合成聲卡上的音樂合成器能像電子琴一樣器能像電子琴一樣模仿幾十種不同的模仿幾十種不同的樂器發(fā)出聲音，它樂器發(fā)出聲音，它按照按照MIDI消息合成消息合成出不同音色和音調(diào)出不同音色和音調(diào)的音符，通過揚(yáng)聲的音符，通過揚(yáng)聲器播放出音樂來器播放出音樂來 樂譜在計(jì)算機(jī)中使用樂譜在計(jì)算機(jī)中使用一種叫做一種叫做MIDI的音樂的音樂描述語(yǔ)言來表示。使描述語(yǔ)言來表示。使用用MIDI描述的音樂稱描述的音樂稱為為MIDI音樂。一首樂音樂。一首樂曲對(duì)應(yīng)一個(gè)曲對(duì)應(yīng)一個(gè)MIDI文件，文件，其文件擴(kuò)展名其文件擴(kuò)展名為為 .MID或或 .MIDI媒體播放器軟件相當(dāng)媒體播放器軟件相當(dāng)于于“演奏員演奏員”。播放。播放MIDI音樂時(shí)，它先從音樂時(shí)，它