（通信與信息系統(tǒng)專業(yè)論文）聲調(diào)識(shí)別因素及在電子耳蝸語(yǔ)音信號(hào)處理方案中的應(yīng)用.pdf

原創(chuàng)性聲明 本人鄭重聲明 所呈交的學(xué)位論文 是本人在導(dǎo)師的指導(dǎo)下 獨(dú)立進(jìn) 行研究所取得的成果 除文中已經(jīng)注明引用的內(nèi)容外 本論文不包含任何 其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的科研成果 對(duì)本文的研究作出重要貢 獻(xiàn)的個(gè)人和集體 均已在文中以明確方式標(biāo)明 本聲明的法律責(zé)任由本人 承擔(dān) 論文作者簽名 壅燾 銎日期 型絲 z 關(guān)于學(xué)位論文使用授權(quán)的聲明 本人完全了解山東大學(xué)有關(guān)保留 使用學(xué)位論文的規(guī)定 同意學(xué)校保 留或向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版 允許論文被查閱 和借閱 本人授權(quán)山東大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān) 數(shù)據(jù)庫(kù)進(jìn)行檢索 可以采用影印 縮印或其他復(fù)制手段保存論文和匯編本 學(xué)位論文 保密論文在解密后應(yīng)遵守此規(guī)定 論文作者簽名 盎查墮 導(dǎo)師簽名 山東大學(xué)碩士學(xué)位論文 中文摘要 電子耳蝸是唯一能使全聾患者恢復(fù)聽力的醫(yī)療儀器 語(yǔ)音信號(hào)處理方案是電 子耳蝸系統(tǒng)中最關(guān)鍵的技術(shù) 它對(duì)耳蝸的性能有重要的影響 本論文在前人研究 的基礎(chǔ)上 通過實(shí)驗(yàn)分析了影響聲調(diào)識(shí)別的時(shí)域和頻域因素并結(jié)合漢語(yǔ)的聲調(diào)特 點(diǎn) 探討了適合于漢語(yǔ)特性的電子耳蝸語(yǔ)音信號(hào)處理新方案 并對(duì)有關(guān)問題進(jìn)行 了較深入的探討 分析 論文采用聲音模擬的方法對(duì)提出的方案進(jìn)行了初步測(cè)試 證明了方案的有效性 其具體內(nèi)容為 1 改變語(yǔ)音信號(hào)頻域和時(shí)域的參數(shù) 將處理后的語(yǔ)音信號(hào)用現(xiàn)有語(yǔ)音信號(hào)處 理方案特別是c i s 方案進(jìn)行聲音模擬 找出影響聲調(diào)識(shí)別的關(guān)鍵因素 2 采用小波變換的方法提取聲調(diào) 3 討論如何改進(jìn)已有的電子耳蝸語(yǔ)音信號(hào)處理方案 用較少的電極把漢語(yǔ) 語(yǔ)音識(shí)別的關(guān)鍵因素有效地傳遞給聽神經(jīng) 本文較深入地研究了時(shí)域信息和頻域信息對(duì)電子耳蝸語(yǔ)音信號(hào)處理方案漢語(yǔ) 聲調(diào)識(shí)別的貢獻(xiàn) 并通過對(duì)刺激模式的改變有效地將這些關(guān)鍵因素傳遞給聽神經(jīng) 從而構(gòu)成了一個(gè)新的 基于漢語(yǔ)聲調(diào)特征的語(yǔ)音信號(hào)處理方案的電子耳蝸解決方 案 希望通過本論文的研究工作 將來(lái)能研制出性能好 價(jià)格低的電子耳蝸 真 正造福于中國(guó)的全聾患者 關(guān)鍵詞 電子耳蝸 語(yǔ)音信號(hào)處理方案 電刺激 聲調(diào)感知 時(shí)域信息 頻域信息 山東大學(xué)碩士學(xué)位論文 一j l l 自e i 日h l l l l i l 目 1 日l(shuí) j i a b s t r a c t c o c h l e a ri m p l a n t a st h eo n l ya v a i l a b l em e d i c a ld e v i c et or e s t o r eh e a t i n ga b i l i t yt o t o t a l l y d e a fp e o p l e i so n eo ft h em a i nr e s e a r c hf r o n t i e r si nt h ea r c ao fo t o l o g ya n d r e h a b i l i t a t i o ne n g i n e e r i n g s p e e c hs i g n a lp r o c e s s i n gs t r a t e g yp l a y sa ni m p o r t a n tr o l ei n t h ed e v e l o p m e n to fd i f f e r e n tt e c h n i q u e sf o rd e r i v i n ge l e c t r i c a ls t i m u l if r o mt h es p e e c h s i g n a l t h i st h e s i sa n a l y z e st h es p e c t r a lc u e sa n dt e m p o r a lc u e st h a th a v ei n f l u e n c eo n t o n er e c o g n i t i o na n dt h e np r o p o s e san e ws p e e c hp r o c e s s i n gs 廿a t e g yf o rc o c h l e a r i m p l a n t sb a s e d o i lc h i n e s et o n a l i n f o r m a t i o n f i n a l l y p r e h i n i n a r yt e s t sb yu s i n g a c o u s t i cs i m u l a t i o n ss h o wt h a tt h ep r o c e s s o rw i t ht h i ss t r a t e g yc a r lg e tg o o dc h i n e s e s p e e c hp e r c e p t i o n t h et h e s i sc o n s i s t so f t h ef o l l o w i n g p a r t s 1 w et r i e dt of i n do u tt h ec u e st h a th a v ei n f l u e n c eo nt o n er e c o g n i t i o nu s i n g a c o u s t i cs i m u l a t i o n sa f t e r c h a n g i n gt h es p e c t r a l c u e sa n dt e m p o r a lc u e so fs p e e c h s i s a l 2 w ed i s c u s s e dh o wt ou s e d y a d i cw a v e l e tt r a n s f o r mf o rp i t c h p e r c e p t i o n 3 t h i st h e s i sa n a l y z e ds y s t e m a t i c a l l yi m p r o v e ds p e e c hp r o c e s s i n gs t r a t e g i e sf o r c o c h l e a r i m p l a n t s b a s e do nt h e p r i m a r ys t r a t e g i e s s ow ec a nd e l i v e rt h ev i t a l i n f o r m a t i o no fc h i n e s el a n g u a g et oc o c h l e a t h o u g hm a k i n gg o o du s eo ff e w e rn u m b e r o f e l e c t r o d e s i n s u m m a r y t h i st h e s i sd e e p l yi n v e s t i g a t e dt h ec o n t r i b u t i o n so ft e m p o r a la n d s p e c t r a lc u e st o c h i n e s et o n er e c o g n i t i o na n dd e l i v e r e dt h e s ev i t a l c u e st oa u d i t i o n n e r v et h o u g hc h a n g i n gt h em o d eo fe l e c t r i c a l s t i m u l a t i o ns oan o v e l s p e e c hs i g n a l p r o c e s s i n gh a sb e e np r e s e n t e db a s e do nc h i n e s et o n a li n f o r m a t i o n f r o mt h ew o r k so f t h i st h e s i s w eh o p et o d e v e l o pn e w c o c h l e a ri m p l a n td e v i c e sw i t hh i g h p e r f o r m a n c e a n dl o w c o s tf o r p r o f o m a d l yd e a f p e o p l ei nc h i n a k e yw o r d s c o c h l e a ri m p l a n t s p e e c hp r o c e s s i n gs t r a t e g y e l e c t r i c a ls t i m u l a t i o n p i t c hp e r c e p t i o n t e m p o r a lc u e s s p e c t r a lc u e s 4 山東大學(xué)碩士學(xué)位論文 l l l i j 目 1 1 問題的提出 第一章引言 聽覺系統(tǒng)是人類獲取信息的主要器官 也是人類賴以生存的基本功能之一 聽覺器官的任何一部分有缺陷或發(fā)生病變 都會(huì)產(chǎn)生聽覺障礙 據(jù)統(tǒng)計(jì) 我國(guó)現(xiàn) 有各類耳聾患者2 4 0 0 多萬(wàn) 其中老年耳聾患者1 3 3 5 萬(wàn) 兒童耳聾患兒1 8 4 萬(wàn) 7 歲以下的全聾患兒8 0 多萬(wàn) 而且每年新增加全聾患兒3 5 萬(wàn) 是我國(guó)最大的殘 疾人群體 根據(jù)聽力的情況來(lái)劃分有微聾 2 5 5 5 分貝 重聽 5 5 7 0 分貝 全聾 7 1 分貝以上 對(duì)于輕度耳聾患者 由于他們尚有一定的殘余聽力 可以借助 于助聽器 h e a r i n ga i d 對(duì)聲音信號(hào)進(jìn)行放大 部分恢復(fù)聽覺能力 在我國(guó)有很 多開發(fā)生產(chǎn)助聽器的廠家 雖然助聽器可以在某些程度上幫助有較弱聽力障礙者 恢復(fù)聽力 但它只是放大聲音以幫助尚有殘存聽力的人 不能從根本上解決全聾 人的聽力問題 另外它們攜帶也不方便 對(duì)于重度耳聾 純音平均閾值 9 5 d b 患 者 已無(wú)法通過配戴大功率助聽器來(lái)改善聽力 或提高言語(yǔ)分辨能力來(lái)適應(yīng)正常 的社會(huì)交往 為了從根本上解決聽力障礙者的聽力問題 就必須尋找其他的的方 法從根本上來(lái)恢復(fù)耳聾患者的聽覺感知特性 重度耳聾患者的治療 一直是耳科 學(xué)的難題之一 目前 在i 缶床上還缺乏有效的治療方法 研究表明 多數(shù)聾人聽覺致聾的主要原因是由于毛細(xì)胞的損傷而不是聽神經(jīng) 元 從5 0 年代后期起 研究者們就開始考慮能否設(shè)法復(fù)原感覺神經(jīng)性聽覺喪失患 者由于聽毛細(xì)胞缺失殘損的電訊號(hào) 1 9 5 7 年 法國(guó)學(xué)者d j o u r n o 和e y r i e s 首先報(bào) 告了一例全聾病人應(yīng)用電極進(jìn)行直接刺激聽神經(jīng)的試驗(yàn) 患者可以感受到語(yǔ)音韻 律的變化 可以判定別人講的是單音節(jié)詞還是雙音節(jié)詞 通過測(cè)定神經(jīng)尖峰訊號(hào) 可以對(duì)音高有所感覺 這些對(duì)唇讀都有實(shí)質(zhì)性的幫助 6 0 年代以來(lái) 隨著人們對(duì) 聽覺生理功能的深入了解 許多學(xué)者致力于研究一種能恢復(fù)全聾人聽力的電刺激 裝置 該裝置被稱為電子耳蝸 英文名稱為c o c h l e a ei m p l a n t 簡(jiǎn)稱c i 有 的學(xué)者也稱之為耳蝸埋植或人工耳蝸 人工耳蝸植入術(shù)是治療重度感覺神經(jīng)性耳聾的極佳方法 也是目前唯一能使 全聾患者恢復(fù)聽覺的裝置 被稱為是一種革命性的產(chǎn)品 它是根據(jù)人體生理特點(diǎn) 精心設(shè)計(jì)的一種電子儀器 由語(yǔ)音處理器 方向性麥克風(fēng)及傳送器組成 在植入 人體耳部后 聲音由麥克風(fēng)接收轉(zhuǎn)換成電信號(hào)后 傳送到語(yǔ)音處理器 將信號(hào)放 大 過濾 數(shù)字化 并編譯成適當(dāng)?shù)男盘?hào) 經(jīng)由傳送器傳送到接收器 產(chǎn)生電脈 山東大學(xué)碩士學(xué)位論文 一自 e e e i 沖 再輸送到相應(yīng)的電極 電極直接刺激內(nèi)耳的聽覺神經(jīng)末梢 并傳送到大腦形 成聽覺 經(jīng)過一段時(shí)間的語(yǔ)言訓(xùn)練 使聾啞人達(dá)到說話的能力 從此結(jié)束聾啞人 終生聽不到聲音 不會(huì)說話的痛苦 真正成為聾啞人的福音 電子耳蝸通過功能性電刺激 f u n c i o n a le l e c t r i c a ls t i m u l a i o n 簡(jiǎn)稱f e s 的方法直接興奮殘存的聽神經(jīng) 當(dāng)用微弱的電流脈沖作用于聽神經(jīng)時(shí) 可以誘發(fā) 聽神經(jīng)的興奮 該興奮沿聽覺通路傳遞給大腦 并解釋為聲音 目前 f e s 技術(shù)還 應(yīng)用于殘疾人其他功能的康復(fù) 如 盲人視覺功能和截癱病人運(yùn)動(dòng)功能的恢復(fù)等 而且f e s 技術(shù)和電子耳蝸被列為1 9 9 6 年美國(guó)國(guó)家關(guān)鍵技術(shù) 電子耳蝸正是基于以上原理 避開了外耳 中耳和部分內(nèi)耳器官等 直接用 微弱電流興奮聽神經(jīng)纖維 模仿外周聽覺系統(tǒng)的生理功能 產(chǎn)生與正常人耳相似 的神經(jīng)發(fā)放模式 因此 電子耳蝸也被稱作仿生耳 它是對(duì)正常人耳功能進(jìn)行模 仿的一種電子裝置 我國(guó)是世界上人口最多的國(guó)家 全聾人的數(shù)量也最多 而國(guó)外的電子耳蝸產(chǎn)品 價(jià)格昂貴 每套約2 3 萬(wàn)美元 難以適應(yīng)國(guó)內(nèi)的消費(fèi)水平 另一方面 國(guó)外的語(yǔ) 音信號(hào)處理方案沒有充分考慮漢語(yǔ)的特點(diǎn) 漢語(yǔ)是有聲調(diào)的語(yǔ)言 漢語(yǔ)的聲調(diào)有 表詞達(dá)意的作用 發(fā)音類似但聲調(diào)不同的字代表完全不同的含義 充分利用漢語(yǔ) 的聲調(diào)特征將更有效地幫助中國(guó)聾人恢復(fù)語(yǔ)言能力 同時(shí) 利用漢語(yǔ)的特征 有 可能進(jìn)一步研究性能價(jià)格比高的電子耳蝸 降低電子耳蝸的成本 造福于更多的 全聾患者 由此可見 基于漢語(yǔ)特征的電子耳蝸的研制具有較高的經(jīng)濟(jì)利益和較 遠(yuǎn)的社會(huì)意義 1 2 國(guó)內(nèi)外研究現(xiàn)狀 1 2 1 國(guó)外研究現(xiàn)狀 澳大利亞的n u c l e u s 2 2 導(dǎo)人工耳蝸 在成人和兒童都獲得了巨大成功 分別 在1 9 8 4 年和1 9 9 0 年經(jīng)f d a 獲準(zhǔn)在成人和兒童身上使用 n u c l e u s 2 2 導(dǎo)人工耳蝸 是6 0 年代末由澳大利亞墨爾本大學(xué)的g r a e m e c l a r k 教授及其同事首先發(fā)明的多導(dǎo) 人工耳蝸植入系統(tǒng) 并由c o c h l e a r 公司與墨爾本大學(xué)合作研制成功了最終的定型 產(chǎn)品 1 9 9 7 年c o c h l e a r 公司與墨爾本大學(xué)合作又推出了n u c l e u s 2 4 型人工耳蝸 代表了當(dāng)今世界人工耳蝸發(fā)展的先進(jìn)水平 美國(guó)舊金山的加利福尼亞大學(xué) u c s f t r i a n g l e 研究機(jī)構(gòu) r t i 和高級(jí)仿生學(xué)有限公司設(shè)備制造商合作研制的c l a r i o n 耳蝸植入系統(tǒng) 在近來(lái)研究試驗(yàn)中 獲得了較高的語(yǔ)音識(shí)別率 也獲得了f d a 的 山東大學(xué)碩士學(xué)位論文 認(rèn)可 其他的還有美國(guó)的i n e r a i d 和奧地利的m e de l 等耳蝸產(chǎn)品 也已進(jìn)入了臨 床使用 但是 這些電子耳蝸裝置 一方面價(jià)格較高 普通的中國(guó)家庭還難以承受 另 一方面沒有充分考慮漢語(yǔ)的特征 為使中國(guó)耳蝸植入者較準(zhǔn)確理解語(yǔ)音內(nèi)容 還 必須改進(jìn)現(xiàn)有的語(yǔ)音信號(hào)處理策略 1 2 2 國(guó)內(nèi)研究現(xiàn)狀 在國(guó)內(nèi) 1 9 7 9 年 北京協(xié)和醫(yī)院鄒路得 王中直等在動(dòng)物實(shí)驗(yàn)的基礎(chǔ)上首次 為聾人植人工耳蝸裝置 1 9 8 2 年改進(jìn)為感應(yīng)式環(huán)境聲 并提高了唇讀的能力 此 后 上海王正敏 西安高蔭藻 廣州陳成偉等相繼開展了這方面的工作 我國(guó)近年 來(lái)在自行研常q 和引進(jìn)多導(dǎo)新處理方案人工耳蝸 1 的同時(shí) 一些單位針對(duì)漢語(yǔ)4 聲的 特點(diǎn) 對(duì)人工耳蝸植入的有關(guān)問題作了進(jìn)一步的研究 國(guó)內(nèi)的耳蝸植入以單導(dǎo)為 主 尚不能直接聽懂語(yǔ)言 同仁醫(yī)院于1 9 9 6 年在國(guó)內(nèi)率先開展多導(dǎo)人工耳蝸植入研究 5 年來(lái)先后為5 0 名患者成功施術(shù) 其中大部分是兒童 年齡最小的僅1 8 個(gè)月 2 0 0 2 年2 月 全國(guó) 最大的電子耳蝸中心一北京同仁醫(yī)院人工耳蝸 中心成立 2 0 0 3 年1 2 月 我國(guó)第 一家聽力國(guó)際國(guó)家 中國(guó) 中心人工耳蝸植入基地在哈爾濱醫(yī)科大學(xué)第一醫(yī)院成立 這是國(guó)際防聾組織首次與我國(guó)醫(yī)療機(jī)構(gòu)合作 2 0 0 3 年1 2 月 復(fù)旦大學(xué)附屬眼耳鼻 喉科醫(yī)院研制成功國(guó)產(chǎn)多道程控人工耳蝸 患者能分辨各種環(huán)境聲 元音和輔音 尤其能分辨漢語(yǔ)四聲 可與國(guó)外先進(jìn)的同類產(chǎn)品媲美 但目前尚處于實(shí)驗(yàn)室條件 下的少量產(chǎn)品 由于國(guó)外的電子耳蝸產(chǎn)品價(jià)格較高 而國(guó)內(nèi)尚處于研究開發(fā)時(shí)期 因此 國(guó) 際目前已在l 臨床手術(shù)約4 萬(wàn)例 而國(guó)內(nèi)僅進(jìn)行了約1 8 0 0 例手術(shù) 研制適合中國(guó)人 消費(fèi)水平 而且性能較高的電子耳蝸系統(tǒng)是解決電子耳蝸在國(guó)內(nèi)廣泛應(yīng)用的關(guān)鍵 所在 本論文的主要研究?jī)?nèi)容如下 一 通過實(shí)驗(yàn)的方法 對(duì)影響聲調(diào)識(shí)別的時(shí)域因素和頻域因素進(jìn)行了較深入 的研究 找出了時(shí)域因素和頻域因素對(duì)聲調(diào)識(shí)別的貢獻(xiàn) 二 討論如何用小波變換進(jìn)行聲調(diào)的提取 對(duì)如何選擇小波 如何確定小波 系數(shù)等進(jìn)行了較詳細(xì)的分析 三 探討如何把影響聲調(diào)的因素有效地應(yīng)用于電子耳蝸語(yǔ)音信號(hào)處理方案 山東大學(xué)碩士學(xué)位論文 對(duì)已有的信號(hào)處理策略進(jìn)行了改進(jìn) 使其能反映漢語(yǔ)的聲調(diào)特征 本課題研究存在的問題 一 需繼續(xù)研究反映聲調(diào)特征的因素 并通過有效的方式引入電子耳蝸語(yǔ) 音信號(hào)處理方案中 使電子耳蝸更加能反映漢語(yǔ)的特點(diǎn) 二 需繼續(xù)對(duì)聲調(diào)提取算法的進(jìn)行研究 如何快速而準(zhǔn)確的提取聲調(diào)是實(shí) 現(xiàn)基于漢語(yǔ)特征的電子耳蝸語(yǔ)音信號(hào)處理方案的關(guān)鍵 三 開展噪音環(huán)境和同時(shí)有多個(gè)說話人的情況的算法 使耳蝸植入者更好 的在各種環(huán)境下與人交流 山東大學(xué)碩士學(xué)位論文 第二章電子耳蝸的機(jī)理及漢語(yǔ)的特征 電子耳蝸是對(duì)人的聽覺系統(tǒng)感知聲音機(jī)理的一種模仿 對(duì)電子耳蝸系統(tǒng)的研 究 必須了解聽覺系統(tǒng)模型以及耳蝸是如何分析聲音信息的 同時(shí) 本章對(duì)漢語(yǔ) 的主要特征進(jìn)行了討論 2 1 聽覺模型 對(duì)電子耳蝸語(yǔ)音信號(hào)處理方案的研究必須了解聽覺系統(tǒng)的基本構(gòu)成及其原 理 任何有關(guān)語(yǔ)音信號(hào)處理的通信系統(tǒng)和過程總是涉及到說 產(chǎn)生語(yǔ)音 和聽 接 受語(yǔ)音 兩個(gè)方面 因而對(duì)于語(yǔ)音信號(hào)的產(chǎn)生與其表征的分析只有與對(duì)它的感知 過程有機(jī)聯(lián)系起來(lái) 才能更好的解決問題 若干研究證明 在語(yǔ)音識(shí)別系統(tǒng)中考 慮到聽覺系統(tǒng)的處理特點(diǎn)而引入一些預(yù)處理 會(huì)提高整個(gè)系統(tǒng)的識(shí)別率 2 1 1 耳的結(jié)構(gòu)及惑音原理 耳由外耳 中耳和內(nèi)耳三部分組成 外耳由耳翼 外耳道和鼓膜組成 一般 認(rèn)為外耳在對(duì)聲音感知中的作用 一是對(duì)聲源的定位 二是對(duì)聲音的放大 中耳 內(nèi)含由三塊聽小骨錘骨 砧骨及鐙骨構(gòu)成的鏈 其作用是進(jìn)行阻抗的變化 即將 中耳兩端的聲阻抗匹配起來(lái) 另一個(gè)是保護(hù)內(nèi)耳 內(nèi)耳 i n n e re a r 的主要構(gòu)成 部分是耳蝸 c o c h l e g 它是聽覺的受納器 把聲音通過機(jī)械變換產(chǎn)生神經(jīng)發(fā)放 信號(hào) 正常情況下 聲波撞擊鼓膜即引起鼓膜的振動(dòng) 鼓膜的振動(dòng)通過聽骨鏈的傳 動(dòng) 將聲波傳送至內(nèi)耳 內(nèi)耳的耳蝸管道里排列著數(shù)以千計(jì)的毛細(xì)胞 它們的頂 部長(zhǎng)有很細(xì)小的纖毛 纖毛受到?jīng)_擊 發(fā)生偏折 經(jīng)過一系列生物電活動(dòng) 產(chǎn)生 神經(jīng)沖動(dòng) 傳導(dǎo)到昕神經(jīng)纖維 聽神經(jīng)纖維在蝸軸處匯集成聽神經(jīng) 向大腦皮層 傳導(dǎo) 大腦再把送達(dá)的信息加工 整合 就產(chǎn)生了聽覺 聲波傳遞通路上的任何部分發(fā)生病變或受損都有可能引起聽力障礙 內(nèi)耳耳 蝸內(nèi)的聽毛細(xì)胞是負(fù)責(zé)將聲音的機(jī)械信息轉(zhuǎn)化為神經(jīng)信息 即聽覺器官的核心部 分 如果這些毛細(xì)胞損壞 這種轉(zhuǎn)換通路被中斷 聲音振動(dòng)無(wú)法變?yōu)樯窠?jīng)發(fā)放信 息傳遞到大腦 從而導(dǎo)致聽力喪失 對(duì)于輕度聽障礙患者 還有部分殘余聽力 因此可以通過助聽器對(duì)聲音信號(hào)進(jìn)行放大 提高他們對(duì)聲音的感知能力 而對(duì)于 深度耳聾患者 其聽毛細(xì)胞或神經(jīng)元大部分都被損傷 再借助于助聽器也無(wú)法聽 山東大學(xué)碩士學(xué)位論文 到聲音 研究表明 大多數(shù)聽力障礙的原因都是由于毛細(xì)胞損壞引起的 而不是 由于聽覺神經(jīng)元的受損 他們尚有完整或部分完整的聽神經(jīng)元 所以 可以通過 微弱電流刺激的方法來(lái)幫助恢復(fù)聽力 2 1 2 耳蝸的結(jié)構(gòu)及其在聽覺中的作用 耳蝸是內(nèi)耳的主要構(gòu)成部分 語(yǔ)音信號(hào)就是在耳蝸內(nèi)進(jìn)行分析和編碼的 它是 聽覺系統(tǒng)中最關(guān)鍵的器官 耳蝸園形似蝸牛殼而得名 人的耳蝸長(zhǎng)約3 5 c m 最寬 處約為0 3 2 c m 呈螺旋狀盤繞2 5 2 7 5 圈 它是 根密閉的管子 內(nèi)部充滿了 淋巴液 圖2 1 畫出了一個(gè)耳蝸截面的示意圖 由圖中可知 耳蝸由三個(gè)分割的 部分組成 靠近耳蝸外輪廓的部分稱為鼓階 s c a l at y m p a n i c 而沿耳蝸內(nèi)輪 廓的部分稱為前庭階 s c a l av e s t i b u l i 這兩個(gè)部分在耳蝸的頂端即蝸孔 h e l i c o t r e m a 處是相通的 處在這兩個(gè)部分之間的是中階 s c a l am e d i a 又 稱耳蝸管 c o c h l e ad u c t 前庭階與中階之間由前庭膜 r e i s s n e r 膜 分隔 而中階的底膜稱為基膜 b a s i l a rm e m b r a n e 在基膜之上是柯蒂氏器官 o r g a n o fc o r t i 它由耳蝸覆膜 外毛細(xì)胞 o u t e rh a i rc e i l s 約2 萬(wàn)個(gè) 以及內(nèi)毛 細(xì)胞 i n n e rh a i rc e i l s 約3 5 0 0 個(gè) 構(gòu)成 這些耳蝸內(nèi)的聽毛細(xì)胞約和3 0 0 0 0 根聽神經(jīng)纖維相連 當(dāng)耳蝸基底膜振動(dòng)時(shí) 會(huì)引起柯蒂氏器官的振動(dòng) 進(jìn)而引起 纖毛的彎曲 使耳蝸的電位發(fā)生變化并產(chǎn)生動(dòng)作電位 經(jīng)神經(jīng)纖維傳入中樞系統(tǒng) 引起聽覺 所以 柯蒂氏器官是一種傳感裝置 在聽覺系統(tǒng)中 它就是聲音的感 受器 b 圖2 1 耳蝸截面示意圖 山東大掌碩士學(xué)位論文 上個(gè)世紀(jì)五十年代 g e o r gv o nb e k e s y 用正弦信號(hào)對(duì)耳蝸的特性進(jìn)行了研究 發(fā)現(xiàn)聲音振動(dòng)波在耳蝸淋巴液內(nèi)以行波的方式傳播 內(nèi)耳的基底膜負(fù)責(zé)把聲音信 號(hào)分解成不同的頻率 其峰值出現(xiàn)在基底膜的不同位置上 在頻率低時(shí) 基膜振 動(dòng)的幅度峰值出現(xiàn)在靠近蝸孔處 即蝸?lái)?xiàng)位置 隨著聲音頻率的升高 該峰值向 基底膜根部 郎靠近前庭窗處 移動(dòng) 因此 耳蝸可以被簡(jiǎn)單地認(rèn)為是一個(gè)空間的機(jī)械式頻率分析器 不同部位對(duì) 應(yīng)不同的頻率 如圖2 2 示 因?yàn)槊織l傳入聽神經(jīng)只連到一個(gè)內(nèi)毛細(xì)胞上 所以 它只對(duì)一定頻率范圍的聲音信號(hào)發(fā)生響應(yīng) 即某一特定的頻率引起耳蝸基底膜對(duì) 應(yīng)位置的聽神經(jīng)纖維發(fā)放神經(jīng)脈沖 也就是耳蝸具有調(diào)諧作用 并且昕神經(jīng)對(duì)某 一特定頻率最為敏感 該頻率稱之為聽神經(jīng)的特征頻率 c f c h a r a c t e r i s t i c f r e q u e n c y 耳蝸的這種對(duì)頻率信息進(jìn)行編碼的機(jī)理稱作部位理論 p l a c e t h e o r y 圖2 2 耳蝸的感音原理示意圖 耳蝸的部位編碼理論是電子耳蝸的基礎(chǔ) 1 昕神經(jīng)可以通過微弱電流的刺激產(chǎn) 生興奮 并沿神經(jīng)纖維傳遞 因此 可以將一組電極通過耳蝸的鼓階植入基底膜 的不同部位 用語(yǔ)音處理器對(duì)語(yǔ)音信號(hào)的特征進(jìn)行分析 產(chǎn)生對(duì)應(yīng)電極的刺激電 流信號(hào) 直接誘發(fā)聽神經(jīng)的發(fā)放 電子耳蝸正是對(duì)正常人耳蝸特性的一種仿生 耳蝸的頻率特性可以用電子電 路完成 用與正常人耳蝸功能相似的方法去模擬聽神經(jīng)的發(fā)放模式 進(jìn)而恢復(fù)全 聾人的聲音知覺 2 2 功能性電刺激的基本原理 電刺激 啦是使一定波形 幅度 持續(xù)時(shí)間 重復(fù)頻率或能量的電流 按一定 的方式經(jīng)負(fù)電極 正電極取為無(wú)關(guān)電極 作用至可興奮組織 使之興奮 以達(dá)到 山東大學(xué)碩士學(xué)位論文 治療和控制的目的 電刺激能使神經(jīng)和肌肉等可興奮組織 改變鈉 鉀等離子的 通透性 在組織中產(chǎn)生離子電流 用電刺激的方法來(lái)恢復(fù)全聾人聽覺 涉及到電 刺激的原理 電刺激的特性 以及如何選擇適當(dāng)?shù)拇碳げㄐ魏痛碳?shù)等 2 2 1 電刺激的電生理基礎(chǔ) 可興奮組織細(xì)胞處于靜息狀態(tài)時(shí) 細(xì)胞膜兩側(cè)存在著內(nèi)負(fù)外正的電位差 靜 息電位 膜兩側(cè)的正 負(fù)離子層構(gòu)成極化狀態(tài) 具有電容器的性質(zhì) 由于細(xì)胞 膜對(duì)離子的通透性具有電阻性能 因而 可興奮組織細(xì)胞從電性能看 可模擬為 電容 電阻組合的等效電路 負(fù)電極 不論其在細(xì)胞內(nèi)或細(xì)胞外 附近的可興奮 組織 在有脈沖電流通過細(xì)胞膜時(shí) 會(huì)引起膜兩端電位變化 使膜去極化 若外 加電刺激引起的去極化達(dá)一定閱值時(shí) 就會(huì)引起被刺激細(xì)胞中鈉 鉀等離子的通 透性瞬時(shí)急劇改變而發(fā)生動(dòng)作電位 并由負(fù)電極動(dòng)作區(qū)開始 沿神經(jīng)或肌纖維向 鄰近的細(xì)胞擴(kuò)布 產(chǎn)生擴(kuò)布性興奮 凡能使可興奮組織興奮的最小刺激稱為閾刺 激 閾刺激包括時(shí)間和強(qiáng)度兩個(gè)基本參數(shù) 在一點(diǎn)的刺激作用時(shí)間 即脈沖寬度 下 引起可興奮組織興奮所需的最低刺激電流強(qiáng)度 即脈沖幅度 稱為電流強(qiáng)度 閾值 正常情況下 動(dòng)作電位的產(chǎn)生由神經(jīng)遞質(zhì)的釋放產(chǎn)生 而對(duì)于受損的神經(jīng)細(xì) 胞 如聽神經(jīng)或視神經(jīng) 無(wú)法產(chǎn)生動(dòng)作電位 因而導(dǎo)致信息傳遞通道的中斷 引 起失聰或失明 但是 在靜息狀態(tài)下 如果人為地對(duì)神經(jīng)細(xì)胞施加一個(gè)刺激電流 依據(jù)h o d g l d n 和h u x l e y 在1 9 5 2 年建立的無(wú)髓神經(jīng)纖維的h o d g k i n h u x l e y 模型 簡(jiǎn) 稱h h 模型 神經(jīng)細(xì)胞將在該電流的作用下也可以產(chǎn)生動(dòng)作電位 即細(xì)胞具有 電可興奮性 圖2 3 為h h 的簡(jiǎn)化模型 細(xì)胞外 細(xì)胞膜 細(xì)胞內(nèi) 2 j y 圖2 3h h 的簡(jiǎn)化模型 圖2 3 中 c 為膜電容 g 和g 為電導(dǎo) g 為漏電導(dǎo) e 和e 為n a 和k 離子的n e r n s t 電位 i 為刺激電流 i s i i i r i 由h h 模型可以求得施加刺激電流i 時(shí) n a k 離子電導(dǎo)g 和g r 的變化 山東大學(xué)碩士學(xué)位論文 和膜電位的變化 當(dāng)施加刺激電流后 g 快速增大 膜對(duì)n a 的通透性增強(qiáng) 引 起膜電位開始去極化 由負(fù)變正 之后 g 逐漸變大 而g 逐漸變小 使得 膜電位又重新極化 逐漸回到靜息電位 基予以上分析 在外加電流的作用下 細(xì)胞可以產(chǎn)生興奮 動(dòng)作電位還可以 沿神經(jīng)纖維傳導(dǎo) 這一技術(shù)稱為功能性電刺激 f u n c t i o n a l e l e c t r i c a l s t i m u l a t i o n f e s 基于f e s 技術(shù) 可以設(shè)計(jì)電子耳蝸 人工視網(wǎng)膜或截癱患者 運(yùn)動(dòng)功能重建裝置 2 2 2 刺激電流模式 為保證電刺激的安全性和有效性 還需要選擇合適的刺激電流波形和刺激模 式 在臨床上刺激電流通常選擇雙相模式 如圖2 4 示 每一個(gè)刺激脈沖包含一 個(gè)負(fù)相的電流脈沖和一個(gè)正相的電流脈沖 雙相刺激可以保證電荷的平衡 使得 刺激時(shí)射入的凈電荷為0 避免因電荷積累對(duì)刺激部位造成的損傷 負(fù)相電荷脈沖 即陰極刺激 使膜電位去極化 產(chǎn)生動(dòng)作電位 對(duì)于電子耳蝸而言 刺激脈沖的 寬度w 一般為1 0 2 0 0us 刺激電流的幅度小于2 m h 延遲時(shí)間d 為經(jīng)驗(yàn)值 對(duì) 于聽神經(jīng)的刺激 延遲d 可以為0 叫w 圖2 4 刺激電流波形示意圖 電子耳蝸需要在相應(yīng)硬件的支持下 產(chǎn)生如圖2 4 所示的電流脈沖序列 并 根據(jù)語(yǔ)音信號(hào)的特征調(diào)整刺激模式 即刺激幅度a 和刺激頻率的變化 以產(chǎn)生與 正常耳蝸動(dòng)作電位發(fā)放模式相似的神經(jīng)興奮 2 3 電子耳蝸系統(tǒng) 電子耳蝸系統(tǒng)m 1 一般可分為體外和體內(nèi)兩部分 體外部分主要包括麥克風(fēng) 語(yǔ)音處理器 編碼發(fā)射器 發(fā)射線圈等 植入體內(nèi)的部分為接收線圈 接收解碼 器 刺激器和電極陣列 圖2 5 為電子耳蝸的系統(tǒng)結(jié)構(gòu)圖 山東大學(xué)碩士學(xué)位論文 一目 1 日j 自l l l 圖2 5 電子耳蝸的系統(tǒng)結(jié)構(gòu)圖 人工耳蝸的工作原理是 外界聲音 包括語(yǔ)言 先由麥克風(fēng)采集并轉(zhuǎn)換成電 信號(hào) 再經(jīng)過特殊的編碼處理 生成一種能保留語(yǔ)言特點(diǎn)和規(guī)律的電脈沖 再由 發(fā)送裝置變?yōu)闊o(wú)線電波通過戴在耳后的電磁感應(yīng)線圈發(fā)射到體內(nèi) 植入體內(nèi)的接 收線圈收到信號(hào)后 按照指令通過植入耳蝸內(nèi)電極刺激聽覺神經(jīng)使聾人產(chǎn)生聽覺 體外和體內(nèi)裝置之間的信號(hào)傳輸或通過電磁感應(yīng)完成 二者之間為皮膚相隔 沒 有導(dǎo)線連接 或者是經(jīng)皮的直接連線傳送 2 4 電子耳蝸的語(yǔ)音信號(hào)處理方案 語(yǔ)音信號(hào)處理部分的功能是將聲音信號(hào)轉(zhuǎn)換為耳蝸中電極相對(duì)應(yīng)的電刺激信 號(hào) 語(yǔ)音信號(hào)處理方案是電子耳蝸系統(tǒng)中最關(guān)鍵的技術(shù) 它對(duì)電子耳蝸的性能有 重要的影響 現(xiàn)在不同的信號(hào)處理策略的研究主要是針對(duì)多電極的耳蝸系統(tǒng) 小 兒 可根 據(jù)如何從語(yǔ)音信號(hào)中提取信息以及提取的信息激勵(lì)電極的方法 大致分為兩種不 同的類型 一類是基于特征提取 即提取語(yǔ)音信號(hào)中的不同譜特征信息 如語(yǔ)音 基頻和共振峰等特征 然后產(chǎn)生相應(yīng)電極的刺激信號(hào) 另一類是基于濾波器組的 方法 即對(duì)語(yǔ)音信號(hào)進(jìn)行分頻段濾波處理 獲得各頻段的語(yǔ)音信息波形 模擬或 脈沖形式 直接作為對(duì)應(yīng)電極的刺激信號(hào) 4 2 1 基于特征提取的語(yǔ)音信號(hào)處理方案 1 f o f 2 方案 f o f 2 方案是澳大利亞n u c l e u s 公司的多導(dǎo)電子耳蝸系統(tǒng)在8 0 年代采用的一 種方案 這種方案直接用過零檢測(cè)法提取語(yǔ)音的基頻f o 和第二共振峰f 2 共振峰 f 2 的頻率位置由1 0 0 0 h z 4 0 0 0 h z 的帶通濾波后進(jìn)行過零檢測(cè)得到 f 2 的幅度由 整流和低通濾波 3 5 h z 得到 f 2 的頻率位置決定電極電流的刺激位置 在濁音 4 磊 而擻一 目 一解 一 口圈 猶 辨 h呱 燃 圈 一 器一一音理一匡 贏 山東大學(xué)碩士學(xué)位論文 期間 刺激頻率為f o 個(gè)脈沖 秒 f 2 的幅度決定利激電流脈沖的電平 在清音期 間 以隨機(jī)刺激速率進(jìn)行刺激 均值為i 0 0 個(gè)脈沖 秒 這種方案僅僅包括了共振峰f 2 的信息和f o 的變化信息 而且f o 的提取度較 低 病人實(shí)驗(yàn)結(jié)果表明 該方案使耳聾患者獲得了一定的音感 而且有助于唇讀 2 f o f i i f 2 策略 f o f l f 2 方案是在f o f 2 的基礎(chǔ)上加以改進(jìn) 除提取出有關(guān)語(yǔ)音的f o f 2 信息 外 還有語(yǔ)音第一個(gè)共振峰頻率f 1 及其幅度 截止頻率為2 7 0 h z 的低通濾波器的 輸出進(jìn)行過零檢測(cè)可獲得f 0 的大小 3 0 0 1 0 0 0 h z 和1 0 0 0 一3 0 0 0 h z 的兩個(gè)帶通 濾波器分別用于檢測(cè)第一共振峰f 1 和第二共振蜂f 2 在此系統(tǒng)中 共有2 0 個(gè)電 極 其分成兩組 位于耳蝸?lái)敳康囊唤M 5 個(gè) 對(duì)應(yīng)低頻部分 對(duì)應(yīng)于f 1 的有關(guān) 信息 位于耳蝸底部的一組 1 5 個(gè) 對(duì)應(yīng)于高頻部分 對(duì)應(yīng)于f 2 的有關(guān)信息 處 理器分別根據(jù)f 1 和f 2 的大小確定每一組中對(duì)應(yīng)的某一電極產(chǎn)生刺激電流 刺激 電流的速率由f 0 決定 3 i a p e a k 方案 圖 6m p e a k 方案 m p e a k m u l t i p e a k 方案 圖2 6 和采用f 0 f l f 2 的處理策略相似 但又 有不同之處 它是對(duì)f o f 1 f 2 方案的擴(kuò)展 包括了更多的高頻信息 它除了提取 出f o 伊1 f 2 三個(gè)頻率及其相關(guān)幅度外 還提取出一些更高頻率的信息 其最高頻 率高達(dá)6 k h z 而且第二個(gè)共振峰f 2 的頻率范圍被擴(kuò)大到8 0 0 4 0 0 0 h z 因而此 山東大學(xué)碩士學(xué)位論文 法能在每一激勵(lì)周期內(nèi)同時(shí)激活四個(gè)電極 除f l f 2 激勵(lì)的電極外 激勵(lì)另兩個(gè) 電極的信號(hào)來(lái)自于2 k h z 以上的三個(gè)高頻率段 用來(lái)刺激位于耳蝸底部的電極 另 外 它還采用了一種新的編碼算法 稱為m u l t i p e a k m p e a k 法 此法即由此 得名 m p e a k 方案提供了更多的高頻信息 有助于對(duì)語(yǔ)音的理解 特別是對(duì)輔音 因?yàn)檩o音的能量一般集中于高頻 2 4 2 基于濾波器組的電子耳蝸語(yǔ)音信號(hào)處理方案 1 s m s p 方案 s m s p 方案是將語(yǔ)音信號(hào) o 6 k h z 預(yù)加重后通過一組帶通濾波器分為1 6 個(gè) 通道 每一通道經(jīng)過全波整流 低通濾波 2 0 0 h z 檢測(cè)出該頻帶內(nèi)信號(hào)的譜包絡(luò) 對(duì)每一時(shí)刻 可以得到1 6 個(gè)頻帶內(nèi)語(yǔ)音信號(hào)的強(qiáng)度大小 然后選取其中6 個(gè)幅度 最大作為對(duì)應(yīng)電極的刺激信號(hào) 最后用對(duì)數(shù)或平方律函數(shù)將信號(hào)壓縮到適當(dāng)?shù)膭?dòng) 態(tài)范圍 并且以固定的速率2 5 0 p p s p u l s e sp e rs e c o n d 刺激聽神經(jīng) 這種方法 既減少了無(wú)限傳輸時(shí)的數(shù)據(jù)量 又最大限度地利用了語(yǔ)音信號(hào)中的主要信息 該 方案用于澳大利亞n u c l e u s 公司的電子耳蝸產(chǎn)品 其基本原理如圖2 7 示 2 c l s 方案 圖2 7 s m s p 方案 1 9 9 1 年t r i a n g l e 研究院的科研人員美國(guó)學(xué)者w i l s o n 在n a t u r e 上的 篇文章中 提出了對(duì)壓縮模擬法的改進(jìn) 稱為連續(xù)交替取樣 c i s 語(yǔ)音信號(hào)處理方案 它使用 山東大學(xué)碩士學(xué)位論文 非同時(shí) 交替脈沖來(lái)避免通道間的相互影響 c i s 方案 是電子耳蝸目前采用的 信號(hào)處理方法之一 其語(yǔ)音信號(hào)處理方案原理見圖2 8 該方案中 語(yǔ)音信號(hào) 0 6 k h z 先經(jīng)預(yù)加重處理 以補(bǔ)償語(yǔ)音信號(hào)的高頻成分 然后 進(jìn)行頻率分段處理 從低頻到高頻將語(yǔ)音信號(hào)經(jīng)n 個(gè)帶通濾波囂劃分為與 電極相對(duì)應(yīng)的n 個(gè)頻段 對(duì)每一個(gè)頻段內(nèi)的信號(hào) 經(jīng)整流 低通濾波等檢測(cè)出其 包絡(luò) 為了提高動(dòng)態(tài)范圍 作對(duì)數(shù)或平方率壓縮 在產(chǎn)生刺激信號(hào)時(shí) c i s 方案與 s m s p 完全不同 c i s 方案對(duì)每一頻段內(nèi)的信號(hào)包絡(luò)分別用對(duì)稱雙相脈沖序列進(jìn)行 調(diào)制 且調(diào)制脈沖序列在時(shí)序上是不同的 脈沖交替出現(xiàn) 最后 調(diào)制后的離散 序列即作為電極的刺激信號(hào) c i s 方案通過利用交替的刺激脈沖 有效的克服了通道之間的相互干擾 同時(shí) 對(duì)每一個(gè)通道而言 它還具有相對(duì)較高的刺激速率 因?yàn)橄噜復(fù)ǖ篱g的脈沖時(shí)延 很小 可以達(dá)至q 較高的刺激速率 如大于 o o p p s 所以 c i s 方案能更好的跟蹤 語(yǔ)音信號(hào)的變化細(xì)節(jié) 調(diào)翩 3 p p s 方案和q p s 方案 圖2 8c i s 方案 電極1 電極2 電極n p p s 方案是雙相同時(shí)刺激并與c i s 方案有一些共同點(diǎn)的脈沖刺激序列語(yǔ)音方 案 與c i s 不同的是 p p s 方案不是僅刺激一個(gè)電極 而是同時(shí)刺激兩個(gè)電極 對(duì)p p s 方案來(lái)說 只有三組非同時(shí)交替的電極組 例如 l 和5 2 和6 3 和7 等同時(shí)受刺激 由于這種刺激模式 所以p p s 的刺激速率是c i s 的兩倍 p p s 1 3 3 0 0 p p s c i s 6 5 0 0 p p s 兩種方案的脈沖寬度是一樣的 7 5 u s p b a s e 刺 激速率的提高能提高時(shí)域的分辨率 從而有可能改善瞬時(shí)語(yǔ)音的識(shí)別率 q p s 與p p s 非常相似 但是同時(shí)刺激四個(gè)而不是兩個(gè) 例如 奇數(shù)電極同時(shí) 受刺激 然后偶數(shù)電極的同時(shí)受刺激 q p s 的脈沖寬帶與p p s 和c i s 是一樣的 山東大學(xué)碩士學(xué)位論文 l e l l i 只是刺激速率變成了3 3 k p p s 因此q p s 的刺激速率比p p s 和c i s 都高 4 s a s 方案 s a s 語(yǔ)音信號(hào)處理方案 1 5 同時(shí)向i 一7 通道傳遞模擬波形 刺激的速率是 9 1 0 0 0 p p s s a s 是雙極性刺激方式 對(duì)標(biāo)準(zhǔn)的c l a r i o n 電極來(lái)說 一個(gè)有效電極以 鄰近的一個(gè)基電極做參照電極 這兩個(gè)電極產(chǎn)生雙極性電流 因此 第八個(gè)電極 由于沒有基電極組成電極組而沒有刺激電流 圖2 9s a s p p s c i s 三種方案的刺激波形 總之 選擇合適的語(yǔ)音信號(hào)處理方案是由電刺激誘發(fā)聽覺的關(guān)鍵 目前電子 耳蝸的語(yǔ)音信號(hào)處理方案很多 并且電子耳蝸的研究者還在不斷地推出新的方案 如上面提到的p p s q p s 和s a s 其中p p s 和q p s 都是在c i s 上進(jìn)行改進(jìn)的 改變 同時(shí)刺激電極的數(shù)目 s a s 對(duì)刺激波形進(jìn)行改變 由原來(lái)的脈沖序列改成了模擬 波 2 5 漢語(yǔ)的特征 漢語(yǔ)是世界上使用人口最多的語(yǔ)言 約有1 5 億人口使用漢語(yǔ) 漢語(yǔ)在語(yǔ)義學(xué) 方面有其獨(dú)特的 不同于其他語(yǔ)系的內(nèi)容 對(duì)一種語(yǔ)言來(lái)說 音節(jié)是發(fā)聲的最小 單位 一個(gè)音節(jié)由元音 v o w e l 和輔音 c o n s o n a n t 構(gòu)成 元音構(gòu)成一個(gè)音節(jié)的主 干 無(wú)論從長(zhǎng)度看還是能量看 元音在音節(jié)中都占主要部分 所有元音都是濁音 輔音則出現(xiàn)在音節(jié)的前端或后端或前后兩端 在漢語(yǔ)普通話中 每個(gè)音節(jié)都是由 輔音一元音 構(gòu)成的 其中包括只有元音而沒有輔音的純?cè)粢艄?jié) 例如 啊 這種情況稱為 零輔音 在漢語(yǔ)中輔音也稱為聲母 元音也稱為韻母 山東大學(xué)碩士學(xué)位論文 2 5 1 清濁音的特點(diǎn)及其不同的發(fā)音機(jī)理 我們知道 所有的韻母都是濁音 而大部分的聲母都是清音 下面我們就來(lái) 介紹一下這兩種音素的發(fā)聲機(jī)理及它們各自不同的特點(diǎn) 發(fā)聲器官由三部分組成 喉 聲道和嘴 喉中有兩片肌肉 稱為聲帶 它 們的一側(cè)由甲狀軟骨支撐 另一側(cè)則由兩塊杓狀軟骨支撐和控制 后者又與環(huán)形 軟骨連接 當(dāng)它們分開時(shí)聲帶是張開的 1 0 a 正常呼吸時(shí)就處于這種倩況 空氣可自由地流過喉和氣管 見圖2 一 兩片聲帶之間的空隙稱為聲門 說話時(shí) 兩片聲帶在杓狀軟骨的作用下相互靠近但不完全封閉 這樣聲門變成一條窄纏 見 圖2 1 0 b 當(dāng)氣流通過這個(gè)窄縫隙時(shí)其問的壓力減小 從而兩片聲帶完全合攏 使氣流不能通過 在氣流阻斷時(shí)壓力恢復(fù)正常 因此聲帶間的空隙再次形成 氣 流再次通過 這一過程周而復(fù)始的進(jìn)行 就形成了一串周期性的脈沖氣流送入聲 道 這一周期氣流脈沖串的周期稱為 基音周期 用t 表示 其倒數(shù)稱為 基 音頻率 用l 表示 用上面所述方式發(fā)出的語(yǔ)音是 濁音 聲蕾靜彳f b 聲帶 憂 圖2 1 0 喉的解剖結(jié)構(gòu) 語(yǔ)音的另一種產(chǎn)生方式是聲門完全封閉 這時(shí)聲道不是受聲門周期脈沖氣流 的激勵(lì)而是利用口腔內(nèi)存有的空氣釋放出來(lái)而發(fā)聲 由于該氣流通過一個(gè)狹通道 時(shí)在口腔中形成湍流 因而明顯地具有隨機(jī)噪聲的特點(diǎn) 從圖2 一1 1 我們可以清 圖2 1 1 清音的一段時(shí)域波形圖 橫坐標(biāo)表示抽樣點(diǎn) 縱坐標(biāo)表某一抽樣點(diǎn)對(duì)應(yīng)的幅度值 山東大學(xué)碩士學(xué)位論文 2 5 2 四種聲調(diào)及其聲調(diào)曲線 漢語(yǔ)有一個(gè)不同于其他語(yǔ)音的特征是 漢語(yǔ)有它的聲調(diào) 漢語(yǔ)普通話中具有 四種聲調(diào) 它們是陰平 陽(yáng)乎 上聲 去聲 或稱之為一聲 二聲 三聲 四聲 相同聲母和韻母構(gòu)成的音節(jié)隨聲調(diào)的不同而具有完全不同的意義 對(duì)應(yīng)著不同的 方塊字 例如媽 麻 馬 罵 聲調(diào)在普通話中承擔(dān)著重要的構(gòu)字辨意作用 而 在其它很多語(yǔ)種中聲調(diào)沒有這樣重要的作用 濁音的聲帶振動(dòng)基頻稱為基音頻率 可以用f d 或f 來(lái)表示 無(wú)論在說一個(gè)單 音節(jié)或說一段連續(xù)語(yǔ)音時(shí) 各個(gè)音節(jié)中韻母段的f 都是隨時(shí)間而變化的 f 的不 同軌跡稱為聲調(diào) 聲調(diào)曲線 1 即f 的軌跡 從一個(gè)韻母的起始端開始 到韻母的終止端結(jié)束 圖2 1 2 就是單獨(dú)說一個(gè)音節(jié)時(shí)四種聲調(diào)的曲線 我們可以看出 陰平 1 聲 曲 線的特點(diǎn)是幾乎與橫軸平行保持在2 4 0 h z 陽(yáng)平 2 聲 曲線的特點(diǎn)是從2 0 0 h z 的頻 率一直上升到較高的2 7 0 h z 頻率 或者起始處稍稍下降后一直上升 上聲 3 聲 曲線的特點(diǎn)是先降后升 去聲 4 聲 曲線的特點(diǎn)是從較高的頻率出發(fā)一直下降到極 低的頻率 d 規(guī)童畦3 圖2 1 2 韻母a 四種聲調(diào)典型的聲調(diào)曲線 女性說話者 山東丈學(xué)碩士學(xué)位論文 3 1 引言 第三章影響聲調(diào)識(shí)別的時(shí)域信息和頻域信息 電子耳蝸是用有限的電極去刺激聽神經(jīng)以恢復(fù)全聾人的聽覺 因此 電誘發(fā) 的聽覺必然與正常人的聽覺存在差異 首先 電子耳蝸的電極數(shù)目 即通道數(shù) 有限 1 8 1 9 語(yǔ)音信號(hào)包含非常豐富 的頻率信息 其中對(duì)語(yǔ)音理解比較關(guān)鍵的頻率范圍為3 0 0 h z 3 6 k h z 正常人對(duì)聲 音頻率的分辨率約為幾h z 左右 如 當(dāng)聲強(qiáng)固定為4 0 d b 頻率為5 0 0 h z 時(shí)音高 差閥約為2 3 h z 頻率為2 0 0 0 h z 時(shí)音高差閥約為5 6 h z 可見 人耳具有非常 高的聽辨能力 而電子耳蝸通常是用若干個(gè)電極直接興奮聽神經(jīng) 僅僅激活了3 0 0 0 0 根聽神經(jīng)纖維中有限的聽神經(jīng)元 因此電刺激誘發(fā)的聽覺只能感受到語(yǔ)音信號(hào) 中的部分頻率信息 大部分頻率信息或者頻率細(xì)節(jié)無(wú)法感受到 其次 電刺激是用電極上電流的變化來(lái)興奮昕神經(jīng)元 電流的電場(chǎng)有一定的 分布范圍 對(duì)于單個(gè)的刺激脈沖 刺激電流將興奮其電場(chǎng)分布范圍之內(nèi)的一組神 經(jīng)元 而且電流電場(chǎng)存在疊加效應(yīng) 因此 電刺激的頻率分辨率比較低 無(wú)法與 正常人的耳蝸對(duì)語(yǔ)音的頻域分析相比 同時(shí) 電刺激誘發(fā)的神經(jīng)發(fā)放模式與正常耳蝸?lái)憫?yīng)語(yǔ)音信號(hào)振動(dòng)波刺激的模 式之間存在一定的差別 正常人的耳蝸有雙音抑制現(xiàn)象和鎖相特性等 可以用部 位編碼和時(shí)間編碼方式同時(shí)對(duì)語(yǔ)音的細(xì)節(jié)進(jìn)行編碼 而電子耳蝸只能依靠部位編 碼和刺激速率對(duì)語(yǔ)音信號(hào)進(jìn)行編碼 另外 耳聾患者的聽神經(jīng)的殘余狀況還存在著個(gè)體差異 語(yǔ)前聾和語(yǔ)后聾 短期耳聾和長(zhǎng)期耳聾 耳聾的病因等都會(huì)影響殘余聽神經(jīng)的數(shù)目和電刺激可興奮 性的程度 因此 電刺激誘發(fā)的聽覺功能只能是基本的語(yǔ)音感覺和理解功能 幫助耳聾 患者感受聲音信息 那么 選取何種刺激模式和刺激參數(shù)才能最大限度地恢復(fù)聾 人的聽覺功能昵 而對(duì)于語(yǔ)音信號(hào) 需要傳遞什么信息才能有效恢復(fù)基本的語(yǔ)言 聽覺功能昵 這是電子耳蝸設(shè)計(jì)中需要探討的關(guān)鍵問題 3 2 聲調(diào)的感知機(jī)理 研究表明 聽覺的喪失總是與聲調(diào)識(shí)別的退化相聯(lián)系 因此 深入了解聲調(diào) 山東大學(xué)碩士學(xué)位論文 感知的機(jī)理對(duì)電子耳蝸處理方案的設(shè)計(jì)有深刻的意義 雖然經(jīng)過一個(gè)世紀(jì)多的研 究 人們對(duì)聲調(diào)的機(jī)理依然是知之甚少 并且是聽覺研究機(jī)構(gòu)爭(zhēng)論最嚴(yán)重的一個(gè) 話題 對(duì)于聲調(diào)的編碼機(jī)理 有兩個(gè)主要的理論 頻域一時(shí)域理論腳 3 和聲調(diào)處 理的自相關(guān)理論0 2 2 濁音是一個(gè)準(zhǔn)周期信號(hào) 它可以分解成為很多基音頻率f o 的諧波的和的形式 而前面我們已經(jīng)說過耳蝸可以被簡(jiǎn)單地認(rèn)為是一個(gè)空間的機(jī)械式頻率分析器 因 此 對(duì)于復(fù)合波來(lái)說 如果有少于兩個(gè)諧波同時(shí)落在同一個(gè)聽覺濾波器的1 0 r i b 帶 寬范圍內(nèi)的話 這時(shí)聲調(diào)的感知對(duì)它們之間相位的關(guān)系不敏感 這種情況我們說 它們是可分解的 如果落入同一個(gè)聽覺濾波器中的諧波的數(shù)目超過3 2 5 個(gè) 聲調(diào) 感知對(duì)相位的變化就比較敏感 這種情況下我們說它們是不可分解的 頻域一時(shí)域理論假設(shè)聲調(diào)的感知同時(shí)存在兩個(gè)過程 一個(gè)是鑒別復(fù)合波中可 分解的諧波成分并把它們作為一組 利用頻域信息來(lái)識(shí)別聲調(diào) 另 個(gè)過程是從 所有不可分解的通道中提取時(shí)域信息來(lái)感知聲調(diào) 自相關(guān)理論聲稱聲調(diào)的感知不 管是否可分解 直接從各頻域通道中提取時(shí)域信息 綜合時(shí)域的峰值間隔來(lái)感知 聲調(diào) 也就是說 根據(jù)l i c h i l i d e r 的假設(shè) 聽覺系統(tǒng)可以計(jì)算一個(gè)峰值系列的自 相關(guān)函數(shù) m o o r e 提出大多數(shù)的復(fù)合聲音信號(hào)的聲調(diào)感知可以以一個(gè)簡(jiǎn)單的模型來(lái)理解 一個(gè)復(fù)雜聲音信號(hào)的聲調(diào)簡(jiǎn)單地對(duì)應(yīng)于最頻繁的峰電位間隔 峰電位間隔是被聲 音信號(hào)興奮的所有聽覺神經(jīng)的總響應(yīng) 對(duì)一個(gè)聽神經(jīng)來(lái)說 如果它被一個(gè)可分艇 的頻率為f 1 l z 的分量興奮 相應(yīng)的尖峰則發(fā)生在1 f 2 f n f 處 其他的 神經(jīng)如果被別的可分解的分量興奮 其間隔時(shí)間有部分的差異 如果這兩個(gè)分量 是相關(guān)的諧波