人工智能多媒體計算課件 圖像信息處理

CS330MIP–Lecture12圖像信息處理Image

ProcessingLecture12ContentsReview

ofLecture11圖像信息處理7個里程碑及基本概念圖像信息處理7個里程碑之1-邊緣檢測圖像信息處理7個里程碑之2-圖像壓縮音頻語音信息處理7個里程碑語音合成基音同步疊加算法1990語音壓縮MP31991語音特征分析梅爾頻率倒譜系數(shù)1980語音識別隱馬爾可夫模型1980s說話人識別高斯混合模型1993語音通用深度神經(jīng)網(wǎng)絡2014語音大模型Whisper2022里程碑3:語音合成之PSOLA基音同步疊加算法（Pitch-SynchoronousOverlap-Add,

PSOLA）是一種用于語音合成中對合成語音的韻律進行語音轉換（Voice

Conversion）算法的算法。80年代末到1990年由法國研究人員F.Charpentier和E.Moulines等人提出。該算法的核心思想是在不改變語音信號的基本音質(zhì)的前提下，將語音信號分成不同的基音周期，并通過移動、增減這些基音周期并重新疊加，通過調(diào)整語音信號的基頻和時長來改變語音的韻律音高和持續(xù)時間。它的優(yōu)點在于能夠方便地控制合成語音的韻律參數(shù)。PSOLA包括時域PSOLA（TD-PSOLA）頻域PSOLA（FD-PSOLA）線性預測PSOLA（LP-PSOLA）等語音合成語音合成技術是利用電子計算機或其他裝置模擬人說話的技術,主要包括文本到語音（TTS：TextToSpeech)和語音轉換(VC：VoiceConversion)兩種技術路線.

語音轉換是為了實現(xiàn)對合成語音中的韻律調(diào)整。韻律控制主要是修改單個語音波形的時長和音調(diào)，以達到韻律控制的目的。使用的主要算法是基音同步疊加（PSOLA）算法PSOLA算法步驟1-5具體描述窗函數(shù)與信號分割使用窗函數(shù)將輸入的語音信號分割成多個幀，每一幀包含一個完整的基音周期基音同步分析和標注對于每一幀，算法會進行基音周期的分析。語音信號可以分為清音段和濁音段，這兩者的標注方式是不同的。對于濁音段，算法會進行正常的基音周期標注。而對于清音段，由于它們?nèi)狈Ψ€(wěn)定的基音周期，算法通常將其基音周期設定為一個固定的常數(shù)時間擴展或壓縮根據(jù)需要改變語音信號的長度，算法可以對幀進行時間擴展或壓縮。這通常是通過改變幀之間的間隔來實現(xiàn)的音高調(diào)整為了改變語音信號的音高，算法會調(diào)整每一幀的基音周期大小。更長的基音周期會導致更低的音高，而更短的基音周期則會導致更高的音高。重疊和相加在完成了上述所有調(diào)整后，算法會將調(diào)整后的幀進行重疊并相加，以生成新的語音信號。這個新的信號會具有所需的音高和時間長度的調(diào)整，而其他語音特性則保持不變。里程碑4:語音壓縮之MP3語音壓縮是對編碼后的數(shù)字語音進行壓縮的方法。MP3算法（MPEGAudioLayer-3）是一種廣泛使用的數(shù)字音頻壓縮格式，其全稱是動態(tài)影像專家壓縮標準音頻層面3。它是在1991年由德國的的一組工程師發(fā)明和標準化的。它被設計用來大幅度地降低音頻數(shù)據(jù)量。利用MPEGAudioLayer3的技術，將音樂以1:10甚至1:12的壓縮率，壓縮成容量較小的文件，而對于大多數(shù)用戶來說重放的音質(zhì)與最初的不壓縮音頻相比沒有明顯的下降。用MP3形式存儲的音樂就叫作MP3音樂，能播放MP3音樂的機器就叫作MP3播放器。MP3算法的核心原理是基于人耳聽覺特性的心理聲學模型，通過去除人耳不易察覺的聲音信息來實現(xiàn)數(shù)據(jù)壓縮。MP3算法步驟步驟描述采樣率轉換將輸入音頻信號的采樣率轉換為固定的值，通常為44.1kHz。這是為了匹配人耳對于音頻的感知范圍，削弱或刪除高于人耳感知范圍的頻率。分幀將音頻信號分成一系列短時窗口，通常為23.2ms至46.4ms的長度。每個窗口內(nèi)的音頻數(shù)據(jù)被視為一個幀。使用重疊窗口技術減少幀之間的不連續(xù)性?？焖俑道锶~變換（FFT）對每個幀應用FFT變換，將時域中的音頻信號轉換為頻域中的頻譜表示。聲學模型基于人耳的聽覺特性，使用心理聲學模型來確定哪些頻率成分對人耳更重要，并舍棄部分人耳感知不靈敏的部分以進行更多的壓縮。量化和編碼使用掩蔽模型為每個頻率成分確定對應的量化器步長。然后，將量化后的頻譜系數(shù)進行熵編碼，通常使用霍夫曼編碼。霍夫曼編碼是一種無損數(shù)據(jù)壓縮算法，它基于頻率較高的字符用較短的編碼表示，而頻率較低的字符用較長的編碼表示的原理，實現(xiàn)對數(shù)據(jù)的高效壓縮。MP3壓縮全流程里程碑5:說話人識別之GMM高斯混合模型（GaussianMixtureModel,GMM）是一種概率模型，它假設數(shù)據(jù)集是由多個高斯分布混合而成的。每個高斯分布被稱為一個“成分”或“簇”，由其均值（mean）和協(xié)方差（covariance）定義。在說話人識別任務中，GMM通過訓練為每個目標說話人語音建立一個特征模型，再通過匹配處理來獲得最終的識別結果。在語音識別任務中，GMM也可以與HMM結合來提高語音識別的準確性。說話人識別Automatic

Speaker

Recognition說話人識別，也稱聲紋(Voiceprint)識別，是一種利用說話人的語音特征進行身份辨認或確認的技術，屬于生物識別技術的一種。它的原理是通過分析處理說話人的語音信號，提取出包含在其中的個性因素，如發(fā)音器官和發(fā)音習慣的差異，從而將不同人的聲音進行有效區(qū)分。在實際應用中，說話人識別可以分為說話人確認和說話人辨認兩個應用范疇。說話人識別的理論基礎是每一個聲音都具有獨特的特征，通過該特征能將不同人的聲音進行有效的區(qū)分。這種獨特的特征主要由兩個因素決定，第一個是聲腔的尺寸，具體包括咽喉、鼻腔和口腔等，這些器官的形狀、尺寸和位置決定了聲帶張力的大小和聲音頻率的范圍。因此不同的人雖然說同樣的話，但是聲音的頻率分布是不同的，聽起來有的低沉有的洪亮。每個人的發(fā)聲腔都是不同的，就像指紋一樣，每個人的聲音也就有獨特的特征。第二個決定聲音特征的因素是發(fā)聲器官被操縱的方式，發(fā)聲器官包括唇、齒、舌、軟腭及腭肌肉等，他們之間相互作用就會產(chǎn)生清晰的語音。而他們之間的協(xié)作方式是人通過后天與周圍人的交流中隨機學習到的。人在學習說話的過程中，通過模擬周圍不同人的說話方式，就會逐漸形成自己的聲紋特征。說話人識別與語音識別從目的上看，說話人識別是通過分析處理說話人的語音信號，提取出包含在其中的個性因素，如發(fā)音器官和發(fā)音習慣的差異，從而進行身份鑒別與認證。而語音識別技術的目標則是將人類語音中的詞匯內(nèi)容轉換為計算機可讀的輸入，即讓機器“聽懂”人類口述的語言，包括理解口述語言中的要求或詢問并做出正確響應。從原理上看，說話人識別是基于聲紋識別的一種生物識別技術，通過分析語音信號中的個性因素來識別說話人的身份。而語音識別則是將語音信號轉變?yōu)槲谋?，然后將理解轉變?yōu)橹噶畹募夹g。GMM說話人識別在說話人識別中，GMM的核心設定是將每個說話人的音頻特征用一個高斯混合模型來表示。這種設定基于一個直觀的理解：每個說話人的聲紋特征可以分解為一系列簡單的發(fā)音子概率分布，這些子概率分布可以近似的認為是正態(tài)分布（高斯分布）。GMM如需要訓練出每個說話人的聲音模型，因此需要大量的訓練數(shù)據(jù)和時間成本。此外，如果針對開集新人員進行識別，需要重新訓練模型，限制了GMM實用性。GMM-UBM（高斯混合模型-通用背景模型）主要用于開集的說話者辨認。UBM是從大量不同的說話人的背景數(shù)據(jù)中訓練而來的，用于建模整個數(shù)據(jù)集中存在的變異性。然后，通過使用UBM的信息，對特定說話者的GMMs進行調(diào)整以更好地匹配其特征。UBM不會受到訓練數(shù)據(jù)不足以及隱性數(shù)據(jù)（unseendata）的影響。里程碑6:語音通用深度神經(jīng)網(wǎng)絡語音通用深度神經(jīng)網(wǎng)絡（通常簡稱為語音深度神經(jīng)網(wǎng)絡或DNN）是深度學習領域中的一種模型，專門用于處理和分析語音數(shù)據(jù)。這些網(wǎng)絡利用大量的參數(shù)和復雜的結構來捕獲語音信號中的復雜模式，并在各種語音處理任務中取得顯著的效果。DNN可以與HMM結合，DNN學習特征表示和預測HMM中的狀態(tài)轉移概率，而HMM則描述語音信號的時序結構和狀態(tài)轉移關系。DNN-HMM模型使用深度神經(jīng)網(wǎng)絡對語音信號進行特征提取和轉換，并輸入到HMM中進行建模和解碼，提高語音識別的性能。語音通用深度神經(jīng)網(wǎng)絡RNN循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNetwork,RNN）是一種專門用來處理序列數(shù)據(jù)的通用深度神經(jīng)網(wǎng)絡。與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡不同，RNN能夠處理變長的序列輸入，這使得它在處理諸如語言文本、時間序列數(shù)據(jù)、語音信號等連續(xù)數(shù)據(jù)時表現(xiàn)出色。語音處理領域中，RNN在語音處理的廣泛應用的出現(xiàn)標志著語音識別等語音通用任務進入了深度學習時代。RNN語音處理RNN通過引入循環(huán)連接，使得每個時間步的輸出不僅取決于當前的輸入，還取決于之前的隱藏狀態(tài)。這種機制使得RNN能夠捕捉序列數(shù)據(jù)中的上下文信息和時序依賴關系，從而在處理語音信號時具有優(yōu)勢。在語音識別方面，RNN模型通常接收語音信號的聲學特征序列作為輸入，如MFCC（Mel頻率倒譜系數(shù)）等。然后，RNN通過迭代計算每個時間步的隱藏狀態(tài)和輸出，將語音信號轉換為對應的文本序列。同時基于注意力機制的RNN模型能夠自動關注重要的語音片段，并忽略無關的信息。在語音合成方面，RNN模型可以接收文本序列作為輸入，并生成對應的語音信號。這通常涉及到使用RNN來建模文本到語音的映射關系，并通過生成算法來合成語音。同時，基于序列生成模型的RNN方法可以提高語音的自然度和流暢性，能夠生成更加逼真的語音信號RNN還可以結合其他通用深度學習模型來提高性能使用卷積神經(jīng)網(wǎng)絡（CNN）來提取語音信號的局部特征，并將其作為RNN的輸入。使用雙向RNN（Bi-RNN）或長短期記憶網(wǎng)絡（LSTM）等改進版的RNN模型來增強對長序列的建模能力，進一步提高語音處理的性能。里程碑7:語音大模型之WhisperWhisper模型是2022年OpenAI公司開發(fā)的一種的基于Transformer模型的預訓練端到端模型，它集成了多語種ASR、語音翻譯、語種識別的功能。在預處理階段，它使用25毫秒的窗口和10毫秒的步幅計算80通道的logMel譜圖表示。在訓練階段，超過68萬小時的標記多語言和多任務監(jiān)督訓練數(shù)據(jù)使其能夠適應不同的口音、背景噪音和技術術語。在識別階段，Whisper模型使用的CTC（ConnectionistTemporalClassification）解碼算法將神經(jīng)網(wǎng)絡輸出的概率分布映射到最可能的文本序列。在后處理階段，它通過語言模型糾正拼寫糾錯，進一步提高識別準確率，其轉譯效果已經(jīng)接近人類專家。ASR與TTS的端到端模型傳統(tǒng)的語音識別ASR系統(tǒng)需要首先提取聲學特征，語音或者音素特征，語音統(tǒng)計特征構建聲學模型/語言模型/語音模型3個步驟。傳統(tǒng)的語音生成TTS系統(tǒng)需要構建文本分析，聲學模型，語音合成幾個步驟。這些步驟需要大量的行業(yè)知識。端到端的技術將以上的每個步驟直接用深度學習網(wǎng)絡取代，簡化了系統(tǒng)設計。ASR使用的CTC，RNN-T(Transducer)，LAS（Listen

AttendSpell)和TTS使用的Tacotron,WaveNet,DeepVoice等的效果已經(jīng)超越傳統(tǒng)模型Lecture12ContentsReview

ofLecture11圖像信息處理7個里程碑及基本概念圖像信息處理7個里程碑之1-邊緣檢測圖像信息處理7個里程碑之2-圖像壓縮圖像信息處理7個里程碑邊緣檢測Edge

Detection(Canny)1986圖像壓縮ImageCompression(JPEG)1992圖像去噪Imagedenoising(Darkpriorchannel)2009圖像識別Imagerecognition(AlexNet)2012圖像生成Imagegeneration(GAN)2014圖像目標檢測ObjectionDetection(YOLO)2015圖像分割大模型Imagesegmentation

(SAM)2023Q1:什么是圖像?圖像物理層面圖像是客觀物體的一種表示，包含了被描述物體的有關信息，這些信息通過光、電、磁等物理信號被記錄下來。數(shù)學層面圖像可以用二維函數(shù)f(x,y)來表示，其中x和y是空間坐標，f在(x,y)處的值或幅度稱為圖像在該點的亮度或灰度。技術層面圖像是一種模擬信號，可以被捕獲、處理、傳輸、存儲和顯示。在計算機中，圖像通常被表示為一組數(shù)字，即數(shù)字圖像。藝術層面圖像可以是繪畫、照片、視頻等，是人類表達和記錄信息、情感和經(jīng)驗的重要工具。圖像是人類視覺的基礎，是自然景物的客觀反映，是人類認識世界和人類本身的重要源泉。世界上第一張圖像JosephNicéphoreNiépce的作品《LeGras的窗戶景觀》（ViewfromtheWindowatLeGras）“JosephNicéphoreNiépce”是世界上公認的攝影術發(fā)明者，他在1822年或1823年制作出了上面世界上第一張照片是通過他的“日光蝕刻法”（heliography）技術制作出來的，標志著攝影技術的誕生?？赡苁侵袊牡谝粡埲讼裾掌瑘D像耆(QI)英,1844類別描述圖像類型照片拍攝時間1844年拍攝者于勒·埃迪爾（法國海關官員）拍攝地點中國廣東照片內(nèi)容澳門南灣景象、建筑、寺廟、媽閣廟正門、清廷談判代表耆英等歷史背景鴉片戰(zhàn)爭后，中國開放通商口岸，于勒·埃迪爾隨同法國公使來華，協(xié)助簽訂《黃埔條約》。這張照片是中國已知的第一張人像照片。數(shù)字圖像處理-維基百科圖像處理（ImageProcessing）是對圖像進行分析、加工和處理，以改善圖像的視覺效果或從中獲取有用信息的過程。根據(jù)抽象程度和處理方法的不同，主要可分為以下三個層次：圖像處理級別處理的抽象程度描述示例技術/方法低級處理基本圖像處理，改善視覺效果噪聲降低、對比度增強、銳化中級處理提取圖像特征邊緣檢測、圖像分割、特征提取高級處理圖像分析和理解圖像識別、圖像解釋、場景理解圖像采樣與量化圖像采樣是將連續(xù)圖像轉換為離散圖像的第一步。在采樣過程中，連續(xù)圖像被劃分為一個個小的區(qū)域（稱為像素），每個像素的位置由其坐標（x,y）表示。設連續(xù)圖像f(x,y)經(jīng)過數(shù)字化后，可以用一個離散量組成的矩陣g(i,j)（即二維數(shù)組）來表示。g(i,j)代表的點（i,j）即為采樣點（samplingpoint），也稱灰度值。圖像采樣與量化圖像量化是將采樣后得到的像素值（即灰度值）進行離散化處理的過程。原來在一個圖像塊中，幅值是連續(xù)變化的，量化操作將這些幅值量化成有限個離散值。數(shù)字圖像像素像素是對所見世界的普通的、低級的表示。12333234456790121343456895467981115667906534….像素值表示所看物體的亮度和顏色，但沒有指示這些數(shù)字指的是什么物體，例如書籍、顯示器——因此是低級別的。圖像處理這四個術語經(jīng)常一起用，有些有時會混淆圖像處理圖像分析計算機視覺計算機圖形學它們都共享表示法、基礎數(shù)學和一些算法它們的目標非常不一致目標圖像測量圖像處理收集與計算機使用相關的主題和技術獲得處理/操作分析/解釋顯示存儲傳輸數(shù)字圖像適用于大多數(shù)來源圖像的常用技術傳統(tǒng)圖像處理輸入圖像,輸出圖像關鍵信息更容易看到/提取出來更美觀ObjectsImages圖像處理實例邊緣檢測

線框提取

光照矯正

畸變矯正

圖像分析vs

圖像處理圖像分析對圖像進行定量分析:圖像采集受到限制，因此圖像測量是一些真實世界值的代理介于圖像處理和計算機視覺之間深度圖像處理覆蓋了圖像分析中廣泛使用的方法ObjectsImagesMeasurements圖像分析許多應用領域:醫(yī)學的科學的產(chǎn)業(yè)方面的:食品,紡織品,制造業(yè),…..圖像處理不是計算機視覺ObjectsMeasurementsObjectsImages計算機視覺旨在反轉圖像形成和恢復有關所看世界的信息:3D形狀，運動，身份…Q2:這圖的圖像處理的結果是什么?計算機視覺呢？圖像處理不是計算機圖形學計算機圖形學的重點是從對象模型創(chuàng)建圖像:照明和陰影建模體積模型曲線曲面建?？梢娦越＜y理合成角色動畫建模地形，液體，火/煙，布料，頭發(fā)、毛皮，羽毛，皮膚等概念比較及交叉融合概念描述主要內(nèi)容應用領域圖像處理(ImageProcessing)對圖像進行各種操作以改善其質(zhì)量或提取所需信息的過程-圖像增強和復原，

圖像壓縮，圖像分割，

圖像識別和匹配等-醫(yī)學影像分析，衛(wèi)星遙感，指紋識別，

安全監(jiān)控圖像分析(ImageAnalysis)利用數(shù)學模型和圖像處理技術分析圖像，以提取圖像中的有用信息-特征提取，

目標檢測，場景識別，

語義理解等模式識別，遙感圖像處理計算機視覺(ComputerVision)賦予計算機從圖像或視頻中獲取、處理、理解和分析信息的能力-目標檢測，目標跟蹤，

三維重建，運動分析，場景理解等-自動駕駛，機器人導航，

安防監(jiān)控，

虛擬現(xiàn)實/增強現(xiàn)實計算機圖形學(ComputerGraphics)利用計算機技術生成、處理和展示圖形和圖像的科學-建模，渲染，動畫，

人機交互，虛擬現(xiàn)實等-視頻游戲，影視特效，虛擬人圖像處理的實際應用Lecture12ContentsReview

ofLecture11圖像信息處理7個里程碑及基本概念圖像信息處理7個里程碑之1-邊緣檢測圖像信息處理7個里程碑之2-圖像壓縮圖像處理發(fā)展里程碑1-邊緣檢測邊緣檢測Edge

Detection(Canny)1986圖像壓縮ImageCompression(JPEG)1992圖像去噪Imagedenoising(Darkpriorchannel)2009圖像識別Imagerecognition(AlexNet)2012圖像生成Imagegeneration(GAN)2014圖像目標檢測ObjectionDetection(YOLO)2015圖像分割大模型Imagesegmentation

(SAM)2023邊緣檢測邊緣檢測算法是計算機視覺領域中一種常用的圖像處理技術，用于檢測圖像中的邊緣信息。邊緣通常指的是圖像中灰度級發(fā)生突變的區(qū)域，這些區(qū)域通常表示物體的輪廓或?qū)ο蟮倪吔纭?/p>

邊緣檢測邊緣檢測算法描述特點Sobel算子結合高斯平滑和微分求導的邊緣檢測算法簡單、快速，可檢測水平和垂直邊緣，對斜向邊緣檢測效果較差Prewitt算子類似于Sobel算子的邊緣檢測算法可檢測水平、垂直和斜向邊緣，但斜向邊緣檢測精度可能較低Roberts算子計算圖像像素點與其對角線方向上的鄰域像素點差異對具有陡峭的低噪聲圖像效果較好，但定位準確性較差Canny邊緣檢測算法包含高斯濾波、梯度計算、非極大值抑制和雙閾值處理能檢測到真正的弱邊緣，同時抑制噪聲產(chǎn)生的假邊緣，經(jīng)典算法基于深度學習的邊緣檢測利用卷積神經(jīng)網(wǎng)絡等深度學習模型提取邊緣特征具有更高的檢測精度和更廣泛的應用場景，需要訓練數(shù)據(jù)邊緣檢測（Canny）JohnF.Canny于1986年發(fā)明了一個多級邊緣檢測算法——Canny邊緣檢測算子，并創(chuàng)立了邊緣檢測計算理論。JohnF.Canny在1986年提出的一個多級邊緣檢測算法—Canny邊緣檢測算子是一個廣泛使用的邊緣檢測算法，它遵循了Canny提出的三個邊緣檢測準則：低錯誤率：檢測到的邊緣點應盡可能接近實際邊緣中心高定位精度：檢測到的邊緣點應準確地定位在邊緣中心單一響應：對于單一的邊緣，檢測器僅應返回一個響應Canny邊緣檢測器的流程原始圖像高斯卷積平滑，以減少噪聲和細節(jié)對邊緣檢測的影響應用微分算子來計算圖像像素點在x和y方向上的梯度幅值和方向在圖像梯度中，通過非極大值抑制來尋找局部最大值，即邊緣的峰值使用雙閾值（高閾值和低閾值）來區(qū)分強邊緣和弱邊緣強邊緣被直接接受為邊緣線條，而弱邊緣則需要與強邊緣相連才能被接受這個過程有助于連接斷裂的邊緣，并減少噪聲引起的假邊緣二值化的邊緣映射圖像Canny檢測示例Lecture12ContentsReview

ofLecture11圖像信息處理7個里程碑及基本概念圖像信息處理7個里程碑之1-邊緣檢測圖像信息處理7個里程碑之2-圖像壓縮圖像處理發(fā)展里程碑2-圖像壓縮邊緣檢測Edge

Detection(Canny)1986圖像壓縮ImageCompression(JPEG)1992圖像去噪Imagedenoising(Darkpriorchannel)2009圖像識別Imagerecognition(AlexNet)2012圖像生成Imagegeneration(GAN)2014圖像目標檢測ObjectionDetection(YOLO)2015圖像分割大模型Imag