支持向量回歸機

1、3.3 支持向量回歸機SVM本身是針對經(jīng)典的二分類問題提出的，支持向量回歸機（Support Vector Regression，SVR）是支持向量在函數(shù)回歸領域的應用。SVR與SVM分類有以下不同：SVM回歸的樣本點只有一類，所尋求的最優(yōu)超平面不是使兩類樣本點分得“最開”，而是使所有樣本點離超平面的“總偏差”最小。這時樣本點都在兩條邊界線之間，求最優(yōu)回歸超平面同樣等價于求最大間隔。3.3.1 SVR基本模型對于線性情況，支持向量機函數(shù)擬合首先考慮用線性回歸函數(shù)擬合，為輸入量，為輸出量，即需要確定和。圖3-3a SVR結構圖 圖3-3b不靈敏度函數(shù)懲罰函數(shù)是學習模型在學習過程中對誤差的一種度量

2、，一般在模型學習前己經(jīng)選定，不同的學習問題對應的損失函數(shù)一般也不同，同一學習問題選取不同的損失函數(shù)得到的模型也不一樣。常用的懲罰函數(shù)形式及密度函數(shù)如表3-1。表3-1 常用的損失函數(shù)和相應的密度函數(shù)損失函數(shù)名稱損失函數(shù)表達式噪聲密度-不敏感拉普拉斯高斯魯棒損失多項式分段多項式標準支持向量機采用-不靈敏度函數(shù)，即假設所有訓練數(shù)據(jù)在精度下用線性函數(shù)擬合如圖（3-3a）所示， （3.11）式中，是松弛因子，當劃分有誤差時，都大于0，誤差不存在取0。這時，該問題轉(zhuǎn)化為求優(yōu)化目標函數(shù)最小化問題： （3.12）式（3.12）中第一項使擬合函數(shù)更為平坦，從而提高泛化能力；第二項為減小誤差；常數(shù)表示對超出誤差

3、的樣本的懲罰程度。求解式（3.11）和式（3.12）可看出，這是一個凸二次優(yōu)化問題，所以引入Lagrange函數(shù)： （3.13）式中，為Lagrange乘數(shù)，。求函數(shù)對，的最小化，對，的最大化，代入Lagrange函數(shù)得到對偶形式，最大化函數(shù)： （3.14）其約束條件為： （3.15）求解式（3.14）、（3.15）式其實也是一個求解二次規(guī)劃問題，由Kuhn-Tucker定理，在鞍點處有： （3.16）得出，表明，不能同時為零，還可以得出： （3.17）從式（3.17）可得出，當，或時，可能大于，與其對應的稱為邊界支持向量（Boundary Support Vector，BSV），對應圖3-3

4、a中虛線帶以外的點；當時，即，與其對應的稱為標準支持向量（Normal Support Vector，NSV），對應圖3-3a中落在管道上的數(shù)據(jù)點；當，時，與其對應的為非支持向量，對應圖3-3a中管道內(nèi)的點，它們對沒有貢獻。因此越大，支持向量數(shù)越少。對于標準支持向量，如果，此時，由式（3.16）可以求出參數(shù)： 同樣，對于滿足的標準支持向量，有 一般對所有標準支持向量分別計算的值，然后求平均值，即 （3.18）因此根據(jù)樣本點求得的線性擬合函數(shù)為 （3.19）非線性SVR的基本思想是通過事先確定的非線性映射將輸入向量映射的一個高維特征空間（Hilbert空間）中，然后在此高維空間中再進行線性回歸，

5、從而取得在原空間非線性回歸的效果。首先將輸入量通過映射映射到高維特征空間中用函數(shù)擬合數(shù)據(jù)，。則二次規(guī)劃目標函數(shù)（3.14）式變?yōu)椋?（3.20）式（3.20）中涉及到高維特征空間點積運算，而且函數(shù)是未知的，高維的。支持向量機理論只考慮高維特征空間的點積運算，而不直接使用函數(shù)。稱為核函數(shù)，核函數(shù)的選取應使其為高維特征空間的一個點積，核函數(shù)的類型有多種，常用的核函數(shù)有：多項式核：;高斯核：;RBF核：;B樣條核：;Fourier核：;因此式（3.20）變成 （3.21）可求的非線性擬合函數(shù)的表示式為： （3.22）3.3.2 結構改進的支持向量回歸機上節(jié)所述的SVR基本模型其優(yōu)化目標為： （3.2

6、3）SVR結構改進算法一般在優(yōu)化目標中增加函數(shù)項，變量或系數(shù)等方法使公式變形，產(chǎn)生出各種有某一方面優(yōu)勢或者一定應用范圍的算法。Suykens提出了最小二乘支持向量機（LS-SVM）105，與標準SVM相比其優(yōu)化指標采用了平方項，從而將不等式約束轉(zhuǎn)變成等式約束，將二次規(guī)劃問題轉(zhuǎn)化成了線性方程組的求解，其優(yōu)化目標為： （3.24）LS-SVM與標準SVM相比減少了一個調(diào)整參數(shù)，減少了個優(yōu)化變量，從而簡化了計算復雜性。然而LS-SVM沒有保留解的稀疏性。改進的最小二乘支持向量機有：遞推最小二乘支持向量機106、加權最小二乘支持向量機107、多分辨率LS-SVM108及正則化最小二乘方法109等。Sc

7、hölkoph等提出的-SVM方法110，引入反映超出管道之外樣本數(shù)據(jù)點（即邊界支持向量數(shù)量）和支持向量數(shù)的新參數(shù)，從而簡化SVM的參數(shù)調(diào)節(jié)。其優(yōu)化目標為： （3.25）表示邊界支持向量機的上限和支持向量機的下限。與標準支持向量機相比優(yōu)化求解過程不需要設定值。標準SVM方法中，引入懲罰系數(shù)實行對超出-帶數(shù)據(jù)點的懲罰。在實際問題中，某些重要樣本數(shù)據(jù)點要求小的訓練誤差，有些樣本數(shù)據(jù)點對誤差的要求不是很高。因此，在優(yōu)化問題描述時，對每個樣本點應采用不同的懲罰系數(shù)，或?qū)τ诿總€樣本數(shù)據(jù)點應采用不同的-不敏感函數(shù)，使回歸建模更加準確，這一類結構變化的支持向量機通常稱為加權支持向量機（WSVM）1

8、11，加權支持向量機可以通過對懲罰系數(shù)加權實現(xiàn)，也可以通過對加權實現(xiàn)。通過對參數(shù)C加權實現(xiàn)時，其優(yōu)化目標為： （3.26a）通過對加權實現(xiàn)時，其優(yōu)化目標為： （3.26b）Friess等提出了一種針對分類問題的SVM變形算法-BSVM算法112。與標準SVM相比，BSVM的優(yōu)化目標多一項，而約束條件少一項等式約束，變?yōu)檫吔缂s束條件下的二次規(guī)劃問題，適合迭代求解。同時可以應用矩陣分解技術，每次只需更新Lagrange乘子的一個分量，從而不需要將所有樣本載入內(nèi)存，提高了收斂速度。BSVM算法應用于回歸分析，其優(yōu)化目標為： （3.27）標準SVM回歸算法都是把問題轉(zhuǎn)化為求解凸二次規(guī)劃。Kecman和

9、Hadzic113提出用范數(shù)替代范數(shù)，從而通過改造用線性規(guī)劃（LP）代替凸二次規(guī)劃，以便于利用非常成熟的線性規(guī)劃技術求解回歸支持向量機。由最優(yōu)化理論，據(jù)此考慮把原始目標函數(shù)的模用模替換。則?？梢愿膶憺椋海么嬖繕撕瘮?shù)中的；將代入原約束條件；增加約束，可得： （3.28）針對實際問題的特殊性，有時可以選擇其他形式的更適宜的懲罰函數(shù)。懲罰帶為任意形式的支持向量回歸機114，通過定義推廣的-不敏感損失函數(shù)： 其中，采用推廣的-不敏感損失函數(shù)構造-SVR問題，將原始最優(yōu)化問題轉(zhuǎn)化為： （3.29）懲罰帶為任意形式的支持向量回歸機包含了針對懲罰函數(shù)改進SVR結構的所有模型。此外，還有模糊支持向量回歸

10、機（FSVR）59、拉格朗日支持向量機（LSVR）115等。3.3.3 SVM參數(shù)優(yōu)化方法研究支持向量機的性能取決于超參數(shù)C、核函數(shù)類型及核參數(shù)。核函數(shù)類型的選擇與所應用的領域有關，核函數(shù)特性的不同決定建立的模型也具有不同的特性，對于靜態(tài)軟測量建模，一般采用rbf核函數(shù)，因為其跟蹤性能較好且沒有記憶性，符合靜態(tài)建模的特點。核參數(shù)反映了訓練數(shù)據(jù)的范圍或分布，它對模型的預測效果影響較大；調(diào)整因子C是模型復雜度和推廣能力的折中，它決定了對損失大于的樣本的懲罰程度，當時，模型優(yōu)化目標退化為經(jīng)驗風險最小化，C過小，使經(jīng)驗風險所占比重太少，模型結構復雜度下降，但訓練誤差可能超出接受范圍；不靈敏函數(shù)是SVR

11、的重要特征，它決定了支持向量的數(shù)目，保證了解的稀疏性，是模型推廣性能的象征，但是太平滑的估計又會降低模型的精度。目前沒有一個理論的方法來設計SVR的參數(shù)，現(xiàn)有的軟件都是基于建模者的經(jīng)驗在建模之前設定。常用的設定SVR參數(shù)的方法主要有以下幾種：1）交叉檢驗法交叉檢驗法是用的最多的一種參數(shù)選擇方法，其基本思想是將樣本集分為訓練集、檢驗集和測試集，選擇若干組模型參數(shù)，用訓練集推導模型系數(shù)，選擇其中使檢驗集誤差測度最好的參數(shù)用于測試集。根據(jù)樣本集的長度，可以設定交叉檢驗的次數(shù)。2）經(jīng)驗選擇法經(jīng)驗選擇就是根據(jù)建模者的經(jīng)驗在建模之前選擇參數(shù)。Vladimir等提出了一種根據(jù)訓練集數(shù)據(jù)特性選擇模型參數(shù)的方法116，其中 式中分別表示訓練數(shù)據(jù)集中的均值和標準偏差； 為噪聲的標準偏差，為樣本數(shù)。上述經(jīng)驗公式是基于噪聲水平已知的假設，并沒有理論上的證明。3）網(wǎng)格優(yōu)化選擇法網(wǎng)格優(yōu)化算法是一種大范圍點集搜索方法。搜索范圍的確定仍需建模者設定。該方法簡單易行，但是訓練時間較長，一般用來確定參數(shù)范圍，再用其他方法進行漸近搜索。4）統(tǒng)計學習理論的VC維學習方法117、118采用統(tǒng)計學習理論的方法導出模型推廣錯誤的界，并用VC維來表示，用統(tǒng)計學習理論選擇的核和調(diào)整因子C可以使VC維的上界最小，從而可以確定模型的參數(shù)。但這種方法需要在非線性空間計算超球半徑。5