樣條回歸模型.pptx

樣條回歸 ruppert d wand m p andcarroll r j 2003 semiparametricregression cambridgeuniversitypress newyork 非參數(shù)回歸多項式回歸 介紹 分段線性回歸knots changepoints 樣條 splines 在結(jié)點 knots 光滑的分段回歸懲罰樣條 對結(jié)點個數(shù)和光滑程度進(jìn)行懲罰 例子 模型 擬合圖 k 11 最小二乘解釋變量 估計方法 模型 q個結(jié)點 5個結(jié)點 樣條基樣條回歸 樣條一般定義 參數(shù)估計對結(jié)點個數(shù)的選擇很敏感 懲罰樣條 普通最小二乘 令最小化 限制條件 解光滑參數(shù) lagrange乘數(shù)法 選擇最小化 其他的懲罰 令則 最小化這里解 二次樣條三次樣條 基的選擇 即 p階樣條基p階樣條回歸 所有的b樣條的全體組成一個線性空間 線性空間有基函數(shù) 這就是b樣條基函數(shù) deboor cox遞推定義 約定0 0 0 b樣條 局部支撐在j 1到j(luò) p結(jié)點之間大于零 其他等于零 權(quán)性對所有j求和等于1 性質(zhì) 1階具體計算 高階 4段5個結(jié)點16個參數(shù) 例 15個連續(xù)條件1個歸一條件 即 結(jié)果 曲線方程 給定n個數(shù)據(jù)點 共有n 1個區(qū)間 需要確定4 n 1 個未知系數(shù) 通過連續(xù)性 節(jié)點處一階導(dǎo)數(shù)相等 二階導(dǎo)數(shù)相等 可以得到4n 6個方程 需要人為添加2個邊界條件 三次樣條曲線是使用最廣泛的樣條曲線 自然邊界 兩個端點處的二階導(dǎo)數(shù)為0固定邊界 指定第一個和最后一個節(jié)點處的一階導(dǎo)數(shù)值非節(jié)點邊界 要求第二個和倒數(shù)第二個節(jié)點處的三階導(dǎo)數(shù)連續(xù) 即要求前兩個和最后兩個相鄰區(qū)域使用相同的三次函數(shù) 讓前四個點確定一個三次多項式 最后四個點確定一個三次多項式 這個時候由于第二個和倒數(shù)第二個節(jié)點已經(jīng)不是兩個不同三次曲線的連接點了 所以被稱為非節(jié)點條件 邊界條件 一般有如下3種 經(jīng)濟(jì)現(xiàn)象突變時刻 例如金融危機(jī) 相同樣本點個數(shù)區(qū)間長度相同逐步回歸模型選擇方法 結(jié)點的選擇 交叉驗證方法 cross validation 定義為在x點估計值殘差平方和定義 光滑參數(shù)的選擇 交叉驗證準(zhǔn)則這里為去掉的估計值選擇最小化 這里 廣義交叉驗證法generalizedcross validation gcv require graphics attach cars plot speed dist main data cars smoothingsplines cars spldf round cars spl df 1 naturecubicspline col c blue red lty 1 2 bg bisque thedatagivethespeedofcarsandthedistancestakentostop source http www stat stanford edu jtaylo courses stats203 r inference polynomial ftest r readinthedatavoltage read table http www stat stanford edu jtaylo courses stats203 data voltagedrop table header t sep attach voltage usethesplineslibrarylibrary splines voltagedropvs timeplot time drop bg red pch 23 cex 2 fitacubicsplinemodelspline lm lm drop bs time knots c 6 5 13 lines time predict spline lm lwd 2 col yellow fitareducedcubicmodel important thismodeliscontained inthesplinemodel cubic lm lm drop poly time 3 lines time predict cubic lm lwd 2 lty 2 col green print ftest spline lm cubic lm piecewiselinearsplinep