常見非線性回歸模型

1、常見非線性回歸模型1.簡(jiǎn)非線性模型簡(jiǎn)介非線性回歸模型在經(jīng)濟(jì)學(xué)研究中有著廣泛的應(yīng)用。有一些非線性回歸模型可以通過直接代換或間接代換轉(zhuǎn)化為線性回歸模型, 但也有一些非線性回歸模型卻無法通過代換轉(zhuǎn)化為線性回歸模型?？虏嫉栏窭股a(chǎn)函數(shù)模型其中 L 和 K 分別是勞力投入和資金投入, y 是產(chǎn)出。由于誤差項(xiàng)是可加的, 從而也不能通過代換轉(zhuǎn)化為線性回歸模型。 對(duì)于聯(lián)立方程模型, 只要其中有一個(gè)方程是不能通過代換轉(zhuǎn)化為線性, 那么這個(gè)聯(lián)立方程模型就是非線性的。單方程非線性回歸模型的一般形式為2.可化為線性回歸的曲線回歸在實(shí)際問題當(dāng)中，有許多回歸模型的被解釋變量y與解釋變量x之間的關(guān)系都不是線性的，其中一些

2、回歸模型通過對(duì)自變量或因變量的函數(shù)變換可以轉(zhuǎn)化為線性關(guān)系，利用線性回歸求解未知參數(shù)，并作回歸診斷。如下列模型。（1） （2）（3）(4)y=alnx+b對(duì)于（1）式，只需令即可化為y對(duì)是線性的形式，需要指出的是，新引進(jìn)的自變量只能依賴于原始變量，而不能與未知參數(shù)有關(guān)。對(duì)于（2）式，可以令=,=, =,于是得到y(tǒng)關(guān)于, 的線性表達(dá)式對(duì)與（3）式，對(duì)等式兩邊同時(shí)去自然數(shù)對(duì)數(shù)，得,令,，于是得到關(guān)于x的一元線性回歸模型：。乘性誤差項(xiàng)模型和加性誤差項(xiàng)模型所得的結(jié)果有一定差異，其中乘性誤差項(xiàng)模型認(rèn)為本身是異方差的，而是等方差的。加性誤差項(xiàng)模型認(rèn)為是等方差的。從統(tǒng)計(jì)性質(zhì)看兩者的差異，前者淡化了值大的項(xiàng)（近

3、期數(shù)據(jù)）的作用，強(qiáng)化了值小的項(xiàng)（早期數(shù)據(jù)）的作用，對(duì)早起數(shù)據(jù)擬合得效果較好，而后者則對(duì)近期數(shù)據(jù)擬合得效果較好。影響模型擬合效果的統(tǒng)計(jì)性質(zhì)主要是異方差、自相關(guān)和共線性這三個(gè)方面。異方差可以同構(gòu)選擇乘性誤差項(xiàng)模型和加性誤差項(xiàng)模型解決，必要時(shí)還可以使用加權(quán)最小二乘。3.多項(xiàng)式回歸多項(xiàng)式回歸模型是一種重要的曲線回歸模型，這種模型通常容易轉(zhuǎn)化為一般的多元線性回歸來做處理。1、常見的多項(xiàng)式回歸模型回歸模型稱為一元二階多項(xiàng)式模型。通常將回歸模型中的系數(shù)表示成：,回歸函數(shù)是一條拋物線方程，通常稱為二項(xiàng)式回歸函數(shù)?；貧w系數(shù)為線性效應(yīng)系數(shù)，為二次效應(yīng)系數(shù)。當(dāng)自變量的冪次超過3時(shí)，回歸系數(shù)的解釋變得困難起來，回歸函

4、數(shù)也變得很不穩(wěn)定，對(duì)回歸模型的應(yīng)用會(huì)收到影響。因而，冪次超過3 的多項(xiàng)式回歸模型不常使用。在實(shí)際應(yīng)用當(dāng)中，常遇到含兩個(gè)或兩個(gè)以上自變量的情況，稱回歸模型：為二元二階多項(xiàng)式回歸模型。它的回歸系數(shù)中分別含有兩個(gè)自變量的線性項(xiàng)系數(shù)和，二次項(xiàng)系數(shù)和，并含有交叉乘積項(xiàng)系數(shù)，交叉乘積項(xiàng)表示與的交互作用，系數(shù)通常稱為交互影響系數(shù)。4.非線性模型在非線性回歸中，平方和分解式SST=SSR+SSE不在成立，類似于線性回歸中的復(fù)決定系數(shù)，定義非線性回歸的相關(guān)指數(shù)：R2=1-SSE/SST用非線性最小二乘法求解非線性回歸方程,非線性最小二乘是使殘差平方和達(dá)到最小,這種平方損失函數(shù)的優(yōu)點(diǎn)是數(shù)學(xué)性質(zhì)好,在一定條件下具有

5、統(tǒng)計(jì)學(xué)的一些優(yōu)良性質(zhì),但其最大的缺點(diǎn)是缺乏穩(wěn)健性。當(dāng)數(shù)據(jù)存在異常值時(shí),參數(shù)的估計(jì)效果變得很差。因而在一些場(chǎng)合,可以用一些更穩(wěn)健的殘差損失函數(shù)代替平方和損失函數(shù)，例如絕對(duì)值損失函數(shù)。絕對(duì)值殘差損失函數(shù)為:有時(shí)候用最小絕對(duì)值法的最大殘差比普通最小二乘法的最大殘差更大，這是否與最小絕對(duì)值法的穩(wěn)健性相矛盾？其實(shí)這正說明了最小絕對(duì)值法的穩(wěn)健性。這是因?yàn)樽钚〗^對(duì)值法受異常值的影響程度小，回歸線向異常值靠攏的程度也小，因而異常值的殘差反而大。5.最小二乘估計(jì)參數(shù)估計(jì)的常見方法直接搜索法直接搜索法是把參數(shù)的所有可能取值都代入 S , 使 S 達(dá)到最小的取值即為參數(shù)的估計(jì)值。直接搜索法原理簡(jiǎn)單, 但只適用參數(shù)個(gè)數(shù)少, 且參數(shù)的可能取值也少(或?qū)?shù)估計(jì)的精度要求不高)的情況。格點(diǎn)搜索法格點(diǎn)搜索法的效率高于直接搜索法。格點(diǎn)搜索法不是是把參數(shù)的所有可能取值都代入 S , 而是按一定規(guī)律把部分取值代入 S 。 例1 設(shè)只有一個(gè)參數(shù)b , b的可能取值為區(qū)間0,1。先把區(qū)間10等分, 然后分別把a(bǔ)0=0,a1=0.