極大似然估計

§6.2

極大似然估計

極大似然估計是在母體類型已知條件下使用的一種參數(shù)估計方法.

它首先是由德國數(shù)學(xué)家高斯在1821年提出的,費歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).簡單的例子某位同學(xué)與NBA球員一起投籃.三分線外兩步遠，手起球落，唰的一聲籃球空心入網(wǎng)。如果要你推測，球是誰投中的？

一般我們會想，這么遠抬手就能投中,職業(yè)球員命中的概率一般大于這位同學(xué)命中的概率.這一球應(yīng)是球員射中的.這個例子所作的推斷體現(xiàn)了極大似然法的基本思想.

極大似然估計原理：

當給定子樣觀測值x1,x2,…,xn時,定義似然函數(shù)（likelihoodfunction）為：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)

極大似然估計法就是用使L(θ)達到最大值的去估計θ，即

L(θ)看作參數(shù)θ的函數(shù)，它可作為θ將以多大可能產(chǎn)生子樣觀測值x1,x2,…,xn的一種度量.則稱為θ的極大似然估計（MLE）.§6.2

極大似然估計極大似然估計原理：

設(shè)ξ1,ξ2,…,ξn是取自母體ξ的一個子樣，θ為未知參數(shù)，子樣的聯(lián)合密度(連續(xù)型）或聯(lián)合分布列(離散型)為

f(x1,x2,…,xn;θ)定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)

極大似然估計法就是用使L(θ)達到最大值的去估計θ，即

則稱為θ的極大似然估計（MLE）.定義似然函數(shù)（likelihoodfunction）=f(x1,x2,…,xn;θ)L(θ)=L(θ

;x1,x2,…,xn)求極大似然估計(MLE)的一般步驟:(1)由母體分布寫出子樣的聯(lián)合分布列(或聯(lián)合密度);(2)把子樣聯(lián)合分布列(或聯(lián)合密度)中的自變量看成已知常數(shù),而把參數(shù)θ看作自變量,得到似然函數(shù)L(θ);(3)求似然函數(shù)L(θ)的最大值點(常常轉(zhuǎn)化為求lnL(θ)的最大值點)，即θ的MLE2、用上述求導(dǎo)方法求參數(shù)的MLE有時行不通，這時要用極大似然估計原理來求.說明：例1設(shè)ξ1,ξ2,…,ξn是取自母體ξ~b(1,p)的一個子樣，求參數(shù)p的極大似然估計.注最大次序統(tǒng)計量注矩估計量注Ц例3一罐中裝有白球和黑球，有放回地抽取一個容量為n的子樣，其中有k個白球，求罐中黑球與白球之比R

的極大似然估計值.解:設(shè)罐中有白球x個，則有黑球Rx個，從而