《概率與統(tǒng)計(jì)基礎(chǔ)》課件

概率與統(tǒng)計(jì)基礎(chǔ)：課程介紹本課程旨在幫助學(xué)生掌握概率論與數(shù)理統(tǒng)計(jì)的基本理論和應(yīng)用方法。通過系統(tǒng)學(xué)習(xí)，培養(yǎng)數(shù)據(jù)分析思維和解決實(shí)際問題的能力。考核方式包括：平時(shí)作業(yè)、課堂表現(xiàn)、期中考試和期末考試。概率論與數(shù)理統(tǒng)計(jì)發(fā)展簡(jiǎn)史117世紀(jì)帕斯卡與費(fèi)馬的通信開啟概率理論218世紀(jì)伯努利家族貢獻(xiàn)大量定理319-20世紀(jì)高斯、拉普拉斯推動(dòng)統(tǒng)計(jì)學(xué)發(fā)展4現(xiàn)代計(jì)算機(jī)技術(shù)促進(jìn)應(yīng)用擴(kuò)展概率與統(tǒng)計(jì)的實(shí)際應(yīng)用工程領(lǐng)域質(zhì)量控制與可靠性分析金融行業(yè)風(fēng)險(xiǎn)評(píng)估與投資組合優(yōu)化醫(yī)療健康臨床試驗(yàn)設(shè)計(jì)與療效分析人工智能機(jī)器學(xué)習(xí)算法基礎(chǔ)基本事件與樣本空間樣本空間(S)隨機(jī)試驗(yàn)所有可能結(jié)果的集合基本事件樣本空間中的單個(gè)元素隨機(jī)事件樣本空間的子集，由多個(gè)基本事件組成事件的分類與表示簡(jiǎn)單事件只包含一個(gè)基本事件1復(fù)合事件包含多個(gè)基本事件2必然事件等于樣本空間S3不可能事件空集?4頻率與概率相對(duì)頻率事件發(fā)生次數(shù)/試驗(yàn)總次數(shù)隨試驗(yàn)次數(shù)增加趨于穩(wěn)定概率三種解釋古典概型：等可能性頻率派：頻率極限貝葉斯派：主觀信念度量概率的公理化定義非負(fù)性公理任何事件A的概率P(A)≥0規(guī)范性公理樣本空間S的概率P(S)=1可加性公理互斥事件概率相加等于并集概率古典概率模型1/6單個(gè)骰子點(diǎn)數(shù)為4的概率1/52抽一張黑桃A的概率1/2硬幣正面朝上概率古典模型的局限性等可能假設(shè)現(xiàn)實(shí)中往往不成立有限樣本空間無法處理無限樣本空間蒙特卡洛方法用大量模擬克服局限條件概率與全概率公式條件概率公式P(A|B)=P(A∩B)/P(B)全概率公式事件B通過完備事件組分解應(yīng)用步驟尋找完備事件組并逐一計(jì)算貝葉斯公式先驗(yàn)概率事件發(fā)生的初始信念證據(jù)/似然觀察到的新信息后驗(yàn)概率綜合新證據(jù)后的概率更新事件的獨(dú)立性事件獨(dú)立性定義P(A∩B)=P(A)·P(B)多事件獨(dú)立需要兩兩獨(dú)立且聯(lián)合獨(dú)立條件獨(dú)立給定C條件下，A和B獨(dú)立獨(dú)立性檢驗(yàn)驗(yàn)證乘法公式是否成立概率樹與有序事件樹形圖構(gòu)建按事件發(fā)生順序畫分支條件概率標(biāo)記每個(gè)分支標(biāo)記轉(zhuǎn)移概率路徑概率計(jì)算沿路徑相乘得聯(lián)合概率總概率求和多條路徑概率相加古典分布：均勻分布與伯努利實(shí)驗(yàn)均勻分布各點(diǎn)概率相等骰子、輪盤賭例子伯努利實(shí)驗(yàn)只有兩種結(jié)果：成功/失敗典型例子：拋硬幣成功概率p，失敗概率q=1-p隨機(jī)變量的定義隨機(jī)變量概念從樣本空間到實(shí)數(shù)集的映射函數(shù)離散隨機(jī)變量取值有限或可數(shù)無限連續(xù)隨機(jī)變量取值在區(qū)間上連續(xù)變化隨機(jī)變量的分布律分布函數(shù)（CDF）的定義與性質(zhì)1定義F(x)=P(X≤x)2單調(diào)性x1<x2則F(x1)≤F(x2)3右連續(xù)性limF(x+h)=F(x),h→0+4規(guī)范性limF(x)=0,x→-∞limF(x)=1,x→+∞常見離散分布：二項(xiàng)分布成功次數(shù)概率泊松分布及應(yīng)用排隊(duì)論顧客到達(dá)銀行的次數(shù)稀有事件單位時(shí)間內(nèi)故障發(fā)生次數(shù)網(wǎng)絡(luò)流量服務(wù)器請(qǐng)求次數(shù)幾何分布與負(fù)二項(xiàng)分布幾何分布首次成功前失敗次數(shù)P(X=k)=q^k·p應(yīng)用：抽查直到發(fā)現(xiàn)第一個(gè)不合格產(chǎn)品負(fù)二項(xiàng)分布第r次成功前失敗次數(shù)包含幾何分布為特例(r=1)應(yīng)用：釣魚直到釣到r條魚所需次數(shù)常見連續(xù)分布：均勻分布概率密度函數(shù)f(x)=1/(b-a),a≤x≤b隨機(jī)數(shù)發(fā)生器計(jì)算機(jī)生成[0,1]隨機(jī)數(shù)時(shí)間模型隨機(jī)到達(dá)時(shí)間點(diǎn)舍入誤差測(cè)量誤差建模正態(tài)分布與中心極限定理68.3%μ±σ范圍概率95.4%μ±2σ范圍概率99.7%μ±3σ范圍概率指數(shù)分布與記憶性概率密度函數(shù)f(x)=λe^(-λx),x≥0無記憶性P(X>s+t|X>s)=P(X>t)壽命分析設(shè)備失效時(shí)間建模服務(wù)系統(tǒng)等候時(shí)間與服務(wù)時(shí)間Gamma分布與卡方分布Gamma分布形狀參數(shù)α，尺度參數(shù)β表示α個(gè)獨(dú)立指數(shù)分布隨機(jī)變量之和卡方分布自由度k的Gamma分布特例k個(gè)標(biāo)準(zhǔn)正態(tài)變量平方和分布應(yīng)用領(lǐng)域假設(shè)檢驗(yàn)可靠性分析生存分析隨機(jī)變量的期望離散期望計(jì)算E(X)=∑x·P(X=x)連續(xù)期望計(jì)算E(X)=∫x·f(x)dx線性性質(zhì)E(aX+b)=a·E(X)+b決策應(yīng)用投資回報(bào)，風(fēng)險(xiǎn)評(píng)估方差與協(xié)方差高階矩k階矩E(X^k)k階中心矩E[(X-μ)^k]偏度(三階標(biāo)準(zhǔn)化矩)衡量分布對(duì)稱性峰度(四階標(biāo)準(zhǔn)化矩)衡量分布尖銳程度隨機(jī)變量的函數(shù)分布函數(shù)法求Y=g(X)的分布函數(shù)再求導(dǎo)密度函數(shù)變換利用Jacobian行列式矩母函數(shù)法適用于線性變換和平方變換多維隨機(jī)變量聯(lián)合分布F(x,y)=P(X≤x,Y≤y)聯(lián)合密度f(x,y)=?2F/?x?y區(qū)域概率雙重積分計(jì)算邊緣分布與條件分布邊緣分布離散：f_X(x)=∑f(x,y)連續(xù)：f_X(x)=∫f(x,y)dy消去其他變量的分布條件分布f_Y|X(y|x)=f(x,y)/f_X(x)給定一個(gè)變量值后的分布條件分布計(jì)算期望：E(Y|X=x)協(xié)方差與相關(guān)系數(shù)XY1(正相關(guān))Y2(負(fù)相關(guān))隨機(jī)變量獨(dú)立性判別獨(dú)立性定義F(x,y)=F_X(x)·F_Y(y)離散隨機(jī)變量P(X=x,Y=y)=P(X=x)·P(Y=y)連續(xù)隨機(jī)變量f(x,y)=f_X(x)·f_Y(y)相關(guān)系數(shù)獨(dú)立則ρ=0，反之不成立常用聯(lián)合分布模型二維正態(tài)分布需要5個(gè)參數(shù)：μ_x,μ_y,σ_x,σ_y,ρ多項(xiàng)分布二項(xiàng)分布的多維推廣多維泊松過程描述多種事件同時(shí)發(fā)生分布函數(shù)與隨機(jī)變量變換Y=g(X)的分布求解步驟方法CDF方法F_Y(y)=P(Y≤y)=P(g(X)≤y)3變量替換法利用Jacobian行列式4應(yīng)用示例平方變換、指數(shù)變換等重要不等式1切比雪夫不等式P(|X-μ|≥kσ)≤1/k22馬爾可夫不等式非負(fù)隨機(jī)變量X，P(X≥a)≤E(X)/a3柯西-施瓦茨不等式[E(XY)]2≤E(X2)·E(Y2)4實(shí)際應(yīng)用價(jià)值無需知道具體分布即可估計(jì)概率界限大數(shù)定律弱大數(shù)定律樣本均值依概率收斂到總體均值臨界值：P(|X?_n-μ|<ε)→1強(qiáng)大數(shù)定律樣本均值幾乎必然收斂到總體均值更強(qiáng)的收斂性：P(limX?_n=μ)=1實(shí)際應(yīng)用拋硬幣頻率趨近于0.5保險(xiǎn)公司風(fēng)險(xiǎn)評(píng)估基礎(chǔ)長(zhǎng)期投資回報(bào)率計(jì)算中心極限定理實(shí)用解釋抽樣分布與樣本均值分布樣本均值分布X?~N(μ,σ2/n)方差縮小規(guī)律樣本量n增大，方差減小正態(tài)性大樣本下趨于正態(tài)統(tǒng)計(jì)推斷基礎(chǔ)構(gòu)建置信區(qū)間與假設(shè)檢驗(yàn)Bootstrap方法簡(jiǎn)介重采樣原理從原樣本有放回地抽取新樣本統(tǒng)計(jì)量計(jì)算對(duì)每個(gè)Bootstrap樣本計(jì)算興趣統(tǒng)計(jì)量分布估計(jì)大量重復(fù)形成統(tǒng)計(jì)量經(jīng)驗(yàn)分布優(yōu)勢(shì)無需假設(shè)總體分布形式適用于復(fù)雜統(tǒng)計(jì)量數(shù)理統(tǒng)計(jì)基本概念總體研究對(duì)象的全體樣本從總體中抽取的部分統(tǒng)計(jì)量樣本函數(shù)，不含未知參數(shù)統(tǒng)計(jì)推斷點(diǎn)估計(jì)與區(qū)間估計(jì)參數(shù)估計(jì)方法：矩估計(jì)法基本原理樣本矩等于總體矩矩等式建立E(X^k)=(1/n)∑X_i^k方程求解解出未知參數(shù)估計(jì)值方法優(yōu)勢(shì)計(jì)算簡(jiǎn)單，應(yīng)用廣泛最大似然估計(jì)（MLE）似然函數(shù)構(gòu)建L(θ)=∏f(x_i;θ)對(duì)數(shù)似然lnL(θ)=∑lnf(x_i;θ)最大化求解求導(dǎo)數(shù)等于零的參數(shù)值區(qū)間估計(jì)及置信區(qū)間置信區(qū)間定義包含真實(shí)參數(shù)的隨機(jī)區(qū)間置信水平區(qū)間包含參數(shù)的概率(通常95%)區(qū)間寬度與樣本量n相關(guān)，n增大區(qū)間變窄均值區(qū)間X?±z_(α/2)·σ/√n假設(shè)檢驗(yàn)基礎(chǔ)零假設(shè)H?默認(rèn)或保守假設(shè)備擇假設(shè)H?研究者希望證明的觀點(diǎn)檢驗(yàn)統(tǒng)計(jì)量基于樣本數(shù)據(jù)的計(jì)算值P值與顯著性P<α?xí)r拒絕H?單樣本均值檢驗(yàn)（t檢驗(yàn)）檢驗(yàn)假設(shè)H?:μ=μ?vsH?:μ≠μ?檢驗(yàn)統(tǒng)計(jì)量t=(X?-μ?)/(S/√n)自由度df=n-1決策規(guī)則|t|>t_(α/2,n-1)時(shí)拒絕H?應(yīng)用場(chǎng)景樣本量小，總體標(biāo)準(zhǔn)差未知方差分析簡(jiǎn)介1單因素方差分析比較多組均值是否相等變異分解總變異=組間變異+組內(nèi)變異F檢驗(yàn)F=(組間均方)/(組內(nèi)均方)應(yīng)用場(chǎng)景產(chǎn)品質(zhì)量對(duì)比，教學(xué)方法評(píng)估卡方獨(dú)立性檢驗(yàn)類別A類別B類別C類別D類別E相關(guān)與回歸分析r相關(guān)系數(shù)-1≤r≤1