《線性代數(shù)之美》課件

線性代數(shù)之美探索數(shù)學(xué)世界最優(yōu)美的分支之一引言：為什么學(xué)習(xí)線性代數(shù)？培養(yǎng)抽象思維能力訓(xùn)練邏輯推理和空間想象提供強(qiáng)大數(shù)學(xué)工具箱解決復(fù)雜問(wèn)題的基礎(chǔ)框架現(xiàn)代科技的核心基礎(chǔ)線性代數(shù)的應(yīng)用領(lǐng)域前沿科技人工智能、量子計(jì)算數(shù)據(jù)科學(xué)統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)工程與設(shè)計(jì)計(jì)算機(jī)圖形、電路分析自然科學(xué)物理、化學(xué)、生物學(xué)第一章：向量空間向量空間中的基本元素線性組合構(gòu)建復(fù)雜結(jié)構(gòu)張成空間可達(dá)到的全部范圍基和維數(shù)空間的骨架結(jié)構(gòu)向量的定義代數(shù)定義有序數(shù)組：(x?,x?,...,x?)包含大小和方向信息幾何定義有向線段從原點(diǎn)指向空間中某點(diǎn)物理定義具有大小和方向的物理量如：速度、力、加速度向量的幾何表示二維向量平面上的箭頭，有x和y分量三維向量空間中的箭頭，有x、y和z分量高維向量無(wú)法直觀可視化，但數(shù)學(xué)性質(zhì)相同向量運(yùn)算：加法和數(shù)乘向量加法平行四邊形法則或頭尾相連法數(shù)乘運(yùn)算改變向量的長(zhǎng)度，可能改變方向代數(shù)運(yùn)算各分量分別計(jì)算線性組合定義v=c?v?+c?v?+...+c?v?幾何意義向量的縮放和相加應(yīng)用構(gòu)建新向量，表達(dá)空間中的點(diǎn)重要性連接代數(shù)運(yùn)算與幾何直觀張成空間定義所有可能的線性組合構(gòu)成的集合幾何解釋原始向量能"到達(dá)"的所有點(diǎn)例子一個(gè)向量：直線兩個(gè)非平行向量：平面三個(gè)線性無(wú)關(guān)向量：三維空間線性相關(guān)與線性無(wú)關(guān)線性相關(guān)一個(gè)向量可表示為其他向量的線性組合線性無(wú)關(guān)沒(méi)有向量可表示為其他向量的線性組合基和維數(shù)基的定義線性無(wú)關(guān)向量組，能張成整個(gè)空間基的唯一性表示方式不唯一，但維數(shù)固定維數(shù)基中向量的數(shù)量基變換同一向量在不同基下的坐標(biāo)轉(zhuǎn)換第二章：矩陣與線性變換矩陣數(shù)據(jù)的矩形排列線性變換保持線性結(jié)構(gòu)的映射對(duì)應(yīng)關(guān)系每個(gè)線性變換對(duì)應(yīng)唯一矩陣幾何解釋空間的旋轉(zhuǎn)、縮放、投影等變換矩陣的定義m×n矩陣m行n列數(shù)字的矩形排列元素表示a??表示第i行第j列的元素方陣行數(shù)等于列數(shù)的矩陣行向量只有一行的矩陣列向量只有一列的矩陣矩陣運(yùn)算：加法和乘法1矩陣加法對(duì)應(yīng)位置元素相加2數(shù)乘運(yùn)算每個(gè)元素乘以標(biāo)量3矩陣乘法行與列的點(diǎn)積組成新矩陣4注意事項(xiàng)乘法不滿足交換律特殊矩陣：?jiǎn)挝痪仃嚭蛯?duì)角矩陣特殊矩陣具有獨(dú)特性質(zhì)，簡(jiǎn)化計(jì)算和分析線性變換的概念定義保持加法和數(shù)乘運(yùn)算的映射保持性質(zhì)直線映射為直線，原點(diǎn)不變常見(jiàn)變換旋轉(zhuǎn)、縮放、投影、對(duì)稱(chēng)、錯(cuò)切數(shù)學(xué)表達(dá)T(u+v)=T(u)+T(v)T(cv)=cT(v)矩陣與線性變換的關(guān)系1一一對(duì)應(yīng)每個(gè)線性變換都有唯一矩陣表示n2自由度n維空間中線性變換的參數(shù)個(gè)數(shù)AB復(fù)合變換矩陣乘法對(duì)應(yīng)變換的復(fù)合線性變換的幾何解釋旋轉(zhuǎn)保持距離，改變方向縮放改變長(zhǎng)度，方向不變或反向投影降維操作，信息損失錯(cuò)切非均勻變形，平行性保持第三章：線性方程組解的存在性方程是否有解2解的唯一性解是唯一還是有無(wú)窮多個(gè)解的求法高斯消元法等算法幾何意義超平面的交點(diǎn)線性方程組的矩陣表示標(biāo)準(zhǔn)形式a??x?+a??x?+...=b?a??x?+a??x?+...=b?...矩陣表示Ax=bA:系數(shù)矩陣x:未知量向量b:常數(shù)向量高斯消元法增廣矩陣將系數(shù)矩陣A和常數(shù)向量b合并行初等變換將矩陣轉(zhuǎn)化為行梯形式回代求解從最后一個(gè)方程開(kāi)始代回求解算法復(fù)雜度O(n3)，n為未知數(shù)個(gè)數(shù)矩陣的秩定義線性無(wú)關(guān)的行或列的最大數(shù)量性質(zhì)行秩等于列秩高斯消元后非零行數(shù)應(yīng)用判斷方程組解的情況確定向量組線性相關(guān)性齊次線性方程組形式Ax=0零解始終存在平凡解x=0解空間矩陣A的零空間判定條件有非零解當(dāng)且僅當(dāng)rank(A)<n非齊次線性方程組形式Ax=b(b≠0)解的結(jié)構(gòu)通解=特解+齊次方程組的通解解的存在條件rank(A)=rank([A|b])第四章：行列式定義方陣的一個(gè)標(biāo)量函數(shù)幾何意義體積縮放因子性質(zhì)線性性、轉(zhuǎn)置不變等應(yīng)用判斷矩陣可逆性，解方程行列式的定義12×2矩陣det(A)=a??a??-a??a??23×3矩陣沙魯法則或余子式展開(kāi)3n×n矩陣排列定義或遞歸定義行列式的性質(zhì)交換行列行列式變號(hào)線性性對(duì)行或列滿足線性關(guān)系轉(zhuǎn)置不變det(A)=det(A?)乘法性質(zhì)det(AB)=det(A)·det(B)行列式的計(jì)算方法直接公式法適用于低階矩陣余子式展開(kāi)法遞歸計(jì)算，選擇零元素多的行或列初等變換法轉(zhuǎn)換為上三角形式后對(duì)角線乘積數(shù)值計(jì)算法LU分解或其他數(shù)值算法克萊姆法則定理描述線性方程組的解可用行列式比值表示解的表達(dá)式x?=det(A?)/det(A)應(yīng)用場(chǎng)景適合求解小型方程組理論分析而非數(shù)值計(jì)算行列式的幾何意義行列式的絕對(duì)值表示基向量構(gòu)成的幾何體體積正負(fù)號(hào)表示定向是否發(fā)生改變第五章：特征值和特征向量基本概念矩陣的"特征"求解方法特征方程與根的計(jì)算對(duì)角化簡(jiǎn)化矩陣表示應(yīng)用主成分分析，微分方程等特征值和特征向量的定義數(shù)學(xué)定義Av=λvλ:特征值v:對(duì)應(yīng)的特征向量(v≠0)幾何解釋特征向量：變換后方向不變的向量特征值：伸縮比例特征方程方程推導(dǎo)從Av=λv到det(A-λI)=0多項(xiàng)式形式n階方陣得到n次多項(xiàng)式求解特征值計(jì)算多項(xiàng)式根求解特征向量解齊次方程(A-λI)v=0對(duì)角化1概念將矩陣轉(zhuǎn)換為對(duì)角矩陣形式2條件n個(gè)線性無(wú)關(guān)特征向量3變換式A=PDP?14優(yōu)勢(shì)簡(jiǎn)化矩陣冪運(yùn)算，指數(shù)計(jì)算相似矩陣定義B=P?1AP，A與B相似性質(zhì)相似矩陣有相同特征值幾何意義同一線性變換在不同基下的表示應(yīng)用簡(jiǎn)化矩陣，便于計(jì)算和分析特征值在應(yīng)用中的意義數(shù)據(jù)分析主成分分析中表示方差大小物理振動(dòng)表示系統(tǒng)固有頻率穩(wěn)定性分析判斷動(dòng)態(tài)系統(tǒng)穩(wěn)定性第六章：正交性與最小二乘法內(nèi)積向量間的"相似度"正交性向量間的"垂直"概念2投影將向量分解到其他向量上最小二乘最佳擬合與誤差最小化內(nèi)積和正交性內(nèi)積定義?u,v?=u?v?+u?v?+...+u?v?=u?v幾何解釋|u||v|cosθ向量長(zhǎng)度和夾角的函數(shù)正交條件?u,v?=0兩向量垂直正交基和標(biāo)準(zhǔn)正交基正交基基向量?jī)蓛烧粯?biāo)準(zhǔn)正交基正交基中每個(gè)向量長(zhǎng)度為1優(yōu)勢(shì)簡(jiǎn)化計(jì)算，便于表示保持距離和角度構(gòu)造方法施密特正交化過(guò)程正交投影定義向量到子空間的最短距離計(jì)算公式proj_w(v)=(v·w)/(w·w)·w3投影矩陣P=A(A?A)?1A?最小二乘法1問(wèn)題描述求解Ax=b無(wú)解時(shí)的最佳近似解2目標(biāo)函數(shù)最小化||Ax-b||23數(shù)學(xué)解x=(A?A)?1A?b4幾何意義b到A列空間的正交投影最小二乘法的應(yīng)用線性回歸找到最佳擬合直線曲線擬合多項(xiàng)式或其他函數(shù)擬合數(shù)據(jù)信號(hào)處理去噪和信號(hào)重建第七章：奇異值分解矩陣分解A=UΣV?低秩近似保留主要奇異值3幾何解釋旋轉(zhuǎn)-縮放-旋轉(zhuǎn)變換應(yīng)用廣泛數(shù)據(jù)壓縮、圖像處理、推薦系統(tǒng)奇異值分解的概念分解形式A=UΣV?U:m×m正交矩陣Σ:m×n對(duì)角矩陣V:n×n正交矩陣奇異值Σ對(duì)角線上非負(fù)實(shí)數(shù)按降序排列表示變換在主軸上的縮放奇異值分解的計(jì)算計(jì)算A?A得到對(duì)稱(chēng)非負(fù)定矩陣求解特征值和特征向量特征值λ?，特征向量v?計(jì)算奇異值σ?=√λ?計(jì)算左奇異向量u?=Av?/σ?奇異值分解的幾何解釋V轉(zhuǎn)置操作源空間中的旋轉(zhuǎn)/反射2Σ操作主軸方向的縮放U操作目標(biāo)空間中的旋轉(zhuǎn)/反射奇異值分解在數(shù)據(jù)壓縮中的應(yīng)用保留最大的k個(gè)奇異值可獲得最佳k秩近似壓縮比與信息保留量的權(quán)衡第八章：線性代數(shù)在機(jī)器學(xué)習(xí)中的應(yīng)用數(shù)據(jù)降維PCA,t-SNE等算法回歸預(yù)測(cè)線性回歸與最小二乘法深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的矩陣運(yùn)算分類(lèi)算法SVM,LDA等主成分分析（PCA）目標(biāo)尋找數(shù)據(jù)最大方差方向計(jì)算步驟數(shù)據(jù)中心化，計(jì)算協(xié)方差矩陣特征值分解特征向量為主成分方向降維操作投影到前k個(gè)主成分線性回歸模型表示y=Xβ+εX:特征矩陣β:系數(shù)向量ε:誤差項(xiàng)參數(shù)估計(jì)β?=(X?X)?1X?y最小二乘解幾何解釋將輸出向量投影到特征列空間支持向量機(jī)（SVM）1目標(biāo)尋找最大間隔超平面2數(shù)學(xué)表示w?x+b=0∞核技巧隱式高維映射x·y核函數(shù)K(x,y)=φ(x)·φ(y)第九章：線性代數(shù)在圖形學(xué)中的應(yīng)用幾何變換旋轉(zhuǎn)、平移、縮放的矩陣表示光線追蹤向量計(jì)算光線反射和折射動(dòng)畫(huà)與物理剛體運(yùn)動(dòng)和物理模擬2D和3D變換齊次坐標(biāo)將所有變換統(tǒng)一為矩陣乘法計(jì)算機(jī)圖形學(xué)中的矩陣運(yùn)算模型變換將物體從局部坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)視圖變換從世界坐標(biāo)到相機(jī)坐標(biāo)投影變換從3D空間投影到2D屏幕視口變換映射到屏幕像素坐標(biāo)第十章：線性代數(shù)在量子力學(xué)中的應(yīng)用希爾伯特空間量子態(tài)的數(shù)學(xué)描述狀態(tài)向量量子比特的表示量子門(mén)線性變換作為量子操作測(cè)量觀測(cè)過(guò)程的投影操作量子態(tài)的表示量子比特|0?和|1?為基態(tài)|ψ?=α|0?+β|1?，|α|2+|β|2=1向量表示|0?=[1,0]?|1?=[0,1]?|ψ?=[α,β]?多量子比特張量積表示復(fù)合系統(tǒng)|ψ???|ψ??量子門(mén)操作的矩陣表示Pauli-X門(mén)比特翻轉(zhuǎn)，類(lèi)似于NOTHadamard門(mén)創(chuàng)建疊加態(tài)CNOT門(mén)雙量子比特門(mén)，條件翻轉(zhuǎn)相位門(mén)改變量子態(tài)相位酉矩陣性質(zhì)保持概率和為1總結(jié)：線性代數(shù)的美