機(jī)器學(xué)習(xí)常用模型及優(yōu)化

1、第一章 模型建立1.1 回歸模型：條件：1. 數(shù)據(jù)2. 假設(shè)的模型結(jié)果：用模型對(duì)數(shù)據(jù)學(xué)習(xí)，預(yù)測新數(shù)據(jù)1.1.1 一元線性回歸模型（最小二乘法）它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配我們以最簡單的一元線性模型來解釋最小二乘法。什么是一元線性模型呢？ 監(jiān)督學(xué)習(xí)中，如果預(yù)測的變量是離散的，我們稱其為分類（如決策樹，支持向量機(jī)等），如果預(yù)測的變量是連續(xù)的，我們稱其為回歸假設(shè)從總體中獲取了n組觀察值（X1，Y1），（X2，Y2）， ，（Xn，Yn）平方損失函數(shù)1.1.2 邏輯回歸模型將線性回歸中的一次模型變成邏輯回歸函數(shù)，即sigmoid函數(shù)?；蛘撸浩渌乃悸泛拖敕ㄅc線性回歸一樣，所以說邏輯回歸

2、的模型是一個(gè)非線性模型，但是它本質(zhì)上又是一個(gè)線性回歸模型損失函數(shù)（誤差函數(shù)）為：1.1.3 softmax回歸它是邏輯回歸的擴(kuò)展從分類的角度來說，邏輯回歸只能將東西分成兩類（0,1），softmax可以分成多類邏輯回歸中，模型函數(shù)（系統(tǒng)函數(shù)）為：Softmax回歸中，模型函數(shù)（系統(tǒng)函數(shù)）為：1.2 神經(jīng)網(wǎng)絡(luò)模型1.2.1 神經(jīng)元首先來一個(gè)三輸入單輸出的神經(jīng)元，輸入輸出都是二進(jìn)制（0,1）。舉例來說：X1表示天氣是否好X2表示交通是否好X3表示是否有女朋友陪你Y表示你是否去電影院看電影要讓這個(gè)神經(jīng)元工作起來，需要引入權(quán)重，w1,w2,w3。這樣就有了：（1）W1表示”天氣是否好”對(duì)你做決定的重要

3、程度W2表示”交通是否好”對(duì)你做決定的重要程度W3表示”是否有女朋友陪你”對(duì)你做決定的重要程度Threshold越低表示你越想去看電影，風(fēng)雨無阻你都想去。Threshold越高表示你越不想去看電影，天氣再好也白搭。Threshold適中表示你去不去電影院要看情況，看心情。 1.2.2 神經(jīng)網(wǎng)絡(luò)現(xiàn)在擴(kuò)展一下：這樣就出現(xiàn)神經(jīng)網(wǎng)絡(luò)了，可以看出這是很多神經(jīng)元組合成的。把上面的（1）式中的threshold用偏移量-b表示，并且移到不等式左邊，出現(xiàn)下面（2）式：（2）例子就不舉了，原文是實(shí)現(xiàn)與非門的一個(gè)例子，說明這個(gè)東西可以進(jìn)行邏輯推理，它就很有潛力了，電腦就是靠邏輯加運(yùn)算來實(shí)現(xiàn)各種功能?，F(xiàn)在要用這個(gè)東

4、西學(xué)習(xí)識(shí)別手寫字體，我們的想法是這樣的：舉例來說，電腦錯(cuò)把9當(dāng)成了8，那么我們希望通過自動(dòng)調(diào)整w或b來對(duì)output進(jìn)行調(diào)整，以達(dá)到正確的結(jié)果。這時(shí)網(wǎng)絡(luò)會(huì)自己“學(xué)習(xí)”了。具體是這樣的：其中是sigmoid函數(shù)：下面是sigmoid函數(shù)的圖形它是階梯函數(shù)的一個(gè)平滑：輸出通過w和b進(jìn)行微調(diào)的式子是這樣的：這個(gè)式子比較抽象，它只是戰(zhàn)略性的一個(gè)式子，下面引入cost函數(shù)來進(jìn)行戰(zhàn)術(shù)實(shí)踐。Cost函數(shù)是評(píng)價(jià)模型準(zhǔn)確與否的一個(gè)函數(shù)，它可能越大越好，也可能越小越好，看你怎么構(gòu)造了。這里用均方誤差來構(gòu)造：這個(gè)函數(shù)越小越好，所以通過使這個(gè)函數(shù)變得最小來得到最好的w和b，也就是達(dá)到最好的學(xué)習(xí)效果。1.3 最大似然估

5、計(jì)X的一個(gè)樣本X1，X2，Xn獨(dú)立同分布，其觀測值為x1，x2，xn。，其中參數(shù)未知根據(jù)X1，X2，Xn的觀測值x1，x2，xn來估計(jì)模型參數(shù)。假如這組數(shù)據(jù)服從B(1,p)，p未知求得到取極大值時(shí)的p，即為所求第二章 模型優(yōu)化2.1 遺傳算法有個(gè)博客講的很好，用袋鼠跳問題形象的比喻這個(gè)問題，類似的算法還有模擬退火法。2.2 梯度下降法一句話來說就是求損失函數(shù)或似然函數(shù)的極值，我們自己算的話就是求個(gè)導(dǎo)就完事了，但是有些函數(shù)的導(dǎo)數(shù)特別難求，這時(shí)候就需要梯度下降法，交給電腦迭代幾次就算出來了 舉例來說，求損失函數(shù)的最小值：2.3 牛頓法對(duì)于非線性優(yōu)化，假設(shè)任務(wù)是優(yōu)化一個(gè)目標(biāo)函數(shù)，求解其極大極小值，轉(zhuǎn)化為求問題，是不是回到了上面的問題？二階泰勒級(jí)數(shù)：二階泰勒級(jí)數(shù)成立的充要條件是無限趨于0，兩邊約去和，并對(duì)求導(dǎo)，得到：解得：所以得到迭代式：紅色是牛頓法，綠色是梯度下降法，牛頓法更容易收斂。高