第二章神經(jīng)網(wǎng)絡基礎第二章神經(jīng)網(wǎng)絡基礎

第二章：

神經(jīng)網(wǎng)絡基礎主講人：學習目標1．M-P神經(jīng)元模型、感知機模型和多層感知機模型的結(jié)構(gòu)；2．sigmoid、tanh和ReLU激活函數(shù)的定義與區(qū)別；3．神經(jīng)網(wǎng)絡中的損失函數(shù)；4．神經(jīng)網(wǎng)絡過擬合的處理方法；5.利用sklearn搭建多層神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡模型PART2.12.1.1神經(jīng)網(wǎng)絡誕生鳥飛派2.1.1神經(jīng)網(wǎng)絡誕生5沃爾特·皮茨（WalterPitts，1923-1969）沃倫·麥克洛克（WarrenMcCulloch,1898~1969）M-P模型伯樂：卡爾納普（Carnap）2.1.1神經(jīng)網(wǎng)絡誕生6“人工神經(jīng)網(wǎng)絡是一種由具有自適應性的簡單單元構(gòu)成的廣泛并行互聯(lián)的網(wǎng)絡，它的組織結(jié)構(gòu)能夠模擬生物神經(jīng)系統(tǒng)對真實世界所做出的交互反應?！眻D沃·卡萊維·科霍寧（TeuvoKaleviKohonen）是芬蘭著名的學者和研究人員。2.1.2

M-P神經(jīng)元模型M-P神經(jīng)元模型是首個模擬生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來的一個抽象和簡化了的數(shù)學模型。它由心理學家沃倫·麥卡洛克（WarrenMcCulloch）和數(shù)理邏輯學家沃爾特·皮茲（WalterPitts）在1943年提出并以二人的名字命名。該模型旨在模擬從多輸入到單輸出的信息處理單元。M-P模型的工作步驟：神經(jīng)元接受n個輸入信號。將輸入與權(quán)值參數(shù)進行加權(quán)求和并經(jīng)過激活函數(shù)激活。將激活結(jié)果作為結(jié)果輸出。人為設定參數(shù)值

2.1.3感知機模型感知機（Perceptron）模型是由美國心理學家弗蘭克·羅森布拉特（FrankRosenblatt）于1957年提出的一種具有單層計算單元的神經(jīng)網(wǎng)絡。旨在建立一個線性超平面用來解決線性可分問題。對樣本數(shù)據(jù)的訓練自動獲得對參數(shù)的更新結(jié)果。感知機學習機制：準備訓練樣本和對權(quán)值參數(shù)進行初始化加入一個訓練樣本，并計算實際輸出值比較實際輸出值和期望輸出值的大小，如果相同，則參數(shù)不變；如果不同，則需要通過誤差修正調(diào)整參數(shù)大小對每個訓練樣本重復上述步驟，直到計算的誤差為0或者小于某個指定的值單層感知機結(jié)構(gòu)2.1.3感知機模型

2.1.3感知機模型感知機的幾何意義感知機的超平面2.1.3感知機模型感知機的短板非線性能力表達不足2.1.4多層感知機模型多層感知機模型（MultilayerPerceptron，MLP），就是在輸入層和輸出層之間加入了若干隱藏層，以形成能夠?qū)颖菊_分類的凸域，使得神經(jīng)網(wǎng)絡對非線性情況的擬合程度大大增強。層數(shù)計算：不計輸入層，把除去輸入層之后的神經(jīng)網(wǎng)絡從左至右依次計數(shù)得到的總層數(shù)，就是神經(jīng)網(wǎng)絡的最終層數(shù)。如上圖層數(shù)為2。上圖網(wǎng)絡又稱為全連接神經(jīng)網(wǎng)絡。全連接是指神經(jīng)網(wǎng)絡模型中，相鄰兩層單元之間的連接方式，使用全連接方式時，網(wǎng)絡當前層的單元與網(wǎng)絡上一層的每個單元都存在連接。具有一個單隱層的多層感知機模型的拓撲結(jié)構(gòu)2.1.4多層感知機模型可解決“異或”問題的兩層感知機2.1.5多層感知機實戰(zhàn)感知機學習算法

品類顏色(x1)形狀(x2)西瓜1(綠色)1(圓形)香蕉-1(黃色)-1(月牙形)2.1.6多層前饋網(wǎng)絡前饋神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)激活函數(shù)PART2.22.2激活函數(shù)激活函數(shù)就是指非線性變換。對線性組合的結(jié)果施加一個非線性變換，就為神經(jīng)網(wǎng)絡各層之間的連接方式提供了一種非線性的變換方式，而非線性變換打破了“線性組合的線性組合”這樣一種循環(huán)，多層神經(jīng)網(wǎng)絡相比于單層網(wǎng)絡有了更豐富的函數(shù)形式。

常用的激活函數(shù)：sigmoid激活函數(shù)tanh激活函數(shù)ReLu激活函數(shù)其他激活函數(shù)：leakyReLU、elu、cReLU、selu、ReLU6、softplus、softsign……2.2.1

sigmoid激活函數(shù)TensorFlow實現(xiàn)：tf.nn.sigmoid(=None)原函數(shù)導數(shù)2.2.2

tanh激活函數(shù)TensorFlow實現(xiàn)：tf.nn.tanh(=None)原函數(shù)導數(shù)2.2.3

ReLu激活函數(shù)TensorFlow實現(xiàn)：tf.nn.relu(=None)原函數(shù)導數(shù)相比于sigmoid函數(shù)和tanh函數(shù)，ReLU函數(shù)被證明可以提供更好的結(jié)果損失函數(shù)PART2.32.3損失函數(shù)預測是智能的、不可或缺的組成部分，當實際情況和預測出現(xiàn)差異時，實際上就是學習的過程。”YannLeCun

2.3損失函數(shù)2.3損失函數(shù)

2.3損失函數(shù)交叉熵誤差——解決分類問題通常這個應用于多分類的交叉熵損失函數(shù)也被稱為SoftmaxLoss。若從"不確定性”上考慮，則交叉熵表示的是在給定的真實分布下,使用非真實分布所指定的策略，消除系統(tǒng)的不確定性所需要付出的努力大小。神經(jīng)網(wǎng)絡的過擬合及處理方法PART2.42.4.1過擬合欠擬合正常擬合過擬合過擬合（Overfitting）是指在模型訓練過程中，模型對訓練數(shù)據(jù)學習過度，將數(shù)據(jù)中包含的噪聲和誤差也學習了，使得模型在訓練集上表現(xiàn)很好，而在測試集上表現(xiàn)很差的現(xiàn)象。過擬合會使模型的預測精度降低，因此在實際訓練時要防止過擬合現(xiàn)象產(chǎn)生2.4.2正則化方法

2.4.2正則化方法2.4.3

Dropout方法Dropout方法由辛頓（Hinton）教授團隊提出，它是指在神經(jīng)網(wǎng)絡訓練的過程中，將某一層的單元（不包括輸出層的單元）數(shù)據(jù)隨機丟棄一部分。目的：簡化神經(jīng)網(wǎng)絡結(jié)構(gòu)，防止神經(jīng)網(wǎng)絡過擬合原理：對每一層的神經(jīng)元，設定一個失活（Drop）概率帶dropout的神經(jīng)網(wǎng)絡帶dropout的神經(jīng)網(wǎng)絡模型的分類效果利用sklearn搭建多層神經(jīng)網(wǎng)絡PART2.52.5利用sklearn搭建多層神經(jīng)網(wǎng)絡fromsklearn.datasetsimportload_wine#導入葡萄酒分類數(shù)據(jù)集wine=load_wine()importpandasaspddf_wine=pd.DataFrame(wine.data)df_wine.columns=wine.feature_namesdf_wine.head()#將標簽那列添加在DF中df_wine["wine_class"]=wine.targetdf_wine.tail()#拆分數(shù)據(jù)集fromsklearn.model_selectionimporttrain_test_splitX_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=0)#構(gòu)造多層感知機fromsklearn.neural_networkimportMLPClassifier#導入多層感知機分類器#創(chuàng)建多層感知機分類模型model=MLPClassifier(solver="adam",hidden_layer_sizes=(100,))#adam自適應矩陣優(yōu)化器，適合大規(guī)模數(shù)值計算，隱含層，100個神經(jīng)元#hidden_layer_sizes=(5,2,)表示有2個隱層，第一個隱層有5個神經(jīng)元，第二個隱層有2個神經(jīng)元2.5利用sklearn搭建多層神經(jīng)網(wǎng)絡#訓練模型與預測model.fit(X_train,y_train)y_predict_on_train=model.predict(X_train)y_predict_on_test=model.predict(X_test)#模型評估fromsklearn.metricsimportaccuracy_scoreprint("train_score:{:.2f}".format(accuracy_score(y_train,y_predict_on_train)))print("test_score:{:.2f}".format(accuracy_score(y_test,y_predict_on_test)))#增加隱層，查看結(jié)果model2=MLPClassifier(solver="adam",hidden_layer_sizes=(10,10))model2.fit(X_train,y_train)y_predict_on_train=model2.predict(X_train)y_predict_on_test=model2.predict(X_test)print("train_score:{:.2f}".format(accuracy_score(y_train,y_predict_on_train)))print("test_score:{:.2f}".format(accuracy_score(y_test,y_pre