機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件

神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1、感知機2、人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1、感知機1機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件2機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件3感知機有n個輸入數(shù)據(jù)，通過權(quán)重與各數(shù)據(jù)之間的計算和，比較激活函數(shù)結(jié)果，得出輸出應(yīng)用：很容易解決與、或、非問題Rosenblatt在1957年，于Cornell航空實驗室時所發(fā)明的一種人工神經(jīng)網(wǎng)絡(luò)感知機有n個輸入數(shù)據(jù)，通過權(quán)重與各數(shù)據(jù)之間的計算和，Rose4機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件5感知機與邏輯回歸的聯(lián)系與區(qū)別激活函數(shù)、結(jié)果分析感知機與邏輯回歸的聯(lián)系與區(qū)別激活函數(shù)、結(jié)果分析6演示：/#activation=sigmoid®ularization=L2&batchSize=10&dataset=circle®Dataset=reg-plane&learningRate=0.03®ularizationRate=0&noise=0&networkShape=3&seed=0.84062&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&showTestData_hide=true&learningRate_hide=true®ularizationRate_hide=true&percTrainData_hide=true&numHiddenLayers_hide=true&discretize_hide=true&activation_hide=true&problem_hide=true&noise_hide=true®ularization_hide=true&dataset_hide=true&batchSize_hide=true&playButton_hide=false演示：http://playground.tensorflo7神經(jīng)網(wǎng)絡(luò)的發(fā)展定義：在機器學習和認知科學領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)（artificialneuralnetwork，縮寫ANN），簡稱神經(jīng)網(wǎng)絡(luò)（：neuralnetwork，縮寫NN）或類神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的計算模型，用于對函數(shù)進行估計或近似。神經(jīng)網(wǎng)絡(luò)的種類：?基礎(chǔ)神經(jīng)網(wǎng)絡(luò)：單層感知器，線性神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)，Hopfield神經(jīng)網(wǎng)絡(luò)等?進階神經(jīng)網(wǎng)絡(luò)：玻爾茲曼機，受限玻爾茲曼機，遞歸神經(jīng)網(wǎng)絡(luò)等?深度神經(jīng)網(wǎng)絡(luò)：深度置信網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM網(wǎng)絡(luò)等?神經(jīng)網(wǎng)絡(luò)的發(fā)展定義：在機器學習和認知科學領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)（8杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEverestHinton）（1947年12月6日－）是一位英國出生的計算機學家和心理學家，以其在神經(jīng)網(wǎng)絡(luò)方面的貢獻聞名。辛頓是反向傳播算法的發(fā)明人之一，也是深度學習的積極推動者。杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEver9GeoffreyHintonYannLecunYoshuaBengioAndrewNgGeoffreyHintonYannLecunYoshu10神經(jīng)網(wǎng)絡(luò)的特點輸入向量的維度和輸入神經(jīng)元的個數(shù)相同每個連接都有個權(quán)值同一層神經(jīng)元之間沒有連接由輸入層，隱層，輸出層組成第N層與第N-1層的所有神經(jīng)元連接，也叫全連接神經(jīng)網(wǎng)絡(luò)的特點輸入向量的維度和輸入神經(jīng)元的個數(shù)相同11結(jié)構(gòu)（Architecture）例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重激勵函數(shù)（ActivityRule）大部分神經(jīng)網(wǎng)絡(luò)模型具有一個短時間尺度的動力學規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。學習規(guī)則（LearningRule）學習規(guī)則指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時間推進而調(diào)整。（反向傳播算法）神經(jīng)網(wǎng)絡(luò)的組成結(jié)構(gòu)（Architecture）例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是12機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件13機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件14淺層人工神經(jīng)網(wǎng)絡(luò)模型1、SoftMax回歸2、損失計算API3、其他方法API介紹淺層人工神經(jīng)網(wǎng)絡(luò)模型1、SoftMax回歸15Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)分析Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)分析16機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件17one-hot編碼分析one-hot編碼分析18機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件19one-hotAPI介紹one-hotAPI介紹20fromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets(FLAGS.data_dir,one_hot=True)獲取數(shù)據(jù)fromtensorflow.examples.tutor21SoftMax回歸公式：SoftMax回歸公式：22機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件23機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件241、全連接-從輸入直接到輸出特征加權(quán)：tf.matmul(a,b,name=None)+biasreturn:全連接結(jié)果，供交叉損失運算不需要激活函數(shù)（因為是最后的輸出）1、全連接-從輸入直接到輸出特征加權(quán)：25想一想線性回歸的損失函數(shù)，那么如何去衡量神經(jīng)網(wǎng)絡(luò)的損失？想一想線性回歸的損失函數(shù)，那么如何去26損失計算-交叉熵損失公式（了解）公式：注：

損失計算-交叉熵損失公式（了解）公式：注：

272、SoftMax計算、交叉熵tf.nn.softmax_cross_entropy_with_logits(labels=None, logits=None,name=None)

計算logits和labels之間的交叉損失熵labels:標簽值（真實值）logits：樣本加權(quán)之后的值return:返回損失值列表2、SoftMax計算、交叉熵tf.nn.softmax_c28損失值列表平均值計算tf.reduce_mean(input_tensor)計算張量的尺寸的元素平均值損失值列表平均值計算tf.reduce_mean(input29其他方法-損失下降A(chǔ)PItf.train.GradientDescentOptimizer(learning_rate)梯度下降優(yōu)化learning_rate:學習率，一般為minimize(loss):最小化損失return:梯度下降op其他方法-損失下降A(chǔ)PItf.train.GradientD30準確性計算1、equal_list=tf.equal(tf.argmax(y,1),tf.argmax(y_label,1))2、accuracy=tf.reduce_mean(tf.cast(equal_list,tf.float32))準確率準確性計算1、equal_list=tf.equal(t31Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)實現(xiàn)流程1、準備數(shù)據(jù)2、全連接結(jié)果計算3、損失優(yōu)化4、模型評估（計算準確性）Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)實現(xiàn)流程1、準備數(shù)據(jù)32深層的神經(jīng)網(wǎng)絡(luò)深度學習網(wǎng)絡(luò)與更常見的單一隱藏層神經(jīng)網(wǎng)絡(luò)的區(qū)別在于深度，深度學習網(wǎng)絡(luò)中，每一個節(jié)點層在前一層輸出的基礎(chǔ)上學習識別一組特定的特征。隨著神經(jīng)網(wǎng)絡(luò)深度增加，節(jié)點所能識別的特征也就越來越復(fù)雜。深層的神經(jīng)網(wǎng)絡(luò)深度學習網(wǎng)絡(luò)與更常見的單一隱藏層神經(jīng)網(wǎng)絡(luò)的區(qū)別33卷積神經(jīng)網(wǎng)絡(luò)1、卷積神經(jīng)網(wǎng)絡(luò)與簡單的全連接神經(jīng)網(wǎng)絡(luò)的比較2、卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史3、卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分析4、卷積網(wǎng)絡(luò)API介紹卷積神經(jīng)網(wǎng)絡(luò)1、卷積神經(jīng)網(wǎng)絡(luò)與簡單的全連接神經(jīng)網(wǎng)絡(luò)的比較34全連接神經(jīng)網(wǎng)絡(luò)的缺點參數(shù)太多，在cifar-10的數(shù)據(jù)集中，只有32*32*3，就會有這么多權(quán)重，如果說更大的圖片，比如200*200*3就需要120000多個，這完全是浪費沒有利用像素之間位置信息，對于圖像識別任務(wù)來說，每個像素與周圍的像素都是聯(lián)系比較緊密的。層數(shù)限制全連接神經(jīng)網(wǎng)絡(luò)的缺點參數(shù)太多，在cifar-10的數(shù)據(jù)集中，35卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史36卷積神經(jīng)網(wǎng)絡(luò)錯誤率卷積神經(jīng)網(wǎng)絡(luò)錯誤率37卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分析卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分析38

神經(jīng)網(wǎng)絡(luò)(neural

networks)的基本組成包括輸入層、隱藏層、輸出層。而卷積神經(jīng)網(wǎng)絡(luò)的特點在于隱藏層分為卷積層和池化層(pooling

layer，又叫下采樣層)。卷積層：通過在原始圖像上平移來提取特征，每一個特征就是一個特征映射池化層：通過特征后稀疏參數(shù)來減少學習的參數(shù)，降低網(wǎng)絡(luò)的復(fù)雜度，（最大池化和平均池化）

神經(jīng)網(wǎng)絡(luò)(neuralnetworks)的基本組成包括輸39數(shù)據(jù)變化數(shù)據(jù)變化40機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件41卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1、卷積層過濾器個數(shù)大小步長零填充卷積層輸出深度、輸出寬度深度由過濾器個數(shù)決定輸出寬度：1、激活函數(shù)1、池化層2、全連接層卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1、卷積層過濾器42卷積層計算過程（一個通道一個Filter一步長）卷積層計算過程（一個通道一個Filter一步長）43卷積層計算過程（當步長為2的時候）卷積層計算過程（當步長為2的時候）44卷積層的零填充卷積核在提取特征映射時的動作稱之為padding（零填充），由于移動步長不一定能整出整張圖的像素寬度。其中有兩種方式，SAME和VALIDSAME：越過邊緣取樣，取樣的面積和輸入圖像的像素寬度一致。VALID：不越過邊緣取樣，取樣的面積小于輸入人的圖像的像素寬度卷積層的零填充卷積核在提取特征映射時的動作稱之為paddin45如果需要卷積之后輸出大小一樣：零填的大小為2如果需要卷積之后輸出大小一樣：零填的大小為246卷積網(wǎng)絡(luò)API介紹卷積層：tf.nn.conv2d(input,filter,strides=,padding=,name=None)計算給定4-D

input和filter張量的2維卷積input：給定的輸入張量，具有[batch,heigth,width,channel]，類型為float32,64filter：指定過濾器的大小，[filter_height,filter_width,in_channels,out_channels]strides：strides=[1,stride,stride,1],步長padding：“SAME”,“VALID”，使用的填充算法的類型，使用“SAME”。其中”VALID”表示滑動超出部分舍棄，“SAME”表示填充，使得變化后height,width一樣大卷積網(wǎng)絡(luò)API介紹卷積層：47多通道圖片-外圍補充與多Filter多通道圖片-外圍補充與多Filter48新的激活函數(shù)-Relu新的激活函數(shù)-Relu49機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件50第一，采用sigmoid等函數(shù)，反向傳播求誤差梯度時，計算量相對大，而采用Relu激活函數(shù)，整個過程的計算量節(jié)省很多

第二，對于深層網(wǎng)絡(luò)，sigmoid函數(shù)反向傳播時，很容易就會出現(xiàn)梯度消失的情況（求不出權(quán)重和偏置）第一，采用sigmoid等函數(shù)，反向傳播求誤差梯度時，計算量51激活函數(shù)：tf.nn.relu(features,name=None)features:卷積后加上偏置的結(jié)果return:結(jié)果激活函數(shù)：52池化層(Pooling)計算Pooling層主要的作用是特征提取，通過去掉FeatureMap中不重要的樣本，進一步減少參數(shù)數(shù)量。Pooling的方法很多，最常用的是MaxPooling。池化層(Pooling)計算Pooling層主要的作用是特征53池化：

tf.nn.max_pool(value,ksize=,strides=,padding=,name=None)輸入上執(zhí)行最大池數(shù)value:4-D

Tensor形狀[batch,height,width,channels]ksize:池化窗口大小，[1,ksize,ksize,1]strides:步長大小，[1,strides,strides,1]padding:“SAME”,“VALID”，使用的填充算法的類型，使用“SAME”池化：

tf.nn.max_pool(value,ksiz54Full

Connected層分析：前面的卷積和池化相當于做特征工程，后面的全連接相當于做特征加權(quán)。最后的全連接層在整個卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用。FullConnected層分析：前面的卷積和池化相當于做55Mnist手寫數(shù)字圖片識別卷積網(wǎng)絡(luò)案例Mnist手寫數(shù)字圖片識別卷積網(wǎng)絡(luò)案例56Mnist數(shù)據(jù)集人工神經(jīng)網(wǎng)絡(luò)分析Mnist數(shù)據(jù)集人工神經(jīng)網(wǎng)絡(luò)分析57機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件58Mnist數(shù)字識別卷積實現(xiàn)流程：1、準備數(shù)據(jù)2、卷積、激活、池化（兩層）3、全連接層4、計算準確率Mnist數(shù)字識別卷積實現(xiàn)流程：59常見卷積網(wǎng)絡(luò)模型的結(jié)構(gòu)LeNet：1986年常見卷積網(wǎng)絡(luò)模型的結(jié)構(gòu)LeNet：1986年60AlexNet：2012年60M以上的參數(shù)總量AlexNet：2012年60M以上的參數(shù)總量61GoogleNet：GoogleNet：62神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1、感知機2、人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1、感知機63機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件64機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件65感知機有n個輸入數(shù)據(jù)，通過權(quán)重與各數(shù)據(jù)之間的計算和，比較激活函數(shù)結(jié)果，得出輸出應(yīng)用：很容易解決與、或、非問題Rosenblatt在1957年，于Cornell航空實驗室時所發(fā)明的一種人工神經(jīng)網(wǎng)絡(luò)感知機有n個輸入數(shù)據(jù)，通過權(quán)重與各數(shù)據(jù)之間的計算和，Rose66機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件67感知機與邏輯回歸的聯(lián)系與區(qū)別激活函數(shù)、結(jié)果分析感知機與邏輯回歸的聯(lián)系與區(qū)別激活函數(shù)、結(jié)果分析68演示：/#activation=sigmoid®ularization=L2&batchSize=10&dataset=circle®Dataset=reg-plane&learningRate=0.03®ularizationRate=0&noise=0&networkShape=3&seed=0.84062&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&showTestData_hide=true&learningRate_hide=true®ularizationRate_hide=true&percTrainData_hide=true&numHiddenLayers_hide=true&discretize_hide=true&activation_hide=true&problem_hide=true&noise_hide=true®ularization_hide=true&dataset_hide=true&batchSize_hide=true&playButton_hide=false演示：http://playground.tensorflo69神經(jīng)網(wǎng)絡(luò)的發(fā)展定義：在機器學習和認知科學領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)（artificialneuralnetwork，縮寫ANN），簡稱神經(jīng)網(wǎng)絡(luò)（：neuralnetwork，縮寫NN）或類神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的計算模型，用于對函數(shù)進行估計或近似。神經(jīng)網(wǎng)絡(luò)的種類：?基礎(chǔ)神經(jīng)網(wǎng)絡(luò)：單層感知器，線性神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)，Hopfield神經(jīng)網(wǎng)絡(luò)等?進階神經(jīng)網(wǎng)絡(luò)：玻爾茲曼機，受限玻爾茲曼機，遞歸神經(jīng)網(wǎng)絡(luò)等?深度神經(jīng)網(wǎng)絡(luò)：深度置信網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM網(wǎng)絡(luò)等?神經(jīng)網(wǎng)絡(luò)的發(fā)展定義：在機器學習和認知科學領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)（70杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEverestHinton）（1947年12月6日－）是一位英國出生的計算機學家和心理學家，以其在神經(jīng)網(wǎng)絡(luò)方面的貢獻聞名。辛頓是反向傳播算法的發(fā)明人之一，也是深度學習的積極推動者。杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEver71GeoffreyHintonYannLecunYoshuaBengioAndrewNgGeoffreyHintonYannLecunYoshu72神經(jīng)網(wǎng)絡(luò)的特點輸入向量的維度和輸入神經(jīng)元的個數(shù)相同每個連接都有個權(quán)值同一層神經(jīng)元之間沒有連接由輸入層，隱層，輸出層組成第N層與第N-1層的所有神經(jīng)元連接，也叫全連接神經(jīng)網(wǎng)絡(luò)的特點輸入向量的維度和輸入神經(jīng)元的個數(shù)相同73結(jié)構(gòu)（Architecture）例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重激勵函數(shù)（ActivityRule）大部分神經(jīng)網(wǎng)絡(luò)模型具有一個短時間尺度的動力學規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動來改變自己的激勵值。學習規(guī)則（LearningRule）學習規(guī)則指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時間推進而調(diào)整。（反向傳播算法）神經(jīng)網(wǎng)絡(luò)的組成結(jié)構(gòu)（Architecture）例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是74機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件75機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件76淺層人工神經(jīng)網(wǎng)絡(luò)模型1、SoftMax回歸2、損失計算API3、其他方法API介紹淺層人工神經(jīng)網(wǎng)絡(luò)模型1、SoftMax回歸77Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)分析Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)分析78機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件79one-hot編碼分析one-hot編碼分析80機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件81one-hotAPI介紹one-hotAPI介紹82fromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets(FLAGS.data_dir,one_hot=True)獲取數(shù)據(jù)fromtensorflow.examples.tutor83SoftMax回歸公式：SoftMax回歸公式：84機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件85機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件861、全連接-從輸入直接到輸出特征加權(quán)：tf.matmul(a,b,name=None)+biasreturn:全連接結(jié)果，供交叉損失運算不需要激活函數(shù)（因為是最后的輸出）1、全連接-從輸入直接到輸出特征加權(quán)：87想一想線性回歸的損失函數(shù)，那么如何去衡量神經(jīng)網(wǎng)絡(luò)的損失？想一想線性回歸的損失函數(shù)，那么如何去88損失計算-交叉熵損失公式（了解）公式：注：

損失計算-交叉熵損失公式（了解）公式：注：

892、SoftMax計算、交叉熵tf.nn.softmax_cross_entropy_with_logits(labels=None, logits=None,name=None)

計算logits和labels之間的交叉損失熵labels:標簽值（真實值）logits：樣本加權(quán)之后的值return:返回損失值列表2、SoftMax計算、交叉熵tf.nn.softmax_c90損失值列表平均值計算tf.reduce_mean(input_tensor)計算張量的尺寸的元素平均值損失值列表平均值計算tf.reduce_mean(input91其他方法-損失下降A(chǔ)PItf.train.GradientDescentOptimizer(learning_rate)梯度下降優(yōu)化learning_rate:學習率，一般為minimize(loss):最小化損失return:梯度下降op其他方法-損失下降A(chǔ)PItf.train.GradientD92準確性計算1、equal_list=tf.equal(tf.argmax(y,1),tf.argmax(y_label,1))2、accuracy=tf.reduce_mean(tf.cast(equal_list,tf.float32))準確率準確性計算1、equal_list=tf.equal(t93Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)實現(xiàn)流程1、準備數(shù)據(jù)2、全連接結(jié)果計算3、損失優(yōu)化4、模型評估（計算準確性）Mnist數(shù)據(jù)集神經(jīng)網(wǎng)絡(luò)實現(xiàn)流程1、準備數(shù)據(jù)94深層的神經(jīng)網(wǎng)絡(luò)深度學習網(wǎng)絡(luò)與更常見的單一隱藏層神經(jīng)網(wǎng)絡(luò)的區(qū)別在于深度，深度學習網(wǎng)絡(luò)中，每一個節(jié)點層在前一層輸出的基礎(chǔ)上學習識別一組特定的特征。隨著神經(jīng)網(wǎng)絡(luò)深度增加，節(jié)點所能識別的特征也就越來越復(fù)雜。深層的神經(jīng)網(wǎng)絡(luò)深度學習網(wǎng)絡(luò)與更常見的單一隱藏層神經(jīng)網(wǎng)絡(luò)的區(qū)別95卷積神經(jīng)網(wǎng)絡(luò)1、卷積神經(jīng)網(wǎng)絡(luò)與簡單的全連接神經(jīng)網(wǎng)絡(luò)的比較2、卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史3、卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分析4、卷積網(wǎng)絡(luò)API介紹卷積神經(jīng)網(wǎng)絡(luò)1、卷積神經(jīng)網(wǎng)絡(luò)與簡單的全連接神經(jīng)網(wǎng)絡(luò)的比較96全連接神經(jīng)網(wǎng)絡(luò)的缺點參數(shù)太多，在cifar-10的數(shù)據(jù)集中，只有32*32*3，就會有這么多權(quán)重，如果說更大的圖片，比如200*200*3就需要120000多個，這完全是浪費沒有利用像素之間位置信息，對于圖像識別任務(wù)來說，每個像素與周圍的像素都是聯(lián)系比較緊密的。層數(shù)限制全連接神經(jīng)網(wǎng)絡(luò)的缺點參數(shù)太多，在cifar-10的數(shù)據(jù)集中，97卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史98卷積神經(jīng)網(wǎng)絡(luò)錯誤率卷積神經(jīng)網(wǎng)絡(luò)錯誤率99卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分析卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分析100

神經(jīng)網(wǎng)絡(luò)(neural

networks)的基本組成包括輸入層、隱藏層、輸出層。而卷積神經(jīng)網(wǎng)絡(luò)的特點在于隱藏層分為卷積層和池化層(pooling

layer，又叫下采樣層)。卷積層：通過在原始圖像上平移來提取特征，每一個特征就是一個特征映射池化層：通過特征后稀疏參數(shù)來減少學習的參數(shù)，降低網(wǎng)絡(luò)的復(fù)雜度，（最大池化和平均池化）

神經(jīng)網(wǎng)絡(luò)(neuralnetworks)的基本組成包括輸101數(shù)據(jù)變化數(shù)據(jù)變化102機器學習與應(yīng)用：Tensorflow、神經(jīng)網(wǎng)絡(luò)課件103卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1、卷積層過濾器個數(shù)大小步長零填充卷積層輸出深度、輸出寬度深度由過濾器個數(shù)決定輸出寬度：1、激活函數(shù)1、池化層2、全連接層卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)1、卷積層過濾器104卷積層計算過程（一個通道一個Filter一步長）卷積層計算過程（一個通道一個Filter一步長）105卷積層計算過程（當步長為2的時候）卷積層計算過程（當步長為2的時候）106卷積層的零填充卷積核在提取特征映射時的動作稱之為padding（零填充），由于移動步長不一定能整出整張圖的像素寬度。其中有兩種方式，SAME和VALIDSAME：越過邊緣取樣，取樣的面積和輸入圖像的像素寬度一致。VALID：不越過邊緣取樣，取樣的面積小于輸入人的圖像的像素寬度卷積層的零填充卷積核在提取特征映射時的動作稱之為paddin107如果需要卷積之后輸出大小一樣：零填的大小為2如果需要卷積之后輸出大小一樣：零填的大小為2108卷積網(wǎng)絡(luò)API介紹卷積層：tf.nn.conv2d(input,filter,strides=,padding=,name=None)計算給定4-D

input和filter張量的2維卷積input：給定的輸入張量，具有[batch,heigth,width,channel]，類型為float32,64filter：指定過濾器的大小，[filter_height,filter_width,in_channels,out_channels]strides：strides=[1,stride,stride,1],步長padding：“SAME”,“VALID”，使用的填充算法的類型，使用“SAME”。其中”VALID”表示滑動超出部分舍棄，“SAME”表示填充，使得變化