深度學(xué)習(xí)使用RNNLSTM分類MNIST數(shù)據(jù)集

1、深度學(xué)習(xí)-使用RNN-LSTM分類MNIST數(shù)據(jù)集傳統(tǒng)CNN有一個(gè)主要特點(diǎn)，就是沒有記憶，他們單獨(dú)處理每個(gè)輸入，在輸入和輸入之間沒有保存任何狀態(tài)，對(duì)于這樣的網(wǎng)絡(luò)，有些事是無(wú)法較好實(shí)現(xiàn)的。比如像閱讀一篇文章或者一個(gè)句子，需要不斷地對(duì)輸入信息進(jìn)行整合理解，才能更好的解決問(wèn)題，這時(shí)候就需要用到RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）RNN簡(jiǎn)單理解就是一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。具體的表現(xiàn)形式為網(wǎng)絡(luò)會(huì)對(duì)前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，即隱藏層之間的結(jié)點(diǎn)不再無(wú)連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時(shí)刻隱藏層的輸出。htht輸入層延遲器輸出層理藏層XiRNN理論上來(lái)說(shuō)，應(yīng)該能

2、記住許多步之前見過(guò)的信息，但實(shí)際上，由于距離過(guò)遠(yuǎn)，當(dāng)梯度小于零時(shí)，較為久遠(yuǎn)的位置容易出現(xiàn)梯度消失，當(dāng)梯度大于零時(shí)，較為久遠(yuǎn)的位置容易出現(xiàn)梯度爆炸，所以就有了LSTM?？梢院?jiǎn)單理解為，主線部分，用于存儲(chǔ)長(zhǎng)期記憶的，分線部分，用于存儲(chǔ)短期記憶的，方便序列中的信息可以在任意位置跳上傳送帶，被傳送到更晚的實(shí)踐步。下邊一個(gè)例子基于前一篇的CNN,實(shí)現(xiàn)同樣的功能，只不過(guò)我在打印準(zhǔn)確率的時(shí)候一直出錯(cuò)，所以把那一部分代碼給去掉了。稍微整理了下但還是不是理解的很透徹。importtorchimporttorchvisionfromtorchimportnnfromtorch.utils.dataimportDa

3、taLoader”超參數(shù)”EPOCH=1#一共訓(xùn)練多少次BATCH_SIZE=64#每批的訓(xùn)練個(gè)數(shù)LR=0.01#學(xué)習(xí)率DOWNLOAD_MNIST=False#是否下載，第一次執(zhí)行為True,后邊就False”下載圖片數(shù)據(jù)”train_data=torchvision.datasets.MNIST(root=./mnist/,#保存位置train=True,#是否為訓(xùn)練數(shù)據(jù)transform=torchvision.transforms.ToTensor(),#轉(zhuǎn)換為tensor形式，由(0,255)轉(zhuǎn)換為(0,1)download=DOWNLOAD_MNIST,#是否下載，第一次執(zhí)行為Tr

4、ue,后邊就False)test_data=torchvision.datasets.MNIST(root=./mnist/,train=False)”處理數(shù)據(jù)”train_loader=DataLoader(dataset=train_data,batch_size=BATCH_SIZE,shuffle=True)#數(shù)據(jù)加載器，打亂數(shù)據(jù)分批訓(xùn)練test_x=torch.unsqueeze(test_data.data,dim=1).type(torch.FloatTensor):2000/255.#格式從(2000,28,28)轉(zhuǎn)換為(2000,1,28,28)，值為(0,1)test_y=

5、test_data.targets:2000#只測(cè)試前兩千個(gè)”創(chuàng)建神經(jīng)網(wǎng)絡(luò)模型”classRNN(nn.Module):def_init_(self):super(RNN,self)._init_()self.rnn=nn.LSTM(#使用LSTM形式input_size=28,#圖片每行的像素點(diǎn)個(gè)數(shù)hidden_size=64,#隱藏層中單元個(gè)數(shù)num_layers=1,#RNN層數(shù)，層數(shù)越多效果越好但是計(jì)算量大batch_first=True,#(batch,time_step,input_size),將batch放在第一維)self.out=nn.Linear(64,10)#輸出層def

6、forward(self,x):r_out,(h_n,h_c)=self.rnn(x,None)out=self.out(r_out:,-1,:)#選取最后一個(gè)時(shí)間點(diǎn)的outputreturnoutrnn=RNN()optimizer=torch.optim.Adam(rnn.parameters(),lr=LR)#使用Adam訓(xùn)練loss_func=nn.CrossEntropyLoss()#CrossEntropyLoss(用于處理多分類問(wèn)題”訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型”forepochinrange(EPOCH):forstep,(x,b_y)inenumerate(train_loader):#givesbatchdatab_x=x.view(-1,28,28)#reshapexto(batch,time_step,input_size)output=rnn(b_x)#生成結(jié)果loss=loss_func(output,b_y)#統(tǒng)計(jì)損失optimizer.zero_grad()#清空當(dāng)前梯度loss.backward()#反向傳播計(jì)算梯度optimizer.step()#以學(xué)習(xí)效率0.001來(lái)優(yōu)化梯度”打印數(shù)據(jù)”test_output=rnn(test_x:10.view(-1,28,28)#取前十個(gè)進(jìn)行輸出pred_y=torch.max(test_output,