深度神經(jīng)網(wǎng)絡(luò)全面概述及深圳發(fā)出常用快遞價(jià)格表

專業(yè)知識(shí)整理分享深度神經(jīng)網(wǎng)絡(luò)全面概述從基本概念到實(shí)際模型和硬件基礎(chǔ)深度神經(jīng)網(wǎng)絡(luò)(DNN)所代表的人工智能技術(shù)被認(rèn)為是這一次技術(shù)變革的基石(之一)。近日，由IEEEFellowJoelEmer領(lǐng)導(dǎo)的一個(gè)團(tuán)隊(duì)發(fā)布了一篇題為《深度神經(jīng)網(wǎng)絡(luò)的有效處理：教程和調(diào)研(EfficientProcessingofDeepNeuralNetworks:ATutorialandSurvey)》的綜述論文，從算法、模型、硬件和架構(gòu)等多個(gè)角度對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了較為全面的梳理和總結(jié)。鑒于該論文的篇幅較長(zhǎng)，機(jī)器之心在此文中提煉了原論文的主干和部分重要內(nèi)容。目前，包括計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和機(jī)器人在內(nèi)的諸多人工智能應(yīng)用已廣泛使用了深度神經(jīng)網(wǎng)絡(luò)(deepneuralnetworks，DNN)。DNN在很多人工智能任務(wù)之中表現(xiàn)出了當(dāng)前最佳的準(zhǔn)確度，但同時(shí)也存在著計(jì)算復(fù)雜度高的問(wèn)題。因此，那些能幫助DNN高效處理并提升效率和吞吐量，同時(shí)又無(wú)損于表現(xiàn)準(zhǔn)確度或不會(huì)增加硬件成本的技術(shù)是在人工智能系統(tǒng)之中廣泛部署DNN的關(guān)鍵。論文地址：/pdf/1703.09039.pdf本文旨在提供一個(gè)關(guān)于實(shí)現(xiàn)DNN的有效處理(efficientprocessing)的目標(biāo)的最新進(jìn)展的全面性教程和調(diào)查。特別地，本文還給出了一個(gè)DNN綜述——討論了支持DNN的多種平臺(tái)和架構(gòu)，并強(qiáng)調(diào)了最新的有效處理的技術(shù)的關(guān)鍵趨勢(shì)，這些技術(shù)或者只是通過(guò)改善硬件設(shè)計(jì)或者同時(shí)改善硬件設(shè)計(jì)和網(wǎng)絡(luò)算法以降低DNN計(jì)算成本。本文也會(huì)對(duì)幫助研究者和從業(yè)者快速上手DNN設(shè)計(jì)的開(kāi)發(fā)資源做一個(gè)總結(jié)，并凸顯重要的基準(zhǔn)指標(biāo)和設(shè)計(jì)考量以評(píng)估數(shù)量快速增長(zhǎng)的DNN硬件設(shè)計(jì)，還包括學(xué)界和產(chǎn)業(yè)界共同推薦的算法聯(lián)合設(shè)計(jì)。讀者將從本文中了解到以下概念：理解DNN的關(guān)鍵設(shè)計(jì)考量;通過(guò)基準(zhǔn)和對(duì)比指標(biāo)評(píng)估不同的DNN硬件實(shí)現(xiàn);理解不同架構(gòu)和平臺(tái)之間的權(quán)衡;評(píng)估不同DNN有效處理技術(shù)的設(shè)計(jì)有效性;理解最新的實(shí)現(xiàn)趨勢(shì)和機(jī)遇。一、導(dǎo)語(yǔ)深度神經(jīng)網(wǎng)絡(luò)(DNN)目前是許多人工智能應(yīng)用的基礎(chǔ)[1]。由于DNN在語(yǔ)音識(shí)別[2]和圖像識(shí)別[3]上的突破性應(yīng)用，使用DNN的應(yīng)用量有了爆炸性的增長(zhǎng)。這些DNN被部署到了從自動(dòng)駕駛汽車[4]、癌癥檢測(cè)[5]到復(fù)雜游戲[6]等各種應(yīng)用中。在這許多領(lǐng)域中，DNN能夠超越人類的準(zhǔn)確率。而DNN的出眾表現(xiàn)源于它能使用統(tǒng)計(jì)學(xué)習(xí)方法從原始感官數(shù)據(jù)中提取高層特征，在大量的數(shù)據(jù)中獲得輸入空間的有效表征。這與之前使用手動(dòng)提取特征或?qū)＜以O(shè)計(jì)規(guī)則的方法不同。然而DNN獲得出眾準(zhǔn)確率的代價(jià)是高計(jì)算復(fù)雜性成本。雖然通用計(jì)算引擎(尤其是GPU)，已經(jīng)成為許多DNN處理的砥柱，但提供對(duì)DNN計(jì)算更專門(mén)化的加速方法也越來(lái)越熱門(mén)。本文的目標(biāo)是提供對(duì)DNN、理解DNN行為的各種工具、有效加速計(jì)算的各項(xiàng)技術(shù)的概述。該論文的結(jié)構(gòu)如下：SectionII給出了DNN為什么很重要的背景、歷史和應(yīng)用。SectionIII給出了DNN基礎(chǔ)組件的概述，還有目前流行使用的DNN模型。SectionIV描述了DNN研發(fā)所能用到的各種資源。SectionV描述了處理DNN用到的各種硬件平臺(tái)，以及在不影響準(zhǔn)確率的情況下改進(jìn)吞吐量(thoughtput)和能量的各種優(yōu)化方法(即產(chǎn)生bit-wiseidentical結(jié)果)。SectionVI討論了混合信號(hào)回路和新的存儲(chǔ)技術(shù)如何被用于近數(shù)據(jù)處理(near-dataprocessing)，從而解決DNN中數(shù)據(jù)流通時(shí)面臨的吞吐量和能量消耗難題。SectionVII描述了各種用來(lái)改進(jìn)DNN吞吐量和能耗的聯(lián)合算法和硬件優(yōu)化，同時(shí)最小化對(duì)準(zhǔn)確率的影響。SectionVIII描述了對(duì)比DNN設(shè)計(jì)時(shí)應(yīng)該考慮的關(guān)鍵標(biāo)準(zhǔn)。二、深度神經(jīng)網(wǎng)絡(luò)(DNN)的背景在這一部分，我們將描述深度神經(jīng)網(wǎng)絡(luò)(DNN)在人工智能這個(gè)大框架下的位置，以及一些促進(jìn)其發(fā)展的的概念。我們還將對(duì)其主要的發(fā)展歷程和現(xiàn)階段主要的應(yīng)用領(lǐng)域做一個(gè)簡(jiǎn)單的介紹。1.人工智能和深度神經(jīng)網(wǎng)絡(luò)根據(jù)JohnMcCarthy的論述，深度神經(jīng)網(wǎng)絡(luò)(也稱為深度學(xué)習(xí))是人工智能(AI)大框架下的一部分。而人工智能(AI)是利用科學(xué)與工程學(xué)創(chuàng)造具有如同人類那樣能實(shí)現(xiàn)目標(biāo)的智能機(jī)器。人工智能這個(gè)詞就是這位計(jì)算機(jī)科學(xué)家在上個(gè)世紀(jì)50年代所創(chuàng)造出的。深度學(xué)習(xí)和整個(gè)人工智能的關(guān)系就如下圖所示。圖1：深度學(xué)習(xí)在人工智能大框架下的位置2.神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)(DNN)神經(jīng)網(wǎng)絡(luò)從神經(jīng)元涉及對(duì)輸入值求加權(quán)和進(jìn)行計(jì)算這一概念而獲得靈感。這些加權(quán)和對(duì)應(yīng)于突觸完成值的縮放以及其和神經(jīng)元值間的組合。此外，因?yàn)橛?jì)算與神經(jīng)元級(jí)聯(lián)相關(guān)聯(lián)，并且其為簡(jiǎn)單線性代數(shù)的運(yùn)算，所以神經(jīng)元不會(huì)僅僅輸出加權(quán)和。相反，在神經(jīng)元中有函數(shù)執(zhí)行組合輸入的運(yùn)算，而這種函數(shù)應(yīng)該是非線性運(yùn)算。在非線性運(yùn)算的過(guò)程中，神經(jīng)元只有在輸入超過(guò)一定閥值時(shí)才生成輸出。因此通過(guò)類比，神經(jīng)網(wǎng)絡(luò)將非線性函數(shù)運(yùn)用到輸入值的加權(quán)和中。我們等一下會(huì)描述一些非線性函數(shù)。圖2：簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)例子。(a)神經(jīng)元和突觸，(b)為每一層計(jì)算加權(quán)和，(c)前向和反向(循環(huán))網(wǎng)絡(luò)，(d)全連接與稀疏(a)中展示了計(jì)算神經(jīng)網(wǎng)絡(luò)的示意圖。圖的前端是輸入層，該層會(huì)接受輸入數(shù)據(jù)值。這些數(shù)據(jù)值前向傳播到神經(jīng)網(wǎng)絡(luò)中間層的神經(jīng)元中，中間層也常稱為神經(jīng)網(wǎng)絡(luò)的隱藏層。一個(gè)或多個(gè)隱藏層的加權(quán)和最終前向傳播到輸出層，該輸出層會(huì)最終向用戶呈現(xiàn)神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果。為了將腦啟發(fā)的術(shù)語(yǔ)和神經(jīng)網(wǎng)絡(luò)相匹配，神經(jīng)元的輸出通常稱為激活(activation)，并且突觸如(a)所示通常稱為權(quán)重(weight)。在上方表達(dá)式中，W_ij代表著權(quán)重、x_i為輸入激活、y_i是輸出激活，而f(·)就代表著在III-2中描述的非線性激活函數(shù)。在神經(jīng)網(wǎng)絡(luò)的領(lǐng)域內(nèi)，有一門(mén)稱為深度學(xué)習(xí)的研究。普通神經(jīng)網(wǎng)絡(luò)基本上層級(jí)不會(huì)很多，而在深度學(xué)習(xí)里，神經(jīng)網(wǎng)絡(luò)的層級(jí)數(shù)量十分巨大，現(xiàn)如今基本上神經(jīng)網(wǎng)絡(luò)可以達(dá)到5到1000多層。3.推理vs訓(xùn)練這一節(jié)中，如圖4所示，我們將把圖像分類用作訓(xùn)練DNN的一個(gè)強(qiáng)勁的實(shí)例。評(píng)估DNN時(shí)，我們輸入一個(gè)圖像，DNN為每一個(gè)對(duì)象分類輸出分值向量;分值最高的分類將成為圖像中最有可能的對(duì)象分類。訓(xùn)練DNN的總體目標(biāo)是決定如何設(shè)置權(quán)重以最大化正確分類(來(lái)自標(biāo)注的訓(xùn)練數(shù)據(jù))的分值并最小化其他不正確分類的分值。理想的正確分值與DNN基于其當(dāng)前權(quán)重計(jì)算的分值之間的差被稱為損失值(L)。因此訓(xùn)練DNN的目標(biāo)是找到一組權(quán)重以最小化大型數(shù)據(jù)集中的平均損失值。圖4：圖像分類任務(wù)4.開(kāi)發(fā)歷史1940年代-神經(jīng)網(wǎng)絡(luò)被提出1960年代-深度神經(jīng)網(wǎng)絡(luò)被提出1989年-識(shí)別數(shù)字的神經(jīng)網(wǎng)(LeNet)出現(xiàn)1990年代-淺層神經(jīng)網(wǎng)硬件出現(xiàn)(IntelETANN)2011年-DNN語(yǔ)音識(shí)別取得突破性進(jìn)展(Microsoft)2012年-用于視覺(jué)的DNN開(kāi)始替代人工放大(AlexNet)2014年+-DNN加速器研究興起(Neuflow、DianNao等等)圖5的表柱是這些年來(lái)ImageNet競(jìng)賽中每屆冠軍的表現(xiàn)。你可以看到最初算法精確度的錯(cuò)誤率在25%或更多。2012年，多倫多大學(xué)的AlexNet團(tuán)隊(duì)通過(guò)GPU來(lái)提升其計(jì)算能力并采用深度神經(jīng)網(wǎng)絡(luò)方法，把錯(cuò)誤率降低了近10%[3]。他們的成功帶來(lái)了深度學(xué)習(xí)風(fēng)格的算法的井噴，以及圖像識(shí)別技術(shù)的持續(xù)進(jìn)步。圖5：ImageNet競(jìng)賽[10]結(jié)果5.DNN的應(yīng)用從多媒體到醫(yī)療，DNN對(duì)很多應(yīng)用大有裨益。在這一節(jié)中，我們將展示DNN正在發(fā)揮影響的領(lǐng)域，并凸顯DNN有望在未來(lái)發(fā)揮作用的新興領(lǐng)域。圖像和視頻語(yǔ)音和語(yǔ)言醫(yī)療游戲機(jī)器人6.嵌入vs云執(zhí)行DNN推斷處理的嵌入平臺(tái)有著嚴(yán)格的能耗、計(jì)算和存儲(chǔ)成本限制。當(dāng)DNN推斷在云中執(zhí)行時(shí)，語(yǔ)音識(shí)別等應(yīng)用經(jīng)常有強(qiáng)烈的延遲需求。因此，在本文中，我們將聚焦于推斷處理而不是訓(xùn)練的計(jì)算需求。三、深度神經(jīng)網(wǎng)絡(luò)概述根據(jù)應(yīng)用情況不同，深度神經(jīng)網(wǎng)絡(luò)的形態(tài)和大小也各異。流行的形態(tài)和大小正快速演化以提升模型準(zhǔn)確性和效率。所有深度神經(jīng)網(wǎng)絡(luò)的輸入是一套表征網(wǎng)絡(luò)將加以分析處理的信息的值。這些值可以是一張圖片的像素，或者一段音頻的樣本振幅或者某系統(tǒng)或者游戲狀態(tài)的數(shù)字化表示。處理輸入的網(wǎng)絡(luò)有兩種主要形式：前饋以及循環(huán)(圖2c)。前饋網(wǎng)絡(luò)中，所有計(jì)算都是在前一層輸出基礎(chǔ)上進(jìn)行的一系列運(yùn)作。最終一組運(yùn)行就是網(wǎng)絡(luò)的輸出，比如，這張圖片包括某個(gè)特定物體的概率是多少，某段音頻出現(xiàn)某個(gè)單詞的概率是多少，或者下一步行動(dòng)的建議等。在這類深度神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)并無(wú)記憶，輸出也總是與之前網(wǎng)絡(luò)輸入順序無(wú)關(guān)。相反，循環(huán)網(wǎng)絡(luò)(LSTM是一個(gè)很受歡迎的變種)是有內(nèi)在記憶的，允許長(zhǎng)期依存關(guān)系影響輸出。在這些網(wǎng)絡(luò)中，一些中間運(yùn)行生成的值會(huì)被存儲(chǔ)于網(wǎng)絡(luò)中，也被用作與處理后一輸入有關(guān)的其他運(yùn)算的輸入。在這篇文章中，我們關(guān)注的是前饋網(wǎng)絡(luò)，因?yàn)榈侥壳盀橹?，少有人關(guān)注硬件加速，特別是循環(huán)網(wǎng)絡(luò)的。深度神經(jīng)網(wǎng)絡(luò)也可以是全連接的(FC，也指多層感知器)，如圖2(d)最左部分所示。在一個(gè)全連接層中，所有輸出與所有輸入都是相連接的。這需要相當(dāng)數(shù)量的存儲(chǔ)和計(jì)算空間。謝天謝地，在許多應(yīng)用中，我們可以移除激活(activations)之間的一些連接，方法就是將權(quán)重設(shè)置為零而不影響準(zhǔn)確性。結(jié)果會(huì)產(chǎn)生一個(gè)稀疏連接層。圖2(d)最右端的層就是一個(gè)稀疏連接層。通過(guò)限制對(duì)結(jié)果有影響的權(quán)重?cái)?shù)量，我們也可以實(shí)現(xiàn)更高效的計(jì)算。如果每個(gè)輸出僅僅是一個(gè)固定大小輸入窗口的函數(shù)，就會(huì)出現(xiàn)這類結(jié)構(gòu)化稀疏性。如果這套權(quán)重被用于每一個(gè)輸入計(jì)算，就會(huì)進(jìn)一步提高效率。這一權(quán)重共享能顯著降低權(quán)重的存儲(chǔ)要求。通過(guò)將計(jì)算構(gòu)建為卷積，一種非常流行的窗口式的權(quán)重共享的網(wǎng)絡(luò)誕生了，如圖6(a)所示，其僅使用少量臨近的激活來(lái)計(jì)算加權(quán)和的輸出(即，該過(guò)濾器有一個(gè)有限的接受域，與輸入的距離超過(guò)特定值的所有權(quán)重都將被設(shè)置為0)，而且這一套權(quán)重能被每個(gè)輸入共享來(lái)計(jì)算(即，濾波器是空間不變的)。這種結(jié)構(gòu)稀疏性的形式正交于源自網(wǎng)絡(luò)(修改情況如本文部分VII-B2所述)的稀疏性。所以，卷積神經(jīng)網(wǎng)絡(luò)就是一種受歡迎的深度神經(jīng)網(wǎng)絡(luò)形式。1.卷積神經(jīng)網(wǎng)絡(luò)(CNN)圖6：卷積的維度。(a)傳統(tǒng)圖像處理中的二維卷積，(b)CNN中的高維卷積圖7：卷積神經(jīng)網(wǎng)絡(luò)表1：CONV/FC層的形狀參數(shù)給定表I中的形狀參數(shù)(shapeparameters)，卷積層的計(jì)算可以定義為：2.非線性(Non-Linearity)圖8：多種形式的非線性激活函數(shù)(來(lái)自CaffeTutorial[43])3.池化(Pooling)圖9：多種形式的池化(來(lái)自CaffeTutorial[43])4.歸一化(Normalization)控制輸入在層級(jí)中的分布能顯著地加快訓(xùn)練速度并提升準(zhǔn)確度。因此，輸入激活在層級(jí)上的分布(σ,μ)需要?dú)w一化處理，使其變換為均值為0、標(biāo)準(zhǔn)差為1的分布。在批量歸一化(batchnormalization)中，歸一化值如方程(2)所示將進(jìn)一步縮放和平移，參數(shù)(γ,β)是從訓(xùn)練[44]中學(xué)到的兩個(gè)小常數(shù)，它們能避免數(shù)值問(wèn)題。(1)流行的DNN模型在過(guò)去的二十多年里出現(xiàn)了很多種DNN模型。每一種都稱其擁有不同的「網(wǎng)絡(luò)架構(gòu)」，因?yàn)樗麄円罁?jù)不同層級(jí)數(shù)量、濾波器形狀(如過(guò)濾尺寸，濾波器和通道的數(shù)量)、層級(jí)類型以及連接方式而劃分。正確地理解這些不同的方法和它們發(fā)展的趨勢(shì)對(duì)于提高DNN引擎的效率至關(guān)重要。其中包括：LeNet[9]于1989年提出，是最早的CNN方式之一。其中最為人熟知的是第八版的LeNet-5，其中包含兩個(gè)卷積層和兩個(gè)全連接層[45]。AlexNet[3]是第一次贏得ImageNet挑戰(zhàn)賽的CNN網(wǎng)絡(luò)(2012年)。它由五個(gè)卷積層和三個(gè)全連接層組成。Overfeat[46]與AlexNet具有非常相似的架構(gòu)：五個(gè)卷積層和三個(gè)全連接層。VGG-16[47]更進(jìn)一步，使用了16層的深度神經(jīng)網(wǎng)絡(luò)，其中包含13個(gè)卷積層，3個(gè)全連接層。GoogLeNet[48]更深，有22個(gè)層，它首次引入了起始模塊(見(jiàn)下圖)。ResNet[11]，即殘差網(wǎng)絡(luò)(ResidualNet)，使用殘差連接可以讓層級(jí)更加深入(34層以上)。該網(wǎng)絡(luò)第一次讓DNN在ImageNet挑戰(zhàn)賽中的表現(xiàn)超過(guò)了人類，top-5錯(cuò)誤率在5%以下。圖11：GoogleNet[48]的起始模塊(Inceptionmodule)通道長(zhǎng)度實(shí)例，其中每個(gè)CONV層在ReLU層之后(圖中未顯示)。圖12：ResNet[11]中的快捷模塊。其中最后一個(gè)CONV層之后的ReLU層被快捷連接。表2：目前流行的DNN[3,11,45,47,48]模型，其中正確率都基于在ImageNet[10]中TOP-5誤差。四、DNN開(kāi)發(fā)資源DNN得以快速發(fā)展的一個(gè)關(guān)鍵因素是研究社區(qū)與產(chǎn)業(yè)界使得一系列開(kāi)發(fā)資源變得可用。這些資源對(duì)DNN加速器的開(kāi)發(fā)也很關(guān)鍵，提供工作負(fù)載的特性、在模型復(fù)雜性和準(zhǔn)確率上促進(jìn)權(quán)衡性的探索。這一章節(jié)將描述了對(duì)此領(lǐng)域感興趣的人能快速上手的一些資源。1.框架(Frameworks)為了DNN開(kāi)發(fā)的簡(jiǎn)便以及讓訓(xùn)練網(wǎng)絡(luò)可共享，不同的團(tuán)隊(duì)開(kāi)發(fā)出了不同的深度學(xué)習(xí)框架。這些開(kāi)源庫(kù)包含了面向DNN的軟件庫(kù)。Caffe在2014年由UC伯克利大學(xué)開(kāi)源，它支持C、C++、Python和MATLAB。TensorFlow由谷歌團(tuán)隊(duì)2015年開(kāi)源，支持C++和Python，也支持多CPU和GPU。它要比Caffe更靈活，計(jì)算表達(dá)是數(shù)據(jù)流圖到張量管理(多維度陣列)。另一個(gè)流行的框架是Torch，由Facebook和NYU開(kāi)發(fā)，它支持C、C++和Lua。當(dāng)然，還有其他的一些框架，比如Theano、MXNet、CNTK，這在[57]中有所描述。這些框架的存在不只是方便了DNN研究人員和應(yīng)用設(shè)計(jì)者，它們對(duì)編程高性能或更高效的DNN計(jì)算引擎也是無(wú)價(jià)的。例如，大部分框架可以使用英偉達(dá)的cuDNN庫(kù)在GPU上進(jìn)行快速運(yùn)算。這一加速對(duì)框架的使用者而言是很明顯的。類似地，硬件加速器這種如此易懂的結(jié)合也能在Eyeriss這樣的芯片上獲得[58]。最終，這些框架對(duì)硬件研究人員來(lái)說(shuō)也是無(wú)價(jià)的資源(工作負(fù)載)，它們可被用于設(shè)計(jì)不同工作負(fù)載的實(shí)驗(yàn)、性能分析(profiling)不同的工作負(fù)載、探索硬件與軟件之間的權(quán)衡。2.模型(Model)3.流行的分類數(shù)據(jù)集在許多公開(kāi)的數(shù)據(jù)集中有許多人工智能任務(wù)可用來(lái)評(píng)估DNN的準(zhǔn)確率。公開(kāi)數(shù)據(jù)集對(duì)對(duì)比不同方法的準(zhǔn)確率而言非常的重要。最簡(jiǎn)單也最常見(jiàn)的任務(wù)是圖像分類。圖像分類涉及到在給定的完整圖像中，選擇出N類物體中的1類，它不需要進(jìn)行定位于檢測(cè)。其中包括：MNIST：它包含手寫(xiě)數(shù)字的28×28像素的灰度圖像，里面有10大類別(10個(gè)數(shù)字)、6萬(wàn)張訓(xùn)練圖像和1萬(wàn)張測(cè)試圖像。CIFAR：這是一個(gè)包含不同物體32×32像素的彩色圖像數(shù)據(jù)集。ImageNet：它包含的圖像是256×256彩色像素，有1000多類。圖13：MNIST數(shù)據(jù)集(10類、6萬(wàn)張訓(xùn)練圖像、1萬(wàn)張測(cè)試圖像)[59]vs.ImageNet數(shù)據(jù)集(1000多類、130萬(wàn)張訓(xùn)練圖像、10萬(wàn)張測(cè)試圖像)[10]4.用于其它任務(wù)的數(shù)據(jù)集五、用于DNN處理的硬件在這部分里，我們將討論在不同的硬件平臺(tái)中進(jìn)行高效處理而不降低準(zhǔn)確性的策略(所有在本節(jié)中的方法都要輸出完全相同的結(jié)果)。對(duì)于CPU與GPU這樣的時(shí)間敏感架構(gòu)，我們將討論在它們的運(yùn)行中如何減少乘法次數(shù)以增加吞吐量。對(duì)于加速器這樣的空間敏感架構(gòu)，我們討論數(shù)據(jù)流如何能低成本地從存儲(chǔ)器中被調(diào)用，以減少能耗。圖14：高度并行的計(jì)算范式1.在CPU和GPU平臺(tái)上加速核(kernel)計(jì)算圖15：映射到全連接層(a)的矩陣乘法，當(dāng)從單個(gè)輸入特征圖計(jì)算單個(gè)輸出特征圖時(shí)，使用矩陣向量乘法。(b)當(dāng)從N個(gè)輸入特征圖計(jì)算N個(gè)輸出特征圖時(shí)，使用矩陣乘法。圖16：映射到卷積層的矩陣乘法(a)將卷積映射到Toeplitz矩陣。(b)將Toeplitz矩陣擴(kuò)展到多個(gè)通道和濾波器。圖17：用于加速DNN的FFT。2.為加速器設(shè)計(jì)的Energy-EfficientDataflow圖18：每個(gè)MAC的存取圖19：存儲(chǔ)層級(jí)和數(shù)據(jù)移動(dòng)能量圖20：DNN中的數(shù)據(jù)復(fù)用機(jī)會(huì)圖22：DNN的數(shù)據(jù)流。(a)權(quán)重固定(WS)，(b)輸出固定(OS)，(c)沒(méi)有局部復(fù)用(NLR)六、近場(chǎng)數(shù)據(jù)處理在上一章節(jié)中，我們強(qiáng)調(diào)了數(shù)據(jù)流通主導(dǎo)了能源的消耗。雖然空間架構(gòu)盡可能將儲(chǔ)存器安放在離計(jì)算很近的位置(如放入PE)，但同時(shí)我們也在努力將高密度存儲(chǔ)器安置在近計(jì)算的位置，或者直接將計(jì)算集成到存儲(chǔ)器本身中。在嵌入式系統(tǒng)中，我們還努力將計(jì)算放入到傳感器(最先收集數(shù)據(jù)的元件)中。在本論文的這個(gè)章節(jié)中，我們將討論如何通過(guò)使用混合信號(hào)回路(mixed-signalcircuit)設(shè)計(jì)和高級(jí)存儲(chǔ)技術(shù)將處理盡可能放置在離數(shù)據(jù)近的地方以減少數(shù)據(jù)流通。A.DRAMB.SRAMC.非易失性電阻式存儲(chǔ)(Non-volatileResistiveMemories)D.傳感器圖33。通過(guò)(a)SRAMbit-cell和(b)非易失性電阻式存儲(chǔ)進(jìn)行模擬計(jì)算七、DNN模型和硬件的聯(lián)合設(shè)計(jì)(CO-DESIGN)對(duì)DNN模型和DNN硬件進(jìn)行聯(lián)合設(shè)計(jì)可以為處理效率帶來(lái)進(jìn)一步的提升。在傳統(tǒng)上，DNN模型的設(shè)計(jì)目標(biāo)是最大化準(zhǔn)確度，而不會(huì)考慮太多實(shí)現(xiàn)的復(fù)雜性。但是，這可能會(huì)使得設(shè)計(jì)很難實(shí)現(xiàn)。DNN模型和硬件和聯(lián)合設(shè)計(jì)可以有效地聯(lián)合最大化準(zhǔn)確度和吞吐量，同時(shí)最小化能耗和成本，這能增加采用的可能性。這種方法已經(jīng)在其它重要的且廣泛應(yīng)用的多媒體應(yīng)用(比如視頻壓縮)中得到了證明。之前的時(shí)候，視頻標(biāo)準(zhǔn)大多關(guān)注算法開(kāi)發(fā)。從MPEG-2到H.264/AVC，在編碼效率上實(shí)現(xiàn)了2倍的提升，而解碼器復(fù)雜性卻增加了4倍[110]。最近，最新的視頻編碼標(biāo)準(zhǔn)H.265/HEVC[111]使用了算法和硬件的聯(lián)合設(shè)計(jì);結(jié)果其相對(duì)于H.264/AVC在編碼效率上實(shí)現(xiàn)了又2倍的提升[112]，而解碼器復(fù)雜性也只增加了2倍。在這一節(jié)，我們將重點(diǎn)介紹幾個(gè)DNN模型和硬件聯(lián)合設(shè)計(jì)方面的研究。注意和第V節(jié)不同，這一節(jié)所提出的技術(shù)可能會(huì)改變準(zhǔn)確度;盡管其目標(biāo)是在最小化準(zhǔn)確度改變的同時(shí)顯著減少能耗并提高吞吐量。這些方法可以大致分為以下幾類：降低運(yùn)算和操作數(shù)的精度。這包括將浮點(diǎn)數(shù)改為定點(diǎn)數(shù)、減少位寬、移到對(duì)數(shù)域和權(quán)重共享。降低運(yùn)算的數(shù)量和模型的大小。其中的技術(shù)包括：壓縮、剪枝和設(shè)計(jì)緊湊的網(wǎng)絡(luò)架構(gòu)。表3：為AlexNet降低數(shù)值精度的方法。這里的準(zhǔn)確度是在ImageNet上測(cè)得的top-5error。*表示不適用于第一層和/或最后的層八、用于DNN評(píng)估和比較的基準(zhǔn)指標(biāo)1.DNN模型的指標(biāo)為了評(píng)估一個(gè)給定模型的屬性，我們應(yīng)該考慮以下元素：在ImageNet這樣的數(shù)據(jù)集上的top-5error方面的模型準(zhǔn)確度。另外，使用了哪種類型的數(shù)據(jù)增強(qiáng)(比如，多次裁剪、集成模型)。對(duì)于該DNN模型，要么應(yīng)該使用眾所周知的模型，要么就應(yīng)該報(bào)告模型的參數(shù)，包括層的數(shù)量、濾波器大小、濾波器的數(shù)量和通道的數(shù)量。權(quán)重的數(shù)量會(huì)影響該模型的存儲(chǔ)需求，應(yīng)該報(bào)告。如果可能，也應(yīng)該報(bào)告非零權(quán)重的數(shù)量，因?yàn)檫@能反映理論上的最小存儲(chǔ)需求。需要執(zhí)行的MAC的量應(yīng)被報(bào)告，因?yàn)槠浠蚨嗷蛏僦甘玖私o定DNN的運(yùn)算量和吞吐量。如果可能，也應(yīng)該報(bào)告非零MAC的量，因?yàn)檫@能反映理論上的最小計(jì)算需求。表4：流行的DNN指標(biāo)。稀疏性(sparsity)根據(jù)報(bào)告的非零(NZ)權(quán)重和MAC得到2.DNN硬件的指標(biāo)為了測(cè)量DNN硬件的有效性，我們要考慮這些指標(biāo)：硬件設(shè)計(jì)的能量效率，包括每非零MAC(非零權(quán)重和激活)的能量和MAC的位寬(bitwidth)。片外(off-chip)帶寬(如，DRAM帶寬)應(yīng)該報(bào)告的包括片外的每非零MAC(非零權(quán)重和激活)的訪問(wèn)和MAC的位寬區(qū)域效率(areaefficiency)衡量的是芯片的成本，要考慮內(nèi)存(寄存器或SRAM)的尺寸和類型和控制邏輯的量。吞吐量(throughput)應(yīng)該基于多種DNN的運(yùn)行時(shí)間來(lái)報(bào)告，以考慮映射和內(nèi)存帶寬的影響，這能提供比峰值吞吐量更有用和信息更豐富的指標(biāo)。表5：Eyeriss基準(zhǔn)指標(biāo)示例【本文是51CTO專欄機(jī)構(gòu)機(jī)器之心的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心(id:almosthuman2014)”】戳這里，看該作者更多好文【編輯推薦】螞蟻金服生物識(shí)別技術(shù)負(fù)責(zé)人陳繼東：數(shù)據(jù)驅(qū)動(dòng)人工智能引發(fā)行業(yè)變革十年后，你的工作會(huì)被人工智能取代嗎？HanSight瀚思萬(wàn)曉川：國(guó)內(nèi)安全廠商應(yīng)推動(dòng)安全人工智能化在癌癥治療這件事上，要不要相信人工智能？百度首席科學(xué)家吳恩達(dá)宣布離職發(fā)公開(kāi)信表達(dá)對(duì)人工智能信心十足圓通快遞報(bào)價(jià)單始發(fā)地：廣東珠三角地區(qū)：首重7元/KG；續(xù)重2/KG；廣東省內(nèi)：首重8元/KG；續(xù)重2/KG；上海、江蘇、浙江、安徽、江西、湖南、湖北、福建、廣西：首重10元/KG；續(xù)重6/KG；北京、天津、重慶、河南、河北、四川、貴州、山東、云南、海南：首重12元/KG；續(xù)重10/KG；吉林、黑龍江、遼寧、陜西、山西、甘肅、內(nèi)蒙古、青海、寧夏、新疆：首重15元/KG；續(xù)重12/KG；香港：首重20元/KG；續(xù)重15/KG，澳門(mén)：首重20元/KG；續(xù)重20/KG，臺(tái)灣：首重25元/KG；續(xù)重20/KG。順豐快遞順豐快遞價(jià)格表始發(fā)地

目的地首重（1kg）1.1-50kg50.1-100kg100.1-300kg300kg以上廣東

同一地區(qū)101111廣東122222珠三角即日限時(shí)142222廣西梧州156666福建206666廣西（不含梧州）、海南、湖南208877湖北、陜西、四川、重慶、河南、安徽、江西、山西、昆明、貴陽(yáng)、蘭州201210109江蘇、浙江、上海2013111110北京、天津、河北、遼寧、山東、內(nèi)蒙、銀川2014121110吉林、新疆、黑龍江2018161412

香港306444澳門(mén)358666臺(tái)灣3020202020韻達(dá)快遞寄達(dá)地起價(jià)續(xù)價(jià)截止收件寄達(dá)時(shí)限北京8元/1.0公斤3元/1.0公斤18點(diǎn)2D18上海10元/1.0公斤6元/1.0公斤18點(diǎn)2D18天津8元/1.0公斤5元/1.0公斤18點(diǎn)2D18重慶12元/1.0公斤8元/1.0公斤18點(diǎn)2D18河北8元/1.0公斤6元/1.0公斤18點(diǎn)2D18山西12元/1.0公斤6元/1.0公斤18點(diǎn)2D18內(nèi)蒙古18元/1.0公斤10元/1.0公斤18點(diǎn)2D18遼寧12元/1.0公斤8元/1.0公斤18點(diǎn)2D18吉林12元/1.0公斤12元/1.0公斤18點(diǎn)2D18黑龍江12元/1.0公斤10元/1.0公斤18點(diǎn)2D18江蘇10元/1.0公斤8元/1.0公斤18點(diǎn)3D12浙江10元/1.0公斤8元/1.0公斤18點(diǎn)3D12安徽10元/1.0公斤8元/1.0公斤18點(diǎn)3D12福建10元/1.0公斤8元/1.0公斤18點(diǎn)3D12江西12元/1.0公斤8元/1.0公斤18點(diǎn)3D12山東12元/1.0公斤10元/1.0公斤18點(diǎn)3D12河南10元/1.0公斤6元/1.0公斤18點(diǎn)3D12湖北12元/1.0公斤10元/1.0公斤18點(diǎn)3D12湖南12元/1.0公斤8元/1.0公斤18點(diǎn)3D12廣東12元/1.0公斤8元/1.0公斤18點(diǎn)3D12廣西15元/1.0公斤10元/1.0公斤18點(diǎn)3D12海南15元/1.0公斤12元/1.0公斤18點(diǎn)3D12四川15元/1.0公斤12元/1.0公斤18點(diǎn)3D12貴州10元/1.0公斤7元/1.0公斤18點(diǎn)3D18云南10元/1.0公斤7元/1.0公斤18點(diǎn)3D18西藏18元/1.0公斤15元/1.0公斤18點(diǎn)3D18陜西10元/1.0公斤7元/1.0公斤18點(diǎn)3D18甘肅10元/1.0公斤7元/1.0公斤18點(diǎn)3D18青海12元/1.0公斤10元/1.0公斤18點(diǎn)3D18寧夏10元/1.0公斤7元/1.0公斤18點(diǎn)3D18新疆15元/1.0公斤12元/1.0公斤18點(diǎn)3D18臺(tái)灣0元/1.0公斤0元/1.0公斤18點(diǎn)3D18香港0元/1.0公斤0元/1.0公斤18點(diǎn)3D18澳門(mén)0元/1.0公斤0元/1.0公斤18點(diǎn)3D18備注：表中【nDm】第n日m點(diǎn)前送達(dá)，例如【3D18】即第三天18點(diǎn)送達(dá)申通快遞申通快遞報(bào)價(jià)表（始發(fā)地：深圳）到達(dá)地區(qū)首重(1KG)續(xù)重（1KG）深圳同城羅湖,福田,南山,鹽田,寶安,龍崗,布吉,觀蘭,龍華62廣東省廣州,中山,珠海,順德,佛山,南海,番禺,黃埔,東莞,惠州,花都,鶴山,肇慶,江門(mén)82揭陽(yáng),普寧,清遠(yuǎn),清新,佛崗,英德,韶關(guān),高明,新會(huì),河源(東源,紫金),茂名,陽(yáng)西,惠陽(yáng),恩平,梅州,云浮,潮州(潮安,饒平),湛江,廉江,臺(tái)山,四會(huì),陽(yáng)江,陽(yáng)東,陽(yáng)春,開(kāi)平82上海上海(浦東,松江,虹橋,徐匯,青浦,閔行,奉賢,嘉定,羅徑,吳淞,陳行,南匯,金山,普陀,寶山,崇明,梅隴)108江蘇江蘇(南京,棲霞,鎮(zhèn)江,揚(yáng)中,丹陽(yáng),戚墅堰,武進(jìn),金壇,溧陽(yáng),無(wú)錫,宜興,江陰,靖江,蘇州,吳江,昆山,常熟,張家港,泰州,高港,泰興,姜堰,高郵,興化,寶應(yīng),南通,海門(mén),啟東,如東,通州,如皋,海安,錫山,常州,鹽城,太倉(cāng),宿遷,句容,漣水縣,沭陽(yáng),盱眙,建湖,射陽(yáng),阜寧,濱海,響水,大豐,泗洪,洪澤,泗陽(yáng),高淳,南湖,睢寧)10浙江省杭州,諸暨,紹興,柯橋,上虞,嵊州,新昌,椒江,蕭山,臨安,臨平,富陽(yáng),桐廬,建德,湖州,德清,安吉,嘉興,嘉善,平湖,海鹽,桐鄉(xiāng),海寧,寧波,鎮(zhèn)海,慈溪,余姚,奉化,邱隘,寧海,象山,舟山(岱山縣),臨海,三門(mén),天臺(tái),仙居,路橋,黃巖,溫嶺,玉環(huán),金華,蘭溪,武義,義烏,浦江,東陽(yáng),麗水(縉云,青田,龍泉,云和,景寧,慶元,松陽(yáng),遂昌,溫州,瑞安,樂(lè)清,永嘉,永康,衢州,蒼南,龍港,龍游,千島湖,平陽(yáng),江山,長(zhǎng)興,常山,玉環(huán)縣)10安徽省合肥(肥東,肥西),蚌埠,懷遠(yuǎn)縣,淮北,黃山(徽州,歙縣,休寧),淮南,巢湖(無(wú)為,廬江,和縣,含山),天長(zhǎng),蕪湖(繁昌,蕪湖縣,南陵),銅陵,安慶,宣城,涇縣,滁州,六安(霍山,舒城)，太和，寧國(guó)，馬鞍山，當(dāng)涂，績(jī)溪，宿州，池州，毫州，桐城，廣德，繁昌，全椒，蒙城。1210湖南省長(zhǎng)沙128（長(zhǎng)沙縣），望城，耒陽(yáng)，吉首，永州，汩羅，張家界，醴陵，湘潭，株洲，株洲縣，衡陽(yáng)，邵陽(yáng)，新邵，邵東，常德，瀏陽(yáng)，岳陽(yáng)，衡陽(yáng)縣，湘鄉(xiāng)，寧鄉(xiāng)，醴縣，益陽(yáng)，湘陰，（懷化只有到市區(qū)）12湖北省武漢1210仙桃，鄂州，黃岡，武穴，隨州，荊州，沙市，監(jiān)利，公安，黃石（陽(yáng)新），枝江，宜都，松滋，宜城，大冶，宜昌，襄樊，棗陽(yáng)，潛江，武昌，荊門(mén)（沙洋），漢川，鐘祥，廣水，天門(mén)，咸寧，石首，當(dāng)陽(yáng)，洪湖，老河口河南省鄭州1210鞏義，新鄭，登封，中牟，長(zhǎng)葛，沁陽(yáng)，滎陽(yáng)，開(kāi)封，開(kāi)封縣，新鄉(xiāng)，輝縣，衛(wèi)輝，長(zhǎng)垣縣，駐馬店，信陽(yáng)，洛陽(yáng)，偃師，伊川，南陽(yáng)，鄧州，鎮(zhèn)平，油田，淅川，新野，西峽，內(nèi)鄉(xiāng)，唐河，社旗，方城，安陽(yáng)，林州，湯陰，平頂山，項(xiàng)城，漯河，周口，商丘，夏邑，虞城，柘城，三門(mén)峽，許昌，濮陽(yáng)，永城，鶴壁（?？h，淇縣），濟(jì)源，焦作，新縣，汝州。四川省成都1210廣漢，新都，綿陽(yáng)，江油，彭州，龍泉，樂(lè)山，自貢（富順），瀘州（合江），宜賓，內(nèi)江（威遠(yuǎn)縣），遂寧，南光，射洪，西昌，廣元，崇州，新津，大邑，雙流，郫縣，溫江，都江堰，什邡，綿竹，三臺(tái)，攀枝花，資陽(yáng)，簡(jiǎn)陽(yáng)，宜賓縣，雅安，廣安，名山，眉山，青神，彭山，達(dá)州，德陽(yáng)（羅江），漢源，峨眉山，巴中。江西省南昌1210新建縣，九江（湖口縣），武寧縣，德安縣，上饒，上饒縣，宜春，吉安，吉水縣，贛州，景德鎮(zhèn)，萍鄉(xiāng)，新余，瑞昌，撫州，鷹潭，豐城縣，東鄉(xiāng)，永修，上高，玉山，永豐，泰和，遂川，瑞金，信豐，南康，貴溪，樂(lè)平，波陽(yáng)，永修，高安。福建省福州，廈門(mén)，泉州108福清，仙游縣，廈門(mén)，南靖，杏林，海倉(cāng),集美,同安,泉州,德化,安溪,晉江,石獅,漳州,長(zhǎng)泰,龍巖,漳平,福安,永定縣,長(zhǎng)汀,長(zhǎng)樂(lè),閩侯縣,三明,南安,寧德,福鼎,古田縣,屏南,南平,惠安,龍海,武夷山,柘榮,霞浦,漳浦廣西省南寧,桂林,柳州128荔浦，貴港，柳州，柳江縣，北海，合浦縣，欽州，防城港，東興，梧州，玉林，河池，憑祥，賀州，百色，北流，宜州，來(lái)賓海南省?？冢齺?28瓊海，儋州云南省昆明1210曲靖，玉溪，大理，開(kāi)遠(yuǎn)，蒙自，楚雄，思茅，紅河，昭通，景洪，建水，麗江陜西省西安1210寶雞，榆林，漢中（南鄭），咸陽(yáng)（禮泉，乾縣，興平），渭南，銅川直轄市重慶市，北京市，天津市1210重慶（壁山縣，合川，永川，黔江，潼南），北京，天津（寶坻，靜海，薊縣，寧河縣）河北省保定，昌黎，東光，滿城，徐水，高陽(yáng)，蠡縣，安新，雄縣，安國(guó)，唐山，廊坊，霸州，三河，秦皇島，邯鄲，邯鄲縣，定州，撫寧，石家莊，正定，辛集，元氏，新樂(lè)，井陘，晉州，欒城，寧晉，無(wú)極，滄州，青縣，任丘，河間，黃驊，泊頭，邢臺(tái)（平鄉(xiāng)），衡水，安平，冀州，棗強(qiáng)，容城，高碑店，清河，集寧，青田，玉田，獻(xiàn)縣，南宮，鹽山，孟村，故城，承德1212山東省濟(jì)南，青島1210濟(jì)寧，德州，禹城，章丘，長(zhǎng)清，平陰，德州（夏津，陵縣，平原，武城，慶云，樂(lè)陵），淄博（桓臺(tái)，高青），濰坊，安丘，高密，臨朐，青州，昌邑，諸城，煙臺(tái)，威海，榮成，乳山，萊陽(yáng)，膠南，膠州，平度，萊西，濟(jì)寧，濟(jì)陽(yáng)，鄒縣，龍口，黃城，文登，海陽(yáng)，棗莊，東營(yíng)，騰州，徽山，濱州，無(wú)棣，鄒平，曲阜，萊州，廣饒，寧津，陽(yáng)信，東阿，博興，陽(yáng)谷，臨清，莒縣，五蓮，沂源，招遠(yuǎn)，棲霞，蓬萊，榮城，梁山，菏澤（單縣，成武，曹縣，定陶），莘縣，兗州，萊蕪，肥城，巨野，鄆城，鄄城，單縣，鄒城吉林省長(zhǎng)春，（敦化，琿春，圖們，汪清），吉林，四平，公主嶺，遼源，白城，梅河口，通化，松原1212黑龍江哈爾濱，牡丹江，雞西，齊齊哈爾，大慶，佳木斯，鶴崗，綏化，阿城，尚志，綏芬河1212遼寧省沈陽(yáng)，大連1212瓦房店，鞍山，丹東，撫順，錦州，營(yíng)口，葫蘆島，朝陽(yáng)，本溪，盤(pán)錦，遼陽(yáng)，鳳城，海城，鐵嶺，阜新，莊河，普蘭店貴州省貴陽(yáng)，銅仁，凱里，都勻，安順，興義，六盤(pán)水，遵義（遵義縣），畢節(jié)，仁懷1212山西省太原，運(yùn)城，永濟(jì)，臨汾，晉中（祁縣），陽(yáng)泉，聞喜，晉城，忻州，大同1212西北地區(qū)新疆（烏魯木齊，昌吉，石河子，克拉瑪依，庫(kù)爾勒，奎屯），內(nèi)蒙古（呼和浩特，包頭，集寧，鄂爾多斯，赤峰，通遼，烏海，烏蘭浩特），寧夏（銀川，吳忠），青海（西寧），西藏（拉薩），甘肅省（蘭州，天水）1212以下28家網(wǎng)點(diǎn)從即日起暫時(shí)不到付：阜陽(yáng)，池州，德州，新泰，雞西，鐵嶺，阜新，邯鄲，衡水，大同，焦作，許昌，濟(jì)源，隨州，十堰，岳陽(yáng)，上饒，吉安，撫州，宜春，萍鄉(xiāng)，新余，惠安，赤峰，貴港，通遼，佳木斯，齊齊哈爾。注意！若申通快遞不到的，就走郵政EMS快遞，郵政EMS快遞首重0.5KG廣東省內(nèi)20元，省外25元。德邦物流德邦物流價(jià)格表注：空運(yùn)系統(tǒng)暫時(shí)只提供（廣州、深圳）出發(fā)的報(bào)價(jià)服務(wù)！始發(fā)地目的地精準(zhǔn)汽運(yùn)精準(zhǔn)卡航重貨：輕貨:最低一票運(yùn)行時(shí)效重貨：輕貨:最低一票可提貨時(shí)間可派送時(shí)間廣東北京1.25元/KG250元/立方30元3-4天1.7元/公斤340元/立方40元第4日

12:30:00第5日

18:00:00前湖北1元/KG200元/立方30元2-3天1.3元/公斤260元/立方40元第3日

15:00:00第4日

18:00:00前吉林1.55元/KG310元/立方30元5-6天1.95元/公斤390元/立方40元第6日

12:00:00第7日

18:00:00前上海1.1元/KG220元/立方30元2-3天1.4元/公斤280元/立方40元第4日

12:00:00第5日

18:00:00前天津1.25元/KG250元/立方30元3-4天1.7元/公斤340元/立方40元第4日

12:30:00第5日

18:00:00前重慶1.25元/KG250元/立方30元3-4天1.7元/公斤340元/立方40元第4日

12:30:00第5日

18:00:00前河北1.15元/KG230元/立方30元3-4天1.65元/公斤330元/立方40元第4日

12:00:00第5日

18:00:00前山西1.25元/KG250元/立方30元4-5天內(nèi)蒙古1.65元/KG330元/立方30元4-5天2.05元/公斤410元/立方40元第5日

10:00:00第5日

18:00:00前遼寧1.55元/KG310元/立方30元4-5天1.95元/公斤390元/立方40元第5日

11:30:00第5日

18:00:00前黑龍江1.55元/KG310元/立方30元5-6天江蘇1.1元/KG220元/立方30元3-4天1.4元/公斤280元/立方40元第4日

14:00:00第5日

18:00:00前浙江1.15元/KG230元/立方30元2-3天1.65元/公斤330元/立方40元第3日

12:30:00第4日

18:00:00前安徽1.25元/KG250元/立方30元3-4天1.7元/公斤340元/立方40元第4日

13:30:00第5日

18:00:00前福建0.85元/KG170元/立方30元3-4天1.1元/公斤220元/立方40元第4日

11:30:00第4日

18:00:00前江西0.85元/KG170元/立方30元2-3天1.1元/公斤220元/立方40元第3日

15:00:00第4日

18:00:00前山東1.15元/KG230元/立方30元3-4天1.65元/公斤330元/立方40元第4日

12:00:00第5日

18:00:00前河南1.1元/KG220元/立方30元2-3天1.4元/公斤280元/立方40元第4日

11:00:00第4日

18:00:00前湖南0.85元/KG170元/立方30元2-3天1.1元/公斤220元/立方40元第3日

12:00:00第4日

18:00:00前廣東0.5元/KG100元/立方15元1-2天廣西0.85元/KG170元/立方30元2-3天1.1元/公斤220元/立方40元第3日

12:00:00第4日

18:00:00前海南0.85元/KG170元/立方30元2-3天1.1元/公斤220元/立方40元第3日

11:30:00第3日

18:00:00前四川1.25元/KG250元/立方30元3-4天1.7元/公斤340元/立方40元第4日

16:20:00第5日

18:00:00前貴州0.85元/KG170元/立方30元