內(nèi)存系統(tǒng)對(duì)性能的影響

1、內(nèi)存系統(tǒng)對(duì)性能的影響第1頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一內(nèi)存系統(tǒng)對(duì)性能的影響 對(duì)于很多應(yīng)用而言，瓶頸在于內(nèi)存系統(tǒng)，而不是CPU內(nèi)存系統(tǒng)的性能包括兩個(gè)方面：延遲和帶寬Latency is the time from the issue of a memory request to the time the data is available at the processor. Bandwidth is the rate at which data can be pumped to the processor by the memory system. 第2頁，共16頁，2

2、022年，5月20日，7點(diǎn)44分，星期一延遲和帶寬的區(qū)別 理解延遲與帶寬的區(qū)別非常重要。 考慮消防龍頭的情形。如果打開消防龍頭后2秒水才從消防水管的盡頭流出，那么這個(gè)系統(tǒng)的延遲就是2秒。當(dāng)水開始流出后，如果水管1秒鐘能流出5加侖的水，那么這個(gè)水管的“帶寬”就是5加侖/秒。如果想立刻撲滅火災(zāi)，那么更重要是減少延遲的時(shí)間。如果是希望撲滅更大的火，那么需要更高的帶寬。第3頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一內(nèi)存延遲示例考慮某一處理器以1GHz（1納秒時(shí)鐘）運(yùn)行，與之相連的DRAM有100納秒的延遲（沒有高速緩存）。假設(shè)處理器有兩個(gè)multiply-add部件，在每1納秒的周期內(nèi)能

3、執(zhí)行4條指令。處理器的峰值是4GFLOPS。由于內(nèi)存延遲是100個(gè)周期，并且塊大小為一個(gè)字（word），每次處理內(nèi)存訪問請(qǐng)求時(shí)，處理器必須要等待100個(gè)周期，才能夠獲得數(shù)據(jù)。第4頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一內(nèi)存延遲示例在以上平臺(tái)上，考慮計(jì)算兩個(gè)向量點(diǎn)積的問題。計(jì)算點(diǎn)積對(duì)每對(duì)向量元素進(jìn)行一次乘法-加法運(yùn)算，即每一次浮點(diǎn)運(yùn)算需要取一次數(shù)據(jù)。此計(jì)算的峰值速度的限制是，每100納秒才能夠進(jìn)行一次浮點(diǎn)計(jì)算，速度為10MFLOPS，只是處理器峰值速度的每小一部分。第5頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一使用高速緩存改善延遲 高速緩存是處理器與DRAM之間的更

4、小但更快的內(nèi)存單元。這種內(nèi)存是低延遲高帶寬的存儲(chǔ)器。如果某塊數(shù)據(jù)被重復(fù)使用，高速緩存就能減少內(nèi)存系統(tǒng)的有效延遲由高速緩存提供的數(shù)據(jù)份額稱為高速緩存命中率(hit ratio )高速緩存命中率嚴(yán)重影響內(nèi)存受限程序的性能。第6頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一高速緩存第7頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一緩存效果示例 繼續(xù)考慮前一示例。在其中加入一個(gè)大小為32KB，延遲時(shí)間為1納秒(或1個(gè)周期)的高速緩存。使用此系統(tǒng)來計(jì)算矩陣乘法，兩個(gè)矩陣A和B的維數(shù)為32 32。之所以選擇這個(gè)大小，是為了能夠?qū)、B兩個(gè)矩陣以及結(jié)果矩陣都放入高速緩存中。第8頁，共16

5、頁，2022年，5月20日，7點(diǎn)44分，星期一緩存效果示例結(jié)果如下將兩個(gè)矩陣取到高速緩存中等同于取2K個(gè)字，需要大約200 s。兩個(gè)n n 的矩陣乘需要2n3 步計(jì)算。在本例中，需要64K步計(jì)算，如果每個(gè)周期執(zhí)行4條指令，則需要16K個(gè)周期，即 16 s。總計(jì)算時(shí)間大約是加載存儲(chǔ)時(shí)間以及計(jì)算時(shí)間之和，即200 + 16 s。峰值計(jì)算速度為64K/216 =303 MFLOPS。第9頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一緩存的效果對(duì)相同數(shù)據(jù)項(xiàng)的重復(fù)引用相當(dāng)于“時(shí)間本地性(temporal locality)”對(duì)于高速緩存的性能來說，數(shù)據(jù)的重復(fù)使用至關(guān)重要。第10頁，共16頁，2

6、022年，5月20日，7點(diǎn)44分，星期一內(nèi)存帶寬的影響內(nèi)存帶寬由內(nèi)存總線的帶寬和內(nèi)存部件決定。 可以通過增加內(nèi)存塊的大小來提高帶寬。底層系統(tǒng)在 L時(shí)間單位內(nèi)(L為系統(tǒng)的延遲)存取B單位的數(shù)據(jù)(B為塊大小)第11頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一內(nèi)存帶寬的影響示例繼續(xù)上一示例，將塊大小由1個(gè)字改為4個(gè)字。同樣考慮點(diǎn)積計(jì)算：假定向量數(shù)據(jù)在內(nèi)存中線性排列，則在200個(gè)周期內(nèi)能夠執(zhí)行8FLOPs(4次乘法-加法)這是因?yàn)槊恳淮蝺?nèi)存訪問取出向量中4個(gè)連續(xù)的字因此，兩次連續(xù)訪問能夠取出每個(gè)向量中的4個(gè)元素。這就相當(dāng)于每25ns執(zhí)行一次FLOP，即峰值速度為40MFLOPS。第12頁，

7、共16頁，2022年，5月20日，7點(diǎn)44分，星期一內(nèi)存帶寬的影響需要注意的是，增加塊的大小，并不能改變系統(tǒng)的延遲。物理上講，本例中的情形可以認(rèn)為是與多個(gè)存儲(chǔ)區(qū)相連接的寬的數(shù)據(jù)總線(4個(gè)字，或者128位) 實(shí)際上，構(gòu)建這樣的寬總線的代價(jià)是昂貴的。在更切實(shí)可行的系統(tǒng)中，得到第一個(gè)字后，連續(xù)的字在緊接著的總線周期里被送到內(nèi)存總線。第13頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一內(nèi)存帶寬的影響示例以上示例清楚地說明了增加帶寬對(duì)于提高峰值計(jì)算速度的影響。對(duì)數(shù)據(jù)布局的假設(shè)是，連續(xù)的數(shù)據(jù)字被連續(xù)的指令所使用(空間本地性，spatial locality ) 如果以數(shù)據(jù)布局為中心，那么計(jì)算的步驟應(yīng)該確保連接的計(jì)算使用連接的數(shù)據(jù)第14頁，共16頁，2022年，5月20日，7點(diǎn)44分，星期一小結(jié) 以上示例說闡述了如下概念：利用應(yīng)用程序的空間本地性與時(shí)間本地性對(duì)于減少內(nèi)存延遲及提高有效內(nèi)存帶寬非常重要。計(jì)算次數(shù)與內(nèi)存訪問次數(shù)的比是一個(gè)很好的預(yù)測(cè)內(nèi)存帶寬的承受程序的指標(biāo)。內(nèi)存的布局以及合理組織計(jì)算次序能對(duì)空間本地性和