linux文件系統(tǒng)的比較參考模板

1、Linux日志文件系統(tǒng)及性能分析吳慶波，副研究員，長(zhǎng)期從事操作系統(tǒng)的研究。簡(jiǎn)介：日志文件系統(tǒng)可以在系統(tǒng)發(fā)生斷電或者其它系統(tǒng)故障時(shí)保證整體數(shù)據(jù)的完整性，Linux是目前支持日志文件系統(tǒng)最多的操作系統(tǒng)之一，本文重點(diǎn)研究了Linux常用的日志文件系統(tǒng)：EXT3、ReiserFS、XFS和JFS日志技術(shù)，并采用標(biāo)準(zhǔn)的測(cè)試工具PostMark和Bonnie+對(duì)它們進(jìn)行了測(cè)試，給出了詳細(xì)的性能分析，對(duì)Linux服務(wù)器應(yīng)用具有重要的參考價(jià)值。一、概述所謂日志文件系統(tǒng)是在傳統(tǒng)文件系統(tǒng)的基礎(chǔ)上，加入文件系統(tǒng)更改的日志記錄，它的設(shè)計(jì)思想是：跟蹤記錄文件系統(tǒng)的變化，并將變化內(nèi)容記錄入日志。日志文件系統(tǒng)在磁盤分區(qū)中保

2、存有日志記錄，寫操作首先是對(duì)記錄文件進(jìn)行操作，若整個(gè)寫操作由于某種原因(如系統(tǒng)掉電)而中斷，系統(tǒng)重啟時(shí)，會(huì)根據(jù)日志記錄來恢復(fù)中斷前的寫操作。在日志文件系統(tǒng)中，所有的文件系統(tǒng)的變化都被記錄到日志，每隔一定時(shí)間，文件系統(tǒng)會(huì)將更新后的元數(shù)據(jù)及文件內(nèi)容寫入磁盤。在對(duì)元數(shù)據(jù)做任何改變以前，文件系統(tǒng)驅(qū)動(dòng)程序會(huì)向日志中寫入一個(gè)條目，這個(gè)條目描述了它將要做些什么，然后它修改元數(shù)據(jù)。目前Linux的日志文件系統(tǒng)主要有：在Ext2基礎(chǔ)上開發(fā)的Ext3，根據(jù)面向?qū)ο笏枷朐O(shè)計(jì)的ReiserFS，由SGI IRIX系統(tǒng)移植過來的XFS，由IBM AIX系統(tǒng)移植過來的JFS，其中EXT3完全兼容EXT2，其磁盤結(jié)構(gòu)和EX

3、T2完全一樣，只是加入日志技術(shù)；而后三種文件系統(tǒng)廣泛使用了B樹以提高文件系統(tǒng)的效率。回頁首二、Ext3Ext3文件系統(tǒng)是直接從Ext2文件系統(tǒng)發(fā)展而來，目前Ext3文件系統(tǒng)已經(jīng)非常穩(wěn)定可靠，它完全兼容Ext2文件系統(tǒng)，用戶可以平滑地過渡到一個(gè)日志功能健全的文件系統(tǒng)。Ext3日志文件系統(tǒng)的思想就是對(duì)文件系統(tǒng)進(jìn)行的任何高級(jí)修改都分兩步進(jìn)行。首先，把待寫塊的一個(gè)副本存放在日志中；其次，當(dāng)發(fā)往日志的I/O 數(shù)據(jù)傳送完成時(shí)（即數(shù)據(jù)提交到日志），塊就寫入文件系統(tǒng)。當(dāng)發(fā)往文件系統(tǒng)的I/O 數(shù)據(jù)傳送終止時(shí)（即數(shù)據(jù)提交給文件系統(tǒng)），日志中的塊副本就被丟棄。2.1 Ext3日志模式Ext3既可以只對(duì)元數(shù)據(jù)做日志，

4、也可以同時(shí)對(duì)文件數(shù)據(jù)塊做日志。具體來說，Ext3提供以下三種日志模式： 日志（Journal ）文件系統(tǒng)所有數(shù)據(jù)和元數(shù)據(jù)的改變都記入日志。這種模式減少了丟失每個(gè)文件所作修改的機(jī)會(huì)，但是它需要很多額外的磁盤訪問。例如，當(dāng)一個(gè)新文件被創(chuàng)建時(shí)，它的所有數(shù)據(jù)塊都必須復(fù)制一份作為日志記錄。這是最安全和最慢的Ext3日志模式。 2 / 14 預(yù)定（Ordered ）只有對(duì)文件系統(tǒng)元數(shù)據(jù)的改變才記入日志。然而，Ext3文件系統(tǒng)把元數(shù)據(jù)和相關(guān)的數(shù)據(jù)塊進(jìn)行分組，以便把元數(shù)據(jù)寫入磁盤之前寫入數(shù)據(jù)塊。這樣，就可以減少文件內(nèi)數(shù)據(jù)損壞的機(jī)會(huì)；例如，確保增大文件的任何寫訪問都完全受日志的保護(hù)。這是缺省的Ext3 日志模式

5、。 寫回（Writeback ）只有對(duì)文件系統(tǒng)元數(shù)據(jù)的改變才記入日志；這是在其他日志文件系統(tǒng)發(fā)現(xiàn)的方法，也是最快的模式。 2.2 日志塊設(shè)備（JBD）Ext3 文件系統(tǒng)本身不處理日志，而是利用日志塊設(shè)備（Journaling Block Device）或叫JBD 的通用內(nèi)核層。Ext3文件系統(tǒng)調(diào)用JDB例程以確保在系統(tǒng)萬一出現(xiàn)故障時(shí)它的后續(xù)操作不會(huì)損壞磁盤數(shù)據(jù)結(jié)構(gòu)。Ext3 與JDB 之間的交互本質(zhì)上基于三個(gè)基本單元：日志記錄，原子操作和事務(wù)。日志記錄本質(zhì)上是文件系統(tǒng)將要發(fā)出的低級(jí)操作的描述。在某些日志文件系統(tǒng)中，日志記錄只包括操作所修改的字節(jié)范圍及字節(jié)在文件系統(tǒng)中的起始位置。然而，JDB 層

6、使用的日志記錄由低級(jí)操作所修改的整個(gè)緩沖區(qū)組成。這種方式可能浪費(fèi)很多日志空間（例如，當(dāng)?shù)图?jí)操作僅僅改變位圖的一個(gè)位時(shí)），但是，它還是相當(dāng)快的，因?yàn)镴BD 層直接對(duì)緩沖區(qū)和緩沖區(qū)首部進(jìn)行操作。修改文件系統(tǒng)的任一系統(tǒng)調(diào)用都通常劃分為操縱磁盤數(shù)據(jù)結(jié)構(gòu)的一系列低級(jí)操作。如果這些低級(jí)操作還沒有全部完成系統(tǒng)就意外宕機(jī)，就會(huì)損壞磁盤數(shù)據(jù)。為了防止數(shù)據(jù)損壞，Ext3文件系統(tǒng)必須確保每個(gè)系統(tǒng)調(diào)用以原子的方式進(jìn)行處理。原子操作是對(duì)磁盤數(shù)據(jù)結(jié)構(gòu)的一組低級(jí)操作，這組低級(jí)操作對(duì)應(yīng)一個(gè)單獨(dú)的高級(jí)操作。出于效率的原因，JBD 層對(duì)日志的處理采用分組的方法，即把屬于幾個(gè)原子操作處理的日志記錄分組放在一個(gè)單獨(dú)的事務(wù)中。此外，與

7、一個(gè)處理相關(guān)的所有日志記錄都必須包含在同一個(gè)事務(wù)中。一個(gè)事務(wù)的所有日志記錄都存放在日志的連續(xù)塊中。JBD層把每個(gè)事務(wù)作為整體來處理。例如，只有當(dāng)包含在一個(gè)事務(wù)的日志記錄中的所有數(shù)據(jù)提交給文件系統(tǒng)時(shí)才回收該事務(wù)所使用的塊。三、ReiserFSReiserFS是一個(gè)非常優(yōu)秀的文件系統(tǒng)，其開發(fā)者非常有魄力，整個(gè)文件系統(tǒng)完全是從頭設(shè)計(jì)的。目前，ReiserFS可輕松管理上百G的文件系統(tǒng)，這在企業(yè)級(jí)應(yīng)用中非常重要。ReiserFS 是根據(jù)面向?qū)ο蟮乃枷朐O(shè)計(jì)的，由語義層（semantic layer)和存儲(chǔ)層（storage layer)組成。語義層主要是對(duì)對(duì)象命名空間的管理及對(duì)象接口的定義，以確定對(duì)象的

8、功能。存儲(chǔ)層主要是對(duì)磁盤空間的管理。語義層與存儲(chǔ)層是通過鍵（key）聯(lián)系的。語義層通過對(duì)對(duì)象名進(jìn)行解析生成鍵，存儲(chǔ)層通過鍵找到對(duì)象在磁盤上存儲(chǔ)空間，鍵值是全局唯一的。3.1 語義層主要接口1) 文件接口 每個(gè)文件擁有一個(gè)接口ID，此ID標(biāo)識(shí)一個(gè)方法集，此方法集包含訪問ReiserFS 文件的所有接口。2) 屬性接口 ReiserFS實(shí)現(xiàn)了一種新接口，把文件的每一種屬性當(dāng)做一個(gè)文件，屬性的值就是此文件的內(nèi)容，以實(shí)現(xiàn)對(duì)文件屬性的目錄式訪問。3) hash接口 目錄是文件名到文件的映射表，ReiserFS是通過B樹來實(shí)現(xiàn)這張映射表。由于文件名是變長(zhǎng)的，而且有時(shí)文件名會(huì)很長(zhǎng)，所以文件名不適合作為鍵值，

9、故引入了Hash函數(shù)來產(chǎn)生鍵值。4) 安全接口 安全接口處理所有的安全性檢查，通常是由文件接口觸發(fā)的。下面以讀文件為例：文件接口的read 方法在讀入文件數(shù)據(jù)之前會(huì)調(diào)用安全接口的read chech 方法來來進(jìn)行安全性檢查,而后者又會(huì)調(diào)用屬性文件的read方法把文件屬性讀入以便檢查。5) 項(xiàng)（Item）接口 項(xiàng)接口主要是一些對(duì)項(xiàng)進(jìn)行平衡處理的方法，包括：項(xiàng)的拆分，項(xiàng)的評(píng)估，項(xiàng)的覆寫，項(xiàng)的追加，項(xiàng)的刪除，插入及查找。 6) 鍵分配（key Assignment）接口 當(dāng)把一個(gè)鍵分配給一個(gè)項(xiàng)時(shí)，鍵分配接口就會(huì)被觸發(fā)。每一種項(xiàng)都有一個(gè)與其對(duì)應(yīng)的鍵分配方法。3.2 存儲(chǔ)層ReiserFS是以B+樹來存

10、儲(chǔ)數(shù)據(jù)的,其結(jié)構(gòu)如圖：圖1：ReiserFS B+ 樹在B+樹中的各個(gè)結(jié)點(diǎn)中有一個(gè)稱為項(xiàng)（Item）的數(shù)據(jù)結(jié)構(gòu)。項(xiàng)是一個(gè)數(shù)據(jù)容器，一個(gè)項(xiàng)只屬于一個(gè)結(jié)點(diǎn)，是結(jié)點(diǎn)管理空間的基本單位。如圖所示，一個(gè)項(xiàng)包括以下內(nèi)容：1) Item_body：項(xiàng)的數(shù)據(jù)域2) Item_key： 項(xiàng)的鍵值3) Item_offset：數(shù)據(jù)域的起點(diǎn)在結(jié)點(diǎn)中的偏移量4) Item_length： 數(shù)據(jù)域的長(zhǎng)度5) Item_Plugin_id：項(xiàng)接口ID。圖2： ReiserFS 項(xiàng)結(jié)構(gòu)ReiserFS設(shè)計(jì)了多種不同的項(xiàng)以存儲(chǔ)不同的數(shù)據(jù)，主要有以下幾種：1) static_stat_data： 靜態(tài)統(tǒng)計(jì)數(shù)據(jù)，包括文件的所有者

11、，訪問權(quán)限，創(chuàng)建時(shí)間，最近修改時(shí)間，鏈接數(shù)等2) cmpnd_dir_item： 包含各個(gè)目錄項(xiàng)3) extend_pointers： 指向一個(gè)盤區(qū)（extend）4) node_pointers： 指向一個(gè)結(jié)點(diǎn)5) bodies： 包含的是文件的小部分?jǐn)?shù)據(jù) 3.3 ReiserFS日志與ext3一樣，ReiserFS也有三種日志模式，即journal,ordered,writeback。同時(shí)，ReiserFS引入了兩種日志優(yōu)化方法：copy-on-capture和steal-on-capture。copy-on-capture:當(dāng)一個(gè)事務(wù)要修改的塊在另一個(gè)未提交的事務(wù)中時(shí)，就把這個(gè)塊復(fù)制一份

12、，這樣這兩個(gè)事務(wù)就可以并發(fā)進(jìn)行了。steal-on-capture：當(dāng)一個(gè)塊被多個(gè)事務(wù)修改時(shí)，只有最晚提交的那個(gè)事務(wù)才把這個(gè)塊實(shí)際寫入文件系統(tǒng)，其他事務(wù)都不寫這個(gè)塊。四、XFSXFS 是一種高性能的64 位文件系統(tǒng)，由SGI 公司為了替代原有的EFS 文件系統(tǒng)而開發(fā)的。XFS 通過保持cache 的一致性、定位數(shù)據(jù)和分布處理磁盤請(qǐng)求來提供對(duì)文件系統(tǒng)數(shù)據(jù)的低延遲、高帶寬的訪問。目前SGI已經(jīng)將XFS文件系統(tǒng)從IRIX移植到Linux。4.1 分配組（allocation groups）當(dāng)創(chuàng)建 XFS 文件系統(tǒng)時(shí)，底層塊設(shè)備被分割成八個(gè)或更多個(gè)大小相等的線性區(qū)域（region），用戶可以將它們想象

13、成塊（chunk）或者線性范圍（range），在 XFS 中，每個(gè)區(qū)域稱為一個(gè)分配組。分配組是唯一的，因?yàn)槊總€(gè)分配組管理自己的索引節(jié)點(diǎn)（inode）和空閑空間，實(shí)際上是將這些分配組轉(zhuǎn)化為一種文件子系統(tǒng)，這些子系統(tǒng)透明地存在于 XFS 文件系統(tǒng)內(nèi)。有了分配組，XFS 代碼將允許多個(gè)線程和進(jìn)程持續(xù)以并行方式運(yùn)行，即使它們中的許多線程和進(jìn)程正在同一文件系統(tǒng)上執(zhí)行大規(guī)模 IO 操作。因此，將 XFS 與某些高端硬件相結(jié)合，將獲得高性能而不會(huì)使文件系統(tǒng)成為瓶頸。分配組在內(nèi)部使用高效的 B+樹來跟蹤主要數(shù)據(jù)，具有優(yōu)越性能和極大的可擴(kuò)展性。4.2 日志記錄XFS 也是一種日志記錄文件系統(tǒng)，它允許意外重新引導(dǎo)

14、后的快速恢復(fù)。象 ReiserFS 一樣，XFS 使用邏輯日志；它不象 ext3 那樣將文字文件系統(tǒng)塊記錄到日志，而是使用一種高效的磁盤格式來記錄元數(shù)據(jù)的變動(dòng)。就 XFS 而言，邏輯日志記錄是很適合的；在高端硬件上，日志經(jīng)常是整個(gè)文件系統(tǒng)中爭(zhēng)用最多的資源。通過使用節(jié)省空間的邏輯日志記錄，可以將對(duì)日志的爭(zhēng)用降至最小。另外，XFS 允許將日志存儲(chǔ)在另一個(gè)塊設(shè)備上，例如，另一個(gè)磁盤上的一個(gè)分區(qū)。這個(gè)特性很有用，它進(jìn)一步改進(jìn)了 XFS 文件系統(tǒng)的性能。4.3 延遲分配延遲分配是 XFS 獨(dú)有的特性，它是查找空閑空間區(qū)域并用于存儲(chǔ)新數(shù)據(jù)的過程。通過延遲分配，XFS 贏得了許多機(jī)會(huì)來優(yōu)化寫性能。到了要將數(shù)

15、據(jù)寫到磁盤的時(shí)候，XFS 能夠以這種優(yōu)化文件系統(tǒng)性能的方式，智能地分配空閑空間。尤其是，如果要將一批新數(shù)據(jù)添加到單一文件，XFS 可以在磁盤上分配一個(gè)單一、相鄰區(qū)域來儲(chǔ)存這些數(shù)據(jù)。如果 XFS 沒有延遲它的分配決定，那么，它也許已經(jīng)不知不覺地將數(shù)據(jù)寫到了多個(gè)非相鄰塊中，從而顯著地降低了寫性能。但是，因?yàn)?XFS 延遲了它的分配決定，所以，它能夠一下子寫完數(shù)據(jù)，從而提高了寫性能，并減少了整個(gè)文件系統(tǒng)的碎片。在性能上，延遲分配還有另一個(gè)優(yōu)點(diǎn)。在要?jiǎng)?chuàng)建許多短命的臨時(shí)文件的情況下，XFS 可能根本不需要將這些文件全部寫到磁盤。因?yàn)閺奈唇o這些文件分配任何塊，所以，也就不必釋放任何塊，甚至根本沒有觸及底層

16、文件系統(tǒng)元數(shù)據(jù)。五、JFSJFS 由IBM 公司開發(fā)，最初出現(xiàn)在AIX 操作系統(tǒng)之上，它提供了基于日志的字節(jié)級(jí)、面向事務(wù)的高性能文件系統(tǒng)。它具有可伸縮性和健壯性，與非日志文件系統(tǒng)相比，它的優(yōu)點(diǎn)是其快速重啟能力：JFS 能夠在幾秒或幾分鐘內(nèi)就把文件系統(tǒng)恢復(fù)到一致狀態(tài)。JFS 是完全 64 位的文件系統(tǒng)。所有 JFS 文件系統(tǒng)結(jié)構(gòu)化字段都是 64 位大小。這允許 JFS 同時(shí)支持大文件和大分區(qū)。為了支持 DCE DFS（分布式計(jì)算環(huán)境分布式文件系統(tǒng)），JFS 將磁盤空間分配池（稱為聚集）的概念, 與可安裝的文件系統(tǒng)子樹（稱為文件集）的概念分開。每個(gè)分區(qū)只有一個(gè)聚集；每個(gè)聚集可能有多個(gè)文件集。在第一

17、個(gè)發(fā)行版中，JFS 僅支持每個(gè)聚集一個(gè)文件集；但是，所有元數(shù)據(jù)都已設(shè)計(jì)成適用于所有情況。如圖3所示，聚集開始部分是32K的保留區(qū)，緊隨其后的是聚集主超級(jí)塊。超級(jí)塊包含聚集的信息，例如：聚集的大小、分配組的大小、聚集塊的尺寸等等。超級(jí)塊位于固定位置，這使得 JFS 不依賴任何其它信息，就能夠找到它們。在聚集中還有一個(gè)重要的結(jié)構(gòu)是聚集索引結(jié)點(diǎn)表（Aggregate Inode Table）以及用于其映射的聚集索引結(jié)點(diǎn)分配映射表（Aggregate Inode Allocation Map）。AIT表中的inode 0 保留，inode 1 描述聚集本身，inode 2 描述聚集塊映射表（block

18、 map）， inode 3 描述安裝時(shí)的內(nèi)嵌日志，inode 4 描述在聚集格式化期間發(fā)現(xiàn)的壞塊，保留inode 5 到 15 以備將來擴(kuò)展。 從inode 16 開始，每個(gè)inode代表一個(gè)文件集。文件集中也有索引結(jié)點(diǎn)表以及用于其映射的索引結(jié)點(diǎn)分配映射表，文件集中的inode 描述文件集中的每一個(gè)文件。圖3 JFS磁盤結(jié)構(gòu)JFS 使用基于盤區(qū)的尋址結(jié)構(gòu)，連同主動(dòng)的塊分配策略，產(chǎn)生緊湊、高效、可伸縮的結(jié)構(gòu)，以將文件中的邏輯偏移量映射成磁盤上的物理地址。盤區(qū)是象一個(gè)單元那樣分配給文件的相連塊序列，可用一個(gè)由 組成的三元組來描述。尋址結(jié)構(gòu)是一棵 B+ 樹，該樹由盤區(qū)描述符（上面提到的三元組）填充

19、，根在 inode 中，鍵為文件中的邏輯偏移量。JFS 按需為磁盤 inode 動(dòng)態(tài)地分配空間，同時(shí)釋放不再需要的空間。這一支持避開了在文件系統(tǒng)創(chuàng)建期間，為磁盤 inode 保留固定數(shù)量空間的傳統(tǒng)方法，因此用戶不再需要估計(jì)文件系統(tǒng)包含的文件和目錄最大數(shù)目。另外，這一支持使磁盤 inode 與固定磁盤位置分離。JFS 提供兩種不同的目錄組織。第一種組織用于小目錄，并且在目錄的 inode 內(nèi)存儲(chǔ)目錄內(nèi)容。這就不再需要不同的目錄塊 I/O，同時(shí)也不再需要分配不同的存儲(chǔ)器。最多可有 8 個(gè)項(xiàng)可直接存儲(chǔ)在 inode 中，這些項(xiàng)不包括自己(.)和父(.)目錄項(xiàng)，這兩個(gè)項(xiàng)存儲(chǔ)在 inode 中不同的區(qū)域

20、內(nèi)。第二種組織用于較大的目錄，用按名字鍵控的 B+ 樹表示每個(gè)目錄。與傳統(tǒng)無序的目錄組織比較，它提供更快的目錄查找、插入和刪除能力。六、性能測(cè)試6.1 測(cè)試環(huán)境6.2測(cè)試工具所用的測(cè)試工具是Postmark和Bonnie+。Postmark主要用于測(cè)試文件系統(tǒng)在郵件系統(tǒng)或電子商務(wù)系統(tǒng)中性能，這類應(yīng)用的特點(diǎn)是：需要頻繁、大量地存取小文件。而Bonnie+主要測(cè)試大文件的IO性能。6.3 測(cè)試結(jié)果分析下面將詳細(xì)分析用上述兩種測(cè)試工具在各種測(cè)試參數(shù)配置下的結(jié)果。圖4 PostMark 小文件圖 4是PostMark測(cè)試小文件的結(jié)果，其參數(shù)是文件大小50B增至1K, 同一目錄下的文件數(shù)從5k至20k，

21、事務(wù)總數(shù)為25k。從圖中我們可以看出：1. 不論是Ext3 還是ReiserFS,在三種日志模式中，寫回（writeback）最快，預(yù)定（ordered）次之，日志（journal）最慢。2. 在各種文件系統(tǒng)中，ReiserFS 的寫回和預(yù)定模式是最快的，且隨著文件數(shù)的增加事務(wù)處理速度下降的也很慢。3. Ext3在文件數(shù)較少時(shí)，事務(wù)處理速度也比較快，但當(dāng)文件數(shù)超過10k后，速度就比較慢了。4. XFS和JFS的速度較慢，但隨著文件數(shù)的增加，速度下降的比較緩慢。圖5 PostMark 大文件圖5是PostMark測(cè)試大文件的結(jié)果，其參數(shù)是文件大小1k至16K,同一目錄下的文件數(shù)從5k增至20k，

22、事務(wù)總數(shù)為25k時(shí)的測(cè)試結(jié)果。從圖中我們可以看出：1. 在處理大文件時(shí)，當(dāng)文件數(shù)達(dá)到15k時(shí)，各種文件系統(tǒng)處理能力都較差。2. 當(dāng)文件數(shù)在小于10k時(shí)，ReiserFS的寫回、預(yù)定模式和EXT3的寫回模式性能是比較好的。但這兩種文件系統(tǒng)的全日志模式都比較差。3. XFS文件系統(tǒng)的性能居中，JFS文件系統(tǒng)的性能最差。圖6：Bonnie+順序?qū)懙乃俾蕡D7：Bonnie+順序?qū)憰r(shí)CPU利用率圖6是Bonnie+對(duì)文件大小分別為1G，2G，4G順序?qū)懙男阅鼙容^，圖7是其CPU的利用率比較。從上述兩圖中我們可以看出：1. 除了Ext3和ReiserFS的Journal模式的性能較差外，其他幾種模式和XFS、JFS寫磁盤的速率相當(dāng)。2. 從CPU利用率來看，各種文件系統(tǒng)的CPU利用率都比較低，而