重復數(shù)據(jù)刪除對備份技術的影響

反復數(shù)據(jù)刪除對備份技術影響摘要:反復數(shù)據(jù)刪除是一個非常高級數(shù)據(jù)縮減方法,能夠極大降低備份數(shù)據(jù)數(shù)量。這種技術經(jīng)過降低存放數(shù)據(jù)量,改變數(shù)據(jù)保護方法,卓越提升了磁盤備份方法經(jīng)濟性。反復數(shù)據(jù)刪除被業(yè)界公認為備份技術下一代發(fā)展步驟,是今日數(shù)據(jù)中心“必備”技術。標簽:反復數(shù)據(jù)刪除

存放

冗余數(shù)據(jù)今日,IT經(jīng)理及管理員們不僅要面對日益爆炸數(shù)據(jù)增加難題,還要擔負由此引發(fā)不停上升備份及容災所需主存放成本壓力。然而,每完成一次全備份,都會備份大量與之前全備份相同文件和數(shù)據(jù),相同數(shù)據(jù)多個備份,占據(jù)了大量昂貴磁盤空間。伴隨時間推移,一次備份中反復數(shù)據(jù)會充斥于全部服務器、全部備份工作(全備份及增量備份)。反復數(shù)據(jù)刪除是一個非常高級數(shù)據(jù)縮減方法,能夠極大降低備份數(shù)據(jù)數(shù)量。這種技術經(jīng)過降低存放數(shù)據(jù)量,改變數(shù)據(jù)保護方法,卓越提升了磁盤備份方法經(jīng)濟性。反復數(shù)據(jù)刪除被業(yè)界公認為備份技術下一代發(fā)展步驟,是今日數(shù)據(jù)中心“必備”技術。反復數(shù)據(jù)刪除應運而生反復數(shù)據(jù)刪除是一項非常新技術,專門用于在降低需要備份數(shù)據(jù)量、最大化存放利用率同時,使更多備份數(shù)據(jù)在線保留更長時間。通常來講,反復數(shù)據(jù)刪除技術會將最新備份數(shù)據(jù)與已經(jīng)有之前備份數(shù)據(jù)進行比對,從而消除冗余數(shù)據(jù)。這項技術優(yōu)勢在于數(shù)據(jù)降低不僅使存放效率更高、成本更節(jié)省,帶寬利用也降到最低,使更經(jīng)濟、愈加快速實現(xiàn)備份數(shù)據(jù)遠程復制成為可能。然而,現(xiàn)在市場中反復數(shù)據(jù)刪除處理方案還有很大差異,有些處理方案會使備份處理速度變很慢,甚至引發(fā)無法估計且不可恢復數(shù)據(jù)丟失。塊級反復數(shù)據(jù)刪除多年以前反復數(shù)據(jù)刪除技術,能夠看作是文件級技術,當初稱之為“單一實例存放(SingleInstanceStore,SIS)”,經(jīng)過SIS技術,整個文件系統(tǒng)或電子郵件系統(tǒng)反復文件能夠被降低為單一拷貝,當再出現(xiàn)這一文件時,會被指向到這一單一拷貝,從而降低容量需求。這一技術通常被用于電子郵件管理及歸檔系統(tǒng)。今天反復數(shù)據(jù)刪除技術利用了與SIS類似數(shù)據(jù)縮減概念,但卻使之向前前進了一大步–實現(xiàn)了塊級(子文件)反復數(shù)據(jù)刪除。當讀取數(shù)據(jù)時,系統(tǒng)利用Hash算法識別唯一數(shù)據(jù)塊,系統(tǒng)將保留Hash索引,每個Hash編碼指向一個不一樣數(shù)據(jù)塊。當新備份發(fā)生時,會自動與現(xiàn)有塊進行比對,假如索引中已經(jīng)有相同塊,數(shù)據(jù)將會被刪除或被指向塊指針所替換;反之,則會被保留并在索引中為其創(chuàng)建一個新Hash編碼。這里提到唯一數(shù)據(jù)塊大小,會依據(jù)用戶選擇不一樣反復數(shù)據(jù)刪除處理方案而不一樣,平均大小在4KB-24KB之間。與文件級SIS技術相比,塊級反復數(shù)據(jù)刪除技術能夠說更具優(yōu)勢。它能夠在不一樣文件或應用中消除冗余數(shù)據(jù)塊。比如,假如一個文件只做了想當小一點修改并保留,塊級反復數(shù)據(jù)刪除技術則將只保留發(fā)生改變數(shù)據(jù)塊。按這種方法,塊級反復數(shù)據(jù)刪除能夠提供愈加好壓縮比率,尤其是應用于巨大數(shù)據(jù)量情況下,如數(shù)據(jù)庫或全備份以后。下面例子深入說明了SIS和塊級兩種反復數(shù)據(jù)刪除技術結果比較。一個企業(yè)向1000個郵件地址發(fā)出一封帶有注冊內(nèi)容活動邀請函,傳統(tǒng)備份應用將會把文件備份1000次。SIS處理方案能夠識別出文件是相同,將只會保留一份備份,然后生成999個指針指向那個唯一備份,所以,大約節(jié)省了99.9%空間。不過,以后這1000個參會人可能會將注冊內(nèi)容填好后回復給發(fā)件人,因為她們名字不一樣,SIS處理方案就會備份1000份回執(zhí)。塊級處理方案在發(fā)出邀請函時候?qū)嵤┝讼嗤磸蛿?shù)據(jù)刪除處理,也實現(xiàn)了99.9%存放空間節(jié)省。不過,當收到1000份參會人回執(zhí)時,塊級處理方案會發(fā)覺每個回執(zhí)大部分內(nèi)容與第一封收到是相同并已經(jīng)備份過,所以,它只會對其它999封回執(zhí)相異數(shù)據(jù)塊(塊級)進行備份。這種方法與SIS技術相比,則還能夠節(jié)省額外99.9%存放空間。綠色存放與反復數(shù)據(jù)刪除因為塊級反復數(shù)據(jù)刪除技術只保留發(fā)生改變數(shù)據(jù),極大降低了所需備份容量,使用戶不用再像以前一樣購置大量磁盤,從而將用戶備份系統(tǒng)總成本降到最低。更少磁盤致使存放系統(tǒng)更少,電力及制冷需求更小,同時還降低了整體系統(tǒng)復雜性。與傳統(tǒng)磁帶備份處理方案相比,反復數(shù)據(jù)刪除技術完全改變了磁盤備份經(jīng)濟性。經(jīng)過這一技術,更多用戶能夠負擔得起用磁盤備份替換整個或是部分磁帶備份處理方案。磁盤備份相對于磁帶備份來說,提供了愈加好備份及恢復性能。經(jīng)過利用磁盤備份方法,用戶能夠深入改善她們服務品質(zhì)協(xié)議(Service-LevelAgreements,SLAs)。當經(jīng)過數(shù)據(jù)復制實現(xiàn)災備時,反復數(shù)據(jù)刪除技術也能夠帶來卓越利益。因為降低了備份數(shù)據(jù)量,反復數(shù)據(jù)刪除技術將主站點與遠程數(shù)據(jù)中心之間帶寬需求、數(shù)據(jù)傳輸成本、復制時間都降到最低。企業(yè)利用相對經(jīng)濟WAN網(wǎng)絡即可在任意地理空間范圍內(nèi)實施復制,實現(xiàn)了額外成本節(jié)省。反復數(shù)據(jù)刪除最適適用于哪里?理論上講,反復數(shù)據(jù)刪除技術能夠用于任意地點存在數(shù)據(jù)。它能夠與在線或是離線數(shù)據(jù)一起工作,能夠在文件系統(tǒng)或是數(shù)據(jù)庫,也能夠在其它應用?？倎碚f,哪里有大量反復數(shù)據(jù),它就能在哪展現(xiàn)出最大利益回報。而最好應用示例是在企業(yè)級備份。企業(yè)大都是天天做一次全備份,兩日全備份中通常只有很小部分---不會超出5%---數(shù)據(jù)是不一樣,大部分備份扇區(qū)都是相同。這種情況下,反復刪除為備份系統(tǒng)帶來了最好利益回報。所以,大多數(shù)反復數(shù)據(jù)刪除處理方案都是專為備份系統(tǒng)而設計。反復數(shù)據(jù)刪除比率不是唯一評定標準反復數(shù)據(jù)刪除比率是現(xiàn)在企業(yè)最為關心問題,可說直接觸及到了用戶底線。不一樣廠商向外界聲稱比率不一樣,從20:1到50:1,甚至高達300:1或400:1。因為反復數(shù)據(jù)刪除與具體備份數(shù)據(jù)和備份策略直接相關,從一個環(huán)境到另一個環(huán)境所產(chǎn)生反復數(shù)據(jù)刪除比率也會有很大改變,即使它們是基于同一個反復數(shù)據(jù)刪除運算法則。所以,廠商公布反復數(shù)據(jù)刪除比率不能作為選擇這一產(chǎn)品唯一標準。反復數(shù)據(jù)刪除比率與所用處理顆粒精細程度相關。理論上講,更細致顆粒會帶來更高反復數(shù)據(jù)刪除比率。然而,更細致顆粒意味著大量Hash表,會造成更糟糕反復數(shù)據(jù)刪除性能和更高CPU消耗。通常來說,10:1反復數(shù)據(jù)刪除比率是很現(xiàn)實角度評定起點,足以滿足通常性業(yè)務應用計劃需求。集群式反復數(shù)據(jù)刪除是新技術發(fā)展方向從性能角度看,只能提供單臺反復數(shù)據(jù)刪除服務器/設備處理方案根本無法滿足天天需要備份成百TB數(shù)據(jù)或天天需要數(shù)次備份大型企業(yè)需求。在這種情況下,反復數(shù)據(jù)刪除反而會造成瓶頸。部分企業(yè)考慮用兩臺或多臺設備完成這一工作,但因為每臺設備都保留了它自己Hash索引,設備根本不能判別出反復數(shù)據(jù)是否已經(jīng)由另一臺設備備份。這種方法不僅會影響到反復數(shù)據(jù)刪除比率,還會增加維護工作量。單臺反復數(shù)據(jù)刪除服務器/設備也會成為單點故障。假如反復數(shù)據(jù)刪除服務器/設備發(fā)生故障,全部備份工作則都將失敗,更糟情況是造成恢復過程中失敗。盡管單臺反復數(shù)據(jù)刪除服務器/設備在實際應用過程中出現(xiàn)故障情況非常罕見,但這對企業(yè)來說還是一個潛在、無法接收風險。其實,針對這個難題有一個處理措施,就是反復數(shù)據(jù)刪除集群,即利用雙工故障切換架構。在集群反復數(shù)據(jù)刪除架構中,2或4臺反復數(shù)據(jù)刪除設備被虛擬化為一臺,為用戶提供了雙倍或四倍吞吐及處理能力。假如她們中任意一臺出現(xiàn)故障,另外設備就會自動接管它工作負荷,以確保處理連續(xù)性。因為集群仍然保留是單個Hash表,所以它不會影響到反復數(shù)據(jù)刪除比率。以行業(yè)著名美國飛康軟件企業(yè)SIR技術為例,飛康SIR是應用于業(yè)界領先飛康VTL處理方案反復數(shù)據(jù)刪除技術。飛康SIR可在一個性能集群中支持4個節(jié)點并可應用于全部飛康VTL節(jié)點,從而優(yōu)化了管理能力和擴展能力。這個集群架構經(jīng)過統(tǒng)一性添加節(jié)點,使企業(yè)能夠擴展到最大容量(最多4個節(jié)點,每個節(jié)點64TB,累計256TB)和速度(每個節(jié)點反復數(shù)據(jù)刪除約為300MB/秒,累計最大1.2GB/秒)。內(nèi)置N+1故障切換功效,SIR反復數(shù)據(jù)刪除引擎是后處理方法,在不影響恢復或備份窗口情況下降低了存放成本。另外,因為SIR處理方案基于飛康歷經(jīng)驗證IPStor?技術平臺,包含了它虛擬化和供給容量功效,所以,用戶能夠在任意時間添加存放而不用中止處理。依據(jù)需求選擇反復數(shù)據(jù)刪除方法現(xiàn)在市場中反復數(shù)據(jù)刪除處理方案提供了多個刪除反復數(shù)據(jù)方法,假如想找出最適適用戶需求方法,需要考慮兩個關鍵性原因:在哪里進行反復數(shù)據(jù)刪除(源數(shù)據(jù)端還是目標端);在備份處理哪個階段刪除反復數(shù)據(jù)刪除(在備份過程還是備份以后)。源數(shù)據(jù)端部分反復數(shù)據(jù)刪除產(chǎn)品在源數(shù)據(jù)端工作,這意味著它們是位于主機或應用服務器上。這種方法要求為每一臺需要進行備份機器安裝反復數(shù)據(jù)刪除系統(tǒng)。當數(shù)據(jù)傳送到備份軟件之前即識別反復數(shù)據(jù)并刪除。這種反復數(shù)據(jù)刪除方法含有以下優(yōu)點:●數(shù)據(jù)在網(wǎng)絡傳輸前就降低了,改善了傳輸性能,節(jié)省了網(wǎng)絡帶寬?！駨臄U展性角度講,整體性能與用戶端數(shù)量無關,所以,在進行擴展時不會影響到備份性能?！褚驗槭欠磸蛿?shù)據(jù)刪除處理同時傳輸數(shù)據(jù),所以在處理過程中不再需要額外存放設備。然而,這種處理方法也有它缺點:●必需在每一臺備份服務器上安裝反復數(shù)據(jù)刪除系統(tǒng)。在大型企業(yè)環(huán)境中,尤其是含有分布于各地分支機構大型企業(yè),軟件安裝和維護工作極為復雜●反復數(shù)據(jù)刪除處理運行于應用服務器上,會消耗服務器運算能力,影響到應用性能。這對于大多數(shù)企業(yè)來說是不可接收?！裼行┓磸蛿?shù)據(jù)刪除處理方案在設計之初并沒有考慮到與用戶已經(jīng)安裝備份軟件相集成,所以,用戶必需為了使用它而更換備份軟件,這便增加了布署處理方案時工作量及風險,對于那些含有大量歸檔數(shù)據(jù)企業(yè)用戶來說,這種方案并不可行。目標端目標端反復數(shù)據(jù)刪除處理通常是運行于一臺獨立于主機或應用服務器之外設備(服務器或工具)之上。下面是多個經(jīng)典目標端反復數(shù)據(jù)刪除方法:●含有反復數(shù)據(jù)刪除功效虛擬磁帶庫(VTL)●含有反復數(shù)據(jù)刪除功效磁盤設備●含有反復數(shù)據(jù)刪除功效備份軟件值得一提是,目標端反復數(shù)據(jù)刪除處理方案能夠與現(xiàn)有備份軟件相整合,運行于備份服務器上。備份數(shù)據(jù)先發(fā)送到反復數(shù)據(jù)刪除設備,反復數(shù)據(jù)刪除在后端完成。相對于源數(shù)據(jù)端方法,它優(yōu)勢在于:●企業(yè)無需改變其目前備份系統(tǒng)?！襁@種架構無需更換應用服務器。因為它不會消耗應用服務器運算能力,應用性能不會受到任何影響。●反復數(shù)據(jù)刪除服務器/設備能夠從不一樣備份用戶端刪除全部冗余數(shù)據(jù)。這對于含有大量應用或數(shù)據(jù)庫服務器企業(yè)來說,是非常經(jīng)濟高效處理方案。對于那些不想改變現(xiàn)有備份系統(tǒng),也不想犧牲應用性能企業(yè)用戶來說,目標端反復數(shù)據(jù)刪除無疑是最好方法。在線處理在線處理反復數(shù)據(jù)刪除,是指反復數(shù)據(jù)刪除服務器/設備從備份軟件開始傳輸數(shù)據(jù),數(shù)據(jù)還沒有寫入磁盤之前,即實施反復數(shù)據(jù)刪除。它關鍵優(yōu)勢是經(jīng)濟高效,能夠降低存放容量需求。它不需要用于保留還未進行反復數(shù)據(jù)刪除數(shù)據(jù)集臨時磁盤空間。盡管在線處理反復數(shù)據(jù)刪除降低了備份數(shù)據(jù)數(shù)量,但處理本身會減慢備份速度。因為反復數(shù)據(jù)刪除是在寫入到磁盤之前進行,反復數(shù)據(jù)刪除處理本身就是一個單點故障。所以,假如企業(yè)需要保留她們備份數(shù)據(jù)冗余時候,是不能選擇在線處理方法。后處理后處理反復數(shù)據(jù)刪除,也被稱為離線反復數(shù)據(jù)刪除,是指在備份處理完成后再實施反復數(shù)據(jù)刪除。備份數(shù)據(jù)先被寫入到臨時磁盤空間,以后再開始反復數(shù)據(jù)刪除,最終,將經(jīng)過反復數(shù)據(jù)刪除數(shù)據(jù)拷貝到末端磁盤。后處理方法有一個很小問題在于它需要額外磁盤空間來保留全部還未刪除反復數(shù)據(jù)數(shù)據(jù)集。不過,低成本SATA磁盤能夠用作這部分,所以,對于大多數(shù)企業(yè)來說,這根本算不上什么問題。后處理反復數(shù)據(jù)刪除方法帶了很多優(yōu)勢:●因為反復數(shù)據(jù)刪除是備份完成后在單獨存放設備上實施,所以完全不會對備份處理造成影響。管理員能夠隨意制訂反復數(shù)據(jù)刪除進程,不管是怎樣頻率都能夠,性能愈加可靠、可控?！裣葘浞輸?shù)據(jù)保留在磁盤上進行反復數(shù)據(jù)刪除,企業(yè)在需要時則能夠愈加緊速恢復最近備份文件和數(shù)據(jù)。某種角度上講,在線處理方法可能更適適用于小型企業(yè)需求,以后處理方法對于中型及大型企業(yè)來說,是更佳處理方案。選擇反復數(shù)據(jù)刪除五大關鍵點一、能夠與目前環(huán)境相整合一個高效反復數(shù)據(jù)刪除處理方案應該對目前IT環(huán)境影響/中止越小越好。很多企業(yè)都選擇利用VTL備份來避免影響/中止,以在不改變企業(yè)目前備份策略、處理或軟件情況下提升備份質(zhì)量。所以,基于VTL反復數(shù)據(jù)刪除技術在布署時對環(huán)境影響也應該是最小。它將更多注意力集中在了備份這個巨大反復數(shù)據(jù)存放池上?；赩TLt反復數(shù)據(jù)刪除處理方案通常要求使用專用設備,但這并不影響布署靈活性。一個充足靈活反復數(shù)據(jù)刪除處理方案應該即能夠以軟件包形式提供給用戶,也能夠提供給用戶整體處理方案(TurnkeyAppliance),從而最大程度使用戶現(xiàn)有資源得以利用。二、含有可擴展能力因為反復數(shù)據(jù)刪除處理方案是用于長久數(shù)據(jù)儲存,在容量和性能方面可擴展能力也是非常關鍵考慮原因,而且最少要考慮未來五年甚至更長時間增加計劃。那么,在確?？焖僭L問前提下,你期望有多少數(shù)據(jù)保留在磁帶上?你需要怎樣數(shù)據(jù)索引系統(tǒng)呢?優(yōu)異反復數(shù)據(jù)刪除處理方案提供架構,不管是在初始布署時,還是面對未來系統(tǒng)長久增加,都應該能確保最優(yōu)化(Right-sizing)、最經(jīng)濟架構規(guī)模。集群能夠幫助用戶滿足不停增加容量需求---即使是N多Petabyte數(shù)據(jù)增加環(huán)境---而且不會降低反復數(shù)據(jù)刪除效率或系統(tǒng)性能。這個架構還為存放庫保護部分提供了故障切換(Failover)功效。三、支持分布式應用反復數(shù)據(jù)刪除技術,不只是能為單個數(shù)據(jù)中心帶來利益,對于含有多個分支機構或多個站點大型企業(yè)來說,它能夠讓整個企業(yè)分布式應用受益無窮。一個包含復制和多級反復數(shù)據(jù)刪除處理方案能夠?qū)⑦@一技術優(yōu)勢發(fā)揮到極致。舉例來說,一個企業(yè)由1個總部和3個區(qū)域代表機構組成,能夠在區(qū)域代表機構布署一臺含有反復數(shù)據(jù)刪除功效容災設備,使當?shù)卮娣偶跋蜻h程中央站點復制更為高效。這種處理方案使數(shù)據(jù)復制到中央站點帶寬需求降到最低,它只不過是用來確定遠程數(shù)據(jù)是否已經(jīng)包含在中央存放庫中。全部站點中,只有唯一數(shù)據(jù)會被復制到中央站點或是容災站點,不然所需帶寬就會增大。四、能夠?qū)Υ娣艓焯峁崟r保護確保對刪除反復數(shù)據(jù)存放庫訪問是非常關鍵,所以它不能許可有單點故障發(fā)生。