數(shù)據(jù)鏡像同步POC測(cè)試報(bào)告.docx

1、數(shù)據(jù)鏡像同步項(xiàng)目POC測(cè)試報(bào)告5.2鏡像同步系統(tǒng)表現(xiàn)5.2.1主機(jī)內(nèi)存使用情況MemoryM.MMdato»1W>O5.2.2主機(jī)網(wǎng)絡(luò)使用情況網(wǎng)絡(luò)報(bào)文讀寫比較穩(wěn)定NrtworkPacUtihlhtdM4201M/M一sail一略5.2.3主機(jī)CPU使用情況CPU占用率幾乎可以忽略。CPUbyProcwwr2O19/V»（。thr5.2.4主機(jī)磁盤讀寫情況磁盤10大部分時(shí)間保持在1M左右，最高為：25M的樣子。DisktotalKB/shhtdata-2019/6/30Ci*«gwm«5omc6.測(cè)試小結(jié)基于此次數(shù)據(jù)同步poc測(cè)試總體結(jié)論：基本滿足數(shù)

2、據(jù)同步需求。經(jīng)過(guò)不同場(chǎng)景下，持續(xù)3天的的功能與性能測(cè)試，數(shù)據(jù)同步系統(tǒng)都能滿足業(yè)務(wù)需求，在單機(jī)模式環(huán)境下，CPU利用率和內(nèi)存使用平穩(wěn)，能滿足數(shù)據(jù)同步的業(yè)務(wù)要求。1 .測(cè)試簡(jiǎn)介本次測(cè)試主要考察數(shù)據(jù)鏡像同步系統(tǒng)功能以及性能上的表現(xiàn)，驗(yàn)證壓力測(cè)試強(qiáng)度，通過(guò)測(cè)試來(lái)驗(yàn)證是否滿足數(shù)據(jù)同步的技術(shù)要求和業(yè)務(wù)要求。2 .測(cè)試環(huán)境服務(wù)器及網(wǎng)絡(luò)環(huán)境如下：序號(hào)應(yīng)用類型操作系統(tǒng)類型CPU內(nèi)存硬盤帶寬1源數(shù)據(jù)庫(kù)centos8c32GIT1000M/S2目標(biāo)數(shù)據(jù)庫(kù)centos8c12GIT1000M/S3鏡像同步系統(tǒng)centos8c16GIT1000M/S說(shuō)明：鏡像同步系統(tǒng)是需要與源和目標(biāo)數(shù)據(jù)庫(kù)主機(jī)能夠相互連通，并保證具備穩(wěn)

3、定的網(wǎng)絡(luò)傳輸性能。3 .測(cè)試方法3.1數(shù)據(jù)準(zhǔn)備本次測(cè)試參考深圳社康項(xiàng)目的數(shù)據(jù)采集，20個(gè)數(shù)據(jù)集，對(duì)應(yīng)約30個(gè)表。本次測(cè)試的數(shù)據(jù)準(zhǔn)備如下：1. 30個(gè)表，每個(gè)表最少19個(gè)字段，字段類型基本上涵蓋了所有常用的類型：.橢表ADAPTER_ORIGINALDATA_HZ02|勾tr|eo列仲健索引I"硼I類型所有者名稱名稱類型可為空默認(rèn)存儲(chǔ)注釋CHAR(32)rRECORDCLASSIFYINGVARCHAR2(32)F7RECORDTITLEVARCHAR2(50)7EFFECTIVETIMEDATEQAUTHORORGANIZATIONVARCHAR2(56)7SOURCEIDVARCH

4、AR2(32),I7VERSIONNUMBERVARCHAR2(10)VAUTHORVARCHAR2(32),I7SYSTEMTIMEDATEVUPLOADTIMEDATE,I7HEADERVARCHAR2(4000)5T7DOCFORMATVARCHAR2(8).7ZIP7YPEVARCHAR2(8)QPROCESSFLAGCHAR(1)(70MPIPROCESSFLAGCHARQ0MPIVARCHAR2Q2)7DQDCHAR(16)VCREATETIMEDATE7AUTHORORGANIZATION_TEXTVARCHAR2(56)QREPEATFLAGVARCHAR2(4)70INSER

5、T_TIMEDATEQsysdate*P2. 30個(gè)表同時(shí)插入數(shù)據(jù)，定時(shí)進(jìn)行刪改操作，并記錄這些刪改日志。3. 每個(gè)表每次插入約60萬(wàn)條記錄以后停止插入操作，待數(shù)據(jù)完全同步到目標(biāo)庫(kù)后,根據(jù)刪改日志，檢查源表與目標(biāo)表數(shù)據(jù)是否一致。4. 源表定義一個(gè)字段：時(shí)間類型，默認(rèn)值sysdate,表示數(shù)據(jù)入源表時(shí)間目標(biāo)表定義一個(gè)字段：時(shí)間類型，默認(rèn)值sysdate,表示數(shù)據(jù)入目標(biāo)表時(shí)間兩者的差值，即為同步所需要的時(shí)間。GJlNSERT.TIMEISVNC.TIME源表：|WSERT_T1ME201W30163306-281*6/30163305-201330163305-201狗30163306-201狗3

6、0163306-201啊301&3306201狗30163306201狗30163306-2S狗3016330523*6/30163305-*201W3016:33:17"201啊3017:2822.201W30163317201啊30172822201W3016:33:17-201啊3017:28:22-201啊30163317201啊301728222O1W3016:33:17-201啊301728:22-201W301633:18201W30172822201W3016:33:18201啊30172822-201W3016:33:18201W3017:28:22201啊

7、30163318201啊30172822-201W3016:34:03-201啊3017:28:22-201啊30163403201啊30172822201W3016:34:03-201W3017:28:22-目標(biāo)表-201啊30163403201啊301728223.2源表數(shù)據(jù)的插入數(shù)據(jù)插入腳本:BV132224*KA/BMiUJUA/RM32219J22VMA/m»i32219ArM1322N32222數(shù)據(jù)插入量：電；ddUmrrorput-aOubles左；：IM01>-IIoat?用國(guó)h°°*j岫礎(chǔ)0M歷史DB.-KMt匕性1685dMKrkj<

8、;B>Previewdu9奶的迅蹄*5林<S±迎就1001676898055896600023221005SW665Sg55896631SW8003WUWM322405宓66558雙559966515349004WURM3221905冰655896455896651534900$IKX/120S雙66558次55896631M010006/Bit1322140S埔66538*5589663153490007癡V/土1322200S瑚665589665589663155490008爪/土132270S5W565589C45589663147250009/*13205SW66

9、558雙55996631533600010m/RS13221205琳66558次55896651534900011SU/EE221605煬66558次556966J14W100012炒/映1322170SSW66558655896651492900013畛/購(gòu)1322203做66558次558966514W0000U蟲/土1322220S5W56558%655896631482100015/«M322505SW66558次558966315549000162*15055W66558次558966515349000V/WM322905*6655畛558966為534900018K/MH

10、322110SSWW338次558966J1S34900019BU/珈13221305SW66558次5S896631534900020炒/唳1322150S5W66558%4558966315M900021/«M3222505SW5655g558966314知200022/ew132205冰6558雙559966515348000232*13221。05琳6655畋55096651534800024l*/Wf1322240S煬66558次55896631534900025炒/更仙132230SS89&6538*55896631534900026g/映1322230S瑚665

11、5896655896631514800027*./土13226055的665589U558966314W200028SU/*1322805SW6655畛559966314871000«/Rfl05琲66558次558966J1534900090/Vtf1405煬66558次55896651590400031炒/更*130，埔66338次55896631S28300026mn10»10.67526mn11，35626mn11$35626mn11s35626mn11s35626mn11s35626mn17t35426mn11f35626mn11j35626mn11$35626m

12、cIB3S626mn11s35626mn11t35626mn11，35626mn11j35626mn11$35626mn11s35626frm10s3S626mn11s3S626mn11f35626mn11，35626mn11$35626mnVs35426mc11s3S626mn11s3S626mn1135626mn11»35626mn10s35626mn17$35426mcIB3S626mn11s3S6Pr/n/Out3.3源表數(shù)據(jù)的刪除PersiG庭I.H難一個(gè)表fiS伽隱1final五巽W.讒S-個(gè)暮網(wǎng)虬更帶100finol>»lia<l>or?&#

13、163;100%功能簡(jiǎn)述：1. 隨機(jī)選擇一個(gè)表，隨機(jī)選擇其中的100條數(shù)據(jù)，sql語(yǔ)句類似于：selecteventidfrom(selecteventidfromTableNameConditionorderbydbms_random.value)whererownum<=100日志表記錄這100條數(shù)據(jù)的表名,主鍵值。2, 刪除這100條記錄。4. 該腳本定時(shí)每分鐘執(zhí)行。3.4源表數(shù)據(jù)的更新9®as>!既吼逸擇耳札SB粉10051fiMlI'）：SWU8擇一個(gè)蠢li機(jī)更新100S4final3既©SSL=g:功能簡(jiǎn)述：1. 隨機(jī)選擇一個(gè)表，隨機(jī)選擇其中

14、的100條數(shù)據(jù)，sql語(yǔ)句類似于：selecteventidfrom(selecteventidfromTableNameConditionorderbydbms_random.value)whererownum<=100日志表記錄這100條數(shù)據(jù)的表名，主鍵值。2. 100條記錄指定字段更新為指定值。3. 日志表中記錄更新數(shù)據(jù)。4. 改腳本定時(shí)每分鐘執(zhí)行一次。6.功能測(cè)試測(cè)試場(chǎng)景-測(cè)試點(diǎn)-測(cè)試目標(biāo)-測(cè)試步驟-測(cè)試結(jié)果4.1各類型數(shù)據(jù)庫(kù)Tab-DML操作測(cè)試序號(hào)源端庫(kù)支持源數(shù)據(jù)版本號(hào)目標(biāo)庫(kù)結(jié)果2SqlServer2008及以上版本Oracle全量、增量通過(guò)4Oracleilg/12c/支持

15、物化視圖版Oracle全量、增量通走注：理論上源支持的版本有SQLServer2008及以上版本，和Oracle支持物化視圖的版本,本次測(cè)試暫時(shí)使用的源為sqlserver2008,以及Oraclellg和Oraclel2c,目標(biāo)使用Oraclel2C。對(duì)源端的測(cè)試表進(jìn)行增加刪除修改操作，同時(shí)檢查目標(biāo)端的同步結(jié)果批量insert/update/delete操作測(cè)試1）數(shù)據(jù)庫(kù)執(zhí)行insert語(yǔ)句同步測(cè)試初始化完成數(shù)據(jù)同步開始后，在源端數(shù)據(jù)庫(kù)創(chuàng)建空表est,字段不少于20個(gè)向表中insert十萬(wàn)行數(shù)據(jù)，測(cè)試鏡像同步效率，統(tǒng)計(jì)用時(shí)從源端commit開始直至目標(biāo)端表行數(shù)與源端一致。2）源數(shù)據(jù)執(zhí)行upd

16、ate語(yǔ)句同步測(cè)試對(duì)源數(shù)據(jù)庫(kù)正在進(jìn)行增量鏡像同步的表數(shù)據(jù)隨機(jī)選擇幾條數(shù)據(jù)進(jìn)行修改時(shí)，通過(guò)對(duì)比驗(yàn)證修改會(huì)實(shí)時(shí)同步到目標(biāo)鏡像庫(kù)的對(duì)應(yīng)表中，即可以實(shí)現(xiàn)update操作的實(shí)時(shí)同步。3）源數(shù)據(jù)執(zhí)行delete語(yǔ)句同步測(cè)試同樣對(duì)源數(shù)據(jù)庫(kù)正在進(jìn)行增量鏡像同步的表數(shù)據(jù)隨機(jī)選擇幾條數(shù)據(jù)進(jìn)行刪除時(shí)，通過(guò)對(duì)比驗(yàn)證刪除操作會(huì)實(shí)時(shí)同步到目標(biāo)鏡像庫(kù)的對(duì)應(yīng)表中，即可以實(shí)現(xiàn)delete操作的實(shí)時(shí)同步。4.2數(shù)據(jù)同步準(zhǔn)確性測(cè)試對(duì)比數(shù)據(jù)，數(shù)據(jù)一致4.3可用性測(cè)試同步開始后，在源數(shù)據(jù)庫(kù)持續(xù)大批量進(jìn)行數(shù)據(jù)插入、修改等操作、測(cè)試軟件的可用性，測(cè)試持續(xù)2-3天。測(cè)試結(jié)果：數(shù)據(jù)同步成功。4.4目標(biāo)系統(tǒng)可用性說(shuō)明：目標(biāo)系統(tǒng)數(shù)據(jù)庫(kù)實(shí)時(shí)可用，可

17、做采集與其它查詢業(yè)務(wù)。4.5源或目標(biāo)主機(jī)或數(shù)據(jù)庫(kù)重啟測(cè)試4.5.1正常重啟4.5.1.1源端正常重啟數(shù)據(jù)庫(kù)主機(jī)操作步驟：1. 關(guān)閉數(shù)據(jù)庫(kù)實(shí)例2. 重啟源端主機(jī)3. 重啟源端數(shù)據(jù)庫(kù)4. 進(jìn)行DML測(cè)試測(cè)試結(jié)果：數(shù)據(jù)同步成功4.5.1.2目標(biāo)端正常重啟數(shù)據(jù)庫(kù)主機(jī)操作步驟：L關(guān)閉數(shù)據(jù)庫(kù)實(shí)例2. 重啟目標(biāo)主機(jī)3. 重啟目標(biāo)端數(shù)據(jù)庫(kù)4.進(jìn)行DML測(cè)試測(cè)試結(jié)果：數(shù)據(jù)同步成功4.5.2宕機(jī)重啟4.5.2.1源端異常重啟數(shù)據(jù)庫(kù)主機(jī)操作步驟：L直接重啟源端主機(jī)2. 重啟源端數(shù)據(jù)庫(kù)3. 進(jìn)行DML測(cè)試測(cè)試結(jié)果：數(shù)據(jù)同步成功4.5.1.2目標(biāo)端正常重啟數(shù)據(jù)庫(kù)主機(jī)操作步驟:L直接重啟目標(biāo)主機(jī)2. 重啟目標(biāo)端數(shù)據(jù)庫(kù)3. 進(jìn)行DML測(cè)試測(cè)試結(jié)果：數(shù)據(jù)同步成功7.性能測(cè)試測(cè)試在多表（幾十張表），以及大量數(shù)據(jù)情況下實(shí)施數(shù)據(jù)鏡像同步時(shí)源數(shù)據(jù)服務(wù)主機(jī)的穩(wěn)定性，以及鏡像同步系統(tǒng)在處理多表、并發(fā)量高和吞吐量大的情況下的穩(wěn)定性。本次性能測(cè)試涉及表30張、每張表數(shù)據(jù)量為50萬(wàn)，每張表字段多達(dá)1020個(gè)，監(jiān)控時(shí)長(zhǎng)1-2小時(shí)。監(jiān)控的指標(biāo)有內(nèi)存、網(wǎng)絡(luò)、cpu以及磁盤讀寫的情況。5.1數(shù)據(jù)源服務(wù)主機(jī)性能表現(xiàn)5.1.1主機(jī)內(nèi)存使用情況開始時(shí)，進(jìn)行表的全量同步，占用的內(nèi)存比較大，隨著全量結(jié)束，進(jìn)入增量?jī)?nèi)存使用基本保持在一個(gè)