試論廣東省基礎(chǔ)水文數(shù)據(jù)庫表結(jié)構(gòu)升級實現(xiàn)技術(shù)探討

1、試論廣東省根底水文數(shù)據(jù)庫表構(gòu)造晉級實現(xiàn)技術(shù)討論論文關(guān)鍵詞:水文數(shù)據(jù)庫表構(gòu)造晉級1我省水文數(shù)據(jù)庫現(xiàn)狀概述水文資料是水利工程的根底，為了到達準(zhǔn)確快速地提供水文資料，資料的科學(xué)存儲是個關(guān)鍵問題。當(dāng)前水文資料主要包括:降雨量、蒸發(fā)量、水位、流量、含沙量等內(nèi)容。數(shù)據(jù)庫是現(xiàn)今企業(yè)數(shù)據(jù)存儲的主要方式，應(yīng)用數(shù)據(jù)庫技術(shù)來存儲水文觀測資料就形成了水文數(shù)據(jù)庫。在水文數(shù)據(jù)庫中數(shù)據(jù)以表的形式存儲，這些表的名稱、表中每列的名稱、數(shù)據(jù)類型等稱為表構(gòu)造。廣東省水文數(shù)據(jù)庫由1991年開場建立，到1998年建成驗收，至今每年都加人新的整編數(shù)據(jù)。水文數(shù)據(jù)庫的建立改變了水文資料以紙介質(zhì)存儲數(shù)據(jù)的方式，使資料的存儲進人磁介質(zhì)的時代，以

2、電子版本的方式提供數(shù)據(jù)極大方便了數(shù)據(jù)的查詢和使用，為水情專用數(shù)據(jù)庫、三防指揮系統(tǒng)、流域水信息與管理等許多水利信息化工程提供了方便，在實際消費應(yīng)用中發(fā)揮了重要作用。比擬成熟的版本，歷經(jīng)十年的應(yīng)用，在水文數(shù)據(jù)存儲的標(biāo)準(zhǔn)化方面做出了重要奉獻，但在長期的應(yīng)用中3.0版本也發(fā)現(xiàn)了一些缺乏之處，于是部水文局組織有關(guān)專家在3.0的根底上修訂形成了4.0版本。從而使我省水文數(shù)據(jù)庫從3,0版本到4.0版本的晉級成為現(xiàn)實需要解決的問題。比照水文數(shù)據(jù)庫表構(gòu)造3.0主要存在的問題有:時間維的處理不合理;一些表表列數(shù)太多;一些有用數(shù)據(jù)沒有建表存儲;沒有字典表。表構(gòu)造4.0針對以上缺點做了改善，首先使用時間數(shù)據(jù)類型(dt

3、類型)統(tǒng)一時間維的表示，如:逐日平均水位表3.0表構(gòu)造如表1;逐日平均水位表4.0表構(gòu)造如表2。比照表1、表2可見日平均水位3.0表構(gòu)造有66列，而4.0表構(gòu)造只有4列，3.0表構(gòu)造的時間維中年份、月份、各日在列中表示，4.0表構(gòu)造中的時間維統(tǒng)一在一列中表示，這樣極大方便了sql語句的編寫，而且時間集中到一列上表示有利于隨后的數(shù)據(jù)分析工作。其次，一個表包含太多的列時，說明這個表缺乏內(nèi)聚，它試圖存放來自幾類實體的數(shù)據(jù)，使用垂直分割將一些列移到另一個表中，可以減少表的規(guī)模，改善性能。如:表構(gòu)造3.0把月、旬、年的數(shù)據(jù)放在同一表中，導(dǎo)致一個表中有上百的表列，而4.0把月、旬、年的數(shù)據(jù)分開到三個表中存

4、放，改善了性能。再次表構(gòu)造4.0增加和修改了一些表，使得存儲的內(nèi)容得到擴大，存儲更加合理高效。如增加了關(guān)系線表來存儲水位流量關(guān)系，修改了實測大斷面表等。最后表構(gòu)造4.0增加了字典表類，這樣有利于元數(shù)據(jù)的描繪和使用。3表構(gòu)造晉級實現(xiàn)技術(shù)3.1表構(gòu)造晉級轉(zhuǎn)換需要解決的問題表構(gòu)造的晉級可能會涉及很多問題，主要要解決的問題有:1)新表的建立。新表的建立主要討論新表構(gòu)造的合理性，確保新表的設(shè)立是正確的。2)數(shù)據(jù)質(zhì)量控制，要控制從舊庫到新庫轉(zhuǎn)移數(shù)據(jù)時出現(xiàn)的數(shù)據(jù)轉(zhuǎn)換錯誤。新庫中錯誤的數(shù)據(jù)可能來自于舊庫中的錯誤，也可能來自于轉(zhuǎn)換程序的錯誤或考慮不周。應(yīng)該確保新庫的數(shù)據(jù)質(zhì)量比舊庫有所進步。3)功能恢復(fù)，主要是參

5、照完好性、方法(存儲過程、存儲函數(shù)、觸發(fā)器)、外部程序的恢復(fù)。水文數(shù)據(jù)庫是多應(yīng)用數(shù)據(jù)庫，有許多外部程序?qū)ζ溥M展訪問，數(shù)據(jù)庫晉級人員對這些程序幾乎是不能控制的，在這種情況下數(shù)據(jù)庫的修改必然對外部訪問系統(tǒng)造成影響，解決的方法有二:一是進展功能恢復(fù)，晉級人員與應(yīng)用程序開發(fā)者協(xié)作，修改應(yīng)用程序使其能適應(yīng)新的數(shù)據(jù)庫表構(gòu)造;二是設(shè)立過渡期，在這其間使新老數(shù)據(jù)庫同時運行，原來的應(yīng)用程序繼續(xù)使用老庫，新應(yīng)用使用新庫。通常會結(jié)合使用上述兩種方法，即進展部分功能恢復(fù)同時設(shè)立過渡期。4)數(shù)據(jù)加載策略，由于水文數(shù)據(jù)量較大，而且每年都有新增數(shù)據(jù)，所以數(shù)據(jù)加載要有增量加載功能。同時，在過渡期間假如數(shù)據(jù)的增、刪、改比擬頻繁

6、，應(yīng)該保持新舊庫內(nèi)容的同步。3.2晉級轉(zhuǎn)換的過程在消費環(huán)境中平安的數(shù)據(jù)庫晉級轉(zhuǎn)換流程如圖1:驗證數(shù)據(jù)庫是否需要晉級轉(zhuǎn)換是綜合考慮轉(zhuǎn)化所獲得的價值與投人之比，以確定是否需要這樣的轉(zhuǎn)換，是否開銷過大。水文部門的數(shù)據(jù)源很多，如根底水文數(shù)據(jù)庫、水情專用數(shù)據(jù)庫等。晉級人員要確定各種數(shù)據(jù)所放的位置才能引用。數(shù)據(jù)庫的轉(zhuǎn)換是一個重復(fù)的過程，每次形成一個新表都要經(jīng)過建表、編寫數(shù)據(jù)轉(zhuǎn)換加載及同步代碼、數(shù)據(jù)加載、結(jié)果測試這樣一個過程，只有測試無誤了才進人下一個新表的建立，這種采取每次一小步的方法容易降低實現(xiàn)程序的復(fù)雜性，容易發(fā)現(xiàn)轉(zhuǎn)換錯誤所在。所有新表測試通過后才可以發(fā)布使用。3.3實現(xiàn)方法首先對sl324-2022

7、?根底水文數(shù)據(jù)庫表構(gòu)造及標(biāo)識符標(biāo)準(zhǔn)?(即表構(gòu)造4.0)進展分析以驗證轉(zhuǎn)化的必要性，由于存放測驗數(shù)據(jù)的表類是常用的表類，而且測驗數(shù)據(jù)格式比擬固定，表構(gòu)造比擬完善，所以優(yōu)先轉(zhuǎn)換該類表，方法如下:使用sqlserver企業(yè)管理器創(chuàng)立新表構(gòu)造，如圖2。假如轉(zhuǎn)換過程中有類型轉(zhuǎn)化、數(shù)據(jù)格式檢測等質(zhì)量控制要求，那么需要用比擬復(fù)雜的程序段來完成。如:降雨量摘錄表的t一sql轉(zhuǎn)換程序如下:聲明變量sled,yr,and,bghrt,edhrt,p,pr存儲查詢數(shù)據(jù)聲明變量bgdt,eddt存儲轉(zhuǎn)換后的時間數(shù)據(jù)創(chuàng)立游標(biāo)y_ursrl關(guān)聯(lián)到降雨量摘錄表prex通過游標(biāo)讀一條記錄到變童sled,yr,and,bghr

8、t，edhrt，p，pr中hilefethstatus=0)begin處理降雨量完畢時間、ifedhrt=2400)begin處理降雨完畢時間為24:00的情況endelseifedhrtbghrt)begin處理摘錄時段跨日的情況endelse摘錄時段無跨日的情況處理降雨量開場時間、插人數(shù)據(jù)、insertinthy_prex_bvalues(sled，bgdt，eddt，p，pr)取下一條記錄end另外，可使用觸發(fā)器保持舊表和新表的同步增刪，這樣當(dāng)數(shù)據(jù)加人到舊表或從舊表中刪除數(shù)據(jù)的時候就通過觸發(fā)器在新表中作相應(yīng)的修改，如:對3.0中降雨量摘錄表寫插人觸發(fā)器，插人相應(yīng)記錄的t一sql程序如下:reatetriggerprexinsertnprexfrinsertas同時寫刪除觸發(fā)器，刪除相應(yīng)記錄的t一sql程序如下:reatetriggerprex