數(shù)據(jù)交換平臺功能白皮書

數(shù)字校園系列軟件產(chǎn)品數(shù)據(jù)交換平臺功能白皮書目錄TOC\o"1-5"\h\z\o"CurrentDocument"1產(chǎn)品概述-3-\o"CurrentDocument"1.1產(chǎn)品簡介-3-\o"CurrentDocument"1.2應(yīng)用范圍-3-\o"CurrentDocument"2產(chǎn)品功能結(jié)構(gòu)-4-\o"CurrentDocument"3產(chǎn)品功能-5-\o"CurrentDocument"3.1數(shù)據(jù)源適配器-5-\o"CurrentDocument"3.1.1數(shù)據(jù)源類型-5-\o"CurrentDocument"3.1.2數(shù)據(jù)獲取方式-5-\o"CurrentDocument"3.2數(shù)據(jù)抽取-6-\o"CurrentDocument"3.2.1抽取全量、增量數(shù)據(jù)-6-數(shù)據(jù)過濾-6-數(shù)據(jù)關(guān)聯(lián)-7-數(shù)據(jù)分包-8-數(shù)據(jù)加密-8-數(shù)據(jù)壓縮-8-\o"CurrentDocument"3.2.7數(shù)據(jù)備份、刪除-8-\o"CurrentDocument"3.3數(shù)據(jù)傳輸-9-\o"CurrentDocument"3.4數(shù)據(jù)映射、轉(zhuǎn)換-9-\o"CurrentDocument"3.5數(shù)據(jù)同步-9-3.5.1數(shù)據(jù)同步方式-10-3.5.2數(shù)據(jù)同步異常-10-服務(wù)調(diào)度-10-運維監(jiān)控-11-告警監(jiān)控-11-流程監(jiān)控-11-資源監(jiān)控-12-日志管理-13-4產(chǎn)品特點-13-4.1支持多種數(shù)據(jù)交換方式-13-4.2服務(wù)調(diào)度時間多種選擇-13-4.3進行可視化的數(shù)據(jù)交換過程監(jiān)控-14-4.4提供多種數(shù)據(jù)個性化業(yè)務(wù)處理-14-4.5支持海量數(shù)據(jù)處理-14-4.6先進的體系結(jié)構(gòu)-14-4.7完善的安全設(shè)計-15-5運行環(huán)境-15-5.1服務(wù)器配置-15-5.2客戶端配置-15-6典型客戶-15-產(chǎn)品概述1.1產(chǎn)品簡介在校園信息化趨勢日益高漲的同時，暴露出很多問題：A信息化建設(shè)缺乏統(tǒng)一指導(dǎo)和總體規(guī)劃，各部門獨自為戰(zhàn)，信息孤島現(xiàn)象日益嚴重＞由于建設(shè)時期不同，采用的技術(shù)架構(gòu)和建設(shè)情況各有差異，各系統(tǒng)之間的運行管理維護等也相對獨立＞缺少統(tǒng)一應(yīng)用平臺，不能提供基于全面準確的標準數(shù)據(jù)及基于此的決策分析等深層次的增值服務(wù)數(shù)據(jù)交換平臺正是立足于解決以上問題，通過對現(xiàn)有的系統(tǒng)進行數(shù)據(jù)整合，尤其是對相關(guān)的數(shù)據(jù)資源進行整合，消除“信息孤島”，實現(xiàn)校園內(nèi)各種信息系統(tǒng)的互通互連和數(shù)據(jù)共享，形成統(tǒng)一的數(shù)據(jù)服務(wù)層，為上層應(yīng)用提供數(shù)據(jù)服務(wù)，為校園綜合信息服務(wù)的便利、完善和高效提供可靠的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)交換平臺采用星型拓撲結(jié)構(gòu)，有效的簡化了網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)了數(shù)據(jù)交換智能路由功能，根據(jù)交換數(shù)據(jù)內(nèi)容，能夠方便實現(xiàn)一點對多點，多點對一點，以及發(fā)送、轉(zhuǎn)換、轉(zhuǎn)發(fā)、接收等多種交換流程。通過采用中間件機制，很好的屏蔽了應(yīng)用系統(tǒng)直接的耦合程度，實現(xiàn)了數(shù)據(jù)的無縫交換和共享訪問，保證了各應(yīng)用系統(tǒng)的有效協(xié)同，同時又能保證各應(yīng)用系統(tǒng)的相互獨立性和低耦合性，從整體上提高了系統(tǒng)運作效率和可靠性。1.2應(yīng)用范圍主要用戶主要功能學(xué)校信息化主管領(lǐng)導(dǎo)了解學(xué)校數(shù)據(jù)集成情況以及運行情況維護人員整體交換流程監(jiān)控、異常處理報告業(yè)務(wù)系統(tǒng)管理員監(jiān)控自身數(shù)據(jù)交換情況系統(tǒng)管理員用戶管理、系統(tǒng)設(shè)置、流程配置產(chǎn)品功能結(jié)構(gòu)過濾特殊字符處理壓縮文件格式轉(zhuǎn)換加密添加GUID服務(wù)調(diào)度服務(wù)過濾1數(shù)據(jù)合并?解壓解密II文件格式轉(zhuǎn)換f1iI消息發(fā)送消息接收1i消息傳輸WebServiceHTTPFTPFILE數(shù)據(jù)交換中心消息接收XML服務(wù)調(diào)度任務(wù)定義任務(wù)定義數(shù)據(jù)交換管理平臺客戶端管理||子系統(tǒng)管理||數(shù)據(jù)源管理I運維監(jiān)控訂閱管理映射定義日志管理服務(wù)調(diào)度數(shù)據(jù)交換平臺功能結(jié)構(gòu)圖產(chǎn)品功能3.1數(shù)據(jù)源適配器3.1.1數(shù)據(jù)源類型數(shù)據(jù)交換平臺支持各種主流、非主流的數(shù)據(jù)源，通過數(shù)據(jù)適配器可以靈活擴展。支持多種主流關(guān)系型數(shù)據(jù)庫，包括：Oralce(9i、10g、11g)、MicrosoftSQLServer(2000、2005、2008)、IBMDB2、Sybase支持多種ODBC數(shù)據(jù)類型，包括：MicrosoftAccess(.mdb)、MicrosoftExcel(.xls)、VisualFoxpro(.dbf)支持XML文件?支持Webservice支持純粹的文件類型，例如：照片、Word文件3.1.2數(shù)據(jù)獲取方式數(shù)據(jù)交換平臺支持多種數(shù)據(jù)獲取方式：＞數(shù)據(jù)庫視圖可以從指定數(shù)據(jù)庫的視圖中提取數(shù)據(jù)。＞數(shù)據(jù)表可以從指定數(shù)據(jù)庫的表中提取數(shù)據(jù)。＞自定義SQL可以用自定義SQL從指定數(shù)據(jù)庫中提取數(shù)據(jù)。＞W(wǎng)ebservice可以從指定Webservice提供的方法中提取數(shù)據(jù)。＞文件可以從指定XML、Excel、Access、Dbf文件中提取數(shù)據(jù)；可以把任意類型的文件從一個地方交換到另一個地方。

3?2數(shù)據(jù)抽取數(shù)據(jù)交換的第一個環(huán)節(jié)是要進行數(shù)據(jù)抽取，根據(jù)特定的業(yè)務(wù)規(guī)則進行抽取,例如：抽取全量數(shù)據(jù)、抽取增量數(shù)據(jù)、數(shù)據(jù)過濾、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)分包、數(shù)據(jù)加密、數(shù)據(jù)刪除、數(shù)據(jù)備份、數(shù)據(jù)壓縮等。3?2?1抽取全量、增量數(shù)據(jù)根據(jù)實際業(yè)務(wù)需要，數(shù)據(jù)交換平臺需要獲取全量或者只提取有變化的數(shù)據(jù),即增量數(shù)據(jù)。慝挺労窿總a總扭弋事龍或巒王量戲裾Q坪蚩裁話昌卒爺生h燈竝咒蛙sut：■"T[工肛自ft:ro{■用無宦弋工匚益吾生咄臨石■辭理裁貫■直巧三盡也壬「勺三：叫1二TK-二蓋弋責(zé)回般豬雌建甩申懇菩矣婆站Eflanmiji全量、增量數(shù)據(jù)3?2?2數(shù)據(jù)過濾對于業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)，有些數(shù)據(jù)不是實際需要的，那么可以通過設(shè)置數(shù)據(jù)過濾條件和選擇數(shù)據(jù)字段，對數(shù)據(jù)源進行過濾。

□宇段名稱是否主程宇段類型囲學(xué)號學(xué)號否stringA團姓名姓名否￡tring1lllllllllllllllll1111llll■lll■llll1111llll■lll■lll■llll1111llll■lll■llllIlli1111llll■lll■llll1111Illl■lll■llllIlliIllillll■lll■llllIllillll■lll■llllIlliIllilllllllllllllIllillll■lll■lll■llllIllillll■lll■llilIllillll■lll■lll■IIC二0年齡年齡否stringB電話電話否striit耳B簡壓簡歷否etr1ng~V選擇字段1?1Md*□INIIIBIrHTIKCtl□ZJU冊電IB設(shè)置過濾條件3?2?3數(shù)據(jù)關(guān)聯(lián)業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)中，缺少某些字段，需要關(guān)聯(lián)其他系統(tǒng)的數(shù)據(jù)后才能得到，通過數(shù)據(jù)關(guān)聯(lián)可以輕松解決此問題，要關(guān)聯(lián)的數(shù)據(jù)源類型和源數(shù)據(jù)一樣都支持所有數(shù)據(jù)類型關(guān)曠數(shù)聒涯天A齊弓?咗-匚:助學(xué)貸款信息-關(guān)曠信但-Err毬字岌:XH￥-玨字蟄：證件號碼￥-h示蘭壬辰亍蘭翌：回全選回專業(yè)0證件類型0證件號碼0郵政編碼0銀行賬號回學(xué)性費回學(xué)制0學(xué)生類別回序昌0性別數(shù)據(jù)關(guān)聯(lián)3?2?4數(shù)據(jù)分包針對大數(shù)據(jù)量的抽取，一下子讀取所有數(shù)據(jù)，對系統(tǒng)壓力比較大，通過數(shù)據(jù)分包，按照數(shù)據(jù)條數(shù)可以把數(shù)據(jù)分成多個包，分包進行交換，大大減輕系統(tǒng)的承受壓力。3?2?5數(shù)據(jù)加密針對一些機密數(shù)據(jù)，在數(shù)據(jù)抽取過程中，會對數(shù)據(jù)進行加密，即使在交換過沖被截獲，也無法獲取數(shù)據(jù)的真實內(nèi)容。3?2?6數(shù)據(jù)壓縮針對大數(shù)據(jù)量的抽取，可以采用數(shù)據(jù)壓縮，縮小數(shù)據(jù)文件的大小。3?2?7數(shù)據(jù)備份、刪除針對增量數(shù)據(jù)源的數(shù)據(jù),數(shù)據(jù)抽取完需要刪除原數(shù)據(jù)，為保證數(shù)據(jù)的完整性,在刪除前，需要對數(shù)據(jù)進行備份。3?3數(shù)據(jù)傳輸數(shù)據(jù)抽取完成后，下一步就是數(shù)據(jù)傳輸，傳輸時可以通過Http協(xié)議和Ftp協(xié)議進行傳輸。3?4數(shù)據(jù)映射、轉(zhuǎn)換數(shù)據(jù)映射、轉(zhuǎn)換環(huán)節(jié)是數(shù)據(jù)交換平臺中的重中之重，主要提供了以下支持:＞字段關(guān)聯(lián)合并多個字段可以合并到一個目標字段，字段首尾可以連接自定義字符＞大小寫轉(zhuǎn)換對字段進行大小寫轉(zhuǎn)換＞首尾空格刪除對字段首尾空格進行刪除＞字段長度計算獲取字段內(nèi)容長度文件斛目口映射配置文件斛目口映射配置數(shù)據(jù)映射關(guān)系的配置，可以通過拖曳式的操作，建立源和目標之前的對應(yīng)關(guān)3.5數(shù)據(jù)同步經(jīng)過數(shù)據(jù)抽取、數(shù)據(jù)映射轉(zhuǎn)換后的數(shù)據(jù)，就可以給目標數(shù)據(jù)源進行同步了。3.5.1數(shù)據(jù)同步方式數(shù)據(jù)同步支持的方式有：＞數(shù)據(jù)表目標數(shù)據(jù)源為數(shù)據(jù)表，需要指定數(shù)據(jù)表的主鍵，同步過程中根據(jù)主鍵來判斷數(shù)據(jù)插入、更新。＞存儲過程存儲過程提供輸出參數(shù)，在目標數(shù)據(jù)源配置中指定預(yù)期輸出，在同步過程中，判斷預(yù)期輸出值和輸入值是否一致，同時記錄異常數(shù)據(jù)和異常原因。＞W(wǎng)ebservice通過判斷Webservice調(diào)用后的返回結(jié)果和預(yù)期是否一致，判斷同步是否成功，記錄成功的記錄數(shù)和失敗的記錄數(shù)。＞文件把轉(zhuǎn)換后的數(shù)據(jù)同步成文件，文件類型可以是任意文件類型3.5.2數(shù)據(jù)同步異常數(shù)據(jù)同步過程中的異常數(shù)據(jù)，系統(tǒng)會自動記錄下來，包括數(shù)據(jù)和錯誤原因在監(jiān)控平臺上，可以下載異常數(shù)據(jù)和異常記錄，供系統(tǒng)維護人員進行分析處理3.6服務(wù)調(diào)度每一個源數(shù)據(jù)源和目標數(shù)據(jù)源之間的數(shù)據(jù)交換頻率是不盡相同的，可以為每一個流程設(shè)置運行周期調(diào)度：?流程在啟動狀態(tài)時執(zhí)行，滿足輪詢策略?具體到某一時刻執(zhí)行?設(shè)置時間段運行?周期運行，周期可以設(shè)置為分鐘、小時、天、周、月、年

效據(jù)..叵運行胃期謖量廠運行時間周期至\1同期創(chuàng)運石周期廠天廠小時廠拎怦話行時問[7F：阿謂度說明貿(mào)度期于毎僅。小時咼執(zhí)行：開始時間站：12時歸井直最近運行時冋設(shè)盍:S近云斤時問|2D10-8-13~—師時耐分辰一秒確定職消服務(wù)調(diào)度3運維監(jiān)控數(shù)據(jù)交換平臺提供了多種監(jiān)控，實時反映各個數(shù)據(jù)交換流程的運行情況，服務(wù)器資源的使用情況，交換平臺的整體接入情況。所有的流程都可以進行啟動、停止操作。3?7?1告警監(jiān)控提供平臺運行過程中的異常信息。敷聲交換訓(xùn)中心盂彌控->告獸孟控系統(tǒng)日?吉釜翌：|詰曲t一亍位FT日志時習(xí)：「"Bl至BC\S^(Enter)□日志內(nèi)容記錄旳間口志裘型123□□□JJetYCfkenrol-IQE^cepi:on：Conrtectiontirred.■SOlO-fl^-SSIE：LO：01服務(wù)器HetvorkerrorTOEzcepiion：Connectionlined,i2010-Q^_2315：09：4D』艮務(wù)器HelYorkerrorIDE?;cepiioil：Connec-liontinsd.>3010-0-4-2315：09：19JIE.務(wù)黑4□SatvorkerrorIQE>:cepliojl.Connectiontimed.>3010-0^-2315:09.19服竭■器5nletvorkerrorTOE>:ceiitionConnectioritiraed.>2010-0^-231509L9HetvorkerrorIDEKcep-■onConnectiontimed，3010-0^-2315091.9告警監(jiān)控3?7?2流程監(jiān)控對每一個流程中的各個環(huán)節(jié)進行監(jiān)控，針對出錯的環(huán)節(jié)通過下載錯誤數(shù)據(jù)和

錯誤原因分析問題具體的原因。殿:E盤換営迎中祖->康規(guī)鱉腔->謔程船豎査詢擺卄聯(lián)譜‘1匝用耒紐3務(wù)：”'.査ffi(Eutii尊刷新訴程:S稱琛數(shù)露詛目標菽據(jù)函詩帥日消且生成SJE^fiE救據(jù)上隹覽布SE程sass誚狀布樂菇下我數(shù)菇同歩SlQ.av_sq1SlEilt3O1CM15-05y■■//?$lQ.a￥_sql$l=i)13cifvtS14.cces5_t301CKI5-D5V查看所有SiaaY_sijlBlsijlserve5]aricLt_tZ01D-05-05V￥VV*V￥31ELov_3il8]3ilTervt20J0-05-Q5v￥VV寸査君騎育流程監(jiān)控3?7?3資源監(jiān)控實時監(jiān)控服務(wù)器CPU、內(nèi)存、硬盤的使用情況。服勞器監(jiān)控資源監(jiān)控告警信息歡迎您:系統(tǒng)管理員艾有斗1觀條告警信息進入查詢按級別包括：正^（1308；警告〔2酣7：錯誤⑴按類別包括：服務(wù)門呃9；^i：2837）告警通知設(shè)置警戒絹設(shè)置交換中業(yè)粟練信息朋應(yīng)用系統(tǒng):接入2亍應(yīng)用系統(tǒng)進入查詢數(shù)據(jù)源：創(chuàng)連斗1平數(shù)據(jù)源-2丘平源數(shù)據(jù)源亍目標數(shù)據(jù)源進入查詢疣程：逹立2并疣程正在運行的疣程”25平暫停運行硫程進入查詢訂閱：逹立口亍訂閱-口平正在運行』平暫停進入查詢整體情況監(jiān)控

3?7?4日志管理平臺記錄了數(shù)據(jù)交換各個環(huán)節(jié)的日志。I——r1眾務(wù)口志服務(wù)運行E志查詢數(shù)垂生成數(shù)據(jù)生成E志逾程發(fā)布硫程發(fā)布E志消息逅布消息發(fā)布I——r1眾務(wù)口志服務(wù)運行E志查詢數(shù)垂生成數(shù)據(jù)生成E志逾程發(fā)布硫程發(fā)布E志消息逅布消息發(fā)布E志數(shù)乘同步數(shù)據(jù)同歩E志梢息生成消息生成日志數(shù)齬上傳數(shù)據(jù)上傳日志數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換日志數(shù)齬下載數(shù)據(jù)下載日志日志管理4產(chǎn)品特點4.1支持多種數(shù)據(jù)交換方式數(shù)據(jù)庫表（支持ORACLE、SQLSERVER、SYBASE、DB2等）>視圖、存儲過程數(shù)據(jù)文件（EXCEL文件、XML文件、TXT文件）WebService接口4.2