可視化數(shù)據(jù)管理與發(fā)布工具VisualDB設(shè)計(jì)與功能介紹

1、1可視化關(guān)系數(shù)據(jù)庫(kù)管理發(fā)布系統(tǒng)VisualDB中科院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 科學(xué)數(shù)據(jù)中心 2報(bào)告提綱nVisualDB概述nVisualDB功能介紹nVisualDB應(yīng)用現(xiàn)狀與展望3VisualDB概述n開(kāi)發(fā)背景n設(shè)計(jì)目標(biāo)n版本開(kāi)發(fā)歷史4開(kāi)發(fā)背景n來(lái)源于科學(xué)數(shù)據(jù)庫(kù)csdb項(xiàng)目n2002年，建庫(kù)任務(wù)的提出n納米科技基礎(chǔ)數(shù)據(jù)庫(kù)（10個(gè)子庫(kù)）n中國(guó)納米專利公開(kāi)庫(kù)n中國(guó)納米專利授權(quán)庫(kù)n國(guó)外納米專利數(shù)據(jù)庫(kù)n納米成果數(shù)據(jù)庫(kù)n納米課題數(shù)據(jù)庫(kù)n納米專家數(shù)據(jù)庫(kù)n納米測(cè)試技術(shù)數(shù)據(jù)庫(kù)n納米材料性能數(shù)據(jù)庫(kù)n納米文獻(xiàn)摘要數(shù)據(jù)庫(kù)n納米器件數(shù)據(jù)庫(kù)5開(kāi)發(fā)背景n功能需求：n增、刪、改、查（2）；n概覽、細(xì)覽；n數(shù)據(jù)之間存在關(guān)聯(lián)；n

2、數(shù)據(jù)類型的多樣性：n文件、字典、日期、鏈接、圖片、音頻、視頻、HTML數(shù)據(jù)錄入數(shù)據(jù)錄入數(shù)據(jù)更新數(shù)據(jù)更新數(shù)據(jù)檢索、瀏覽數(shù)據(jù)檢索、瀏覽6開(kāi)發(fā)背景專利數(shù)據(jù)庫(kù)增加刪除查詢修改瀏覽查看專家數(shù)據(jù)庫(kù)增加刪除查詢修改瀏覽查看成果數(shù)據(jù)庫(kù)增加刪除查詢修改瀏覽查看n如果面對(duì)每個(gè)子庫(kù)進(jìn)行開(kāi)發(fā)：n10 * (4 * 2 2) = 100頁(yè)面n數(shù)據(jù)訪問(wèn)邏輯7開(kāi)發(fā)背景專利數(shù)據(jù)庫(kù)增加刪除查詢修改瀏覽查看專家數(shù)據(jù)庫(kù)增加刪除查詢修改瀏覽查看成果數(shù)據(jù)庫(kù)增加刪除查詢修改瀏覽查看XX數(shù)據(jù)庫(kù)增加刪除查詢修改瀏覽查看配置專利數(shù)據(jù)庫(kù)專家數(shù)據(jù)庫(kù)成果數(shù)據(jù)庫(kù)VisualDB 8VisualDB面對(duì)的問(wèn)題n大量的、異構(gòu)的關(guān)系型數(shù)據(jù)庫(kù)需要發(fā)布；n不要

3、依賴于某種特定的操作系統(tǒng)以及關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)； 普適性n如何解決圖片、視頻、圖文混排等非格式化數(shù)據(jù)的存儲(chǔ)與顯示？ 不要依賴于物理模型n需要區(qū)分?jǐn)?shù)據(jù)管理員與數(shù)據(jù)用戶的權(quán)限； 用戶訪問(wèn)控制n需要滿足數(shù)據(jù)的瀏覽、檢索功能需求； 數(shù)據(jù)的錄入與發(fā)布n支持多個(gè)子庫(kù)，并需要提供為子庫(kù)進(jìn)行配置的界面； 目錄n方案要足夠簡(jiǎn)單、足夠笨； 自動(dòng)化、半自動(dòng)化9更多的需求n不要讓每個(gè)子庫(kù)的顯示界面一模一樣！定制化n需要開(kāi)發(fā)其它的功能（如：統(tǒng)計(jì)）怎么辦？能基于VisualDB嗎？二次開(kāi)發(fā)接口n數(shù)據(jù)類型不夠用怎么辦？類型庫(kù)及其接口n需要在遠(yuǎn)程訪問(wèn)VisualDB數(shù)據(jù)，可以嗎？遠(yuǎn)程訪問(wèn)接口10VisualDB的設(shè)計(jì)目標(biāo)n

4、總體目標(biāo)：n屏蔽差異性：數(shù)據(jù)庫(kù)產(chǎn)品差異、存儲(chǔ)位置的差異、結(jié)構(gòu)的差異n讓數(shù)據(jù)的訪問(wèn)更加安全n讓數(shù)據(jù)的情況一目了然n讓數(shù)據(jù)對(duì)象在網(wǎng)絡(luò)中自由傳輸交換11VisualDB的設(shè)計(jì)目標(biāo)nVisualDB=DB+?DB訪問(wèn)記帳庫(kù)數(shù)據(jù)量（質(zhì)量）統(tǒng)計(jì)庫(kù)記錄索引庫(kù)WebUIWeb ServicesTools文檔資源庫(kù)用戶訪問(wèn)控制庫(kù)VisualDB+12VisualDB的設(shè)計(jì)目標(biāo)n為建庫(kù)人員：n針對(duì)關(guān)系型數(shù)據(jù)庫(kù)n可視化的、可配置的n數(shù)據(jù)錄入、更新、發(fā)布n無(wú)需編寫(xiě)代碼，即可完成對(duì)數(shù)據(jù)庫(kù)的內(nèi)容發(fā)布，提供數(shù)據(jù)的檢索和瀏覽服務(wù)n為數(shù)據(jù)應(yīng)用開(kāi)發(fā)人員：n模塊接口便于擴(kuò)展（認(rèn)證、授權(quán)模塊）n為二次開(kāi)發(fā)提供數(shù)據(jù)訪問(wèn)接口（API&服

5、務(wù)）n每個(gè)頁(yè)面可以靈活定制，并且能夠方便的引用到數(shù)據(jù)13需求分析，概念建模需求分析，概念建模邏輯建模邏輯建模應(yīng)用開(kāi)發(fā)，數(shù)據(jù)著錄應(yīng)用開(kāi)發(fā)，數(shù)據(jù)著錄應(yīng)用開(kāi)發(fā)，數(shù)據(jù)發(fā)布應(yīng)用開(kāi)發(fā)，數(shù)據(jù)發(fā)布應(yīng)用開(kāi)發(fā)，數(shù)據(jù)統(tǒng)計(jì)分析應(yīng)用開(kāi)發(fā)，數(shù)據(jù)統(tǒng)計(jì)分析抽取物理模型抽取物理模型自動(dòng)生成自動(dòng)生成數(shù)據(jù)管理界面數(shù)據(jù)管理界面自動(dòng)生成自動(dòng)生成數(shù)據(jù)發(fā)布界面數(shù)據(jù)發(fā)布界面自動(dòng)進(jìn)行自動(dòng)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析數(shù)據(jù)統(tǒng)計(jì)分析物理建模物理建模配置數(shù)據(jù)目錄配置數(shù)據(jù)目錄傳統(tǒng)傳統(tǒng)應(yīng)用應(yīng)用開(kāi)發(fā)開(kāi)發(fā)流程流程VDB環(huán)境環(huán)境對(duì)應(yīng)用開(kāi)發(fā)流程的影響14原型系統(tǒng)csdb數(shù)據(jù)訪問(wèn)層WEB-UDB1.0UDB-HOSTINGWEB-UDB1.220022002年年吳開(kāi)超、何洪波

6、、吳開(kāi)超、何洪波、沈志宏沈志宏20032003年年吳開(kāi)超、沈志宏、吳開(kāi)超、沈志宏、昝振宇昝振宇20042004年年沈志宏、昝振宇、沈志宏、昝振宇、查新征查新征20052005年年沈志宏沈志宏20062006年年沈志宏、昝振宇、沈志宏、昝振宇、楊新梅楊新梅VisualDB1.0發(fā)布版本20082008年年沈志宏、王丙林沈志宏、王丙林重構(gòu)重構(gòu)虛擬主機(jī)虛擬主機(jī)頁(yè)面定制頁(yè)面定制穩(wěn)定版本穩(wěn)定版本合并合并正式發(fā)布正式發(fā)布VisualDB1.2發(fā)布版本版本歷史重構(gòu)重構(gòu)20082008年年沈志宏沈志宏VisualDB1.3發(fā)布版本重構(gòu)重構(gòu)20092009年年沈志宏沈志宏15nVisualDB功能介紹n軟件模塊

7、n功能模塊組成n使用流程n各模塊功能介紹n總體特性16Visual DB 軟件模塊工具接口數(shù)據(jù)訪問(wèn)核心模塊csdb-commons-dbcp/csdb-commons-orm/csdb-jdbcxspring/struts/velocity/taglib/jQuery/ajax/json/EHCache/hessianvdb-ormjdbcxvdb-daovdb-cachevdb-catalogtypelibToTvdb-templatesvdbsecurityvdbaccoutingvdb-service(ws)jsoQuery(json)vdb catalogbuildervdb edit

8、or(DataForge?)vdb publisher(mydb)vdbexplorervdb datasetregistryvalidationrules engineadaptersimport/exportvdbstat.vdb-dbcpREST interfacehessian17模塊組成MyDB ：網(wǎng)站前臺(tái)提供數(shù)據(jù)的檢索和瀏覽界面DataForge：數(shù)據(jù)管理提供數(shù)據(jù)的錄入界面CatalogBuilder：目錄管理提供目錄的配置管理SecurityCenter：安全中心提供數(shù)據(jù)的安全策略vReports：統(tǒng)計(jì)分析對(duì)數(shù)據(jù)、數(shù)據(jù)訪問(wèn)進(jìn)行統(tǒng)計(jì)18使用流程19操作步驟nStep1. 安裝Vis

9、ualDB20操作步驟nStep2. 系統(tǒng)管理員完成目錄的配置 21操作步驟nStep3.系統(tǒng)管理員為用戶分配權(quán)限22操作步驟nStep4.數(shù)據(jù)管理員進(jìn)行數(shù)據(jù)錄入23操作步驟nStep5.數(shù)據(jù)用戶進(jìn)行數(shù)據(jù)檢索24各模塊功能介紹nCatalogBuildern目錄是VDB的核心所在，系統(tǒng)管理員的大部分工作都在使用CatalogBuildern本地域?qū)傩詎設(shè)置網(wǎng)站的基本屬性和框架結(jié)構(gòu)n設(shè)置數(shù)據(jù)集的發(fā)布風(fēng)格n數(shù)據(jù)集模型n支持一個(gè)域多個(gè)數(shù)據(jù)集n設(shè)置數(shù)據(jù)集的邏輯模型（實(shí)體、關(guān)系、查詢）25CatalogBuildern本地域?qū)傩栽O(shè)置基本屬性基本屬性設(shè)置設(shè)置顯示風(fēng)格顯示風(fēng)格設(shè)置設(shè)置網(wǎng)站發(fā)布網(wǎng)站發(fā)布26Ca

10、talogBuildern數(shù)據(jù)集維護(hù)數(shù)據(jù)集列表，數(shù)據(jù)集列表，可進(jìn)行添加可進(jìn)行添加和刪除和刪除27CatalogBuildern數(shù)據(jù)集屬性設(shè)置數(shù)據(jù)集基本數(shù)據(jù)集基本屬性的設(shè)置屬性的設(shè)置數(shù)據(jù)集連接數(shù)據(jù)集連接屬性的設(shè)置屬性的設(shè)置28CatalogBuildern實(shí)體設(shè)置實(shí)體基本屬實(shí)體基本屬性的設(shè)置性的設(shè)置實(shí)體主鍵實(shí)體主鍵的設(shè)置的設(shè)置29CatalogBuildern實(shí)體包含屬性設(shè)置實(shí)體的屬性實(shí)體的屬性列表：可進(jìn)列表：可進(jìn)行修改、刪行修改、刪除、新增等除、新增等操作操作實(shí)體某個(gè)屬實(shí)體某個(gè)屬性的設(shè)置性的設(shè)置30CatalogBuildern查詢?cè)O(shè)置查詢列表的維護(hù)，查詢列表的維護(hù)，可對(duì)查詢進(jìn)行修改、可對(duì)查詢

11、進(jìn)行修改、刪除、新增等刪除、新增等某個(gè)查詢某個(gè)查詢基本屬性基本屬性的設(shè)置的設(shè)置31CatalogBuildern關(guān)系設(shè)置一對(duì)多關(guān)一對(duì)多關(guān)系的設(shè)置系的設(shè)置多對(duì)多關(guān)多對(duì)多關(guān)系的設(shè)置系的設(shè)置關(guān)系列表的維關(guān)系列表的維護(hù)：新增、修護(hù)：新增、修改、刪除改、刪除32CatalogBuildern視圖設(shè)置視圖的設(shè)置視圖的設(shè)置33VDB 自定義數(shù)據(jù)類型34數(shù)據(jù)庫(kù)各模塊功能介紹nMyDBn瀏覽：支持分頁(yè)、排序、多種顯示風(fēng)格n查看：支持多表關(guān)聯(lián)n檢索：針對(duì)所有可檢索字段進(jìn)行組合查詢35MyDB不同的瀏覽風(fēng)格顯示哪些顯示哪些字段由目字段由目錄指定錄指定36MyDB分頁(yè) 和排序支持排序支持排序支持分頁(yè)支持分頁(yè)37MyD

12、B實(shí)體顯示實(shí)體顯示38虛擬實(shí)體虛擬實(shí)體顯示顯示MyDB39MyDB詳細(xì)信息顯示字詳細(xì)信息顯示字段可配置段可配置40MyDB關(guān)聯(lián)信息關(guān)聯(lián)信息顯示顯示41MyDB查詢查詢42MyDB配置索引配置索引跨庫(kù)檢索跨庫(kù)檢索43各模塊功能介紹nDataForgen增加、刪除、修改、審批n瀏覽與檢索n數(shù)據(jù)校驗(yàn)n數(shù)據(jù)導(dǎo)入導(dǎo)出n日志查看數(shù)據(jù)庫(kù)44DataForge多行文本框多行文本框日期控件日期控件文件控件文件控件彈出窗口彈出窗口不同的編輯風(fēng)格如何顯示編如何顯示編輯控件由目輯控件由目錄指定錄指定下拉控件下拉控件45DataForge不同的編輯風(fēng)格本地文件類型本地文件類型46DataForge不同的編輯風(fēng)格本地文件

13、顯本地文件顯示方式：支示方式：支持下載持下載47DataForge基本信息基本信息關(guān)聯(lián)信息關(guān)聯(lián)信息基本信息與關(guān)聯(lián)信息的錄入哪些信息哪些信息需關(guān)聯(lián)由需關(guān)聯(lián)由目錄指定目錄指定標(biāo)題編輯方式標(biāo)題編輯方式表格編輯方式表格編輯方式48DataForge客戶端校驗(yàn)客戶端校驗(yàn)客戶端校驗(yàn)客戶端校驗(yàn)如何校驗(yàn)由如何校驗(yàn)由目錄指定目錄指定對(duì)數(shù)據(jù)的校驗(yàn)49DataForge新增記錄成功新增記錄成功新增記錄50DataForge查詢框查詢框記錄瀏覽記錄瀏覽點(diǎn)擊按字段點(diǎn)擊按字段排序排序記錄的瀏覽、檢索默認(rèn)排序默認(rèn)排序方式由目方式由目錄指定錄指定51DataForge數(shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入記錄的導(dǎo)入導(dǎo)出指定字段指定字段數(shù)據(jù)導(dǎo)出數(shù)據(jù)

14、導(dǎo)出指定方式指定方式52DataForge記錄的刪除級(jí)聯(lián)刪除一級(jí)聯(lián)刪除一對(duì)多記錄對(duì)多記錄刪除多對(duì)多刪除多對(duì)多關(guān)系關(guān)系刪除主記錄刪除主記錄53DataForge數(shù)據(jù)訪問(wèn)日志數(shù)據(jù)訪問(wèn)日志查看日志數(shù)據(jù)修改日志數(shù)據(jù)修改日志54各模塊功能介紹nSecurityCentern增加、修改、刪除用戶組信息、管理組內(nèi)用戶、用戶組授權(quán)n增加、修改、刪除用戶信息、設(shè)置用戶組、用戶授權(quán)55SecurityCenter56SecurityCenter資源過(guò)濾器描述系統(tǒng)資源過(guò)濾器所有數(shù)據(jù)表中所有數(shù)據(jù)本組數(shù)據(jù)表中本組用戶錄入的數(shù)據(jù)個(gè)人數(shù)據(jù)表中個(gè)人錄入數(shù)據(jù)自定義資源過(guò)濾器自定義可以任意對(duì)數(shù)據(jù)表中記錄進(jìn)行分類比如 select

15、 id from tablename where column100等等57SecurityCenter自定義資源過(guò)濾器自定義資源過(guò)濾器58SecurityCenter用戶管理用戶管理用戶組列表用戶組列表用戶組授權(quán)用戶組授權(quán)59SecurityCenter用戶組管理用戶組管理用戶列表用戶列表用戶授權(quán)用戶授權(quán)60SecurityCenter權(quán)限不足提示權(quán)限不足提示沒(méi)權(quán)限針對(duì)表進(jìn)沒(méi)權(quán)限針對(duì)表進(jìn)行修改行修改記錄的審核、修改、記錄的審核、修改、刪除都做了權(quán)限控制刪除都做了權(quán)限控制61各模塊功能介紹nvReportsn統(tǒng)計(jì)分析是VDB的主要功能模塊之一；n數(shù)據(jù)質(zhì)量指標(biāo)統(tǒng)計(jì)n數(shù)據(jù)集數(shù)據(jù)量大小，數(shù)據(jù)實(shí)體數(shù)據(jù)

16、量大小，記錄條數(shù)，字段在關(guān)系數(shù)據(jù)庫(kù)中的空間利用率等 n數(shù)據(jù)訪問(wèn)統(tǒng)計(jì)n數(shù)據(jù)集訪問(wèn)統(tǒng)計(jì)n當(dāng)日分時(shí)段，分訪問(wèn)來(lái)源，分日期區(qū)間，訪問(wèn)關(guān)鍵字統(tǒng)計(jì)，分實(shí)體統(tǒng)計(jì)，分操作統(tǒng)計(jì)，高頻訪問(wèn)IP統(tǒng)計(jì)等 n數(shù)據(jù)實(shí)體訪問(wèn)統(tǒng)計(jì)n當(dāng)日分時(shí)段，分訪問(wèn)來(lái)源，分日期區(qū)間，訪問(wèn)關(guān)鍵字統(tǒng)計(jì)，分操作統(tǒng)計(jì)，高頻訪問(wèn)IP統(tǒng)計(jì)等 62vReports數(shù)據(jù)質(zhì)量指標(biāo)表格顯示表格顯示利用率細(xì)覽利用率細(xì)覽總空間大小總空間大小數(shù)據(jù)集文件數(shù)量數(shù)據(jù)集文件數(shù)量數(shù)據(jù)集大小數(shù)據(jù)集大小最后更新時(shí)間最后更新時(shí)間63vReports數(shù)據(jù)質(zhì)量指標(biāo)歷史對(duì)比歷史對(duì)比圖表顯示圖表顯示64vReports數(shù)據(jù)訪問(wèn)統(tǒng)計(jì)24小時(shí)實(shí)時(shí)統(tǒng)計(jì)小時(shí)實(shí)時(shí)統(tǒng)計(jì)增刪改查情況增刪改查情況日期時(shí)間

17、段訪問(wèn)情況日期時(shí)間段訪問(wèn)情況65vReports數(shù)據(jù)訪問(wèn)統(tǒng)計(jì)訪問(wèn)來(lái)源統(tǒng)計(jì)訪問(wèn)來(lái)源統(tǒng)計(jì)增刪改查情況增刪改查情況其它主要統(tǒng)計(jì)報(bào)表其它主要統(tǒng)計(jì)報(bào)表66總體特性n普適性n采用java平臺(tái)無(wú)關(guān)性語(yǔ)言開(kāi)發(fā)，可在Windows/Linux等操作環(huán)境下安裝運(yùn)行nVisualDB支持流行的RDBMS（關(guān)系型數(shù)據(jù)庫(kù)），并有效屏蔽底層數(shù)據(jù)庫(kù)的異構(gòu)性。支持的RDBMS包括：Oracle、SQLServer、MySQL、Access、PostgreSQL、HSQL、SQLite、derby等，此外，VisualDB還支持ODBC數(shù)據(jù)源。67總體特性n普適性n提供多種主題供用戶選擇68總體特性n易用性nVisualDB基

18、于流行的B/S結(jié)構(gòu)開(kāi)發(fā)，最終用戶只需要IE瀏覽器即可進(jìn)行數(shù)據(jù)的管理和訪問(wèn)n實(shí)現(xiàn)零開(kāi)發(fā)，用戶通過(guò)簡(jiǎn)單的配置即可以實(shí)現(xiàn)數(shù)據(jù)的編輯和顯示、檢索、以及字段排序等功能，無(wú)需編寫(xiě)一行代碼69總體特性n易用性n完全可視化，高度可配置性，用戶基本可以脫離后臺(tái)數(shù)據(jù)庫(kù)系統(tǒng)體驗(yàn)數(shù)據(jù)庫(kù)的建設(shè)，無(wú)需專業(yè)的RDBMS背景70總體特性n易用性n輕松實(shí)現(xiàn)跨庫(kù)索引71總體特性n易用性n數(shù)據(jù)導(dǎo)入導(dǎo)出，輕松自如72總體特性n安全性n通過(guò)對(duì)用戶訪問(wèn)控制的增強(qiáng)，提供用戶授權(quán)機(jī)制，更有力的保護(hù)數(shù)據(jù)73總體特性n性能n快速的響應(yīng)速度，支持每秒至少50+的并發(fā)請(qǐng)求處理。74總體特性n可擴(kuò)展性nRDBMS驅(qū)動(dòng)ntypelib數(shù)據(jù)類型、編輯器、

19、顯示風(fēng)格n訪問(wèn)控制模型n如何獲取可擴(kuò)展性？n軟件升級(jí)n二次開(kāi)發(fā)75總體特性n對(duì)二次開(kāi)發(fā)的支持n提供服務(wù)器端的模板語(yǔ)言，允許開(kāi)發(fā)者使用VTL（Velocity Template Language）定制頁(yè)面和typelibn提供瀏覽器端的javascript對(duì)象模型，允許開(kāi)發(fā)者在瀏覽器通過(guò)js腳本獲取數(shù)據(jù)n開(kāi)放的數(shù)據(jù)集模型，能夠?qū)С鯴ML格式，達(dá)到與其它應(yīng)用之間的模型通訊76總體特性n其他特性n脫離物理模型，面向?qū)ο蠼?，更加直觀77總體特性n其他特性n記錄數(shù)據(jù)的增、刪、改、查、審所有操作，讓數(shù)據(jù)擁有者對(duì)數(shù)據(jù)的使用情況更加放心78總體特性n其他特性n提供數(shù)據(jù)集的數(shù)據(jù)量、記錄數(shù)、字段利用率等信息，數(shù)據(jù)質(zhì)量盡在掌握79總體特性n其他特性n通過(guò)cache、ORM機(jī)制，提供高效的數(shù)據(jù)對(duì)象操作接口 80nVisualDB應(yīng)用現(xiàn)狀與展望nVisualDB應(yīng)用案例n版本更新計(jì)劃81應(yīng)用案例VisualDB納米科技基礎(chǔ)數(shù)據(jù)庫(kù)中草藥庫(kù)化學(xué)物質(zhì)毒性數(shù)據(jù)庫(kù)高級(jí)專家數(shù)據(jù)庫(kù)西北人文數(shù)據(jù)庫(kù)Brainbank數(shù)據(jù)庫(kù)核化生爆數(shù)據(jù)庫(kù)數(shù)據(jù)鏡像元數(shù)據(jù)庫(kù)政府間關(guān)系數(shù)據(jù)整合分析系統(tǒng)庫(kù)化學(xué)譜圖整合數(shù)據(jù)庫(kù)II型糖尿病專家?guī)鞈?zhàn)略規(guī)劃信息庫(kù)82應(yīng)用案例n科學(xué)數(shù)據(jù)庫(kù)項(xiàng)目n納米科技基礎(chǔ)數(shù)據(jù)庫(kù)（國(guó)家納米中心）n中草藥庫(kù)http:/（中科