勤智創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺解決方案.docx

勤智 創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺_解決方案勤智創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺解決方案成都勤智數(shù)碼科技股份有限公司2015年6月目錄1建設(shè)大數(shù)據(jù)平臺的目的32大數(shù)據(jù)平臺帶來的價值33投資建設(shè)的內(nèi)容43.1大數(shù)據(jù)支撐體系建設(shè)53.1.1大數(shù)據(jù)支撐平臺53.1.2數(shù)據(jù)管理子系統(tǒng)103.1.3創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng)133.1.4數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng)143.1.5用戶及權(quán)限管理子系統(tǒng)173.2大數(shù)據(jù)平臺運營維護服務(wù)193.2.1平臺內(nèi)部資源的監(jiān)控管理193.2.2平臺故障處理管理203.2.3日常平臺管理任務(wù)自動化213.2.4故障處理自動化213.3科研專家和數(shù)據(jù)資源224項目收費和收益模型224.1平臺運營服務(wù)224.2數(shù)據(jù)運營服務(wù)收益234.3大數(shù)據(jù)產(chǎn)業(yè)鏈發(fā)展促進收益234.4政府社會收益235項目建設(shè)階段目標241 建設(shè)大數(shù)據(jù)平臺的目的大數(shù)據(jù)正在改變信息社會，我們正從IT時代走向DT時代。大數(shù)據(jù)產(chǎn)業(yè)，作為國家戰(zhàn)略新興產(chǎn)業(yè)，受到各級政府的高度重視。大數(shù)據(jù)產(chǎn)業(yè)建設(shè)，通過“政府引導(dǎo)、市場主導(dǎo)”的模式建設(shè)一個數(shù)據(jù)驅(qū)動的創(chuàng)新創(chuàng)業(yè)生態(tài)環(huán)境，改變當下政務(wù)數(shù)據(jù)的分散、獨立的現(xiàn)狀，充分利用“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”的創(chuàng)新創(chuàng)業(yè)熱潮，積極建設(shè)一個以數(shù)據(jù)驅(qū)動的運營體系、創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈、政務(wù)數(shù)據(jù)共享交換、智慧城市大數(shù)據(jù)支撐平臺為核心目的的大數(shù)據(jù)全產(chǎn)業(yè)鏈的生態(tài)環(huán)境。以“一點創(chuàng)新，全盤激活”為引導(dǎo)思路，“一平臺，多應(yīng)用”為框架設(shè)計思路，在人才培育體系建立、就業(yè)崗位增加、產(chǎn)業(yè)發(fā)展空間和產(chǎn)值提升等方面真切的做到為政府提供全方位的服務(wù)，從而為產(chǎn)業(yè)發(fā)展現(xiàn)狀形成標桿性的發(fā)展格局，夯實大數(shù)據(jù)產(chǎn)業(yè)發(fā)展基礎(chǔ)。進一步推進“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”，讓創(chuàng)業(yè)創(chuàng)新成為經(jīng)濟增長的“倍增器”、發(fā)展方式的“轉(zhuǎn)換器”， 讓“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”在全社會蔚然成風；支撐政府在更高的平臺上實現(xiàn)經(jīng)濟可持續(xù)發(fā)展，為產(chǎn)業(yè)轉(zhuǎn)型升級提供經(jīng)驗和啟示。2 大數(shù)據(jù)平臺帶來的價值創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺可以帶來巨大的產(chǎn)業(yè)發(fā)展空間、解決諸多歷史問題、明確城市產(chǎn)業(yè)的發(fā)展方向以及帶動相關(guān)產(chǎn)業(yè)的協(xié)同發(fā)展，具體表現(xiàn)在：數(shù)據(jù)運營體系的建立：建立以數(shù)據(jù)為核心資產(chǎn)和驅(qū)動力的運營體系，全面利用智慧城市框架內(nèi)各類垂直業(yè)務(wù)的運營數(shù)據(jù)、國信優(yōu)易擁有的可訪問的700T國家部分部委的政務(wù)數(shù)據(jù)、區(qū)域政府的各委辦局的政務(wù)數(shù)據(jù)等高價值的數(shù)據(jù)資產(chǎn)，并為之配套形成標桿性的規(guī)范與標準，對于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展方向無疑會產(chǎn)生標志性的里程碑意義。依托國信優(yōu)易的未來國家級大數(shù)據(jù)共享促進中心的發(fā)展定位，創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺作為區(qū)域內(nèi)唯一的國信優(yōu)易所擁有的國家部委重要數(shù)據(jù)資源的訪問接口，在未來以數(shù)據(jù)驅(qū)動的運營體系中會處于非常有利的發(fā)展格局。創(chuàng)新創(chuàng)業(yè)生態(tài)的孵化：以數(shù)據(jù)為基礎(chǔ)的創(chuàng)新創(chuàng)業(yè)平臺，不僅迎合了國家“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”的政策，可以為政府服務(wù)，產(chǎn)生很多就業(yè)機會，形成有效的匯聚人才、吸引投資的強大磁場。數(shù)據(jù)作為政府的核心資產(chǎn)，有數(shù)據(jù)就有機遇，就會有人才培養(yǎng)和孵化的潤土。大數(shù)據(jù)產(chǎn)業(yè)鏈的打造：結(jié)合大數(shù)據(jù)產(chǎn)業(yè)發(fā)展目標，充分利用創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺中擁有的高價值智慧城市運營數(shù)據(jù)、國信優(yōu)易數(shù)據(jù)、政務(wù)數(shù)居等核心資源，打造以數(shù)據(jù)為核心的產(chǎn)業(yè)鏈：產(chǎn)業(yè)鏈上游為各類數(shù)據(jù)擁有者和數(shù)據(jù)制造者；產(chǎn)業(yè)鏈中游為各種數(shù)據(jù)加工、創(chuàng)新創(chuàng)業(yè)、數(shù)據(jù)使用者，讓數(shù)據(jù)成為產(chǎn)業(yè)鏈的“石油”資源，驅(qū)動產(chǎn)業(yè)鏈的良性發(fā)展；產(chǎn)業(yè)鏈下游為政府或者社會企業(yè)對數(shù)據(jù)加工創(chuàng)新環(huán)節(jié)產(chǎn)生的各類落地的應(yīng)用和商業(yè)模式進行投資和運營；通過大數(shù)據(jù)產(chǎn)業(yè)鏈的良性循環(huán)，為政府帶來百億級別的產(chǎn)業(yè)發(fā)展機遇和上億的產(chǎn)值。智慧城市數(shù)據(jù)互聯(lián)支撐：智慧城市發(fā)展規(guī)劃的頂層設(shè)計會涉及到很多的底層數(shù)據(jù)和上層應(yīng)用，將各類垂直應(yīng)用的運營數(shù)據(jù)接入到統(tǒng)一的智慧城市數(shù)據(jù)支撐平臺中，可以為未來智慧城市建設(shè)產(chǎn)生的數(shù)據(jù)的互聯(lián)互通提供基礎(chǔ)支撐，為數(shù)據(jù)的運營體系提供充足的血液。政務(wù)數(shù)據(jù)共享交換：通過對各個委辦局數(shù)據(jù)孤島中各類數(shù)據(jù)的分類、數(shù)據(jù)目錄定義、數(shù)據(jù)挖局、數(shù)據(jù)分析、數(shù)據(jù)清理、數(shù)據(jù)脫敏、數(shù)據(jù)水印、權(quán)限管控、數(shù)據(jù)熱度模型等各類數(shù)據(jù)的生產(chǎn)加工，為上層基于數(shù)據(jù)的共享創(chuàng)新等應(yīng)用提供足夠數(shù)據(jù)支撐；同時政府也可充分利用民生數(shù)據(jù)，脫敏利用后最大限度的做到服務(wù)于民。成都勤智數(shù)碼科技股份有限公司（以下簡稱“勤智數(shù)碼”）成立于2005年，管理團隊均來自世界五百強，具備豐富的資本運作、市場運營經(jīng)驗，依托與電子科技大學成立的“機器學習和數(shù)據(jù)智能”聯(lián)合實驗室，在大數(shù)據(jù)平臺、數(shù)據(jù)分析和算法融合、應(yīng)用開發(fā)等領(lǐng)域有豐富的項目經(jīng)驗和實力，成功承接過數(shù)十個政府大型項目的建設(shè)，運營和運維工作。勤智數(shù)碼期望借助本地化企業(yè)的優(yōu)勢，承擔創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺的項目建設(shè)及后期運營工作，組建最優(yōu)秀的專家團隊，在頂層設(shè)計、建設(shè)以及運營工作等方面高質(zhì)量、按計劃的完成。3 投資建設(shè)的內(nèi)容創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目的投資建設(shè)，因為涉及的軟硬件資源、咨詢溝通、信息數(shù)據(jù)等內(nèi)容繁多，勤智數(shù)碼結(jié)合政府相關(guān)的項目經(jīng)驗，對初步建議的投資模式進行了如下的歸納總結(jié)。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目主要涉及到三個方面的投資建設(shè)內(nèi)容，包括：1）大數(shù)據(jù)支撐體系的建設(shè)2）大數(shù)據(jù)平臺運營維護服務(wù)3）科研專家和數(shù)據(jù)資源服務(wù)投入具體投資建設(shè)內(nèi)容如下：3.1 大數(shù)據(jù)支撐體系建設(shè)為了實現(xiàn)政務(wù)數(shù)據(jù)的共享創(chuàng)新體系的建立，對政務(wù)數(shù)據(jù)需要有完備的分析處理體系，以支撐整個創(chuàng)新創(chuàng)業(yè)生態(tài)、大數(shù)據(jù)產(chǎn)業(yè)鏈的健康發(fā)展，而且國信優(yōu)易擁有高質(zhì)量的國家部委的各類數(shù)據(jù)，為了能有效的訪問到經(jīng)過國信優(yōu)易授權(quán)的各類數(shù)據(jù)，建設(shè)內(nèi)容已經(jīng)充分考慮應(yīng)用國內(nèi)目前成熟和先進的技術(shù)，最大限度復(fù)用國信優(yōu)易大數(shù)據(jù)平臺的成熟穩(wěn)定的技術(shù)架構(gòu)和實現(xiàn)，結(jié)合特定需求的元數(shù)據(jù)管理、數(shù)據(jù)分類、數(shù)據(jù)審計、數(shù)據(jù)審核、數(shù)據(jù)評估、數(shù)據(jù)定級、數(shù)據(jù)發(fā)布、數(shù)據(jù)水印管理、數(shù)據(jù)開放接口管理、數(shù)據(jù)展示統(tǒng)一門戶系統(tǒng)、身份權(quán)限管理、用戶管理、平臺門戶系統(tǒng)、其他接口和應(yīng)用平臺等符合本地實際情況的定制開發(fā)等建設(shè)內(nèi)容。大數(shù)據(jù)支撐體系是整個創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目的核心支撐，也是投資建設(shè)難度最大的一個投資建設(shè)任務(wù)之一。包括：3.1.1 大數(shù)據(jù)支撐平臺創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺承擔了智慧城市底層支撐、政務(wù)數(shù)據(jù)共享交換、互聯(lián)網(wǎng)數(shù)據(jù)存儲、國信優(yōu)易數(shù)據(jù)訪問接口等多個核心業(yè)務(wù)需求，平臺自身需要具備和采用先進的經(jīng)過深度優(yōu)化大數(shù)據(jù)技術(shù)、分布式存儲計算和算法模型、高并發(fā)和快速響應(yīng)的高速緩存架構(gòu)等，建設(shè)一個基于SOA框架的大數(shù)據(jù)能力核心平臺，作為整個項目的數(shù)據(jù)智慧處理中心，需要支持多種數(shù)據(jù)源的匯集 （政務(wù)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、行業(yè)數(shù)據(jù)等），支持不同的數(shù)據(jù)格式（結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及流數(shù)據(jù)等）。在繁雜的數(shù)據(jù)接入要求的情況下，采用基于總線機制的數(shù)據(jù)接入系統(tǒng)，可以快速有效的完成數(shù)據(jù)接入的要求以及提供豐富和靈活的擴展性。大數(shù)據(jù)支撐平臺的建設(shè)計劃采取復(fù)用國信優(yōu)易成熟的大數(shù)據(jù)平臺產(chǎn)品的思路，一是確保了與國信優(yōu)易的數(shù)據(jù)接口訪問互通的一致性、二是成熟的產(chǎn)品架構(gòu)確保了運行的穩(wěn)定性、技術(shù)的先進性。平臺的總體邏輯架構(gòu)分為三層：基礎(chǔ)設(shè)施層（IaaS層）、大數(shù)據(jù)平臺層（PaaS層），以及大數(shù)據(jù)應(yīng)用層（SaaS層）?；A(chǔ)設(shè)施層依托于分布式存儲架構(gòu)，大數(shù)據(jù)平臺層則提供了包括數(shù)據(jù)接入、分析、共享和平臺管理在內(nèi)的大數(shù)據(jù)分析處理功能，最后由大數(shù)據(jù)應(yīng)用層提供的各種大數(shù)據(jù)應(yīng)用來充分展示大數(shù)據(jù)平臺的數(shù)據(jù)處理能力和共享能力。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺邏輯架構(gòu)設(shè)計3.1.1.1 基礎(chǔ)設(shè)施支撐平臺IaaS政務(wù)大數(shù)據(jù)平臺將充分利用區(qū)域政務(wù)中心（或信息中心）提供的基礎(chǔ)設(shè)施資源，如：計算、存儲、備份、網(wǎng)絡(luò)和安全防護等，從而為政務(wù)大數(shù)據(jù)平臺提供一個穩(wěn)定可靠、高性能、擴展性強、易于管理的基礎(chǔ)設(shè)施平臺，IaaS層中基礎(chǔ)的服務(wù)器和網(wǎng)絡(luò)等資源計劃盡量復(fù)用現(xiàn)有的硬件資源。3.1.1.2 大數(shù)據(jù)分析處理平臺PaaS政務(wù)大數(shù)據(jù)平臺利用數(shù)據(jù)接入服務(wù)，將在云計算中心部署的政務(wù)應(yīng)用中存在的政務(wù)信息資源以及互聯(lián)網(wǎng)數(shù)據(jù)進行統(tǒng)一的接入，經(jīng)過對結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行處理后，匯總形成總計21個一級類，133個二級類的政務(wù)大數(shù)據(jù)目錄庫，實現(xiàn)資源的查詢、檢索以及共享利用。同時，構(gòu)建高效的大數(shù)據(jù)分析系統(tǒng)，利用分布式數(shù)據(jù)處理、分析工具和展示工具，為上層應(yīng)用服務(wù)提供大數(shù)據(jù)處理和分析能力。此外，利用大數(shù)據(jù)門戶，為政府各委辦局、社會公眾、社會應(yīng)用開發(fā)商提供資源查詢、信息公開和數(shù)據(jù)服務(wù)。3.1.1.3 大數(shù)據(jù)典型示范應(yīng)用層SaaS利用基礎(chǔ)設(shè)施支撐平臺和分析處理平臺構(gòu)建基礎(chǔ)云端應(yīng)用服務(wù)能力，建設(shè)數(shù)據(jù)創(chuàng)新創(chuàng)業(yè)促進系統(tǒng)、數(shù)據(jù)創(chuàng)新競賽等提云端應(yīng)用服務(wù)，在平臺落地建設(shè)完畢時，即可提供具體應(yīng)用提升人氣，產(chǎn)生數(shù)據(jù)價值。3.1.1.4 標準和先進的平臺大數(shù)據(jù)平臺規(guī)劃設(shè)計完全符合國家的宏觀政策和各類標準，在標準規(guī)范層面，通過建立政務(wù)大數(shù)據(jù)平臺的數(shù)據(jù)目錄編制規(guī)范、數(shù)據(jù)權(quán)限管理規(guī)范、運行標準規(guī)范、平臺安全與運維標準規(guī)范、數(shù)據(jù)交換接口規(guī)范，為平臺的運行、維護與安全級權(quán)限控制管理等方面提供標準規(guī)范依據(jù)。大數(shù)據(jù)平臺的核心技術(shù)優(yōu)勢明顯，以整體高可用性、靈活的可擴展性、技術(shù)先進性為原則，打造適合于政府的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的支撐平臺：q 雙總線技術(shù)的SOA框架: 平臺層采用基于政務(wù)服務(wù)總線（GSB）及政務(wù)數(shù)據(jù)總線（GDB）雙總線架構(gòu)的SOA框架。GDB主要負責數(shù)據(jù)的接入和交換，GSB主要負責對內(nèi)對外的提供統(tǒng)一的服務(wù)接口。q 深度優(yōu)化的分布式異構(gòu)存儲技術(shù): 平臺使用了經(jīng)過深度優(yōu)化的HDFS、HBase與集群關(guān)系數(shù)據(jù)庫相結(jié)合的異構(gòu)存儲方案，利用基于內(nèi)存交換技術(shù)的高速緩存和高性能數(shù)據(jù)中間件實現(xiàn)了高并發(fā)的異構(gòu)存儲體系。q 自主知識產(chǎn)權(quán)的高效算法和分布式計算框架：平臺內(nèi)部集成了幾十種自主知識產(chǎn)權(quán)的經(jīng)過十多年技術(shù)沉淀的算法集合，利用MapReduce和Spark的高效分布式計算框架，實現(xiàn)各類復(fù)雜數(shù)據(jù)挖掘和分析需求。圖：創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺功能層次架構(gòu)設(shè)計3.1.1.5 互聯(lián)網(wǎng)輿情信息模塊據(jù)不完全統(tǒng)計，中國網(wǎng)民規(guī)模達6.32億，互聯(lián)網(wǎng)普及率為46.9%，網(wǎng)絡(luò)已經(jīng)成為超越廣播、報紙、電視的第一大信息傳播媒介。42%的消費者擁有博客或個人空間。61.7%的網(wǎng)民在購買之前到網(wǎng)絡(luò)社區(qū)（如垂直網(wǎng)站、論壇、博客或問答）尋求推薦和建議。34%的博主發(fā)表關(guān)于產(chǎn)品和品牌的意見。73%的消費者在網(wǎng)上交流觀點。76%的網(wǎng)民將網(wǎng)絡(luò)口碑作為了解產(chǎn)品和服務(wù)最可靠的信息源。78%的消費者相信朋友的推薦。在選擇商品和服務(wù)時，人們更加關(guān)注他們在網(wǎng)絡(luò)上的排行。不到10%的網(wǎng)民發(fā)表著超過80%的原創(chuàng)言論，并吸引著超過90%的點擊率。根據(jù)權(quán)威媒體統(tǒng)計，69%的政府和企業(yè)危機來自于互聯(lián)網(wǎng)。對互聯(lián)網(wǎng)信息的接入將在信息資源的規(guī)模上對大數(shù)據(jù)提供更加豐富的數(shù)據(jù)資源。本項目將對互聯(lián)網(wǎng)門戶網(wǎng)站、網(wǎng)絡(luò)社交論壇、微博輿論信息等相關(guān)信息資源進行接入。q 互聯(lián)網(wǎng)分布式爬蟲對互聯(lián)網(wǎng)數(shù)據(jù)的獲取主要依賴于網(wǎng)絡(luò)爬蟲技術(shù)實現(xiàn)。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺采用先進的分布式網(wǎng)絡(luò)爬蟲框架，由框架完成爬蟲的統(tǒng)一調(diào)度、管理和維護工作，以及被采集數(shù)據(jù)的統(tǒng)一存儲工作。爬蟲使用者只需要進行簡單的配置或開發(fā)極少量腳本代碼即可完成一個復(fù)雜頁面甚至網(wǎng)站的爬取工作。另外，平臺在合法范圍內(nèi)適當利用反防爬蟲技術(shù)，如驗證碼識別、動態(tài)IP、動態(tài)用戶等，從而保障互聯(lián)網(wǎng)數(shù)據(jù)的有效獲取，減少人工干預(yù)，節(jié)約成本。平臺提供部分互聯(lián)網(wǎng)門戶網(wǎng)站、網(wǎng)絡(luò)社交論壇、微博等系統(tǒng)的爬蟲，并采集相應(yīng)數(shù)據(jù)以供平臺使用。對于以后新增的應(yīng)用，如果需要用到其他網(wǎng)站的數(shù)據(jù)，則可以基于爬蟲框架，使用平臺提供的SDK套件開發(fā)相應(yīng)的爬蟲。q 互聯(lián)網(wǎng)門戶網(wǎng)站信息獲取接入互聯(lián)網(wǎng)門戶網(wǎng)站信息獲取接入是利用分布式網(wǎng)頁爬取技術(shù)，以及基于行業(yè)領(lǐng)域字庫的模式識別技術(shù)，實現(xiàn)對各類新聞門戶網(wǎng)站、行業(yè)領(lǐng)域?qū)I(yè)門戶網(wǎng)站等相關(guān)B/S網(wǎng)頁進行實時解析獲取符合條件的數(shù)據(jù)?；ヂ?lián)網(wǎng)門戶網(wǎng)站信息爬取的對象如下： 對新華網(wǎng)、人民網(wǎng)、中國新聞網(wǎng)、新浪網(wǎng)、搜狐網(wǎng)、騰訊網(wǎng)、網(wǎng)易網(wǎng)、鳳凰網(wǎng)、省級新聞網(wǎng)等各大綜合類新聞網(wǎng)站的實時監(jiān)控，獲取符合條件的電子政務(wù)相關(guān)的信息。 對中國氣象網(wǎng)、中國地震臺網(wǎng)、交通網(wǎng)、減災(zāi)網(wǎng)等行業(yè)領(lǐng)域門戶網(wǎng)站的實時監(jiān)控，獲取氣象、地震、交通、自然災(zāi)害信息。 其他政府期望及時獲取的有價值互聯(lián)網(wǎng)信息等。q 網(wǎng)絡(luò)社交論壇信息獲取與門戶網(wǎng)站信息獲取方式類似，網(wǎng)絡(luò)社交論壇信息獲取同樣通過網(wǎng)頁的爬取技術(shù)獲取互聯(lián)網(wǎng)中的社交論壇信息。主要提供以下相關(guān)內(nèi)容的獲?。?對天涯社區(qū)、貓撲社區(qū)、搜狐論壇、鳳凰論壇、網(wǎng)易論壇、新浪論壇、凱迪社區(qū)、強國論壇、中華網(wǎng)論壇、新華網(wǎng)論壇、環(huán)球網(wǎng)論壇、紅網(wǎng)論壇等眾多主流論壇的信息進行實時監(jiān)控，獲取符合條件的電子政務(wù)相關(guān)的信息。 對搜狗說吧、百度貼吧等公共交流平臺中的信息進行監(jiān)控，獲取網(wǎng)民反映電子政務(wù)相關(guān)的信息內(nèi)容。q 微博信息獲取微博信息獲取主要通過調(diào)用爬蟲對新浪微博的網(wǎng)頁爬取方式，對微博用戶發(fā)布的信息進行實時的爬取，微博信息可以進行基礎(chǔ)的統(tǒng)計分析，為未來深層次利用做好準備。3.1.2 數(shù)據(jù)管理子系統(tǒng)3.1.2.1 元數(shù)據(jù)服務(wù)系統(tǒng)q 元數(shù)據(jù)庫管理基于Web瀏覽器端，向后臺系統(tǒng)管理員提供根據(jù)數(shù)據(jù)平臺內(nèi)部的元數(shù)據(jù)標準（數(shù)據(jù)描述元數(shù)據(jù)、服務(wù)信息元數(shù)據(jù)），分別進行對應(yīng)元數(shù)據(jù)庫的創(chuàng)建與管理的功能。q 元數(shù)據(jù)管理 基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對元數(shù)據(jù)文件導(dǎo)入的功能。 基于單機版元數(shù)據(jù)編輯器，向后臺系統(tǒng)管理員提供對數(shù)據(jù)描述元數(shù)據(jù)的創(chuàng)建編輯保存功能。 提供基于元數(shù)據(jù)檢索、元數(shù)據(jù)入庫存儲、元數(shù)據(jù)修改刪除功能的元數(shù)據(jù)管理WebService服務(wù)。q 元數(shù)據(jù)服務(wù)管理基于Web瀏覽器端，向后臺系統(tǒng)管理員提供啟停元數(shù)據(jù)服務(wù)的功能。3.1.2.2 數(shù)據(jù)目錄和接口標準管理系統(tǒng)大數(shù)據(jù)資源目錄體系梳理包括對政務(wù)信息資源核心元數(shù)據(jù)標準、分類標準、標識編碼標準等方面進行梳理。參考國家對政務(wù)信息資源分類體系的制定標準，經(jīng)過先期梳理，可將政務(wù)大數(shù)據(jù)資源目錄梳理為 21個一級類，133個二級類。代碼目錄名稱描述和說明ZA綜合政務(wù)關(guān)于政治方面的事物和和國家的管理工作ZAA政務(wù)綜合類與政務(wù)管理相關(guān)的綜合性事務(wù)，包括政務(wù)督查、電子政務(wù)、信息公開ZAB方針政策政府制訂的、宏觀的、指導(dǎo)各個領(lǐng)域發(fā)展的方針政策ZAD政府工作關(guān)于政府的規(guī)章制度、組織機構(gòu)建設(shè)和發(fā)展，以及工作職責等相關(guān)信息ZAE機構(gòu)編制關(guān)于機構(gòu)編制的管理、機構(gòu)體系的當前概況和遠景規(guī)劃ZAF政府領(lǐng)導(dǎo)關(guān)于政府各級領(lǐng)導(dǎo)的簡歷、工作崗位、工作活動、講話等相關(guān)信息ZAG會議、會務(wù)會議產(chǎn)生的文件等相關(guān)信息，以及會議組織、管理的相關(guān)信息ZAH重大事件有深遠影響的事件的相關(guān)信息ZB經(jīng)濟管理關(guān)于經(jīng)濟的管理、規(guī)劃、發(fā)展概況ZBA經(jīng)濟管理綜合類ZBB經(jīng)濟發(fā)展計劃關(guān)于經(jīng)濟的宏觀的發(fā)展規(guī)劃ZBC經(jīng)濟管理關(guān)于經(jīng)濟的宏觀管理現(xiàn)狀ZBD經(jīng)濟體制改革關(guān)于經(jīng)濟體制改革的管理和規(guī)劃、發(fā)展情況。ZBE經(jīng)貿(mào)管理關(guān)于經(jīng)濟貿(mào)易的宏觀管理和發(fā)展調(diào)查報告、統(tǒng)計資料ZBF統(tǒng)計關(guān)于統(tǒng)計工作的管理和發(fā)展情況 (此處只列出部分分類, 整體依據(jù)國家標準進行同一分類)在平臺建設(shè)的同時結(jié)合符合國家標準的平臺段數(shù)據(jù)目錄的定義,結(jié)合各個委辦局的實際接口情況，明確各個委辦局數(shù)據(jù)接口的接入標準，明確可匯聚共享交換的數(shù)據(jù)分類、數(shù)據(jù)格式、數(shù)據(jù)類型、數(shù)據(jù)接入方式等內(nèi)容。通過明確的接口標準定義，指導(dǎo)各個委辦局的數(shù)據(jù)接入，并提供必要的技術(shù)支持和指導(dǎo)。數(shù)據(jù)目錄的定義和管理要遵循國家現(xiàn)有政務(wù)電子信息化建設(shè)的相關(guān)標準，同時結(jié)合各個委辦局數(shù)據(jù)的地域特殊性進行更細致的完善，確保數(shù)據(jù)目錄在遵循國家標準的前提下，兼容支持本地政府的各類數(shù)據(jù)。3.1.2.3 數(shù)據(jù)挖掘和分析系統(tǒng)數(shù)據(jù)分析模塊子系統(tǒng)作為創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺對外提供數(shù)據(jù)的深度挖掘和分析服務(wù)的核心系統(tǒng)，分布式數(shù)據(jù)處理子系統(tǒng)提供了對分布式存儲數(shù)據(jù)進行處理的能力。數(shù)據(jù)分析系統(tǒng)利用多種分布式計算引擎，結(jié)合分布式數(shù)據(jù)存儲模型對各類結(jié)構(gòu)化及非結(jié)構(gòu)化的信息資源進行快速的分布式分析處理，并將分析處理后的中間結(jié)果數(shù)據(jù)提供給上層示范性應(yīng)用以及其他部門業(yè)務(wù)系統(tǒng)中進行二次利用；此外，模型管理子系統(tǒng)提供各類業(yè)務(wù)分析模型的新建、修改等管理功能。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺的數(shù)據(jù)分析系統(tǒng)可分為如下幾個主要部分：q 分布式計算引擎支撐系統(tǒng)在分布式處理領(lǐng)域中，分布式并行技術(shù)是最為核心的領(lǐng)域之一。沒有好的分布式處理程序的支持，分布式處理就不可能很好的工作，所謂超級計算、大數(shù)據(jù)分析也就更加無從談起了。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺通過提供MapReduce、Spark和Storm三種分布式計算框架，為上層應(yīng)用提供大數(shù)據(jù)分布式計算的支撐。這種架構(gòu)既能夠最大限度的滿足各種業(yè)務(wù)模型的需求，同時也能夠充分利用政務(wù)大數(shù)據(jù)平臺的軟硬件資源，提供數(shù)據(jù)存儲訪問及分布式計算任務(wù)的調(diào)度、運行及結(jié)果通知等功能。q 算法及模型支撐系統(tǒng)數(shù)據(jù)分析不能一概而論，數(shù)據(jù)分析需要有基礎(chǔ)算法的支撐。隨著數(shù)據(jù)集規(guī)模和復(fù)雜度的持續(xù)上升，對算法要求也越來越高。創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺采用基于Hadoop技術(shù)架構(gòu)的處理技術(shù)，為數(shù)據(jù)分析師及開發(fā)者提供幾十種具備自主知識產(chǎn)權(quán)的分布式算法。平臺提供相應(yīng)的SDK開發(fā)工具套件及算法調(diào)用API，從而讓各種應(yīng)用能夠方便的使用平臺數(shù)據(jù)及其算法。擁有基礎(chǔ)算法的支持僅僅完成了數(shù)據(jù)分析和挖掘的第一步，對于每一個具體的基于數(shù)據(jù)的應(yīng)用系統(tǒng)，都需要根據(jù)其自身特點建立相應(yīng)的分析模型，才能夠有效的支撐應(yīng)用系統(tǒng)。簡單的說，分析模型可以看作是由一個或多個基礎(chǔ)算法組合而成，基礎(chǔ)算法提供了大量的中間結(jié)果，而模型則將大量的中間結(jié)果處理為最終結(jié)果。q 數(shù)據(jù)分析開發(fā)套件SDK大數(shù)據(jù)平臺提供的三種分布式計算框架為平臺提供了強大的分布式計算能力，從而為各種基于數(shù)據(jù)的應(yīng)用提供了基本的運行環(huán)境；同時，基礎(chǔ)算法庫中大量的分布式算法實現(xiàn)則為數(shù)據(jù)分析模型的建立提供了底層的工具支撐。為了讓平臺的計算能力和算法分析能力應(yīng)用到實際業(yè)務(wù)之中，還需要通過研發(fā)人員開發(fā)出使用這些計算能力和算法庫的分析程序。分布式計算開發(fā)套件SDK則使平臺具備了二次開發(fā)的能力，它可以讓研發(fā)人員利用大數(shù)據(jù)平臺中分布式并行計算的能力，通過基于數(shù)據(jù)分析的定制開發(fā)，實現(xiàn)對海量大數(shù)據(jù)進行分析處理，建立數(shù)據(jù)分析處理的結(jié)果性數(shù)據(jù)，為上層大數(shù)據(jù)業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。3.1.2.4 數(shù)據(jù)信息管理系統(tǒng)q 數(shù)據(jù)審核數(shù)據(jù)審核模塊主要是接受供應(yīng)商門戶網(wǎng)站上傳的流數(shù)據(jù)和塊狀數(shù)據(jù)，對這些數(shù)據(jù)進行審核，決定其是否能通過，并進入數(shù)據(jù)評估。q 數(shù)據(jù)評估數(shù)據(jù)評估模塊主要是對已審核過的數(shù)據(jù)，針對各個指標項進行數(shù)值評估，最終保存其評估結(jié)果，供用戶查詢和數(shù)據(jù)定價時參考。q 數(shù)據(jù)定價數(shù)據(jù)定價模塊主要是設(shè)置經(jīng)過數(shù)據(jù)評估的數(shù)據(jù)，對應(yīng)不同用戶、不同使用環(huán)境進行數(shù)據(jù)定價。q 數(shù)據(jù)發(fā)布管理數(shù)據(jù)發(fā)布管理模塊主要是發(fā)布經(jīng)過定價或評估的數(shù)據(jù)，進行對外發(fā)布，設(shè)置其發(fā)布范圍和發(fā)布狀態(tài)。3.1.2.5 數(shù)據(jù)日志系統(tǒng)q 數(shù)據(jù)日志存儲對外提供數(shù)據(jù)日志存儲服務(wù)接口，供其他系統(tǒng)進行數(shù)據(jù)日志信息的存儲。q 數(shù)據(jù)日志查詢基于Web瀏覽器端，向后臺系統(tǒng)管理員提供數(shù)據(jù)日志查詢功能。3.1.2.6 數(shù)據(jù)審計系統(tǒng)q 數(shù)據(jù)服務(wù)使用情況審計基于web瀏覽器端，向后臺系統(tǒng)管理員提供對登陸和使用平臺進行數(shù)據(jù)服務(wù)使用情況的用戶行為進行跟蹤記錄和統(tǒng)計，并形成分析報告的功能。q 服務(wù)狀態(tài)監(jiān)視基于web端，向后臺系統(tǒng)管理員提供對所有已注冊并發(fā)布的開放數(shù)據(jù)API和數(shù)據(jù)下載服務(wù)的服務(wù)狀態(tài)信息進行監(jiān)視記錄，并形成分析報告的功能。3.1.2.7 數(shù)據(jù)使用權(quán)標記系統(tǒng)q 塊狀數(shù)據(jù)水印服務(wù)向數(shù)據(jù)平臺提供webservice形式的塊數(shù)據(jù)水印服務(wù)接口。q 流數(shù)據(jù)水印服務(wù)向API管理系統(tǒng)和創(chuàng)新工場API系統(tǒng)提供webservice形式的流數(shù)據(jù)水印服務(wù)接口。q 水印管理服務(wù)基于web瀏覽器端，向后臺系統(tǒng)管理員提供對水印的管理和驗證功能。3.1.3 創(chuàng)新創(chuàng)業(yè)管理子系統(tǒng)3.1.3.1 創(chuàng)新創(chuàng)業(yè)應(yīng)用管理系統(tǒng)q 創(chuàng)新應(yīng)用APP測試創(chuàng)新工場APP測試：當APP上架之前需要經(jīng)過后臺管理人員的測試，創(chuàng)新工場開發(fā)者用戶應(yīng)當提供給數(shù)據(jù)平臺測試賬號，布置測試環(huán)境，提供測試數(shù)據(jù)，以及對應(yīng)APP的一些基本信息。后臺管理員會根據(jù)提供的信息對該APP進行測試。q 創(chuàng)新應(yīng)用APP發(fā)布APP發(fā)布：對于測試通過的APP應(yīng)用，后臺管理員會進行發(fā)布，添加新的APP應(yīng)用，輸入APP有關(guān)的基本信息“名稱、開發(fā)者、訪問方式、說明描述、使用說明及演示地址等”。3.1.3.2 開放數(shù)據(jù)API管理系統(tǒng)q API發(fā)布開放數(shù)據(jù)API發(fā)布：API數(shù)據(jù)系統(tǒng)主要提供給用戶使用API的方式，進行數(shù)據(jù)下載。是通過接口形式，實時獲取最新數(shù)據(jù)。后臺管理員上架API，填寫API的詳細信息包括：API數(shù)據(jù)的描述（api的收費情況描述、接口作用信息、接口的參數(shù)對照信息、返回字典等信息），接口信息（調(diào)用地址、返回格式），API調(diào)用的文檔，以及API調(diào)用的地址。之后會經(jīng)過后臺管理人員審核確認API通過審核，才會發(fā)布到數(shù)據(jù)平臺。q API測試API發(fā)布之前必須經(jīng)過測試，確保API的可用性、正確性、以及數(shù)據(jù)的完整性，對一些法律規(guī)定不允許公布的數(shù)據(jù)將不予以發(fā)布。3.1.4 數(shù)據(jù)統(tǒng)一展示門戶子系統(tǒng)3.1.4.1 數(shù)據(jù)統(tǒng)一展示門戶數(shù)據(jù)統(tǒng)一展示門戶主要為普通用戶提供瀏覽、確定數(shù)據(jù)范圍的功能，數(shù)據(jù)是由平臺或者數(shù)據(jù)供應(yīng)商提供的，用戶可以通過分類、查找、過濾等方式找到自己關(guān)注的數(shù)據(jù)，然后查看數(shù)據(jù)的詳細信息，數(shù)據(jù)自身都是經(jīng)過脫敏和加密，符合對外展示的具體要求的，成為數(shù)據(jù)驅(qū)動的運營體系的統(tǒng)一對外展示接口。數(shù)據(jù)統(tǒng)一展示門戶系統(tǒng)功能包括，數(shù)據(jù)展示，數(shù)據(jù)的過濾功能，數(shù)據(jù)的查找功能，數(shù)據(jù)列表，數(shù)據(jù)的詳細信息。q 數(shù)據(jù)展示數(shù)據(jù)展示功能主要是將數(shù)據(jù)種類、描述、樣例、歷史訪問量等信息展示給客戶，以方便用戶的分析使用。具體包括以下內(nèi)容： 數(shù)據(jù)的分類顯示數(shù)據(jù)的分類會出現(xiàn)頁面的頭部導(dǎo)航欄，當用戶把鼠標放到某一大分類出，彈出當前大分類下的所有子分類，用戶點擊子分類進入當前子分類有關(guān)數(shù)據(jù)的詳細列表頁面。 數(shù)據(jù)的過濾功能提供標簽過濾功能，用戶點擊其中某個標簽，會按照此標簽 以及之前的過濾標簽重新過濾目標數(shù)據(jù)。目標數(shù)據(jù)的將以標簽匹配的數(shù)據(jù)標題的關(guān)鍵字查找出來，以列表的形式展示出來，以供用戶選擇。 數(shù)據(jù)的查找功能提供查找功能，用戶通過頁面的搜索查找有關(guān)輸入關(guān)鍵字所匹配的數(shù)據(jù)，搜索框前可以選擇搜索數(shù)據(jù)的標題還是搜索詳情，默認的是標題的關(guān)鍵字，輸入數(shù)據(jù)的關(guān)鍵字，根據(jù)程序的處理搜索有關(guān)數(shù)據(jù)的關(guān)鍵字匹配，以列表的形式展示出來以供用選擇。 數(shù)據(jù)列表數(shù)據(jù)列表會展示當前用戶選擇的或者默認的分類下的所有的數(shù)據(jù)，會以列表分頁的形式展示，按照時間默認排序。當前列表會展示數(shù)據(jù)的一些基本信息“數(shù)據(jù)的標題、數(shù)據(jù)質(zhì)量的評分、數(shù)據(jù)的圖片、數(shù)據(jù)的訪問量以及數(shù)據(jù)的簡單描述”；如果當前登錄的用戶為創(chuàng)新工場的用戶，創(chuàng)新工廠用戶進入API列表，api標題后會多出金銀銅等級，只有符合當前等級的用戶才可以調(diào)用當前的API數(shù)據(jù)。 數(shù)據(jù)詳細信息數(shù)據(jù)的詳細信息，點擊數(shù)據(jù)的標題進入當前數(shù)據(jù)的詳細信息頁面。會顯示當前數(shù)據(jù)的詳細信息，包括“數(shù)據(jù)的圖片、數(shù)據(jù)的標題、數(shù)據(jù)的價值、數(shù)據(jù)來源、數(shù)據(jù)上架的時間、數(shù)據(jù)的大小、當前數(shù)據(jù)的下載量、數(shù)據(jù)的簡短描述、當前數(shù)據(jù)的完整性（八個指標）、收藏、推薦有關(guān)當前數(shù)據(jù)的相關(guān)數(shù)據(jù)、數(shù)據(jù)的詳細信息、訪問過的用戶對當前數(shù)據(jù)的評論信息”。q 數(shù)據(jù)檢索數(shù)據(jù)的檢索包括，標簽的篩選，數(shù)據(jù)的關(guān)鍵字及詳細信息的搜索。用戶點擊其中某個標簽，會按照此標簽 以及之前的過濾標簽重新過濾目標數(shù)據(jù)。目標數(shù)據(jù)的將以標簽匹配的數(shù)據(jù)標題的關(guān)鍵字查找出來。搜索框前可以選擇搜索數(shù)據(jù)的標題還是詳細信息，默認的是標題的關(guān)鍵字，輸入數(shù)據(jù)的關(guān)鍵字，根據(jù)程序的處理搜索有關(guān)數(shù)據(jù)的關(guān)鍵字匹配，以列表的形式展示出來以供用選擇。q 用戶管理當前平臺用戶管理分為三類：普通用戶管理、創(chuàng)新工廠用戶管理、供應(yīng)商用戶管理。普通用戶管理：普通用戶可以在前臺的個人中心里管理自己的基本信息，查看自己的賬戶信息，修改密碼等操作。還可以通過我的訂單查詢當前所有的訂單，及訂單最新的狀態(tài)，查看并管理當前的API的信息。查看當前的系統(tǒng)消息。創(chuàng)新工廠用戶管理：創(chuàng)新工廠用戶可以在個人中心管理自己的基本信息，查看自己當前的等級，查看并管理自己的賬戶余額，查看并管理當前的API的信息，更新自己所購買的API版本等，發(fā)布自己的應(yīng)用，查看并且管理自己當前已發(fā)布的應(yīng)用。查看當前的系統(tǒng)消息。供應(yīng)商用戶管理：供應(yīng)商用戶可以在前臺的個人中心里管理自己的基本信息，查看并且管理自己的數(shù)據(jù)狀態(tài)，修改密碼等操作。發(fā)布數(shù)據(jù)，查看自己發(fā)布的數(shù)據(jù)的情況。查看當前的系統(tǒng)消息。3.1.4.2 數(shù)據(jù)共享交換系統(tǒng)q 數(shù)據(jù)匯集配置管理基于web端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)平臺主節(jié)點與分節(jié)點/獨立數(shù)據(jù)終端系統(tǒng)之間的數(shù)據(jù)匯集操作配置管理功能。q 數(shù)據(jù)在線匯集基于web端，向后臺系統(tǒng)管理員提供進行數(shù)據(jù)在線匯集傳輸?shù)牟僮鞴芾砉δ?。q 數(shù)據(jù)離線匯集基于web端，向后臺系統(tǒng)管理員提供進行數(shù)據(jù)離線匯集傳輸?shù)牟僮鞴芾砉δ?，包括?shù)據(jù)離線匯集包的導(dǎo)出及導(dǎo)入功能。q 數(shù)據(jù)共享交換日志管理基于web端，向后臺系統(tǒng)管理員提供數(shù)據(jù)共享交換業(yè)務(wù)操作的日志記錄檢索瀏覽功能。3.1.4.3 數(shù)據(jù)訪問規(guī)則系統(tǒng)q 訪問規(guī)則管理基于web瀏覽器端，向后臺系統(tǒng)管理員提供基于內(nèi)置數(shù)據(jù)訪問業(yè)務(wù)規(guī)則，對特定用戶或特定數(shù)據(jù)服務(wù)進行訪問規(guī)則設(shè)置管理的功能。q 數(shù)據(jù)訪問服務(wù)向平臺提供基于webservice形式的API數(shù)據(jù)訪問服務(wù)接口。q 訪問信息服務(wù)向平臺提供基于webservice形式的API數(shù)據(jù)訪問歷史記錄信息檢索服務(wù)接口。q 訪問規(guī)則管理對數(shù)據(jù)訪問相關(guān)的各類規(guī)則進行統(tǒng)一管理和配置。3.1.5 用戶及權(quán)限管理子系統(tǒng)3.1.5.1 用戶信息管理系統(tǒng)q 數(shù)據(jù)平臺注冊用戶管理平臺注冊用戶管理，系統(tǒng)管理員可以在后臺進行平臺注冊用戶的管理。通過用戶管理，可以查看用戶的訂單，以及發(fā)現(xiàn)不合法用戶后，對用戶的凍結(jié)功能。q 創(chuàng)新工場用戶管理創(chuàng)新工場用戶管理，系統(tǒng)管理員可以在后臺對平臺所有的創(chuàng)新工場用戶進行操作?？梢栽诤笈_的用戶管理中的創(chuàng)新工場用戶管理中設(shè)置?？梢赃M行查看當前所有的創(chuàng)新工場用戶列表及詳細信息“ 創(chuàng)新工場用戶名稱、所發(fā)布的API、發(fā)布時間、賬戶信息、用戶等級等?！惫芾韱T還可以對新申請的創(chuàng)新工場用戶進行審核，對不符合創(chuàng)新工場用戶條件的申請進行駁回。對已經(jīng)通過審核的創(chuàng)新工場用戶的賬戶進行凍結(jié)，叫停該用戶在應(yīng)用市場所發(fā)布的應(yīng)用。q 數(shù)據(jù)供應(yīng)商管理數(shù)據(jù)供應(yīng)商管理，系統(tǒng)管理員可以在后臺對平臺所有的數(shù)據(jù)供應(yīng)商進行操作?？梢栽诤笈_的用戶管理中的數(shù)據(jù)供應(yīng)商管理中設(shè)置。可以進行查看當前所有的供應(yīng)商列表及詳細信息“供應(yīng)商名稱、所提供的數(shù)據(jù)、時間等?！惫芾韱T還可以對新申請的數(shù)據(jù)供應(yīng)商進行審核，對不符合數(shù)據(jù)供應(yīng)商的申請進行駁回。對已經(jīng)通過審核的數(shù)據(jù)供應(yīng)商進行凍結(jié)，叫停所發(fā)布的數(shù)據(jù)等操作。q 系統(tǒng)管理員管理系統(tǒng)管理員管理，超級管理員賬號可以在后臺配置有關(guān)系統(tǒng)管理員的權(quán)限，設(shè)立不同的管理權(quán)限從而實現(xiàn)不同角色管理員的劃分，例如訂單管理員，只能進行訂單的操作，無法操作其他菜單。超級管理員可以在后臺用戶管理中配置有關(guān)的系統(tǒng)管理員的權(quán)限。3.1.5.2 授權(quán)管理系統(tǒng)q 數(shù)據(jù)服務(wù)分組管理與授權(quán) 基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)服務(wù)進行分組定義和分組管理設(shè)置的功能。 基于Web瀏覽器端，向后臺系統(tǒng)管理員提供將數(shù)據(jù)服務(wù)分組與用戶分組進行對應(yīng)關(guān)系設(shè)置和管理，按照對應(yīng)關(guān)系對用戶組進行數(shù)據(jù)服務(wù)授權(quán)的功能。q 數(shù)據(jù)服務(wù)分級管理與授權(quán) 基于Web瀏覽器端，向后臺系統(tǒng)管理員提供對數(shù)據(jù)服務(wù)進行分級定義和分組管理設(shè)置的功能。 基于Web瀏覽器端，向后臺系統(tǒng)管理員提供將數(shù)據(jù)服務(wù)分級與用戶分級進行對應(yīng)關(guān)系設(shè)置和管理，按照對應(yīng)關(guān)系對用戶級別進行數(shù)據(jù)服務(wù)授權(quán)的功能。q 數(shù)據(jù)服務(wù)單獨授權(quán) 基于Web瀏覽器端，向后臺系統(tǒng)管理員提供為特定用戶對特定數(shù)據(jù)服務(wù)的訪問授權(quán)進行管理控制的功能。 提供針對特定用戶訪問特定數(shù)據(jù)服務(wù)授權(quán)的WebService服務(wù)接口。q 數(shù)據(jù)訪問權(quán)限管理數(shù)據(jù)訪問權(quán)限管理：普通用戶及其供應(yīng)商用戶只可以訪問普通的塊數(shù)據(jù)，及API。創(chuàng)新工廠的用戶除了可以查看普通的塊數(shù)據(jù)，及API，還可以調(diào)用創(chuàng)新工廠中的對應(yīng)著自己賬戶等級的API。3.1.5.3 身份認證與訪問控制系統(tǒng)q 用戶身份認證提供WebService形式的用戶身份合法性認證服務(wù)，根據(jù)用戶名和口令進行用戶身份的比對認證。q 數(shù)據(jù)服務(wù)動態(tài)Token授權(quán)服務(wù)向用戶提供獲取數(shù)據(jù)服務(wù)（開放數(shù)據(jù)API服務(wù)和塊數(shù)據(jù)下載服務(wù)）訪問授權(quán)動態(tài)Token的Web服務(wù)API，通過用戶身份認證和數(shù)據(jù)服務(wù)訪問權(quán)限認證后，向用戶返回最新的數(shù)據(jù)服務(wù)調(diào)用授權(quán)動態(tài)Token。q 數(shù)據(jù)服務(wù)訪問控制對用戶向數(shù)據(jù)平臺發(fā)送的數(shù)據(jù)服務(wù)調(diào)用請求進行有效性驗證和訪問控制。3.2 大數(shù)據(jù)平臺運營維護服務(wù)創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺項目涉及的軟硬件系統(tǒng)范圍較廣，且承載了重要核心的數(shù)據(jù)資產(chǎn)，其穩(wěn)定運行的保障十分重要，勤智數(shù)碼依托自身十多年的IT運維經(jīng)驗，建立一套基于ISO/IEC20000和ITIL v3理論，遵循ITSS、GB/T 28827-2012系列運行維護服務(wù)國家標準的運營維護體系，對平臺中各子系統(tǒng)以及各功能模塊提供統(tǒng)一的監(jiān)控維護服務(wù)，包括服務(wù)的提供狀態(tài)監(jiān)控、服務(wù)的使用狀態(tài)監(jiān)控、系統(tǒng)的運行狀態(tài)監(jiān)控等。包括如下的平臺運維服務(wù)： 3.2.1 平臺內(nèi)部資源的監(jiān)控管理對平臺所涉及的所有硬件資源、軟件資源和數(shù)據(jù)資源進行實時不間斷的7x24小時的監(jiān)控和管理，合理設(shè)定資源狀態(tài)的預(yù)警閾值的設(shè)定，確保任何資源狀態(tài)異常的及時通報和展示，通過聲光報警、短信、郵件的及時通知，確保管理人員及時的發(fā)現(xiàn)和處理問題。同時借助大數(shù)據(jù)平臺的優(yōu)勢，實現(xiàn)平臺內(nèi)部軟件、硬件資源運行狀態(tài)的趨勢預(yù)測，不同資源告警閾值的智能化管理和自動設(shè)定，做到平臺內(nèi)部運行狀態(tài)的穩(wěn)定和持續(xù)。q 硬件資源監(jiān)控大數(shù)據(jù)平臺的硬件資源較多，所有硬件資源包含：路由器、交換機、防火墻、主機（window、linux、Solaris、HP-Unix、AIX等）、虛擬服務(wù)器、無線設(shè)備AC/AP、存儲設(shè)備、光交換、其他安全設(shè)備等的監(jiān)控，監(jiān)控方式支持snmp v1/2/3、ssh/telnet、TCP、syslog、trap、腳本、WMI、netflow/cflow/sflow/netstream協(xié)議等。 支持對大數(shù)據(jù)平臺涉及的各種設(shè)備狀態(tài)的實時監(jiān)控(如：通斷、資源使用情況、端口狀態(tài)、流量峰值、流量變化量等其他關(guān)鍵指標等) 支持網(wǎng)絡(luò)設(shè)備的流量的應(yīng)用層協(xié)議分析和監(jiān)控. 借助類似曲線圖表現(xiàn)大數(shù)據(jù)平臺內(nèi)部最近一個小時，最近一天，最近一周，最近一月，最近一年的服務(wù)器或者集群的cpu負載,內(nèi)存,網(wǎng)絡(luò),硬盤等指標 支持各類監(jiān)控指標的告警閾值的人工和自動調(diào)整 支持告警信息的短信、郵件通知以及聲光報警通知 支持網(wǎng)絡(luò)拓撲和機房的視圖可視化管理 支持網(wǎng)絡(luò)資源的配置自動備份q 軟件資源監(jiān)控大數(shù)據(jù)平臺內(nèi)部的軟件資源復(fù)雜，需要支持統(tǒng)一化的一體監(jiān)控模式，支持對Hadoop架構(gòu)體系內(nèi)所有軟件模塊和系統(tǒng)（HBase、HDFS等）、關(guān)系型數(shù)據(jù)庫（MySQL集群、Oracle、SQLServer等）、中間件系統(tǒng)、前端應(yīng)用、軟件TCP端口等軟件資源的監(jiān)控和管理，支持SNMP、SSH/telnet、JMX、JDBC等監(jiān)控方式和協(xié)議，實現(xiàn)： 支持大數(shù)據(jù)平臺內(nèi)部的各種傳統(tǒng)關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)庫集群、Hadoop架構(gòu)中HDFS/HBase等的狀態(tài)、內(nèi)存數(shù)據(jù)庫狀態(tài)、各類中間件資源狀態(tài)、平臺內(nèi)部和前端應(yīng)用狀態(tài)、各類內(nèi)外部的接口狀態(tài)的實時監(jiān)控 支持各類監(jiān)控資源的告警閾值的人工和自動調(diào)整 支持告警信息的短信、郵件通知以及聲光報警通知 軟件信息變動和資源使用異常等關(guān)鍵指標的監(jiān)控 基于軟件關(guān)聯(lián)關(guān)系的監(jiān)控，實現(xiàn)基于多個軟件和硬件的業(yè)務(wù)級別的監(jiān)控3.2.2 平臺故障處理管理大數(shù)據(jù)平臺涉及的軟硬件信息和數(shù)據(jù)量較大，平臺上線運行后會面臨海量的故障信息，故障信息分析是運維工程師面臨的難題，而云計算、虛擬化等新技術(shù)的廣泛采用進一步加劇了運維管理的復(fù)雜度。需要對運維流程進行梳理，將技術(shù)人員從繁重的運維工作中解脫出來，實現(xiàn)運維作業(yè)的標準化、自動化，縮短業(yè)務(wù)響應(yīng)時間，提高服務(wù)質(zhì)量。平臺的各類故障和告警處理的管理主要針對平臺運行期間所有異常事件的統(tǒng)一管理，確保所有異常事件都被處理的管理功能。借助國家標準和ITIL的SLA模型，需要建立一套完備的故障事件、問題、變更和發(fā)布等的標準化故障處理流程，規(guī)范故障處理的過程，做到故障的及時處理、追蹤、統(tǒng)計，確保每一個問題和故障都能被及時的處理。提供頁面/郵件/短信/聲音/光/消息客戶端/WebService接口及時通過責任人進行告警處理。3.2.3 日常平臺管理任務(wù)自動化日常平臺管理工作中有很多是標準化的工作，如巡檢、值班等工作。這些工作會占用大量的時間，將人工的操作、管理轉(zhuǎn)變?yōu)橄到y(tǒng)自動化的操作和管理，可以節(jié)省時間，將精力投入到更緊急、更重要的工作中。q 自動巡檢功能平臺的監(jiān)控管理系統(tǒng)自動將需要巡檢的設(shè)備狀態(tài)發(fā)送到系統(tǒng)中，自動進行設(shè)備運行狀態(tài)和重要指標性能數(shù)據(jù)的收集匯總形成自動巡檢結(jié)果，同時巡檢過程全程記錄，通過巡檢工單，能夠跟蹤巡檢的執(zhí)行情況。q 人工巡檢功能針對非監(jiān)控資源的巡檢，可通過系統(tǒng)內(nèi)提供的人工巡檢功能完成巡檢結(jié)果的記錄，為巡檢任務(wù)執(zhí)行的計劃、監(jiān)督和結(jié)果的電子化管理提供了有效的手段。q 值班管理系統(tǒng)提供值班管理功能實現(xiàn)管理人員的排班、值班、交接班等信息的電子化管理，系統(tǒng)自動排班。3.2.4 故障處理自動化q 告警的處理過程通過基于ITIL的事件、問題、變更等標準化的流程進行管理q 系統(tǒng)自動進行告警過濾、壓縮，避免海量告警。q 自動將關(guān)鍵告警通過消息發(fā)送給責任人。q 系統(tǒng)自動運行預(yù)定義的腳本恢復(fù)故障。q 對于需要技術(shù)人員處理的故障，系統(tǒng)自動創(chuàng)建工單，派發(fā)給管理人員處理。q 系統(tǒng)自動關(guān)聯(lián)知識庫，協(xié)助技術(shù)人員處理工單。q 技術(shù)人員處理結(jié)束后處理方案一鍵轉(zhuǎn)知識，知識不斷累積。q 平臺內(nèi)部管理的移動化支持移動終端的平臺狀態(tài)監(jiān)控和故障事件的處理，實現(xiàn)管理人員不在現(xiàn)場