大數(shù)據(jù)應(yīng)用云平臺(tái)及新一代智能網(wǎng)絡(luò)通訊研發(fā)項(xiàng)目可行性研究報(bào)告

大數(shù)據(jù)應(yīng)用云平臺(tái)及新一代智能網(wǎng)絡(luò)通訊研發(fā)項(xiàng)目可行性研究報(bào)告一、項(xiàng)目?jī)?nèi)容概述本項(xiàng)目以建設(shè)創(chuàng)意信息大數(shù)據(jù)應(yīng)用云平臺(tái)及新一代智能網(wǎng)絡(luò)通訊的研發(fā)和應(yīng)用實(shí)踐為主要建設(shè)內(nèi)容，具體如下：1、大數(shù)據(jù)應(yīng)用云平臺(tái)項(xiàng)目創(chuàng)意信息“大數(shù)據(jù)應(yīng)用云平臺(tái)”基于大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)，適用于政務(wù)、環(huán)保、電力等行業(yè)，是從數(shù)據(jù)采集到數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管理、數(shù)據(jù)存儲(chǔ)、再到數(shù)據(jù)備份服務(wù)的軟、硬件數(shù)據(jù)分析平臺(tái)，其通過(guò)“硬件+軟件+服務(wù)”的集成，為政務(wù)、環(huán)保、電力等不同行業(yè)用戶(hù)、服務(wù)商、數(shù)據(jù)管理者、消費(fèi)者提供基于云計(jì)算的智能化、可定制、可視化的數(shù)據(jù)模型管理平臺(tái)，最終形成面向大數(shù)據(jù)深加工的核心產(chǎn)品及服務(wù)。通過(guò)建設(shè)“大數(shù)據(jù)應(yīng)用云平臺(tái)及新一代智能網(wǎng)絡(luò)通訊的研發(fā)和應(yīng)用實(shí)踐項(xiàng)目”，進(jìn)而在此基礎(chǔ)上實(shí)施大數(shù)據(jù)分析、安全脫敏、智能備份及提供其他增值服務(wù)，一方面可以幫助公司以現(xiàn)有產(chǎn)品作為切入點(diǎn)，云化建立具有自主知識(shí)產(chǎn)權(quán)的大數(shù)據(jù)平臺(tái)，更好的滿(mǎn)足現(xiàn)有業(yè)務(wù)領(lǐng)域客戶(hù)；另一方面，公司可以利用云平臺(tái)，通過(guò)大數(shù)據(jù)分析解決虛擬運(yùn)營(yíng)商在實(shí)際業(yè)務(wù)開(kāi)展中遇到的困難，為其提供差異化服務(wù)，豐富虛擬運(yùn)營(yíng)商IT服務(wù)提供方式，從而獲取更大的利潤(rùn)空間?！按髷?shù)據(jù)應(yīng)用云平臺(tái)”主要包含“六大自主可控基礎(chǔ)產(chǎn)品開(kāi)發(fā)”和“兩大應(yīng)用服務(wù)”；經(jīng)過(guò)前期的市場(chǎng)調(diào)研工作，結(jié)合公司自身優(yōu)勢(shì)，本項(xiàng)目大數(shù)據(jù)應(yīng)用云平臺(tái)的業(yè)務(wù)應(yīng)用將優(yōu)先開(kāi)發(fā)工業(yè)物聯(lián)網(wǎng)支撐平臺(tái)應(yīng)用服務(wù)、持續(xù)運(yùn)營(yíng)個(gè)性化流量應(yīng)用服務(wù)。具體如下：1.1大數(shù)據(jù)應(yīng)用云平臺(tái)（1）企業(yè)級(jí)大數(shù)據(jù)平臺(tái)（D+）企業(yè)級(jí)大數(shù)據(jù)平臺(tái)（D+）是基于開(kāi)源ApacheHadoop，綜合大數(shù)據(jù)市場(chǎng)需求，打造的企業(yè)級(jí)大數(shù)據(jù)平臺(tái)產(chǎn)品。產(chǎn)品集成Hadoop生態(tài)圈中多種優(yōu)秀組件，實(shí)現(xiàn)采集、處理、分析、存儲(chǔ)、搜索、算法、服務(wù)、安全等全域一體化的數(shù)據(jù)加工能力。通過(guò)實(shí)時(shí)動(dòng)態(tài)分析、離線(xiàn)數(shù)據(jù)模型分析、挖掘、預(yù)測(cè)等手段，為企業(yè)級(jí)用戶(hù)提供強(qiáng)大的分析、決策、創(chuàng)新等支撐能力。D+定義D+平臺(tái)同步最新的ApacheHadoop穩(wěn)定發(fā)行版，集成了最新穩(wěn)定的Pig、Hive、Ooize、Tez、Storm、Spark、HBase、Solr、Kafka、Flume、Sqoop、Knox、Ranger、Hue、Zookeeper等組件，極大增強(qiáng)其兼容性、安全性、穩(wěn)定性，解決了版本、組件等相互依賴(lài)問(wèn)題，使用戶(hù)能夠?qū)Ｗ⒂跀?shù)據(jù)存儲(chǔ)、處理等業(yè)務(wù)應(yīng)用，而不用關(guān)心底層平臺(tái)問(wèn)題。D+體系架構(gòu)D+平臺(tái)以YARN作為架構(gòu)中心，支持多任務(wù)、多負(fù)載、多處理方式（從批處理到交互式處理再到實(shí)時(shí)處理），擁有企業(yè)級(jí)大數(shù)據(jù)平臺(tái)所需的關(guān)鍵能力——管理、安全和運(yùn)營(yíng)。平臺(tái)全面的功能集包括：集中監(jiān)管、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)訪(fǎng)問(wèn)、數(shù)據(jù)安全等主要功能。（2）大數(shù)據(jù)業(yè)務(wù)模型平臺(tái)（M+）大數(shù)據(jù)業(yè)務(wù)模型平臺(tái)（M+）構(gòu)建了基于大數(shù)據(jù)業(yè)務(wù)的PaaS層服務(wù)。依托大數(shù)據(jù)領(lǐng)域從業(yè)人員（業(yè)務(wù)分析師、業(yè)務(wù)分析專(zhuān)家、模型設(shè)計(jì)人員、測(cè)試人員、管理維護(hù)人員、服務(wù)方和集成商等）的具體需求，構(gòu)建了大數(shù)據(jù)業(yè)務(wù)模型全生命周期的閉環(huán)管理，平臺(tái)具備可視化大數(shù)據(jù)業(yè)務(wù)建模、業(yè)務(wù)模型自動(dòng)化部署、模型測(cè)試、可視化展示、業(yè)務(wù)模型調(diào)度維護(hù)等功能，支撐多租戶(hù)的大數(shù)據(jù)業(yè)務(wù)模型開(kāi)發(fā)、共享、授權(quán)與管理。平臺(tái)以企業(yè)業(yè)務(wù)邏輯為導(dǎo)向，使數(shù)據(jù)分析者只關(guān)注具體的業(yè)務(wù)分析邏輯而無(wú)需關(guān)注底層大數(shù)據(jù)平臺(tái)的技術(shù)細(xì)節(jié)，極大提高了業(yè)務(wù)模型開(kāi)發(fā)的速度和便捷性。新型大數(shù)據(jù)整體分析模式M+包含以下幾個(gè)主要功能：①可視化模型開(kāi)發(fā)客戶(hù)端：模型設(shè)計(jì)可視化、運(yùn)行數(shù)據(jù)可視化、模型開(kāi)發(fā)引擎；②認(rèn)證與用戶(hù)管理服務(wù)：用戶(hù)管理、模型權(quán)限自動(dòng)化分配管理、模型與用戶(hù)權(quán)限認(rèn)證；③模型管理服務(wù)：模型庫(kù)管理、模型發(fā)布、模型類(lèi)型配置、模型審核授權(quán)；④模型調(diào)度服務(wù)：任務(wù)調(diào)度引擎、日志引擎；⑤模型解釋服務(wù)：模型自動(dòng)化編譯引擎、模型自動(dòng)化解釋引擎。大數(shù)據(jù)業(yè)務(wù)模型平臺(tái)一站式大數(shù)據(jù)綜合架構(gòu)（3）大數(shù)據(jù)數(shù)據(jù)處理平臺(tái)(TROYETL)TROYETL是同時(shí)支撐Windows和Linux運(yùn)行環(huán)境的大數(shù)據(jù)數(shù)據(jù)處理平臺(tái)。TROYETL能夠快速便捷的完成涵蓋各種數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)換、過(guò)濾、清洗工作；其全程的可視化操作及監(jiān)控體系為業(yè)務(wù)人員、運(yùn)維人員、開(kāi)發(fā)人員從數(shù)據(jù)集成設(shè)計(jì)、調(diào)度運(yùn)維、功能擴(kuò)展及支持提供了完善的支撐。大數(shù)據(jù)數(shù)據(jù)處理平臺(tái)整體架構(gòu)①大數(shù)據(jù)層平臺(tái)提供對(duì)分布式文件系統(tǒng)的支撐,同時(shí)對(duì)創(chuàng)意企業(yè)級(jí)大數(shù)據(jù)平臺(tái)(D+)提供的大數(shù)據(jù)環(huán)境進(jìn)行了功能優(yōu)化,對(duì)比其他開(kāi)源環(huán)境擁有更高的執(zhí)行效率。支撐的組件包括Oracle、Hadoop、MongoDB、Hive、Kafka、Hbase、Storm等。②內(nèi)核層平臺(tái)內(nèi)核層作為整個(gè)平臺(tái)的基礎(chǔ)能力提供層：提供安全加解密、線(xiàn)程管理、數(shù)據(jù)庫(kù)驅(qū)動(dòng)、消息傳遞、日志管理等功能，同時(shí)可通過(guò)插件接口實(shí)現(xiàn)對(duì)新功能的自定義擴(kuò)展。③引擎層提供作業(yè)、轉(zhuǎn)換、批處理任務(wù)、元數(shù)據(jù)、系統(tǒng)數(shù)據(jù)交換引擎功能。④應(yīng)用層平臺(tái)具有：可視化的ETL任務(wù)設(shè)計(jì)器、批量的任務(wù)調(diào)度器、支持動(dòng)態(tài)集群調(diào)度管理器和分級(jí)的日志管理功能。大數(shù)據(jù)數(shù)據(jù)處理平臺(tái)特性（4）數(shù)據(jù)脫敏（敏感數(shù)據(jù)管理）產(chǎn)品創(chuàng)意“數(shù)據(jù)脫敏產(chǎn)品”是一個(gè)適合不同行業(yè)和用戶(hù)的全方位產(chǎn)品，內(nèi)置豐富的敏感數(shù)據(jù)發(fā)現(xiàn)、脫敏算法能夠支持金融、政府、教育、零售等不同行業(yè)的數(shù)據(jù)脫敏需求；又能支持國(guó)內(nèi)外主流的數(shù)據(jù)存儲(chǔ)平臺(tái)，包括：數(shù)據(jù)庫(kù)、Hadoop大數(shù)據(jù)分析、文件等的全面智能的數(shù)據(jù)脫敏軟件。與其他脫敏軟件不同的是，創(chuàng)意研發(fā)的“數(shù)據(jù)脫敏產(chǎn)品”是可以與創(chuàng)意信息研發(fā)的數(shù)據(jù)敏捷管理平臺(tái)CDS產(chǎn)品實(shí)現(xiàn)無(wú)縫對(duì)接，可以在統(tǒng)一的圖形化界面管理中幫助客戶(hù)實(shí)現(xiàn)測(cè)試、開(kāi)發(fā)和數(shù)據(jù)分析等多種場(chǎng)景下的應(yīng)用需求，通過(guò)“數(shù)據(jù)脫敏產(chǎn)品”的自助服務(wù)平臺(tái)，適應(yīng)大型企業(yè)、大項(xiàng)目的不同復(fù)雜場(chǎng)景的敏感數(shù)據(jù)管理，靈活的脫敏算法自定義能力，包括支持混排、替換、隨機(jī)、波動(dòng)等常見(jiàn)的脫敏算法。脫敏過(guò)程全內(nèi)存的數(shù)據(jù)處理，保障數(shù)據(jù)不會(huì)在脫敏過(guò)程中泄露，部署架構(gòu)方面支持集群部署和并行處理，保障大數(shù)據(jù)分析要求的處理能力。（5）分布式塊存儲(chǔ)產(chǎn)品在日益激烈的競(jìng)爭(zhēng)環(huán)境中，高效、敏捷的IT服務(wù)能力已成為現(xiàn)代企業(yè)取得商業(yè)成功的核心要素。數(shù)據(jù)庫(kù)、虛擬化、云應(yīng)用要求IT系統(tǒng)更富于效率和靈活性，而以傳統(tǒng)的高中低端磁盤(pán)陣列為代表的“傳統(tǒng)SAN”IT基礎(chǔ)設(shè)施是孤立、僵化、不靈活的，它們?cè)谛阅?、擴(kuò)展性、可管理性等方面存在明顯的局限性，無(wú)法始終為客戶(hù)提供所需的可擴(kuò)展性、彈性和靈活性來(lái)滿(mǎn)足當(dāng)今高性能應(yīng)用程序的需求，更不用說(shuō)滿(mǎn)足整個(gè)業(yè)務(wù)的需求。云計(jì)算、虛擬化、分布式、軟件定義技術(shù)的快速發(fā)展，促使數(shù)據(jù)中心的建設(shè)目標(biāo)和技術(shù)架構(gòu)發(fā)生了深刻的變化，要求實(shí)現(xiàn)更高的效率、服務(wù)水平、靈活性和敏捷性。經(jīng)過(guò)前期的市場(chǎng)調(diào)研工作，結(jié)合公司自身優(yōu)勢(shì)，本項(xiàng)目中研發(fā)的分布式塊存儲(chǔ)設(shè)備具備以下特點(diǎn)：企業(yè)級(jí)數(shù)據(jù)服務(wù)，充分利用各類(lèi)高性能標(biāo)準(zhǔn)X86硬件資源，構(gòu)建高效的分布式塊存儲(chǔ)架構(gòu)，可通過(guò)高性能的VM專(zhuān)用接口，NBD接口和iSCSI接口供業(yè)務(wù)主機(jī)訪(fǎng)問(wèn)，可完整支持虛擬化、云計(jì)算、數(shù)據(jù)庫(kù)等各類(lèi)企業(yè)級(jí)應(yīng)用場(chǎng)景，包括數(shù)據(jù)保護(hù)，容量?jī)?yōu)化，快照和克隆，動(dòng)態(tài)分層，SLA保障，安全加密等。彈性化存儲(chǔ)管理，采用完全橫向的擴(kuò)展模式，可實(shí)現(xiàn)真正不停機(jī)的動(dòng)態(tài)擴(kuò)容，按需配置，隨需擴(kuò)展高性能，采用Scale-out分布式設(shè)計(jì)架構(gòu)，存儲(chǔ)集群內(nèi)部每個(gè)節(jié)點(diǎn)可以并行的對(duì)外提供訪(fǎng)問(wèn)，自動(dòng)負(fù)載均衡等多種性能優(yōu)化機(jī)制，可構(gòu)建一個(gè)高帶寬、高并發(fā)、低延時(shí)的高效存儲(chǔ)平臺(tái)。低TCO成本，可以不采用同等節(jié)點(diǎn)，讓用戶(hù)充分利舊原有資源的靈活組建方式可以最大限度的降低TCO成本，且支持動(dòng)態(tài)可擴(kuò)展的擴(kuò)容，最大限度保護(hù)已有投資。（6）備份系統(tǒng)智能分析及自動(dòng)化恢復(fù)驗(yàn)證平臺(tái)產(chǎn)品研發(fā)的備份系統(tǒng)智能分析及自動(dòng)化恢復(fù)驗(yàn)證平臺(tái)，初期以支持當(dāng)前在金融/能源/電信運(yùn)營(yíng)商中使用比例最高的NBU軟件為基礎(chǔ)，實(shí)現(xiàn)針對(duì)NBU軟件的備份系統(tǒng)智能分析和自動(dòng)化恢復(fù)驗(yàn)證，同時(shí)，開(kāi)發(fā)與數(shù)據(jù)敏捷管理平臺(tái)的對(duì)接，實(shí)現(xiàn)一套平臺(tái)下的數(shù)據(jù)全生命周期管理和使用，真正將數(shù)據(jù)的在線(xiàn)、近線(xiàn)、離線(xiàn)管理落到實(shí)處，實(shí)時(shí)展現(xiàn)當(dāng)前數(shù)據(jù)副本的狀態(tài)。未來(lái)考慮逐步加入客戶(hù)當(dāng)前使用量較大的其他備份軟件的支持。本期研發(fā)的產(chǎn)品還具備以下功能特點(diǎn)：靈活部署方式，提供私有云和公有云兩種模式，無(wú)縫對(duì)接企業(yè)內(nèi)部已有的NBU備份平臺(tái)，松耦合的方式獲取數(shù)據(jù)及驗(yàn)證圖形化操作界面，通過(guò)WebGUI的圖形界面的方式進(jìn)行操作，設(shè)置驗(yàn)證策略及分析策略，采用智能數(shù)據(jù)分析方法將分析結(jié)論以動(dòng)態(tài)圖形的方式予以展現(xiàn)，且可以記錄不同時(shí)期的分析結(jié)果，實(shí)現(xiàn)多維度對(duì)比，并給出備份系統(tǒng)當(dāng)前存在的問(wèn)題及建議修改的方式。豐富的接口，提供Restful的API接口，同時(shí)可以與北京創(chuàng)意云智的數(shù)據(jù)敏捷管理產(chǎn)品實(shí)現(xiàn)無(wú)縫對(duì)接，從而在提升現(xiàn)有備份系統(tǒng)能力的同時(shí)，也可以在統(tǒng)一的界面內(nèi)對(duì)客戶(hù)的數(shù)據(jù)進(jìn)行全生命周期管理，同時(shí)預(yù)留了未來(lái)與其他備份軟件對(duì)接的接口，方便與其他備份軟件集成。1.2工業(yè)物聯(lián)網(wǎng)支撐平臺(tái)應(yīng)用隨著工業(yè)4.0以及互聯(lián)網(wǎng)+概念和政策的出臺(tái)，單一的設(shè)備人員本地服務(wù)以及粗放的本地監(jiān)控服務(wù)模式，已經(jīng)遠(yuǎn)遠(yuǎn)不能滿(mǎn)足客戶(hù)復(fù)雜的業(yè)務(wù)需求。結(jié)合邦訊信息在物聯(lián)網(wǎng)方面的技術(shù)優(yōu)勢(shì)和創(chuàng)意信息在大數(shù)據(jù)技術(shù)方面的長(zhǎng)期積累，工業(yè)物聯(lián)網(wǎng)支撐平臺(tái)應(yīng)用將面向行業(yè)客戶(hù)提供設(shè)備運(yùn)行情況、數(shù)據(jù)接入采集，并對(duì)采集的數(shù)據(jù)進(jìn)行匯總和綜合分析，最終形成企業(yè)設(shè)備管理和維護(hù)的最佳方案，優(yōu)化資源配置。該平臺(tái)可以應(yīng)用于能源行業(yè)、智能監(jiān)控行業(yè)、安防行業(yè)、基于物聯(lián)網(wǎng)的傳統(tǒng)行業(yè)改造。1.3個(gè)性化流量應(yīng)用“創(chuàng)意流量”是在基于云端數(shù)據(jù)分析的流量消費(fèi)服務(wù)，負(fù)責(zé)對(duì)運(yùn)營(yíng)商流量的交易、流轉(zhuǎn)、兌換、結(jié)轉(zhuǎn)，根據(jù)不同的應(yīng)用場(chǎng)景，通過(guò)流量7個(gè)維度流量屬性（大小、時(shí)間、內(nèi)容、位置、質(zhì)量、流向、流速）的不同配置組合,面向個(gè)人用戶(hù)、家庭用戶(hù)、企業(yè)用戶(hù)及相關(guān)互聯(lián)網(wǎng)流量銷(xiāo)售合作伙伴開(kāi)展不同類(lèi)型的流量產(chǎn)品。2、新一代智能網(wǎng)絡(luò)通訊項(xiàng)目隨著3GPP標(biāo)準(zhǔn)Rel15和Rel16的凍結(jié)，5G相關(guān)的通訊芯片供應(yīng)商、終端廠(chǎng)家、系統(tǒng)設(shè)備供應(yīng)商從技術(shù)角度陸續(xù)公布產(chǎn)品路標(biāo)和發(fā)布時(shí)間。國(guó)內(nèi)三大運(yùn)營(yíng)商也相繼推出技術(shù)商業(yè)白皮書(shū)，建立5G應(yīng)用和產(chǎn)研中心，工信部組織的5G測(cè)試已進(jìn)入第三階段。創(chuàng)意信息根據(jù)未來(lái)發(fā)展規(guī)劃，結(jié)合技術(shù)、市場(chǎng)的資源儲(chǔ)備和對(duì)新興5G技術(shù)市場(chǎng)、行業(yè)方向的調(diào)研分析，在公司首席科學(xué)家梁平院士牽頭的技術(shù)團(tuán)隊(duì)充分論證和準(zhǔn)備下，確定了