H3C大數(shù)據(jù)解決方案

H3C大數(shù)據(jù)解決方案H3C大數(shù)據(jù)解決方案目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C大數(shù)據(jù)產(chǎn)品特點(diǎn)成功案例展示目錄大數(shù)據(jù)建設(shè)思路為什么需要大數(shù)據(jù)技術(shù)？3大表查詢慢數(shù)據(jù)間關(guān)系模糊計(jì)算節(jié)點(diǎn)擴(kuò)展瓶頸數(shù)據(jù)結(jié)構(gòu)多樣數(shù)據(jù)來源廣泛計(jì)算性能瓶頸存儲(chǔ)容量瓶頸服務(wù)級(jí)別要求越來越高OldSQL瓶頸半、非結(jié)構(gòu)化數(shù)據(jù)難以處理數(shù)據(jù)采集困難數(shù)據(jù)幾何增長(zhǎng)存儲(chǔ)節(jié)點(diǎn)擴(kuò)展瓶頸數(shù)據(jù)清洗復(fù)雜系統(tǒng)響應(yīng)慢數(shù)據(jù)吞吐能力低單表數(shù)據(jù)量激增分析方式單一分析結(jié)果展現(xiàn)不友好無即席查詢?yōu)槭裁葱枰髷?shù)據(jù)技術(shù)？3大表查詢慢數(shù)據(jù)間關(guān)系模糊計(jì)算節(jié)點(diǎn)擴(kuò)展大數(shù)據(jù)建設(shè)思路4數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)整合技術(shù)升級(jí)第一階段第二階段第三階段大數(shù)據(jù)建設(shè)思路4數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)整合技術(shù)升級(jí)第一階段第二階段第三第一階段技術(shù)升級(jí)大數(shù)據(jù)建設(shè)步驟第一階段技術(shù)升級(jí)大數(shù)據(jù)建設(shè)步驟技術(shù)升級(jí)6決策支持和流程自動(dòng)化數(shù)據(jù)分析、展現(xiàn)和挖掘數(shù)據(jù)組織和管理計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施分布式存儲(chǔ)分布式文件系統(tǒng)分布式卷管理器分布式數(shù)據(jù)庫(kù)分布式計(jì)算集群技術(shù)升級(jí)解決傳統(tǒng)計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)在處理海量大數(shù)據(jù)的瓶頸技術(shù)升級(jí)6決策支持和流程自動(dòng)化數(shù)據(jù)分析、展現(xiàn)和挖掘數(shù)據(jù)組織和分布式架構(gòu)的優(yōu)勢(shì)7分布式架構(gòu)的優(yōu)勢(shì)7第二階段數(shù)據(jù)整合大數(shù)據(jù)建設(shè)步驟第二階段數(shù)據(jù)整合大數(shù)據(jù)建設(shè)步驟數(shù)據(jù)整合9數(shù)據(jù)倉(cāng)庫(kù)全文庫(kù)關(guān)聯(lián)庫(kù)專題庫(kù)……數(shù)據(jù)管理基礎(chǔ)數(shù)據(jù)應(yīng)用數(shù)據(jù)配置數(shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量檢測(cè)數(shù)據(jù)資源監(jiān)控?cái)?shù)據(jù)資源目錄數(shù)據(jù)價(jià)值評(píng)價(jià)政務(wù)內(nèi)網(wǎng)政務(wù)外網(wǎng)數(shù)據(jù)源互聯(lián)網(wǎng)數(shù)據(jù)結(jié)構(gòu)化庫(kù)全文庫(kù)音視頻庫(kù)……元數(shù)據(jù)庫(kù)數(shù)據(jù)字典…………制定標(biāo)準(zhǔn)化、規(guī)范化的數(shù)據(jù)處理流程；采集內(nèi)部和外部數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；清洗臟數(shù)據(jù)和無效數(shù)據(jù)；打通不同來源的數(shù)據(jù)；對(duì)非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化加工數(shù)據(jù)整合9數(shù)據(jù)倉(cāng)庫(kù)全文庫(kù)關(guān)聯(lián)庫(kù)專題庫(kù)……數(shù)據(jù)管理基礎(chǔ)數(shù)據(jù)應(yīng)用第三階段數(shù)據(jù)運(yùn)營(yíng)大數(shù)據(jù)建設(shè)步驟建議第三階段數(shù)據(jù)運(yùn)營(yíng)大數(shù)據(jù)建設(shè)步驟建議數(shù)據(jù)運(yùn)營(yíng)11數(shù)據(jù)即服務(wù)平臺(tái)即服務(wù)軟件即服務(wù)數(shù)據(jù)運(yùn)營(yíng)第一種：DaaS，數(shù)據(jù)即服務(wù)，舉例來說，某個(gè)單位它需要數(shù)據(jù)，作為數(shù)據(jù)管理員，按用戶的需求把不同數(shù)據(jù)整合成寬表給用戶，這就是DaaS的服務(wù)；第二種：PaaS，對(duì)外部單位數(shù)據(jù)服務(wù)的時(shí)候，有些數(shù)據(jù)沒有辦法離開數(shù)據(jù)平臺(tái)，通過提供各種各樣數(shù)據(jù)分析挖掘的工具，讓用戶在平臺(tái)上挖掘出需要的結(jié)果；第三種：SaaS，各個(gè)專業(yè)的平臺(tái)應(yīng)用。數(shù)據(jù)運(yùn)營(yíng)11數(shù)據(jù)即服務(wù)平臺(tái)即服務(wù)軟件即服務(wù)數(shù)據(jù)運(yùn)營(yíng)目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C大數(shù)據(jù)產(chǎn)品特點(diǎn)成功案例展示目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)H3C大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)平臺(tái)物理拓?fù)?4……Hadoop集群MPP集群其他組件（BI、ETL等）…InterconnectionNetwork基于X86的分布式架構(gòu)，可從3臺(tái)橫向擴(kuò)展至數(shù)千節(jié)點(diǎn)平臺(tái)物理拓?fù)?4……Hadoop集群MPP集群其他組件（BIH3CDataEngine平臺(tái)組件Linux操作系統(tǒng)X86服務(wù)器集群資源管理YARN任務(wù)調(diào)度安全管理文件系統(tǒng)HDFS集群安裝布署消息隊(duì)列BI可視化可編程接口離線計(jì)算MapReduceMPP分布式數(shù)據(jù)庫(kù)HBase數(shù)據(jù)庫(kù)全文檢索SQL即席查詢數(shù)據(jù)倉(cāng)庫(kù)同步系統(tǒng)ZooKeeper內(nèi)存計(jì)算Spark流計(jì)算Storm數(shù)據(jù)采集數(shù)據(jù)交換數(shù)據(jù)挖掘集群監(jiān)控管理大數(shù)據(jù)應(yīng)用H3CDataEngine兼容性好：基于開源Hadoop分布式計(jì)算框架，提供開放、兼容的大數(shù)據(jù)計(jì)算能力；硬件無關(guān)：支持物理機(jī)布署、虛擬機(jī)布署；支持獨(dú)立布署、云平臺(tái)布署；安裝便捷：支持一鍵式快速布署，幾分鐘即可完成集群創(chuàng)建；擴(kuò)展性強(qiáng)：集群數(shù)量從幾臺(tái)到上千臺(tái)，并支持在線橫向擴(kuò)展；方便運(yùn)維：支持圖形化管理工具，運(yùn)維管理簡(jiǎn)單易用；兼容SQL：

兼容標(biāo)準(zhǔn)SQL，包括Hadoop和MPPH3CDataEngine平臺(tái)組件Linux操作系統(tǒng)X86大數(shù)據(jù)平臺(tái)整體建設(shè)步驟建立數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范建立數(shù)據(jù)填報(bào)系統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取連接共享交換系統(tǒng)數(shù)據(jù)比對(duì)垃圾過濾數(shù)據(jù)去重?cái)?shù)據(jù)轉(zhuǎn)換數(shù)據(jù)采集數(shù)據(jù)倉(cāng)庫(kù)建設(shè)根據(jù)分析型應(yīng)用需求確定專題數(shù)據(jù)特征分析根據(jù)對(duì)需求和數(shù)據(jù)的分析，按照不同的主題建立數(shù)據(jù)倉(cāng)庫(kù)模型各業(yè)務(wù)部門根據(jù)各自的數(shù)據(jù)分析需求，建立數(shù)據(jù)集市模型通過ETL工具實(shí)現(xiàn)數(shù)據(jù)加載和同步數(shù)據(jù)分析應(yīng)用專題圖表設(shè)計(jì)領(lǐng)導(dǎo)輔助決策職能部門數(shù)據(jù)共享公眾數(shù)據(jù)查詢其他大數(shù)據(jù)應(yīng)用系統(tǒng)123大數(shù)據(jù)平臺(tái)整體建設(shè)步驟建立數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)采集數(shù)據(jù)倉(cāng)庫(kù)建設(shè)根1.數(shù)據(jù)采集--數(shù)據(jù)共享交換平臺(tái)在每個(gè)被采集的數(shù)據(jù)單位，部署數(shù)據(jù)采集網(wǎng)關(guān)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的采集和相互交換支持對(duì)Oracle、SQLSever、MYSQL、達(dá)夢(mèng)、金倉(cāng)等數(shù)據(jù)的抽取支持對(duì)xml、html、pdf、txt等文件的抽取房產(chǎn)部門稅務(wù)部門財(cái)政部門相關(guān)資源提供機(jī)構(gòu)其他職能部門RESTservices異構(gòu)橋數(shù)據(jù)交換總控云服務(wù)網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)Rest數(shù)據(jù)集市數(shù)據(jù)交換總控?cái)?shù)據(jù)交換網(wǎng)關(guān)多維立方體數(shù)據(jù)倉(cāng)庫(kù)工商部門1.數(shù)據(jù)采集--數(shù)據(jù)共享交換平臺(tái)在每個(gè)被采集的數(shù)據(jù)單位，部署1.數(shù)據(jù)采集——數(shù)據(jù)ETL清洗臟數(shù)據(jù)、重復(fù)數(shù)據(jù)、無效數(shù)據(jù)，打通不同來源的數(shù)據(jù)；對(duì)非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化加工A系統(tǒng)源數(shù)據(jù)B系統(tǒng)C系統(tǒng)數(shù)據(jù)抽取數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載配置庫(kù)按規(guī)則抽取讀取配置臨時(shí)文件數(shù)據(jù)倉(cāng)庫(kù)（Hadoop+MPP）目標(biāo)數(shù)據(jù)…1.數(shù)據(jù)采集——數(shù)據(jù)ETL清洗臟數(shù)據(jù)、重復(fù)數(shù)據(jù)、無效數(shù)據(jù)，打采用全可視化ETL系統(tǒng)，動(dòng)態(tài)監(jiān)控整個(gè)任務(wù)的執(zhí)行情況拖拽式規(guī)則編輯，支持多種數(shù)據(jù)轉(zhuǎn)換、清洗方式。1.數(shù)據(jù)采集——配套ETL工具界面采用全可視化ETL系統(tǒng)，動(dòng)態(tài)監(jiān)控整個(gè)任務(wù)的執(zhí)行情況拖拽式規(guī)則支撐數(shù)據(jù)庫(kù)元數(shù)據(jù)GIS信息LDAP庫(kù)DW數(shù)據(jù)倉(cāng)庫(kù)分析主題數(shù)據(jù)集市……中心基礎(chǔ)庫(kù)人員企業(yè)環(huán)境工商統(tǒng)計(jì)……ODS操作數(shù)據(jù)庫(kù)粗粒度數(shù)據(jù)細(xì)粒度數(shù)據(jù)……2.數(shù)據(jù)倉(cāng)庫(kù)建設(shè)——平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)

數(shù)據(jù)平臺(tái)倉(cāng)庫(kù)是大數(shù)據(jù)平臺(tái)的“大腦”，它存儲(chǔ)的是“經(jīng)過梳理的”各種業(yè)務(wù)系統(tǒng)數(shù)據(jù)。使原來分散在各業(yè)務(wù)系統(tǒng)中，無法關(guān)聯(lián)的數(shù)據(jù)，真正成為全面的，有分析加值的綜合性大數(shù)據(jù)。支撐數(shù)據(jù)庫(kù)元數(shù)據(jù)GIS信息LDAP庫(kù)DW數(shù)據(jù)倉(cāng)庫(kù)分析主題數(shù)據(jù)2.數(shù)據(jù)倉(cāng)庫(kù)建設(shè)——并行加載、并行查詢212.數(shù)據(jù)倉(cāng)庫(kù)建設(shè)——并行加載、并行查詢21disksdisksmemoryCPUCPUdisksmemoryCPUCPUdisksmemoryCPUCPUInterconnectionNetwork…數(shù)據(jù)MPP架構(gòu)橫向擴(kuò)展數(shù)百節(jié)點(diǎn)2.數(shù)據(jù)倉(cāng)庫(kù)建設(shè)——MPP數(shù)據(jù)庫(kù)disksdisksmemoryCPUCPUdisksmem3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)建模分析分布式存儲(chǔ)、計(jì)算平臺(tái)DistributedExecutionEngine分布式執(zhí)行引擎RRuntimeLibraryR語言動(dòng)態(tài)運(yùn)行庫(kù)大數(shù)據(jù)平臺(tái)算法RLanguageInterfaceR語言接口JavaLanguageInterfaceJava語言接口RStudioWebIDE開發(fā)環(huán)境公安大數(shù)據(jù)應(yīng)用SQLonHadoop、MPP交通大數(shù)據(jù)應(yīng)用醫(yī)療大數(shù)據(jù)氣象大數(shù)據(jù)電力大數(shù)據(jù)…3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)建模分析分布式存儲(chǔ)、計(jì)算平臺(tái)Dist3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)可視化設(shè)計(jì)3.數(shù)據(jù)分析應(yīng)用——數(shù)據(jù)可視化設(shè)計(jì)基礎(chǔ)組件擴(kuò)展組件KPI組件180°儀表盤45°儀表盤360°儀表盤齒輪圖溫度計(jì)KPI子彈圖擴(kuò)展……柱圖條形圖線圖面積圖散點(diǎn)圖氣泡圖漏斗圖熱區(qū)圖表格MAP擴(kuò)展……餅圖GIS視頻人口金字塔關(guān)系圖擴(kuò)展……雷達(dá)圖K線圖圖片標(biāo)簽文本音頻7647266232組件：633.數(shù)據(jù)分析應(yīng)用——可視化組件支持范圍基礎(chǔ)組件擴(kuò)展組件KPI組件180°儀表盤45°儀表盤360°

選擇數(shù)據(jù)模型

選擇維度

選擇度量

設(shè)置函數(shù)為“總和”

設(shè)置篩選條件

設(shè)置排序

新建自定義度量

設(shè)置預(yù)警

執(zhí)行，查看結(jié)果123456783.數(shù)據(jù)分析應(yīng)用——即席查詢模塊選擇數(shù)據(jù)模型選擇維度設(shè)置3.數(shù)據(jù)分析應(yīng)用——交通大數(shù)據(jù)3.數(shù)據(jù)分析應(yīng)用——交通大數(shù)據(jù)目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C產(chǎn)品特點(diǎn)案例展示目錄大數(shù)據(jù)建設(shè)思路安裝部署主節(jié)點(diǎn)一鍵下發(fā)指令，自動(dòng)安裝部署……Hadoop集群MPP集群其他組件…集群部署：多樣化部署方式，定制部署、ZERO部署；集群擴(kuò)容：橫向擴(kuò)展、縱向擴(kuò)展；集群規(guī)模：無限制，支持三臺(tái)至上千臺(tái)節(jié)點(diǎn)；集群交付：上千臺(tái)節(jié)點(diǎn)集群分鐘級(jí)交付；安裝部署主節(jié)點(diǎn)一鍵下發(fā)指令，自動(dòng)安裝部署……Hadoop集群運(yùn)維管理平臺(tái)安裝部署集群管理主機(jī)管理服務(wù)管理用戶管理告警監(jiān)控運(yùn)維管理平臺(tái)安裝部署機(jī)架展示節(jié)點(diǎn)服務(wù)CPU內(nèi)存硬盤機(jī)架展示節(jié)點(diǎn)DataEngineMPPCluster

可處理PB級(jí)別以上的結(jié)構(gòu)化數(shù)據(jù)實(shí)際擴(kuò)展能力達(dá)到64個(gè)Safegroup（最多64x3=192）個(gè)節(jié)點(diǎn)數(shù)據(jù)加載速度大于2TB/小時(shí)數(shù)據(jù)通過2個(gè)副本提供冗余保護(hù)每個(gè)節(jié)點(diǎn)并發(fā)能力大于300個(gè)用戶數(shù)據(jù)支持hash分布，range分布，random分布支持標(biāo)準(zhǔn)SQL提供標(biāo)準(zhǔn)的APIs:

C

API,JDBC,ODBC,ADO.NetDataEngineMPPDataEngineMPPCluster可處理PB級(jí)別大數(shù)據(jù)的安全建設(shè)外圍：華三具有全系列安全產(chǎn)品線產(chǎn)品用于支撐大數(shù)據(jù)集群和云計(jì)算周邊安全。租戶：針對(duì)不同的租戶分配不同的大數(shù)據(jù)集群資源區(qū)從而實(shí)現(xiàn)租戶間數(shù)據(jù)隔離。用戶：用戶訪問集群首先要通過安全認(rèn)證；使用集群中計(jì)算資源和存儲(chǔ)資源需要對(duì)用戶進(jìn)行授權(quán)；用戶對(duì)集群的操作通過審計(jì)功能進(jìn)行記錄。數(shù)據(jù)：數(shù)據(jù)加密，數(shù)據(jù)脫敏。交換機(jī)防火墻VLANNetwork交換機(jī)租戶1租戶2租戶3大數(shù)據(jù)集群大數(shù)據(jù)集群大數(shù)據(jù)集群大數(shù)據(jù)的安全建設(shè)外圍：華三具有全系列安全產(chǎn)品線產(chǎn)品用于支撐大大數(shù)據(jù)物理機(jī)集群VMVMVMVM大數(shù)據(jù)虛機(jī)集群華三云平臺(tái)VMVMVMVMVMVM云資源池云與大數(shù)據(jù)平臺(tái)融合華三大數(shù)據(jù)平臺(tái)既可單獨(dú)部署，也可與云計(jì)算平臺(tái)融合。融合架構(gòu)適用于大數(shù)據(jù)計(jì)算資源按需分配場(chǎng)景，以及多租戶隔離場(chǎng)景。大數(shù)據(jù)物理機(jī)集群VMVMVMVM大數(shù)據(jù)虛機(jī)集群華三云平臺(tái)VM目錄大數(shù)據(jù)建設(shè)思路H3C大數(shù)據(jù)解決方案H3C產(chǎn)品特點(diǎn)案例展示目錄大數(shù)據(jù)建設(shè)思路太陽能板光電互補(bǔ)綠色環(huán)保滾動(dòng)廣告牌播放廣告或活動(dòng)信息應(yīng)急電源裝置給手機(jī)等電子設(shè)備充電或加裝充電樁給電動(dòng)車輛充電無線網(wǎng)