企業(yè)大數(shù)據(jù)解決方案課件

大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展1@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第2頁什么是大數(shù)據(jù)@2013北京澤佳公司版權所有Copyright?2012@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第3頁數(shù)據(jù)無處不在任何時間，任何地點，任何事情，任何人?Anytime，anywhere，anything，anyone?休息中，隨意刷微博爬山時，記錄每一瞬間旅途中，處理公司事件工作時，實時掌握市場動態(tài)@2013北京澤佳公司版權所有Copyright?2013@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第4頁大數(shù)據(jù)時代已經(jīng)來到每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（2012年11月）7.3萬筆交易數(shù)（2012年雙11）1.1GB文件下載9.5萬條微博發(fā)送14萬張照片上傳70TB處理數(shù)據(jù)@2013北京澤佳公司版權所有Copyright?20134@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第5頁互聯(lián)網(wǎng)中的大數(shù)據(jù)Web3.0時代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至2013年3月底，新浪微博注冊用戶數(shù)增長到5.36億，日均活躍用戶數(shù)達到4980萬，每日新增微博約2億。企業(yè)在大數(shù)據(jù)時代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時也迎來重大的轉(zhuǎn)型機遇和飛躍契機。@2013北京澤佳公司版權所有Copyright?2015@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第6頁互聯(lián)網(wǎng)中的大數(shù)據(jù)

大數(shù)據(jù)在消費IT領域的作用更加明顯。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。大數(shù)據(jù)在消費IT領域的作用更加明顯。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。@2013北京澤佳公司版權所有Copyright?2016@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第7頁企業(yè)IT進入2.0時代隨著公司業(yè)務的增長，大量和流程、規(guī)則相關的非結構化數(shù)據(jù)也爆發(fā)式增長。比如：1、業(yè)務系統(tǒng)現(xiàn)在平均每天存儲20萬張圖片，磁盤空間每天消耗100G；2、平均每天產(chǎn)生簽約視頻文件6000個，每個平均250M，磁盤空間每天消耗1T;@2013北京澤佳公司版權所有Copyright?2017@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第8頁大數(shù)據(jù)的特性

V

V

V

V價值Veracity體量Volume多樣性Variety速度Velocity68%31%來源多；格式多：大數(shù)據(jù)包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究報告，到2020年，全球數(shù)據(jù)使用量預計暴增44倍，達到35.2ZB。價值密度低，猶如沙里淘金，海量業(yè)務中尋找價值。1秒定律，實時獲取所需要的數(shù)據(jù)，為決策提供依據(jù)。@2013北京澤佳公司版權所有Copyright?20138@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第9頁企業(yè)大數(shù)據(jù)的挑戰(zhàn)業(yè)務數(shù)據(jù)的映射提取大數(shù)據(jù)價值大數(shù)據(jù)隱私大數(shù)據(jù)分析@2013北京澤佳公司版權所有Copyright?20139@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第10頁澤佳建議企業(yè)大數(shù)據(jù)解決方案@2013北京澤佳公司版權所有Copyright?20110@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第11頁大數(shù)據(jù)基礎架構要求可預測的低延遲高事務參數(shù)靈活的數(shù)據(jù)結構獲取組織分析決策高吞吐量就地準備所有數(shù)據(jù)源和結構深度分析敏捷開發(fā)高度可伸縮性實時流數(shù)據(jù)運營影響@2013北京澤佳公司版權所有Copyright?201311@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第12頁澤佳大數(shù)據(jù)解決方案，以數(shù)據(jù)融合、綜合處理為方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供應鏈消費者SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動終端OLTP實時交易處理OLAP實時分析處理SOCIALMEDIADATAOTHERINTERACTIONDATAMachine/DeviceSensors/meters/RFIDtagsCDR/mobileSD，MM，PP，SD，F(xiàn)ICO。。。@2013北京澤佳公司版權所有Copyright?201312@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第13頁澤佳大數(shù)據(jù)解決方案整體架構企業(yè)內(nèi)外部協(xié)同（供應商+企業(yè)內(nèi)部+客戶+銀行+稅務+政府+社區(qū)+…)外部信息（社交+電商+移動+視音頻+…)開放式API和協(xié)議通用的設計和模型環(huán)境通用數(shù)據(jù)管理環(huán)境交易數(shù)據(jù)管理社交數(shù)據(jù)管理移動數(shù)據(jù)管理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉庫管理數(shù)據(jù)存儲數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無線數(shù)據(jù)管理信息管理和實時數(shù)據(jù)遷移聯(lián)合訪問實時大數(shù)據(jù)平臺門戶數(shù)據(jù)分析電子郵件辦公軟件大屏幕電腦桌面移動終端企業(yè)級報告工具Adhoc即時查詢例外分析非結構化數(shù)據(jù)探索預測與挖掘@2013北京澤佳公司版權所有Copyright?201313@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第14頁澤佳大數(shù)據(jù)解決方案體系數(shù)據(jù)多樣性模式動態(tài)模式HDFS分布式文件系統(tǒng)Hbase分布式列存儲系統(tǒng)SybaseESP事件流處理器HdoopMapReduceBigDataConnectorsYounghongBI獲取組織分析決策復雜場景處理實時決策ETLEDW@2013北京澤佳公司版權所有Copyright?201314@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第15頁一般企業(yè)數(shù)據(jù)處理平臺的基礎架構@2013北京澤佳公司版權所有Copyright?201315@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第16頁澤佳大數(shù)據(jù)解決方案基礎架構門戶澤佳大數(shù)據(jù)平臺快速、可靠大屏幕電腦桌面電子郵件SCMCRMERP數(shù)據(jù)分析人員辦公軟件移動終端安全，部署，管理靈活體系MESPDM@2013北京澤佳公司版權所有Copyright?201316@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第17頁澤佳建議企業(yè)大數(shù)據(jù)解決方案基礎架構圖@2013北京澤佳公司版權所有Copyright?201317@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第18頁應用層數(shù)據(jù)分析@2013北京澤佳公司版權所有Copyright?201318@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第19頁視頻存儲@2013北京澤佳公司版權所有Copyright?201319@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第20頁離線日志分析@2013北京澤佳公司版權所有Copyright?201320@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第21頁在線數(shù)據(jù)分析@2013北京澤佳公司版權所有Copyright?201321@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第22頁大數(shù)據(jù)解決方案特點澤佳大數(shù)據(jù)解決方案提供高速、低速兩種互聯(lián)解決方案，在節(jié)點間能夠建立起40Gb的互聯(lián)通路，徹底消除系統(tǒng)節(jié)點間通信的瓶頸。高性能高可擴展性高可靠相比較傳統(tǒng)的數(shù)據(jù)庫集群，澤佳大數(shù)據(jù)解決方案具有良好的可擴展性，隨著數(shù)據(jù)節(jié)點的增加，系統(tǒng)整體性能接近線性增加。同時數(shù)據(jù)節(jié)點可以在系統(tǒng)運行中動態(tài)添加，對系統(tǒng)不會造成任何影響。因此企業(yè)可以根據(jù)自身業(yè)務需要，動態(tài)添加數(shù)據(jù)節(jié)點，當業(yè)務量較小時，配置較少的數(shù)據(jù)節(jié)點，隨著業(yè)務量的逐漸增多，添加相應的數(shù)據(jù)節(jié)點，從而滿足自身業(yè)務量增長的需求。澤佳大數(shù)據(jù)解決方案能自動地維護數(shù)據(jù)的多份復制，并且在任務失敗后能自動地重新部署（redeploy）計算任務。同時消除系統(tǒng)單點故障，系統(tǒng)中任意一個部分出現(xiàn)故障，系統(tǒng)將自動進行切換，保證用戶應用的無縫連接，具有較高的穩(wěn)定性和可靠性。@2013北京澤佳公司版權所有Copyright?201322@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第23頁大數(shù)據(jù)應用技術@2013北京澤佳公司版權所有Copyright?20123@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第24頁大數(shù)據(jù)的技術領域占位圖@2013北京澤佳公司版權所有Copyright?201324@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第25頁澤佳大數(shù)據(jù)應用主要技術—Hadoop據(jù)IDC的預測，全球大數(shù)據(jù)市場2015年將達170億美元規(guī)模，市場發(fā)展前景很大。而Hadoop作為新一代的架構和技術，因為有利于并行分布處理“大數(shù)據(jù)”而備受重視。

ApacheHadoop是一個用java語言實現(xiàn)的軟件框架，在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成。

@2013北京澤佳公司版權所有Copyright?201325@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第26頁Hadoop體系架構MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，Pig為復雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口。Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻。Hive是基于Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。ZooKeeper：高效的，可擴展的協(xié)調(diào)系統(tǒng),存儲和協(xié)調(diào)關鍵共享狀態(tài)。HBase是一個開源的，基于列存儲模型的分布式數(shù)據(jù)庫。HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應用程序。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算@2013北京澤佳公司版權所有Copyright?201326@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第27頁Hadoop核心設計@2013北京澤佳公司版權所有Copyright?201327@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第28頁HDFS—文件讀流程HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應用程序。Client向NameNode發(fā)起文件讀取的請求。NameNode返回文件存儲的DataNode的信息。Client讀取文件信息。@2013北京澤佳公司版權所有Copyright?201328@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第29頁HDFS—文件寫流程Client向NameNode發(fā)起文件寫入的請求。NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。@2013北京澤佳公司版權所有Copyright?201329@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第30頁MapReduce——映射、化簡編程模型

輸入數(shù)據(jù)->Map分解任務->執(zhí)行并返回結果->Reduce匯總結果->輸出結果@2013北京澤佳公司版權所有Copyright?201330@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第31頁Hbase——分布式數(shù)據(jù)存儲系統(tǒng)Client：使用HBaseRPC機制與HMaster和HRegionServer進行通信Zookeeper：協(xié)同服務管理，HMaster通過Zookeepe可以隨時感知各個HRegionServer的健康狀況HMaster:管理用戶對表的增刪改查操作HRegionServer：HBase中最核心的模塊，主要負責響應用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分布式存儲的最小單元，可以理解成一個TableHStore：HBase存儲的核心。由MemStore和StoreFile組成。HLog：每次用戶操作寫入Memstore的同時，也會寫一份數(shù)據(jù)到HLog文件@2013北京澤佳公司版權所有Copyright?201331@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第32頁大數(shù)據(jù)未來發(fā)展瓶頸通過對大數(shù)據(jù)產(chǎn)業(yè)鏈的分析，我們可以看到，在大數(shù)據(jù)產(chǎn)業(yè)鏈的各個生產(chǎn)環(huán)節(jié)中，各大公司都已開占位，隨著高性能計算機、海量數(shù)據(jù)的存儲和管理的流程的不斷優(yōu)化，技術能夠解決的問題終將不會成為問題。我們認為，真正會制約或者成為大數(shù)據(jù)發(fā)展和應用瓶頸的有三個環(huán)節(jié)：數(shù)據(jù)收集和提取的合法性，數(shù)據(jù)隱私的保護和數(shù)據(jù)隱私應用之間的權衡。大數(shù)據(jù)發(fā)揮協(xié)同效應需要產(chǎn)業(yè)鏈各個環(huán)節(jié)的企業(yè)達成競爭與合作的平衡。大數(shù)據(jù)結論的解讀和應用。@2013北京澤佳公司版權所有Copyright?201332@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第33頁NoSQL產(chǎn)品@2013北京澤佳公司版權所有Copyright?201333@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第34頁大數(shù)據(jù)應用案例@2013北京澤佳公司版權所有Copyright?20134@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第35頁大數(shù)據(jù)行業(yè)應用分析應用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：

表示該用戶的IT應用特點與大數(shù)據(jù)特性的契合程度；橫軸應用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注：

該位置為分析師訪談的綜合印象，為定性分析，圖中位置不代表具體數(shù)值HighMidLowLowMidHigh優(yōu)先關注行業(yè)用戶應用特點與大數(shù)據(jù)技術有較高的契合度，在主客觀條件上也有較高的應用可能性。值得關注行業(yè)用戶應有特點與大數(shù)據(jù)的契合度及應用可能性綜合較高適當關注行業(yè)用戶兩個維度暫時都不具備優(yōu)勢，可適當給予關注互聯(lián)網(wǎng)（電子商務）契合度流通零售制造@2013北京澤佳公司版權所有Copyright?201335@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第36頁互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)需求分析網(wǎng)絡終端設備網(wǎng)絡技術的升級和終端設備的爆發(fā)，使今天的用戶能夠使用多種設備、從不同位置、通過多種手段來接入互聯(lián)網(wǎng)，并在這一過程中不斷創(chuàng)造新內(nèi)容在線應用和服務越來越豐富的在線應用和服務，不斷激勵用戶創(chuàng)造和分享信息，尤其是社會化媒體業(yè)務，帶動圖片、視頻等非結構化數(shù)據(jù)飛速增長與各垂直行業(yè)的融合互聯(lián)網(wǎng)作為一個高滲透力的行業(yè)，正在與各垂直行業(yè)發(fā)生深度的融合，原本隱藏于先下的孤島信息，源源不斷的輸入到線上?；ヂ?lián)網(wǎng)行業(yè)擁抱大數(shù)據(jù)的關鍵因素互聯(lián)網(wǎng)大數(shù)據(jù)技術的應用，會首先帶動社會化媒體、電子商務的快速發(fā)展，其他的互聯(lián)網(wǎng)分支也會緊追其后，整個行業(yè)在大數(shù)據(jù)的推動下將會蓬勃發(fā)展。互聯(lián)網(wǎng)行業(yè)對數(shù)據(jù)實時分析要求較高，例如廣告監(jiān)測、B2C業(yè)務，往往要求在數(shù)秒內(nèi)返回上億行數(shù)據(jù)的分析，從而達到不影響用戶體驗和快速準確營銷的目的。目前互聯(lián)網(wǎng)企業(yè)面對大數(shù)據(jù)，會普遍感覺到實時分析能力差、海量數(shù)據(jù)處理效率低、缺少分析方法、分析軟件能力差等問題?；ヂ?lián)網(wǎng)行業(yè)大數(shù)據(jù)分析面臨的主要問題@2013北京澤佳公司版權所有Copyright?201336@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第37頁騰訊基于Hadoop的大數(shù)據(jù)架構圖

@2013北京澤佳公司版權所有Copyright?201337@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第38頁騰訊大數(shù)據(jù)現(xiàn)狀

從業(yè)務角度看：騰訊數(shù)據(jù)平臺自研的TDW替換了商業(yè)數(shù)據(jù)庫，實現(xiàn)公司級數(shù)據(jù)集中存儲，總記錄達到375萬億跳，日接入5千億條，覆蓋移動設備數(shù)7.7億。從平臺角度看：騰訊數(shù)據(jù)平臺從設備8400臺，單集群5600臺，總存儲100PB+;日新增數(shù)據(jù)200TB+，月數(shù)據(jù)增長率10%，日均JOB數(shù)100萬，日均計算量5PB，量夠大，速度也夠快。

從用戶角度看：這里的用戶，指的是騰訊內(nèi)部員工。騰訊員工2萬多人，騰訊數(shù)據(jù)門戶的月活躍是2500左右，也就是說訪問騰訊數(shù)據(jù)門戶的人占比公司10%+;每月處理數(shù)據(jù)提取分析的任務數(shù)是1萬個，如果訪問者每人都會提數(shù)據(jù)任務，平均就是一個人提4個左右的分析提取任務;用戶畫像分析任務為1.2萬，可以看出騰訊對用戶畫像的重視程度。@2013北京澤佳公司版權所有Copyright?201338@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第39頁騰訊大數(shù)據(jù)的多樣性

騰訊數(shù)據(jù)平臺已經(jīng)接入100多個產(chǎn)品的各類數(shù)據(jù)，例如：用戶行為、賬號屬性、收入數(shù)據(jù)等等。@2013北京澤佳公司版權所有Copyright?201339@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第40頁騰訊基于大數(shù)據(jù)平臺的產(chǎn)品應用

@2013北京澤佳公司版權所有Copyright?201340@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第41頁騰訊大數(shù)據(jù)應用-廣點通，精準廣告投放

@2013北京澤佳公司版權所有Copyright?201341@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第42頁大數(shù)據(jù)發(fā)展企業(yè)占位圖大數(shù)據(jù)按照信息處理環(huán)節(jié)可以分為數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲及管理、數(shù)據(jù)分析、數(shù)據(jù)顯化，以及產(chǎn)業(yè)應用等六個環(huán)節(jié)。@2013北京澤佳公司版權所有Copyright?201342Thankyou!Thankyou!43大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展44@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第45頁什么是大數(shù)據(jù)@2013北京澤佳公司版權所有Copyright?20145@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第46頁數(shù)據(jù)無處不在任何時間，任何地點，任何事情，任何人?Anytime，anywhere，anything，anyone?休息中，隨意刷微博爬山時，記錄每一瞬間旅途中，處理公司事件工作時，實時掌握市場動態(tài)@2013北京澤佳公司版權所有Copyright?20146@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第47頁大數(shù)據(jù)時代已經(jīng)來到每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（2012年11月）7.3萬筆交易數(shù)（2012年雙11）1.1GB文件下載9.5萬條微博發(fā)送14萬張照片上傳70TB處理數(shù)據(jù)@2013北京澤佳公司版權所有Copyright?201347@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第48頁互聯(lián)網(wǎng)中的大數(shù)據(jù)Web3.0時代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至2013年3月底，新浪微博注冊用戶數(shù)增長到5.36億，日均活躍用戶數(shù)達到4980萬，每日新增微博約2億。企業(yè)在大數(shù)據(jù)時代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時也迎來重大的轉(zhuǎn)型機遇和飛躍契機。@2013北京澤佳公司版權所有Copyright?20148@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第49頁互聯(lián)網(wǎng)中的大數(shù)據(jù)

大數(shù)據(jù)在消費IT領域的作用更加明顯。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。大數(shù)據(jù)在消費IT領域的作用更加明顯。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。@2013北京澤佳公司版權所有Copyright?20149@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第50頁企業(yè)IT進入2.0時代隨著公司業(yè)務的增長，大量和流程、規(guī)則相關的非結構化數(shù)據(jù)也爆發(fā)式增長。比如：1、業(yè)務系統(tǒng)現(xiàn)在平均每天存儲20萬張圖片，磁盤空間每天消耗100G；2、平均每天產(chǎn)生簽約視頻文件6000個，每個平均250M，磁盤空間每天消耗1T;@2013北京澤佳公司版權所有Copyright?20150@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第51頁大數(shù)據(jù)的特性

V

V

V

V價值Veracity體量Volume多樣性Variety速度Velocity68%31%來源多；格式多：大數(shù)據(jù)包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究報告，到2020年，全球數(shù)據(jù)使用量預計暴增44倍，達到35.2ZB。價值密度低，猶如沙里淘金，海量業(yè)務中尋找價值。1秒定律，實時獲取所需要的數(shù)據(jù)，為決策提供依據(jù)。@2013北京澤佳公司版權所有Copyright?201351@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第52頁企業(yè)大數(shù)據(jù)的挑戰(zhàn)業(yè)務數(shù)據(jù)的映射提取大數(shù)據(jù)價值大數(shù)據(jù)隱私大數(shù)據(jù)分析@2013北京澤佳公司版權所有Copyright?201352@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第53頁澤佳建議企業(yè)大數(shù)據(jù)解決方案@2013北京澤佳公司版權所有Copyright?20153@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第54頁大數(shù)據(jù)基礎架構要求可預測的低延遲高事務參數(shù)靈活的數(shù)據(jù)結構獲取組織分析決策高吞吐量就地準備所有數(shù)據(jù)源和結構深度分析敏捷開發(fā)高度可伸縮性實時流數(shù)據(jù)運營影響@2013北京澤佳公司版權所有Copyright?201354@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第55頁澤佳大數(shù)據(jù)解決方案，以數(shù)據(jù)融合、綜合處理為方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供應鏈消費者SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動終端OLTP實時交易處理OLAP實時分析處理SOCIALMEDIADATAOTHERINTERACTIONDATAMachine/DeviceSensors/meters/RFIDtagsCDR/mobileSD，MM，PP，SD，F(xiàn)ICO。。。@2013北京澤佳公司版權所有Copyright?201355@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第56頁澤佳大數(shù)據(jù)解決方案整體架構企業(yè)內(nèi)外部協(xié)同（供應商+企業(yè)內(nèi)部+客戶+銀行+稅務+政府+社區(qū)+…)外部信息（社交+電商+移動+視音頻+…)開放式API和協(xié)議通用的設計和模型環(huán)境通用數(shù)據(jù)管理環(huán)境交易數(shù)據(jù)管理社交數(shù)據(jù)管理移動數(shù)據(jù)管理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉庫管理數(shù)據(jù)存儲數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無線數(shù)據(jù)管理信息管理和實時數(shù)據(jù)遷移聯(lián)合訪問實時大數(shù)據(jù)平臺門戶數(shù)據(jù)分析電子郵件辦公軟件大屏幕電腦桌面移動終端企業(yè)級報告工具Adhoc即時查詢例外分析非結構化數(shù)據(jù)探索預測與挖掘@2013北京澤佳公司版權所有Copyright?201356@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第57頁澤佳大數(shù)據(jù)解決方案體系數(shù)據(jù)多樣性模式動態(tài)模式HDFS分布式文件系統(tǒng)Hbase分布式列存儲系統(tǒng)SybaseESP事件流處理器HdoopMapReduceBigDataConnectorsYounghongBI獲取組織分析決策復雜場景處理實時決策ETLEDW@2013北京澤佳公司版權所有Copyright?201357@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第58頁一般企業(yè)數(shù)據(jù)處理平臺的基礎架構@2013北京澤佳公司版權所有Copyright?201358@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第59頁澤佳大數(shù)據(jù)解決方案基礎架構門戶澤佳大數(shù)據(jù)平臺快速、可靠大屏幕電腦桌面電子郵件SCMCRMERP數(shù)據(jù)分析人員辦公軟件移動終端安全，部署，管理靈活體系MESPDM@2013北京澤佳公司版權所有Copyright?201359@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第60頁澤佳建議企業(yè)大數(shù)據(jù)解決方案基礎架構圖@2013北京澤佳公司版權所有Copyright?201360@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第61頁應用層數(shù)據(jù)分析@2013北京澤佳公司版權所有Copyright?201361@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第62頁視頻存儲@2013北京澤佳公司版權所有Copyright?201362@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第63頁離線日志分析@2013北京澤佳公司版權所有Copyright?201363@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第64頁在線數(shù)據(jù)分析@2013北京澤佳公司版權所有Copyright?201364@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第65頁大數(shù)據(jù)解決方案特點澤佳大數(shù)據(jù)解決方案提供高速、低速兩種互聯(lián)解決方案，在節(jié)點間能夠建立起40Gb的互聯(lián)通路，徹底消除系統(tǒng)節(jié)點間通信的瓶頸。高性能高可擴展性高可靠相比較傳統(tǒng)的數(shù)據(jù)庫集群，澤佳大數(shù)據(jù)解決方案具有良好的可擴展性，隨著數(shù)據(jù)節(jié)點的增加，系統(tǒng)整體性能接近線性增加。同時數(shù)據(jù)節(jié)點可以在系統(tǒng)運行中動態(tài)添加，對系統(tǒng)不會造成任何影響。因此企業(yè)可以根據(jù)自身業(yè)務需要，動態(tài)添加數(shù)據(jù)節(jié)點，當業(yè)務量較小時，配置較少的數(shù)據(jù)節(jié)點，隨著業(yè)務量的逐漸增多，添加相應的數(shù)據(jù)節(jié)點，從而滿足自身業(yè)務量增長的需求。澤佳大數(shù)據(jù)解決方案能自動地維護數(shù)據(jù)的多份復制，并且在任務失敗后能自動地重新部署（redeploy）計算任務。同時消除系統(tǒng)單點故障，系統(tǒng)中任意一個部分出現(xiàn)故障，系統(tǒng)將自動進行切換，保證用戶應用的無縫連接，具有較高的穩(wěn)定性和可靠性。@2013北京澤佳公司版權所有Copyright?201365@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第66頁大數(shù)據(jù)應用技術@2013北京澤佳公司版權所有Copyright?20166@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第67頁大數(shù)據(jù)的技術領域占位圖@2013北京澤佳公司版權所有Copyright?201367@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第68頁澤佳大數(shù)據(jù)應用主要技術—Hadoop據(jù)IDC的預測，全球大數(shù)據(jù)市場2015年將達170億美元規(guī)模，市場發(fā)展前景很大。而Hadoop作為新一代的架構和技術，因為有利于并行分布處理“大數(shù)據(jù)”而備受重視。

ApacheHadoop是一個用java語言實現(xiàn)的軟件框架，在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成。

@2013北京澤佳公司版權所有Copyright?201368@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第69頁Hadoop體系架構MapReduceHDFSHBasePigChuKwaHiveZooKeeperPig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，Pig為復雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口。Chukwa是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻。Hive是基于Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。ZooKeeper：高效的，可擴展的協(xié)調(diào)系統(tǒng),存儲和協(xié)調(diào)關鍵共享狀態(tài)。HBase是一個開源的，基于列存儲模型的分布式數(shù)據(jù)庫。HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應用程序。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算@2013北京澤佳公司版權所有Copyright?201369@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第70頁Hadoop核心設計@2013北京澤佳公司版權所有Copyright?201370@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第71頁HDFS—文件讀流程HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應用程序。Client向NameNode發(fā)起文件讀取的請求。NameNode返回文件存儲的DataNode的信息。Client讀取文件信息。@2013北京澤佳公司版權所有Copyright?201371@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第72頁HDFS—文件寫流程Client向NameNode發(fā)起文件寫入的請求。NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。@2013北京澤佳公司版權所有Copyright?201372@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第73頁MapReduce——映射、化簡編程模型

輸入數(shù)據(jù)->Map分解任務->執(zhí)行并返回結果->Reduce匯總結果->輸出結果@2013北京澤佳公司版權所有Copyright?201373@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第74頁Hbase——分布式數(shù)據(jù)存儲系統(tǒng)Client：使用HBaseRPC機制與HMaster和HRegionServer進行通信Zookeeper：協(xié)同服務管理，HMaster通過Zookeepe可以隨時感知各個HRegionServer的健康狀況HMaster:管理用戶對表的增刪改查操作HRegionServer：HBase中最核心的模塊，主要負責響應用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase中分布式存儲的最小單元，可以理解成一個TableHStore：HBase存儲的核心。由MemStore和StoreFile組成。HLog：每次用戶操作寫入Memstore的同時，也會寫一份數(shù)據(jù)到HLog文件@2013北京澤佳公司版權所有Copyright?201374@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第75頁大數(shù)據(jù)未來發(fā)展瓶頸通過對大數(shù)據(jù)產(chǎn)業(yè)鏈的分析，我們可以看到，在大數(shù)據(jù)產(chǎn)業(yè)鏈的各個生產(chǎn)環(huán)節(jié)中，各大公司都已開占位，隨著高性能計算機、海量數(shù)據(jù)的存儲和管理的流程的不斷優(yōu)化，技術能夠解決的問題終將不會成為問題。我們認為，真正會制約或者成為大數(shù)據(jù)發(fā)展和應用瓶頸的有三個環(huán)節(jié)：數(shù)據(jù)收集和提取的合法性，數(shù)據(jù)隱私的保護和數(shù)據(jù)隱私應用之間的權衡。大數(shù)據(jù)發(fā)揮協(xié)同效應需要產(chǎn)業(yè)鏈各個環(huán)節(jié)的企業(yè)達成競爭與合作的平衡。大數(shù)據(jù)結論的解讀和應用。@2013北京澤佳公司版權所有Copyright?201375@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第76頁NoSQL產(chǎn)品@2013北京澤佳公司版權所有Copyright?201376@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第77頁大數(shù)據(jù)應用案例@2013北京澤佳公司版權所有Copyright?20177@2013

北京澤佳公司版權所有Copyright?2013ZejiaConsultingCorporation第78頁大數(shù)據(jù)行業(yè)應用分析應用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）縱軸契合度：

表示該用戶的IT應用特點與大數(shù)據(jù)特性的契合程度；橫軸應用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；注：

該位置為分析師訪談的綜合印象，為定性分析，圖