浪潮數(shù)據(jù)中臺解決方案

浪潮數(shù)據(jù)中臺解決方案22一、浪潮對數(shù)據(jù)中臺的理解二、浪潮數(shù)據(jù)中臺解決方案三、浪潮數(shù)據(jù)中臺實踐匯報3業(yè)界對數(shù)據(jù)中臺的定義互聯(lián)網(wǎng)公司近年接連實施“大中臺”戰(zhàn)略，構建符合互聯(lián)網(wǎng)大數(shù)據(jù)時代的，具有創(chuàng)新性、靈活性的“大中臺、小前臺”的機制，即作為前臺的一線業(yè)務會更敏捷、更快速的適用瞬息萬變的市場，而中臺將集合整個集團的運營數(shù)據(jù)能力，產(chǎn)品技術能力，對各前臺業(yè)務形成強有力的支撐?；诎⒗镌破脚_的企業(yè)中臺架構標是為了高效滿足前臺數(shù)據(jù)分析和應用的需求。標準規(guī)范數(shù)據(jù)架構與研發(fā)：統(tǒng)一基礎層、公共中間層、百花齊放應用口徑統(tǒng)一；連接與深度萃取數(shù)據(jù)價值：形成以業(yè)務核心對象為中心的連接和標簽運營四方面對看清數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價值。4浪潮對數(shù)據(jù)中臺的理解與認識4數(shù)據(jù)中臺本身還是圍繞向上層應用提供數(shù)據(jù)服務構建的。中臺建設肯定會涉及上面提到的管理層面（組織、流程、考核）、平臺層面（開發(fā)、服務、治理、運營）、數(shù)據(jù)層面（資產(chǎn)的類別、清單、質(zhì)量、運維）、功能層面（數(shù)據(jù)的實時加工、批量加工、數(shù)據(jù)展現(xiàn)、數(shù)據(jù)搜索、數(shù)據(jù)存儲）。組織管理平臺演化知識共享思維模式：經(jīng)營思維把數(shù)據(jù)當作資源，且最大程度上發(fā)揮數(shù)據(jù)資源的價值。服務導向數(shù)據(jù)治理數(shù)據(jù)創(chuàng)新5浪潮對數(shù)據(jù)中臺的理解與認識5數(shù)據(jù)中臺是指通過數(shù)據(jù)技術，對海量數(shù)據(jù)進行采集、計算、存儲、加工，同時統(tǒng)一標準和口徑。數(shù)據(jù)中臺把數(shù)據(jù)統(tǒng)一之后，會形成標準數(shù)據(jù)，再進行存儲，形成大數(shù)據(jù)資產(chǎn)層，進而為客戶提供高效服務。數(shù)據(jù)中臺包括數(shù)據(jù)模型，算法服務，數(shù)據(jù)產(chǎn)品，數(shù)據(jù)管理等等。核回歸服務的本質(zhì)-數(shù)據(jù)重用核?規(guī)避數(shù)據(jù)冗余，優(yōu)化數(shù)據(jù)質(zhì)量，最大程度避免“重復數(shù)據(jù)抽護的成本浪費”?統(tǒng)一數(shù)據(jù)基礎模型將相關業(yè)務領域的數(shù)據(jù)做了匯聚，奠數(shù)據(jù)中臺需要不斷的業(yè)務滋養(yǎng)?規(guī)避企業(yè)信息資產(chǎn)的“煙囪式”數(shù)據(jù)生產(chǎn)模式或者項目制建從最初的字段單一到逐漸成長為企業(yè)最為寶貴的模心數(shù)據(jù)中臺是培育業(yè)務創(chuàng)新的土壤?企業(yè)的數(shù)據(jù)創(chuàng)新一定要站在巨人的肩膀上，即從數(shù)據(jù)中臺能總是從基礎做起，數(shù)據(jù)中臺是數(shù)據(jù)創(chuàng)新效率的保障。要獲取3個月的ARPU數(shù)據(jù)，如果沒有融合模型的支撐，得數(shù)據(jù)中臺是人才成長的搖籃★數(shù)據(jù)中臺是人才成長的搖籃?數(shù)據(jù)中臺讓新人擺脫了在起步階段對于導師的過渡依賴，浪潮對數(shù)據(jù)中臺的理解與認識數(shù)據(jù)中臺發(fā)展及演進過程：數(shù)據(jù)整合階段基礎數(shù)據(jù)平臺回數(shù)據(jù)治理階段數(shù)據(jù)共享平臺數(shù)據(jù)治理平臺數(shù)據(jù)運維平臺數(shù)據(jù)運營階段數(shù)據(jù)應用平臺數(shù)據(jù)挖掘平臺數(shù)據(jù)服務平臺6677一、浪潮對數(shù)據(jù)中臺的理解二、浪潮數(shù)據(jù)中臺解決方案三、浪潮數(shù)據(jù)中臺實踐匯報建設思路8建設思路8▉數(shù)字化中臺模式：前店后（厚）廠?！昂衿脚_、薄應用”的架構體系，敏捷支撐企業(yè)快速變化的管理和業(yè)務需求合作伙伴供應商應用系統(tǒng)應用系統(tǒng)應用務務組件涉及的標準應用服務功能廣泛（包括應用和數(shù)據(jù)技術共享組件），存技術共享技術共享平臺化平臺化標準應用平臺化統(tǒng)一資源配置統(tǒng)一資源配置按需敏捷擴張按需敏捷擴張開發(fā)者中心開發(fā)者中心運營管控中心能力商城能力生產(chǎn)管理能力消費管理能力開放開發(fā)社區(qū)能力商城能力生產(chǎn)管理能力消費管理能力開放開發(fā)社區(qū)數(shù)據(jù)采集與交換共享物聯(lián)網(wǎng)應用開發(fā)WEB開發(fā)AI數(shù)據(jù)采集與交換共享物聯(lián)網(wǎng)應用開發(fā)WEB開發(fā)AI詢產(chǎn)采集框架管理物聯(lián)網(wǎng)…大數(shù)據(jù)基礎服務大數(shù)據(jù)基礎服務系統(tǒng)架構L2系統(tǒng)架構L2▉浪潮數(shù)據(jù)中臺是數(shù)據(jù)“采集、融合、治理、開放”的運營支撐平臺…………大數(shù)據(jù)基礎平臺技術架構技術架構CloudSecurityCloudOperationCLIENTAPPLICATIONSAPPSTOREOpenAPIDEVOPSCloudSecurityCloudOperationCLIENTAPPLICATIONSAPPSTOREOpenAPIDEVOPSMayen"CONTAINERASASERVCEASASERVICEMICROSERVICESARCHITECTUREASASERVICEDATACENTEROPERATINGSYSTEM(DCOS)????數(shù)據(jù)中臺能力介紹▉數(shù)據(jù)建模：基于元數(shù)據(jù)的建模工具、模型盤點、模型管控模型盤點模型審核可視化在線建模模型盤點模型審核可視化在線建模數(shù)據(jù)中臺能力介紹▉分布式ETL工具：采用調(diào)度中心+決策中心相結合的分布式數(shù)據(jù)采集處理架構任務信息、模型算法信息直接寫入元數(shù)據(jù)庫數(shù)據(jù)采集、處理（清洗轉(zhuǎn)換/標準化/解碼等）任務分布到各執(zhí)行端進行處理提供采集、處理組件的自定義擴展能力，通過采用注入C/C++、Java代碼方式進行特殊數(shù)據(jù)處理邏輯的實現(xiàn)數(shù)據(jù)中臺能力介紹▉數(shù)據(jù)治理體系：圍繞“數(shù)據(jù)標準”，基于“元數(shù)據(jù)標準元數(shù)據(jù)數(shù)據(jù)資產(chǎn)字典引用標準引用數(shù)據(jù)標準元數(shù)據(jù)數(shù)據(jù)資產(chǎn)字典引用標準引用數(shù)據(jù)資源目錄注冊數(shù)據(jù)字典 規(guī)范化數(shù)據(jù)字典完善的數(shù)據(jù)標準體系元模型驅(qū)動的元數(shù)據(jù)管理基于主題庫的數(shù)據(jù)資產(chǎn)目錄元模型在線元模型設計在線元模型設計數(shù)據(jù)中臺能力介紹▉數(shù)據(jù)標準管理：提供全面的統(tǒng)一數(shù)據(jù)標準化管理③數(shù)據(jù)接口標準⑦報表數(shù)據(jù)標準⑩稽核規(guī)則數(shù)據(jù)標準"@封裝代碼標準@封裝代碼標準①數(shù)據(jù)對象分類縮寫標準數(shù)據(jù)標準管理標準管理數(shù)據(jù)中臺能力介紹▉數(shù)據(jù)資產(chǎn)管理：提供對企業(yè)內(nèi)部全量數(shù)據(jù)資產(chǎn)的數(shù)字化管理，理清大數(shù)據(jù)平臺內(nèi)數(shù)據(jù)及數(shù)據(jù)間的脈絡及關系接口模型緩存層模型、基礎層模型、匯總層模型、應用層模型..數(shù)據(jù)統(tǒng)一管理采集任務、數(shù)據(jù)匯總?cè)蝿?、?shù)據(jù)挖掘任務、數(shù)據(jù)服務數(shù)據(jù)API服務、數(shù)據(jù)交換服務、數(shù)據(jù)報告服務、數(shù)指標數(shù)據(jù)中臺能力介紹▉數(shù)據(jù)資產(chǎn)管理：提供對企業(yè)內(nèi)部全量數(shù)據(jù)資產(chǎn)的數(shù)字化管理，理清大數(shù)據(jù)平臺內(nèi)數(shù)據(jù)及數(shù)據(jù)間的脈絡及關系持數(shù)據(jù)目錄的動態(tài)調(diào)整與擴展將平臺管理的數(shù)據(jù)發(fā)布為對外可見將數(shù)據(jù)資源一鍵發(fā)布為數(shù)據(jù)API服務，支撐對外開放數(shù)據(jù)中臺能力介紹多方式質(zhì)量問題分析▉數(shù)據(jù)質(zhì)量管控：從網(wǎng)管數(shù)據(jù)的生產(chǎn)環(huán)境、采集、處理、消費全過程進行質(zhì)量監(jiān)控與保障多方式質(zhì)量問題分析統(tǒng)一的數(shù)據(jù)質(zhì)量監(jiān)控靈活規(guī)則設置19數(shù)據(jù)中臺能力介紹2.1、數(shù)據(jù)中臺-數(shù)據(jù)可視能力▉數(shù)據(jù)可視：OLAP多維透視分析，構建靈活、直觀、快速的數(shù)據(jù)可視化能力數(shù)據(jù)中臺能力介紹▉數(shù)據(jù)查詢：基于SQL語句的自定義頁面設計與呈現(xiàn)工具提供靈活的頁面布局、展示內(nèi)容、展示方式、操作動作等的編排設置能力，系統(tǒng)根據(jù)根據(jù)設置內(nèi)容自動生成頁面數(shù)據(jù)中臺能力介紹▉全景視圖：提供面向數(shù)據(jù)生產(chǎn)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務、數(shù)據(jù)質(zhì)量的全景視圖。數(shù)據(jù)生產(chǎn)情況數(shù)據(jù)資產(chǎn)情況數(shù)據(jù)中臺能力介紹▉數(shù)據(jù)安全：嚴守數(shù)據(jù)安全紅線，提供360°全方位的數(shù)據(jù)安全保障體系。數(shù)據(jù)安全統(tǒng)一身份認證庫、表、字段、記錄的授權策略處理、數(shù)據(jù)加密數(shù)據(jù)文件加密各項功能的訪問控制大數(shù)據(jù)安全體系Hadoop運維監(jiān)控數(shù)據(jù)中臺能力介紹Hadoop運維監(jiān)控硬件集群監(jiān)控及告警硬件集群監(jiān)控及告警▉運維監(jiān)控：提供針對系統(tǒng)IT基礎設施、Hadoop平臺、應用服務等的統(tǒng)一監(jiān)控、告警、應用/服務監(jiān)控及在線啟停數(shù)據(jù)中臺能力介紹▉運營門戶：提供面向數(shù)據(jù)運營的統(tǒng)一對外開放門戶提供當前系統(tǒng)內(nèi)已具備的數(shù)據(jù)目錄情航數(shù)據(jù)中臺能力介紹n數(shù)據(jù)目錄：提供當前系統(tǒng)已經(jīng)對外發(fā)布的數(shù)據(jù)目錄信息u支持多種維度的數(shù)據(jù)分類檢索u支持一鍵式的數(shù)據(jù)資源查詢u支持對數(shù)據(jù)資源的評價打分u支持數(shù)據(jù)資源詳情查看數(shù)據(jù)中臺能力介紹uAPI服務列表uAPI服務詳情u在線測試u在線申請數(shù)據(jù)中臺能力介紹n數(shù)據(jù)供需：提供數(shù)據(jù)供需列表及數(shù)據(jù)供需的發(fā)布能力。數(shù)據(jù)需求發(fā)布數(shù)據(jù)需求詳情、交付格式、聯(lián)系方式等數(shù)據(jù)供需撮合數(shù)據(jù)中臺能力介紹▉提供面向不同角色端到端一體化數(shù)據(jù)挖掘支撐能力提供大數(shù)據(jù)的提取、轉(zhuǎn)換及加載能力支持機器學習模型訓練與調(diào)試固化、積累通用AI開放服務數(shù)據(jù)預處理平臺數(shù)據(jù)預處理平臺數(shù)據(jù)接入數(shù)據(jù)接入特征處理特征處理模型訓練模型評估模型訓練模型評估模型發(fā)布模型發(fā)布知識圖譜服務知識圖譜服務智能問答服務智能問答服務智能搜索服務智能搜索服務核心模型服務核心模型服務端到端流量預測端到端流量預測偽卡交易偵測偽卡交易偵測產(chǎn)品推薦產(chǎn)品推薦AIAI運行環(huán)境管理（AIStation）數(shù)據(jù)中臺能力介紹▉提供面向不同角色端到端一體化數(shù)據(jù)挖掘支撐能力AI應用場景：家寬用戶精準營銷、4G離網(wǎng)用戶預測、端到端流量預測等AI核心模型：提供內(nèi)置積累模型（位置定位、關系識別、NPS等）AI開放服務：提供成熟的AI智能服務（NLP、圖像識別、智能搜索、智能問答等）視頻的標注能力訓練平臺：提供面向不同能力開發(fā)人員的訓練平臺(AutoML,IAI,NoteBook)計算框架：全面的AI計算框架支持（Sk-Learn、TensorFlow、CAIStation：提供AI運行資源管理、分配、可視化部署云化基礎設施資源池：主機服務、計算服務、存儲服務、網(wǎng)絡服務等數(shù)據(jù)中臺能力介紹練練硬件層練數(shù)據(jù)中臺能力介紹▉AIStation：硬件統(tǒng)一管理，框架一鍵部署。資源監(jiān)控資源管理環(huán)境構建性能分析/優(yōu)化資源監(jiān)控資源管理環(huán)境構建32數(shù)據(jù)中臺能力介紹2.3、數(shù)據(jù)挖掘能力▉AIStation：硬件統(tǒng)一管理，框架一鍵部署。GPU資源分配硬件性能可視化機器學習環(huán)境一鍵部署集群資源監(jiān)控實時性能分析算法分析數(shù)據(jù)中臺能力介紹人工質(zhì)檢人工質(zhì)檢任務分派任務分派權限管理屬性標注關系標注權限管理屬性標注關系標注視頻分割視頻審核候選物標注視頻分割視頻審核候選物標注分包質(zhì)檢標框標注描點標注分類標注分包質(zhì)檢標框標注描點標注分類標注分詞詞性分類標注關鍵詞標注分詞詞性分類標注關鍵詞標注數(shù)據(jù)源數(shù)據(jù)源數(shù)據(jù)中臺能力介紹全流程數(shù)據(jù)標注數(shù)據(jù)隔離方案私有化部署建標注工具、標注任務管理、人員管理、眾數(shù)據(jù)中臺能力介紹詞典創(chuàng)建/管理任務眾包/審核語料管理知識實體標注預處理/打基線關聯(lián)標注數(shù)據(jù)中臺能力介紹服務/模型管理數(shù)據(jù)集管理算法組件庫數(shù)據(jù)中臺能力介紹▉AI訓練：是強大且便捷的機器學習和深度學習建模平臺，同時提供模型生產(chǎn)化能力，平臺的開放性也可有IT框架集成。與TensorFlow、caffe2等框架將AI模型融合現(xiàn)有微服務環(huán)境運行包含特征工程的模型輸出數(shù)據(jù)中臺能力介紹▉AI訓練：是強大且便捷的機器學習和深度學習建模平臺，同時提供模型生產(chǎn)化能力，平臺的開放性也可有IT框架集成。數(shù)據(jù)管理AutoML特征工程模型評估可視化建模應用上線知識圖譜AI基礎服務知識圖譜AI基礎服務OCR目標檢測目標識別數(shù)據(jù)中臺能力介紹OCR目標檢測目標識別人臉識別人臉比對圖像匹配人臉識別人臉比對圖像匹配▉AI開放服務：對具有通用性的模型進行能力封裝，對外以API、核心模型的方式直接提供服務AI核心模型智能服務知識建模與存儲知識抽取查詢理解查詢理解文本理解情感理解情感理解分詞分詞關鍵詞提取關鍵詞提取文本相似文本相似詞性標注詞性標注自動摘要自動摘要依存句法依存句法實體識別實體識別文本分類共指消解共指消解數(shù)據(jù)中臺能力介紹▉AI開放服務：對具有通用性的模型進行能力封裝，對外以API、核心模型的方式直接提供服務對NLP、知識圖譜、知識圖譜等能力進行封裝，對外提供服務，并且可根據(jù)需求進行定制化訓練根據(jù)長期AI項目經(jīng)驗，對常用模型進行封裝，以業(yè)務模型的方式快速部署實施?方便易用的NLP服務接口?豐富的行業(yè)語料庫?多源異構超媒體數(shù)據(jù)融合?提供全息、多維、動態(tài)、虛實結合的超級檔案?基于圖譜的圖形化數(shù)據(jù)過濾、統(tǒng)計?快速高精度的問答匹配能力數(shù)據(jù)中臺能力