數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件

數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐∧技術創(chuàng)新,變革未來數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐1騰訊游戲大數(shù)據(jù)運菅概況15W+表離線計算:220+萬/端游100+款4000億乙+數(shù)據(jù)100P+流式計算量:2000+萬秒露,表頁游90+款600億+數(shù)據(jù)多維分析肉今w象秘翻嬰30W+表TDW手游300+款13000億乙+數(shù)據(jù)每日傳輸量:17000億條,約260TB,總存儲量為100PB+,公司占比為20%騰訊游戲大數(shù)據(jù)運菅概況2問題與痛點在游戲大數(shù)據(jù)管控中,面臨著眾多問題與痛點1.數(shù)據(jù)多樣化,缺少統(tǒng)標準2.計算邏輯理解一不致,導致統(tǒng)計結(jié)果有偏差03數(shù)據(jù)全鏈路質(zhì)≡問題,層次復雜、不能快速定位問題04數(shù)據(jù)質(zhì)量偏低給數(shù)據(jù)應用帶來的各種挑戰(zhàn)游戲數(shù)據(jù)管控的問題與難點數(shù)據(jù)標準缺乏結(jié)構(gòu)化管理,集成困難6.數(shù)據(jù)分散,沒有形成完整的成本管理7.數(shù)據(jù)價值的評估較為困難8.數(shù)據(jù)安全與合規(guī)保障的問題問題與痛點3發(fā)展歷程勾建游戲大數(shù)據(jù)資產(chǎn)管理體系歷經(jīng)6年在各階段解決的關鍵問題數(shù)據(jù)集成數(shù)據(jù)治理數(shù)據(jù)孤島形成殳有統(tǒng)數(shù)據(jù)平臺資產(chǎn)運營數(shù)據(jù)流轉(zhuǎn)架構(gòu)混亂數(shù)據(jù)標準往缺失數(shù)據(jù)傳輸時延高質(zhì)參差不齊數(shù)據(jù)成本劇增數(shù)據(jù)驅(qū)動數(shù)據(jù)集成效率低指標概念不一平臺組件不夠穩(wěn)定數(shù)據(jù)合規(guī)存在風險數(shù)據(jù)價值難評估·數(shù)據(jù)獲取效率低數(shù)據(jù)生命周明不合理區(qū)營效率有待提升2019年2019年2018年游戲大數(shù)據(jù)資產(chǎn)管理:通過組織、流程、制度、技術等組合手段,確保數(shù)據(jù)交付的質(zhì)量、效率、成本和安全,助力業(yè)務數(shù)據(jù)價值提升發(fā)展歷程4能力模型三好用好”數(shù)據(jù)資產(chǎn)管好”數(shù)據(jù)資產(chǎn)“看好”數(shù)據(jù)資產(chǎn)數(shù)據(jù)管理人員平臺指「數(shù)群價值成本結(jié)算致?lián)l」知識圖線下培訓數(shù)紫應用[數(shù)據(jù)血緣「血練跟蹤「異分析產(chǎn)品開發(fā)數(shù)據(jù)映時產(chǎn)品運維數(shù)據(jù)理理密源度「數(shù)據(jù)變更]「數(shù)據(jù)質(zhì)量「評估彩響「數(shù)據(jù)近量權(quán)哦流程安全規(guī)落「數(shù)拼檢索數(shù)提接入成本性理](元數(shù)把理「安全策路制世世理用樓塊能力模型5體系架構(gòu)數(shù)據(jù)增值服務可視化胺表效分析月推送渠遍管理戰(zhàn)績直詢資產(chǎn)管理平臺資產(chǎn)總覽資產(chǎn)治理產(chǎn)服務產(chǎn)安全數(shù)據(jù)理資產(chǎn)運營被據(jù)動數(shù)據(jù)平數(shù)抹花準成本優(yōu)化敔據(jù)清洗充程制度生命期回理熱度分析數(shù)據(jù)傳轄數(shù)據(jù)質(zhì)量安全管理廣分析數(shù)據(jù)整臺影響評估據(jù)存惴數(shù)據(jù)血DevElOps數(shù)書開放元數(shù)據(jù)皆理「元元數(shù)指標準技術元數(shù)務元數(shù)園激數(shù)據(jù)存情元數(shù)據(jù)開放游戲大數(shù)據(jù)資產(chǎn)管理體系體系架構(gòu)6元數(shù)據(jù)管理元數(shù)據(jù)(Metadata)—描述數(shù)據(jù)的數(shù)據(jù)按服務對象劃分業(yè)務元數(shù)據(jù)技術元數(shù)據(jù)時fot_noreItaMin+元數(shù)據(jù)管理7元數(shù)據(jù)管理元數(shù)據(jù)應用[元放據(jù)檢索數(shù)據(jù)體化質(zhì)監(jiān)控」「資源管理其他應用元據(jù)能力點|元數(shù)搖管理新管理[版本管進用戶管理〖日志管理」『可視化同步管理其他管埋權(quán)限管理|[備份恢復〖接口管理>業(yè)務指標,開放共享技術元數(shù)據(jù)DataMoreiData[休化口>自動構(gòu)建血緣關系鏈業(yè)務元款據(jù)//元數(shù)據(jù)存儲[磁實時規(guī)則圖靈更多>擴展能力,輔助運營元數(shù)據(jù)采集轉(zhuǎn)換層模型橋接器數(shù)據(jù)映射橋接器異構(gòu)數(shù)據(jù)源元數(shù)據(jù)管理體系技術架構(gòu)元數(shù)據(jù)管理8數(shù)據(jù)資產(chǎn)目錄某業(yè)務視圖≌262242口2數(shù)據(jù)資產(chǎn)目錄某業(yè)務視圖9數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)服務發(fā)現(xiàn)Consul/L5Web管理端服務特性KCP:9w:TCP:10w游戲客戶端TGlog_SvT單機吞吐量:180Mb布式高可用,雙方擴容互PBTDRSlogSvr扃可用,高可靠:擴容游戲服務端TGlog_5傳輸體系失數(shù)據(jù);WAL雙備數(shù)據(jù)RPC-Pralo完整率:9999~99.9999%·多協(xié)議支持;多數(shù)據(jù)格式范結(jié)構(gòu)·專業(yè)數(shù)據(jù)管理、數(shù)據(jù)運維周邊系統(tǒng)完善支持布道元數(shù)據(jù)管理專業(yè)運維m[在數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)10數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件11數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件12數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件13數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件14數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件15數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件16數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件17數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件18數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件19數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件20數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件21數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件22數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件23數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件24數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件25數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件26數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件27數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件28數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件29數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件30數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件31數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件32數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件33數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件34數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件35數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件36數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件37數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐∧技術創(chuàng)新,變革未來數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐38騰訊游戲大數(shù)據(jù)運菅概況15W+表離線計算:220+萬/端游100+款4000億乙+數(shù)據(jù)100P+流式計算量:2000+萬秒露,表頁游90+款600億+數(shù)據(jù)多維分析肉今w象秘翻嬰30W+表TDW手游300+款13000億乙+數(shù)據(jù)每日傳輸量:17000億條,約260TB,總存儲量為100PB+,公司占比為20%騰訊游戲大數(shù)據(jù)運菅概況39問題與痛點在游戲大數(shù)據(jù)管控中,面臨著眾多問題與痛點1.數(shù)據(jù)多樣化,缺少統(tǒng)標準2.計算邏輯理解一不致,導致統(tǒng)計結(jié)果有偏差03數(shù)據(jù)全鏈路質(zhì)≡問題,層次復雜、不能快速定位問題04數(shù)據(jù)質(zhì)量偏低給數(shù)據(jù)應用帶來的各種挑戰(zhàn)游戲數(shù)據(jù)管控的問題與難點數(shù)據(jù)標準缺乏結(jié)構(gòu)化管理,集成困難6.數(shù)據(jù)分散,沒有形成完整的成本管理7.數(shù)據(jù)價值的評估較為困難8.數(shù)據(jù)安全與合規(guī)保障的問題問題與痛點40發(fā)展歷程勾建游戲大數(shù)據(jù)資產(chǎn)管理體系歷經(jīng)6年在各階段解決的關鍵問題數(shù)據(jù)集成數(shù)據(jù)治理數(shù)據(jù)孤島形成殳有統(tǒng)數(shù)據(jù)平臺資產(chǎn)運營數(shù)據(jù)流轉(zhuǎn)架構(gòu)混亂數(shù)據(jù)標準往缺失數(shù)據(jù)傳輸時延高質(zhì)參差不齊數(shù)據(jù)成本劇增數(shù)據(jù)驅(qū)動數(shù)據(jù)集成效率低指標概念不一平臺組件不夠穩(wěn)定數(shù)據(jù)合規(guī)存在風險數(shù)據(jù)價值難評估·數(shù)據(jù)獲取效率低數(shù)據(jù)生命周明不合理區(qū)營效率有待提升2019年2019年2018年游戲大數(shù)據(jù)資產(chǎn)管理:通過組織、流程、制度、技術等組合手段,確保數(shù)據(jù)交付的質(zhì)量、效率、成本和安全,助力業(yè)務數(shù)據(jù)價值提升發(fā)展歷程41能力模型三好用好”數(shù)據(jù)資產(chǎn)管好”數(shù)據(jù)資產(chǎn)“看好”數(shù)據(jù)資產(chǎn)數(shù)據(jù)管理人員平臺指「數(shù)群價值成本結(jié)算致?lián)l」知識圖線下培訓數(shù)紫應用[數(shù)據(jù)血緣「血練跟蹤「異分析產(chǎn)品開發(fā)數(shù)據(jù)映時產(chǎn)品運維數(shù)據(jù)理理密源度「數(shù)據(jù)變更]「數(shù)據(jù)質(zhì)量「評估彩響「數(shù)據(jù)近量權(quán)哦流程安全規(guī)落「數(shù)拼檢索數(shù)提接入成本性理](元數(shù)把理「安全策路制世世理用樓塊能力模型42體系架構(gòu)數(shù)據(jù)增值服務可視化胺表效分析月推送渠遍管理戰(zhàn)績直詢資產(chǎn)管理平臺資產(chǎn)總覽資產(chǎn)治理產(chǎn)服務產(chǎn)安全數(shù)據(jù)理資產(chǎn)運營被據(jù)動數(shù)據(jù)平數(shù)抹花準成本優(yōu)化敔據(jù)清洗充程制度生命期回理熱度分析數(shù)據(jù)傳轄數(shù)據(jù)質(zhì)量安全管理廣分析數(shù)據(jù)整臺影響評估據(jù)存惴數(shù)據(jù)血DevElOps數(shù)書開放元數(shù)據(jù)皆理「元元數(shù)指標準技術元數(shù)務元數(shù)園激數(shù)據(jù)存情元數(shù)據(jù)開放游戲大數(shù)據(jù)資產(chǎn)管理體系體系架構(gòu)43元數(shù)據(jù)管理元數(shù)據(jù)(Metadata)—描述數(shù)據(jù)的數(shù)據(jù)按服務對象劃分業(yè)務元數(shù)據(jù)技術元數(shù)據(jù)時fot_noreItaMin+元數(shù)據(jù)管理44元數(shù)據(jù)管理元數(shù)據(jù)應用[元放據(jù)檢索數(shù)據(jù)體化質(zhì)監(jiān)控」「資源管理其他應用元據(jù)能力點|元數(shù)搖管理新管理[版本管進用戶管理〖日志管理」『可視化同步管理其他管埋權(quán)限管理|[備份恢復〖接口管理>業(yè)務指標,開放共享技術元數(shù)據(jù)DataMoreiData[休化口>自動構(gòu)建血緣關系鏈業(yè)務元款據(jù)//元數(shù)據(jù)存儲[磁實時規(guī)則圖靈更多>擴展能力,輔助運營元數(shù)據(jù)采集轉(zhuǎn)換層模型橋接器數(shù)據(jù)映射橋接器異構(gòu)數(shù)據(jù)源元數(shù)據(jù)管理體系技術架構(gòu)元數(shù)據(jù)管理45數(shù)據(jù)資產(chǎn)目錄某業(yè)務視圖≌262242口2數(shù)據(jù)資產(chǎn)目錄某業(yè)務視圖46數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)服務發(fā)現(xiàn)Consul/L5Web管理端服務特性KCP:9w:TCP:10w游戲客戶端TGlog_SvT單機吞吐量:180Mb布式高可用,雙方擴容互PBTDRSlogSvr扃可用,高可靠:擴容游戲服務端TGlog_5傳輸體系失數(shù)據(jù);WAL雙備數(shù)據(jù)RPC-Pralo完整率:9999~99.9999%·多協(xié)議支持;多數(shù)據(jù)格式范結(jié)構(gòu)·專業(yè)數(shù)據(jù)管理、數(shù)據(jù)運維周邊系統(tǒng)完善支持布道元數(shù)據(jù)管理專業(yè)運維m[在數(shù)據(jù)集成-數(shù)據(jù)采集架構(gòu)47數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件48數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件49數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件50數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件51數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件52數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件53數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件54數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件55數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件56數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件57數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件58數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件59數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件60數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件61數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件62數(shù)據(jù)資產(chǎn)管理在騰訊游戲的實踐課件