實(shí)時(shí)計(jì)算平臺(tái)1

1、實(shí)時(shí)計(jì)算平臺(tái)及相關(guān)業(yè)務(wù)實(shí)踐實(shí)時(shí)計(jì)算平臺(tái)及相關(guān)業(yè)務(wù)實(shí)踐Baidu.inf.dc ChaiHua大綱1. 我們現(xiàn)在的計(jì)算平臺(tái)2. 我們平臺(tái)上的業(yè)務(wù)3. 我們將來要做的工作大綱1. 我們現(xiàn)在的計(jì)算平臺(tái)2. 我們平臺(tái)上的業(yè)務(wù)3. 我們將來要做的工作實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)1 支持毫秒級(jí)別至秒級(jí)別的計(jì)算延遲需求 高可靠性，高可伸縮性，高可擴(kuò)展性 支持DAG描述的流式作業(yè) 支持已在線運(yùn)行作業(yè)DAG修改與升級(jí) Per-Record的計(jì)算模式與底層架構(gòu) Streaming模式支持多語言擴(kuò)展實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)1 機(jī)群規(guī)模：500+ - 1000 機(jī)群QPS：10M - 100M qps 延遲保證：99.9

2、% 50ms- 在線系統(tǒng) 統(tǒng)一平臺(tái)服務(wù)眾多（20+）業(yè)務(wù)方實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)2 支持十秒級(jí)別至分鐘級(jí)別的計(jì)算延遲需求 高可靠性，高可擴(kuò)展性 支持DAG描述的流式作業(yè)/Queue-Worker模型作業(yè) 具備Transaction屬性，保證計(jì)算數(shù)據(jù)的不重不丟 基于增量/小批量的計(jì)算模式與底層架構(gòu) Streaming模式支持多語言擴(kuò)展實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)2 機(jī)群規(guī)模：500+ - 1000 支持千級(jí)worker并發(fā)，百級(jí)業(yè)務(wù)流并發(fā) 多級(jí)Master架構(gòu)設(shè)計(jì) 控制流與數(shù)據(jù)流分離 統(tǒng)一資源層大綱1. 我們現(xiàn)在的計(jì)算平臺(tái)2. 我們平臺(tái)上的業(yè)務(wù)3. 我們將來要做的工作實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)1 廣

3、告計(jì)算平臺(tái)廣告計(jì)算平臺(tái) 主要需求： 真正的實(shí)時(shí)需求 ：百毫秒級(jí)別的延遲指標(biāo) 靈活的拓?fù)渥兓盒略鲇脩魯?shù)據(jù)業(yè)務(wù)流，支持各種策略實(shí)驗(yàn) 高穩(wěn)定性：跨機(jī)房故障時(shí)，優(yōu)雅的服務(wù)降級(jí)實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)1 檢索端更新數(shù)據(jù)流檢索端更新數(shù)據(jù)流 主要需求： 真正的在線需求 ：在線調(diào)整與升級(jí)，穩(wěn)定 靈活的拓?fù)渥兓盒略鲇脩魯?shù)據(jù)業(yè)務(wù)流，支持各種策略實(shí)驗(yàn) 數(shù)據(jù)流頻繁調(diào)整：分流，備份實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)2 離線離線/ /在線云視頻轉(zhuǎn)碼需求在線云視頻轉(zhuǎn)碼需求 主要需求： 視頻分段并行轉(zhuǎn)碼； 潛在資源需求量大，短期無預(yù)算 上線規(guī)模：worker并發(fā)數(shù)k級(jí)別 業(yè)務(wù)收益：提升時(shí)效性，利用空閑資源實(shí)時(shí)計(jì)算平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)2 業(yè)務(wù)日志后端計(jì)算業(yè)務(wù)日志后端計(jì)算 主要需求： 分析前端Server日志，計(jì)算統(tǒng)計(jì)報(bào)表，精確 計(jì)算步驟較多：流式j(luò)oin，filter，aggregation，入庫 業(yè)務(wù)收益：提升報(bào)表時(shí)效性（5hour+ - 30min-）大綱1. 我們現(xiàn)在的計(jì)算平臺(tái)2.