大數(shù)據(jù)運(yùn)營(yíng)平臺(tái)科技項(xiàng)目技術(shù)方案（純方案66頁(yè)）

1、大數(shù)據(jù)運(yùn)營(yíng)平臺(tái)科技工程技術(shù)建議書大數(shù)據(jù)平臺(tái)各功能模塊說(shuō)明如下：1.數(shù)據(jù)匯聚子平臺(tái)系統(tǒng)支持文件方式和數(shù)據(jù)流實(shí)時(shí)處理方式采集清洗寬帶DPI數(shù)據(jù)。系統(tǒng)采用文件方式采集清洗3G DPI數(shù)據(jù)系統(tǒng)采用文件方式采集清洗AAA數(shù)據(jù)系統(tǒng)采用文件方式采集清洗OIDD數(shù)據(jù)系統(tǒng)采用文件方式采集清洗ODS數(shù)據(jù)系統(tǒng)采用數(shù)據(jù)脫敏技術(shù)，提高大數(shù)據(jù)平臺(tái)平安性和保密等級(jí)。 系統(tǒng)利用HDFS驅(qū)動(dòng)提供的Format功能，實(shí)現(xiàn)hadoop云平臺(tái)系統(tǒng)級(jí)、 業(yè)務(wù)級(jí)數(shù)據(jù)加密。系統(tǒng)采用分布式ETL并行處理架構(gòu)，提高數(shù)倍數(shù)十倍ETL速度系統(tǒng)可以靈活調(diào)度作業(yè)資源，已保證每個(gè)作業(yè)都能獲得相應(yīng)的系統(tǒng)資 源。2.大數(shù)據(jù)處理子平臺(tái) 系統(tǒng)采用KDC (Ke

2、y Distribution Center)平安認(rèn)證中心實(shí)現(xiàn)用戶安 全訪問(wèn)。系統(tǒng)可以為每個(gè)租戶分配獨(dú)立的存儲(chǔ)空間(HDFS)和計(jì)算資源(MR Slot), 實(shí)現(xiàn)資源獨(dú)立。系統(tǒng)提供基于多租戶的數(shù)據(jù)授權(quán)，可以控制各租戶的數(shù)據(jù)訪問(wèn)權(quán)限。系統(tǒng)提供平臺(tái)參數(shù)配置和用戶管理。系統(tǒng)提供平臺(tái)運(yùn)行狀態(tài)監(jiān)控和告警管理。系統(tǒng)提供客戶管理、合同管理、基礎(chǔ)產(chǎn)品管理、結(jié)算管理等業(yè)務(wù)管理功 能。系統(tǒng)支持多個(gè)同步標(biāo)簽的服務(wù)程序和多個(gè)離線標(biāo)簽的服務(wù)程序。3.外部能力開(kāi)放子系統(tǒng)系統(tǒng)采用分布式K-V數(shù)據(jù)庫(kù)，主要用于存放標(biāo)簽結(jié)果數(shù)據(jù)系統(tǒng)提供高并發(fā)查詢服務(wù)系統(tǒng)支持多個(gè)DSP廠商程序算法模型加載和數(shù)據(jù)訪問(wèn)。系統(tǒng)提供SQL語(yǔ)句優(yōu)化及MapR

3、educe定制服務(wù)，優(yōu)化廠商作業(yè)性能。系統(tǒng)支持交互式SQL查詢，用戶可以通過(guò)圖形化界面定義查詢參數(shù)，執(zhí) 行自己的查詢?nèi)蝿?wù)。系統(tǒng)提供在線WEB報(bào)表制作發(fā)布服務(wù)。4.信息推送子平臺(tái)系統(tǒng)可以根據(jù)流量分發(fā)規(guī)那么，對(duì)數(shù)據(jù)流量進(jìn)行精確控制分發(fā)。系統(tǒng)可以根據(jù)運(yùn)營(yíng)商流量的廣告營(yíng)銷策略進(jìn)行廣告推送。系統(tǒng)提供廣告提單功能。系統(tǒng)對(duì)符合廣告推送條件的流量進(jìn)行廣告引導(dǎo)推送。系統(tǒng)通過(guò)cookie定向、IP分析等用戶分析技術(shù)實(shí)現(xiàn)廣告的精準(zhǔn)推送。系統(tǒng)提供用戶流量提醒，并通過(guò)用戶流量消費(fèi)分析可進(jìn)行流量經(jīng)營(yíng)營(yíng) 銷。4.2大數(shù)據(jù)處理子平臺(tái)4. 2.1多租戶能力.1.1平臺(tái)平安管控系統(tǒng)采用KDC (Key Distribution

4、Center)平安認(rèn)證中心實(shí)現(xiàn)用戶平安 訪問(wèn)。系統(tǒng)提供統(tǒng)一用戶管理，包括操作系統(tǒng)用戶管理、云平臺(tái)用戶管理和數(shù)據(jù)訪 問(wèn)控制(Token),如下列圖所示：統(tǒng)一用戶管理數(shù)據(jù)訪問(wèn)控制(Token)云平臺(tái)用戶管理操作系統(tǒng)用戶管理為保證平臺(tái)平安，名稱節(jié)點(diǎn)采用雙機(jī)熱備HA方式工作。J .2平臺(tái)資源管理系統(tǒng)支持基于多租戶的資源管理，可以為每個(gè)租戶分配獨(dú)立的存儲(chǔ)空間（HDFS）和計(jì)算資源（MR Slot）,實(shí)現(xiàn)資源獨(dú)立，如下列圖所示：統(tǒng)一人數(shù)據(jù)平臺(tái)，多租戶隔離共享 HDFS管理可以配置用戶的HDFS信息。HDFS信息包括：1）文件數(shù)限額。2）可用文件數(shù)3）空間限額4）可用空間5）用戶目錄6）目錄數(shù)7）文件數(shù)8）

5、文件總大小 MapReduce 管理可以增加、刪除或修改隊(duì)列信息。隊(duì)列信息包括:1）隊(duì)列名2）容量設(shè)置3）可用容量4）最大容量5）是否支持job優(yōu)先級(jí)6）用戶資源百分比限制7）用戶可占隊(duì)列容量系數(shù)8）隊(duì)列中并發(fā)task上限值9）每個(gè)用戶并發(fā)task上限值10）每個(gè)隊(duì)列中可容納job總數(shù)的系數(shù)11）初始化后并發(fā)執(zhí)行的job數(shù)資源套餐管理系統(tǒng)可以設(shè)置資源套餐，套餐內(nèi)容包含存儲(chǔ)空間（HDFS）和計(jì)算資源（MR Slot）0用戶開(kāi)通業(yè)務(wù)時(shí)，只需選擇相應(yīng)的套餐即可。平臺(tái)數(shù)據(jù)授權(quán)系統(tǒng)提供基于多租戶的數(shù)據(jù)授權(quán)，可以控制各租戶的數(shù)據(jù)訪問(wèn)權(quán)限，包括：hive表數(shù)據(jù)訪問(wèn)權(quán)限Hive表權(quán)限管理內(nèi)容包括：系統(tǒng)可以設(shè)置

6、用戶的HIVE表訪問(wèn)權(quán)限，并允許用戶訪問(wèn)授權(quán)的HIVE表, 用戶不能使用非授權(quán)的HIVE表。用戶沒(méi)有創(chuàng)立/刪除HIVE表的操作權(quán)限。HIVE表只能由系統(tǒng)管理員統(tǒng)一 創(chuàng)立/刪除。用戶可以增加/修改/刪除HIVE表里的字段，也可以增加/修改/刪除HIVE 表里字段的內(nèi)容。HIVE表權(quán)限管理內(nèi)容包括：表名所屬數(shù)據(jù)庫(kù)操作權(quán)限，包括八種權(quán)限：一 Alter （修改表結(jié)構(gòu)）Update （修改數(shù)據(jù)）一 Create （創(chuàng)立）Lock （鎖定或解除表）Select （訪問(wèn)數(shù)據(jù)）一 Drop （刪除）Index （創(chuàng)立索引）一 Show DataBase （查看可用數(shù)據(jù)庫(kù)）2. hbase表數(shù)據(jù)訪問(wèn)權(quán)限Hba

7、se表權(quán)限管理內(nèi)容包括：系統(tǒng)可以設(shè)置HBASE表的訪問(wèn)權(quán)限，并允許用戶訪問(wèn)授權(quán)的HBASE表。 用戶不能查看Hbase中非授權(quán)表的內(nèi)容。多個(gè)用戶可以同時(shí)操作同一個(gè)指定的表；用戶沒(méi)有創(chuàng)立/刪除HBASE表的操作權(quán)限。HBASE表只能由系統(tǒng)管理員統(tǒng) 一創(chuàng)立/刪除。用戶可以增加/修改/刪除HBASE表里的字段，也可以增加/修改/刪除 HBASE表里字段的內(nèi)容。Hbase表權(quán)限管理內(nèi)容包括：表名colFamily 列表操作權(quán)限，包括四種權(quán)限：R （只讀）W （可寫）c （創(chuàng)立修改刪除）A （控制）3.字段級(jí)訪問(wèn)權(quán)限系統(tǒng)通過(guò)授權(quán)文件Token可以實(shí)現(xiàn)字段級(jí)控制，如下列圖所示:TokenRecordIDT

8、imestampMDNSource IPRequest URLRefererUserAgentDestinatio n IPCookie1701296120120801 09:13:0013524908163180.153.5.Ill :/ NoDefucweb61.152.108 .66ckl=; tg=O;平臺(tái)統(tǒng)一管理平臺(tái)統(tǒng)一管理包括集群參數(shù)配置、節(jié)點(diǎn)參數(shù)配置、組件參數(shù)配置和用戶管理。1.集群參數(shù)配置集群參數(shù)包含：集群名稱ganglia 地址一備機(jī)名稱備機(jī)IP一 hadoop配置文件路徑hbase配置文件路徑hive配置文件路徑一 Zookeeper配置文件路徑等信息。.節(jié)點(diǎn)參數(shù)配置節(jié)點(diǎn)參

9、數(shù)包含：節(jié)點(diǎn)名稱節(jié)點(diǎn)地址一 NameNode角色服務(wù)啟動(dòng)一DataNode角色服務(wù)啟動(dòng)一 Zookeeper角色服務(wù)啟動(dòng)一網(wǎng)卡設(shè)備網(wǎng)卡IP一掩碼Mask廣播地址Beast網(wǎng)卡MAC一狀態(tài)等信息。.組件參數(shù)配置組件參數(shù)包含：一 組件配置類型選擇,提供Hadoop, Hbase, Hive, zookeeper組件配置。-組件配置文件選擇等信息。.用戶管理平臺(tái)用戶管理包含用戶管理和群組管理，可以增加刪除hadoop用戶群組信 息和用戶信息。Hadoop用戶群組信息包括：1)用戶名稱2)群組名稱hadoop用戶信息包括：1) 基本信息2)用戶名所在用戶組HDFS配置文件數(shù)限額空間限額MapReduc

10、e 配置所屬隊(duì)列集中監(jiān)控告警管理集中監(jiān)控告警管理包括節(jié)點(diǎn)運(yùn)行狀態(tài)監(jiān)控、HDFS組件監(jiān)控、MapReduce組件 監(jiān)控、HIVE組件監(jiān)控、HBase組件監(jiān)控和告警管理。節(jié)點(diǎn)運(yùn)行狀態(tài)監(jiān)控通過(guò)圖形化界面直觀顯示節(jié)點(diǎn)運(yùn)行狀態(tài)和性能數(shù)據(jù)，包括節(jié)點(diǎn)負(fù)荷、存儲(chǔ)能 力、業(yè)務(wù)性能。節(jié)點(diǎn)負(fù)荷包括：1分鐘負(fù)荷5分鐘負(fù)荷15分鐘負(fù)荷CPU使用率內(nèi)存使用率硬盤使用率。HDFS組件監(jiān)控HDFS組件監(jiān)控內(nèi)容包括：1）查看IIDFS概況，包括：一狀態(tài)：當(dāng)前集群的HDFS運(yùn)行狀態(tài)?？?cè)萘浚寒?dāng)前集群的HDFS配置的數(shù)據(jù)存儲(chǔ)空間的總?cè)萘?。剩余容量：?dāng)集群HDFS處于運(yùn)行狀態(tài)時(shí)顯示，記錄當(dāng)前集群的剩余數(shù) 據(jù)存儲(chǔ)空間或剩余空間的百分比

11、。數(shù)據(jù)節(jié)點(diǎn)：當(dāng)前集群的HDFS配置的總數(shù)據(jù)節(jié)點(diǎn)數(shù)量及當(dāng)前正在運(yùn)行的 數(shù)據(jù)節(jié)點(diǎn)數(shù)量。2） HDFS瀏覽器,包括：瀏覽HDFS文件系統(tǒng)顯示HDFS文件系統(tǒng)的文件參數(shù)（名稱/用戶/組/權(quán)限/文件大小/修改 日期/數(shù)據(jù)塊/數(shù)據(jù)分布機(jī)器）MapReduce組件監(jiān)控MapReduce組件監(jiān)控內(nèi)容包括：-顯示任務(wù)（Job）的信息列表，包括任務(wù)編號(hào)、優(yōu)先級(jí)、用戶、任務(wù)狀 態(tài)、任務(wù)開(kāi)始時(shí)間、Map進(jìn)度、Reduce進(jìn)度。一雙擊任務(wù)查看任務(wù)詳細(xì)信息，包括作業(yè)類型、作業(yè)進(jìn)度、作業(yè)數(shù)、待 執(zhí)行的作業(yè)、正在執(zhí)行的作業(yè)、完成的作業(yè)、終止的作業(yè)、失敗、終 止的作業(yè)嘗試。HIVE組件監(jiān)控HIVE組件監(jiān)控內(nèi)容包括：1）查看HI

12、VE概況，包括：一顯示HIVE運(yùn)行狀態(tài)顯示HIVE數(shù)據(jù)庫(kù)列表2）業(yè)務(wù)表瀏覽顯示HIVE表的信息列表，包含表名和狀態(tài)。雙擊表名查看該表的字段定義信息。一直接提交SQL查詢語(yǔ)句，并返回執(zhí)行結(jié)果。HBase組件監(jiān)控HBase組件監(jiān)控內(nèi)容包括：一顯示HBase表的信息列表，包含表名和狀態(tài)。一雙擊表名查看該表的數(shù)據(jù)域信息，包括數(shù)據(jù)域名稱、部署機(jī)器、起始 鍵值、結(jié)束鍵值、狀態(tài)、分割根、分割。告警管理平臺(tái)提供告警面板功能，可以實(shí)時(shí)監(jiān)測(cè)整個(gè)平臺(tái)的各種故障信息，告警內(nèi)容 包括：1）節(jié)點(diǎn)磁盤空間缺乏：系統(tǒng)在出現(xiàn)某個(gè)節(jié)點(diǎn)磁盤空間缺乏的情況報(bào)警。2）群集HDFS磁盤缺乏：群集中單個(gè)節(jié)點(diǎn)空間足夠，但群集HDFS磁盤空間

13、不 足時(shí)報(bào)警。3）節(jié)點(diǎn)CPU負(fù)載過(guò)高：節(jié)點(diǎn)在CUP負(fù)載異常情況下報(bào)警。4）節(jié)點(diǎn)內(nèi)存缺乏：節(jié)點(diǎn)在內(nèi)存缺乏情況報(bào)警。5）服務(wù)異常告警：監(jiān)測(cè)HDFS, HIVE, HBASE, Zookeeper等各個(gè)關(guān)鍵服務(wù)的 運(yùn)行狀態(tài)，如果發(fā)現(xiàn)異常，將輸出告警信息。6）節(jié)點(diǎn)失效故障：當(dāng)名稱節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)之間的網(wǎng)絡(luò)異常，超過(guò)心跳維持的 時(shí)間，將判定該節(jié)點(diǎn)已經(jīng)失效，退出服務(wù)。7）網(wǎng)絡(luò)故障告警：當(dāng)發(fā)現(xiàn)某些節(jié)點(diǎn)的網(wǎng)絡(luò)連接異常，將輸出網(wǎng)絡(luò)故障信息、。 平臺(tái)發(fā)生故障時(shí)，系統(tǒng)將產(chǎn)生告警，而且輸出告警的信息和告警類型，同時(shí)包含屢次告警的時(shí)間等，根據(jù)電信維護(hù)流程的要求，需要維護(hù)人員確認(rèn)告警，并 按照流程正確處置告警信息?？梢暬瘶I(yè)

14、務(wù)管理可視化業(yè)務(wù)管理包括客戶管理、合同管理、基礎(chǔ)產(chǎn)品管理和結(jié)算管理。.客戶管理系統(tǒng)提供圖形化客戶管理功能，包括客戶注冊(cè)、登錄、產(chǎn)品訂購(gòu)、token管 理、服務(wù)申請(qǐng)、服務(wù)開(kāi)通等。.合同管理系統(tǒng)提供圖形化合同管理功能，包括：1）合同基本信息管理：合同信息錄入、查詢、合同相關(guān)的業(yè)務(wù)信息關(guān)聯(lián)、 合同審批、合同生效時(shí)間、合同終止時(shí)間等。2）合同附件信息管理：合同附件的查詢、上傳、更新、審批等。3）合同執(zhí)行情況管理：合同執(zhí)行狀態(tài)、合同執(zhí)行進(jìn)度、合同執(zhí)行偏差評(píng)估 等。合同錄入完成后通過(guò)接口直接導(dǎo)入CRM數(shù)據(jù)庫(kù)。.基礎(chǔ)產(chǎn)品管理基礎(chǔ)產(chǎn)品配置包括以下產(chǎn)品類別：1）數(shù)據(jù)出售類產(chǎn)品：通過(guò)對(duì)電信數(shù)據(jù)資源進(jìn)行脫敏、加工、

15、提煉后的數(shù)據(jù) 進(jìn)行出售。這類數(shù)據(jù)產(chǎn)品根據(jù)數(shù)據(jù)所涉及的地理屬性，分為全國(guó)性數(shù)據(jù) 和省數(shù)據(jù)。2）數(shù)據(jù)咨詢類產(chǎn)品：通過(guò)對(duì)數(shù)據(jù)的分析、挖掘，面向不同的行業(yè)提供咨詢 類報(bào)告，這些報(bào)告所用的數(shù)據(jù)也分全國(guó)性數(shù)據(jù)和省數(shù)據(jù)。3）數(shù)據(jù)能力產(chǎn)品：這類產(chǎn)品通過(guò)能力平臺(tái)提供實(shí)時(shí)API接口數(shù)據(jù)查詢和大 數(shù)據(jù)作業(yè)服務(wù)。4）解決方案產(chǎn)品：這類產(chǎn)品只面向合作伙伴，因?yàn)榻鉀Q方案類產(chǎn)品需要結(jié) 合行業(yè)合作伙伴，整合自有數(shù)據(jù)、自有渠道、合作伙伴渠道等提供行業(yè) 解決方案。.結(jié)算管理結(jié)算管理應(yīng)涵蓋以下功能：1）外部結(jié)算管理對(duì)合作伙伴的結(jié)算管理，根據(jù)合同，收入完成情況等要素對(duì)合作伙伴進(jìn)行費(fèi)用結(jié)算。目錄 TOC o 1-5 h z 三、總體方

16、案建議4概述4 HYPERLINK l bookmark79 o Current Document 關(guān)鍵技術(shù)4 HYPERLINK l bookmark81 o Current Document 大數(shù)據(jù)平臺(tái)架構(gòu)4 HYPERLINK l bookmark108 o Current Document 海量數(shù)據(jù)存儲(chǔ)5 HYPERLINK l bookmark141 o Current Document 并行計(jì)算能力6 HYPERLINK l bookmark161 o Current Document 系統(tǒng)邏輯框圖8 HYPERLINK l bookmark163 o Current Docume

17、nt 功能介紹9 HYPERLINK l bookmark165 o Current Document 功能模塊總述9大數(shù)據(jù)處理子平臺(tái)11421多租戶能力11422標(biāo)簽服務(wù)20數(shù)據(jù)匯聚子平臺(tái)21 HYPERLINK l bookmark24 o Current Document 寬帶DPI數(shù)據(jù)采集清洗214.3.23G DPI數(shù)據(jù)采集清洗.24 HYPERLINK l bookmark26 o Current Document 數(shù)據(jù)采集清洗24 HYPERLINK l bookmark28 o Current Document 數(shù)據(jù)采集清洗24 HYPERLINK l bookmark30 o

18、 Current Document 數(shù)據(jù)采集清洗26436數(shù)據(jù)脫敏27 HYPERLINK l bookmark34 o Current Document 數(shù)據(jù)加密28 HYPERLINK l bookmark36 o Current Document 數(shù)據(jù)ETL處理29 HYPERLINK l bookmark38 o Current Document 9作業(yè)智能排隊(duì)調(diào)度.29 HYPERLINK l bookmark98 o Current Document 4.4外部服務(wù)能力子平臺(tái)31標(biāo)簽查詢服務(wù)31 HYPERLINK l bookmark51 o Current Document D

19、SP廠商程序接入32 HYPERLINK l bookmark53 o Current Document 廠商作業(yè)性能優(yōu)化33 HYPERLINK l bookmark59 o Current Document 交互式SQL查詢33 HYPERLINK l bookmark61 o Current Document 在線報(bào)表34 HYPERLINK l bookmark100 o Current Document 信息推送子平臺(tái)34流量分發(fā)模塊34流量分發(fā)規(guī)那么34 HYPERLINK l bookmark66 o Current Document 廣告提單管理35 HYPERLINK l b

20、ookmark83 o Current Document 廣告引導(dǎo)管理40 HYPERLINK l bookmark85 o Current Document 廣告計(jì)劃?rùn)z索41 HYPERLINK l bookmark91 o Current Document 內(nèi)部業(yè)務(wù)支撐42四、產(chǎn)品配置清單431、大數(shù)據(jù)處理子平臺(tái)43 HYPERLINK l bookmark96 o Current Document 2、數(shù)據(jù)匯聚子平臺(tái)443、外部服務(wù)能力子平臺(tái)442）內(nèi)部結(jié)算依據(jù)考核計(jì)劃、考核結(jié)果、關(guān)聯(lián)收入完成情況、數(shù)據(jù)使用情況 等進(jìn)行收入結(jié)算。3）結(jié)算包括現(xiàn)金結(jié)算、轉(zhuǎn)賬結(jié)算、結(jié)算公式管理、結(jié)算期限管理等

21、。結(jié)算的費(fèi)用種類包括了兩大類：大數(shù)據(jù)平臺(tái)查詢服務(wù)費(fèi)用結(jié)算和大數(shù)據(jù)平臺(tái) 資源使用費(fèi)用結(jié)算。大數(shù)據(jù)平臺(tái)的查詢服務(wù)可按照查詢次數(shù)或者包月服務(wù)來(lái)計(jì)費(fèi)；A大數(shù)據(jù)平臺(tái)的資源使用包括了存儲(chǔ)、運(yùn)算和數(shù)據(jù)三類，其中數(shù)據(jù)資源根據(jù)字 段和使用記錄數(shù)來(lái)計(jì)費(fèi)，存儲(chǔ)和運(yùn)算資源那么可以采用租費(fèi)的結(jié)算方式。2. 2標(biāo)簽服務(wù)同步標(biāo)簽服務(wù)寬帶DPI數(shù)據(jù)流經(jīng)過(guò)實(shí)時(shí)數(shù)據(jù)處理后，支持多個(gè)同步標(biāo)簽的服務(wù)程序。同步標(biāo)簽數(shù)據(jù)處理支持優(yōu)先級(jí)設(shè)置，通過(guò)優(yōu)先級(jí)決定同步標(biāo)簽服務(wù)程序的執(zhí)行順序，可以支持并發(fā)執(zhí)行和順序執(zhí)行；可以通過(guò)數(shù)據(jù)的URL、關(guān)鍵字、關(guān)鍵字段設(shè)置數(shù)據(jù)處理的范圍，從而滿足 不同的同步標(biāo)簽處理要求。離線標(biāo)簽服務(wù)寬帶DPI文件和3GDPI

22、文件經(jīng)過(guò)數(shù)據(jù)處理后，支持多個(gè)離線標(biāo)簽的服務(wù)程 序。離線標(biāo)簽數(shù)據(jù)處理可靈活設(shè)置各廠商作業(yè)執(zhí)行時(shí)間。通過(guò)字段級(jí)Token控制，實(shí)現(xiàn)離線標(biāo)簽數(shù)據(jù)處理可以訪問(wèn)的字段類型，從 而實(shí)現(xiàn)靈活的數(shù)據(jù)訪問(wèn)控制功能。離線標(biāo)簽提供廠商性能優(yōu)化功能，以保證各廠商作業(yè)在規(guī)定的時(shí)間內(nèi)完成。子平臺(tái)4. 3.1寬帶DPI數(shù)據(jù)采集清洗浙江電信11個(gè)地市的寬帶DPI數(shù)據(jù)通過(guò)CN2網(wǎng)絡(luò)匯聚到大數(shù)據(jù)平臺(tái)。如下 圖所示：大數(shù)據(jù)平臺(tái)不僅支持寬帶DPI文件匯聚，同時(shí)支持寬帶DPI數(shù)據(jù)流實(shí)時(shí)匯 聚。寬帶DPI數(shù)據(jù)流實(shí)時(shí)匯聚DPI數(shù)據(jù)實(shí)時(shí)入庫(kù) Storm同步標(biāo)簽 Storm消息分發(fā) Kafka大數(shù)據(jù)平臺(tái)實(shí)時(shí)采集清洗寬帶DPI數(shù)據(jù)流，處理流程如

23、下列圖所示：離線標(biāo)簽Kettle處理流程說(shuō)明如下：. Kafka消息系統(tǒng)實(shí)時(shí)接收前端寬帶DPI數(shù)據(jù)流；. Kafka消息系統(tǒng)將接收到的寬帶DPI數(shù)據(jù)流分發(fā)至同步標(biāo)簽和實(shí)時(shí)入庫(kù)兩 個(gè)模塊；.同步標(biāo)簽?zāi)K采用Storm組件實(shí)時(shí)處理寬帶DPI數(shù)據(jù)流，為寬帶DPI數(shù)據(jù)流打上標(biāo)簽。.實(shí)時(shí)入庫(kù)模塊采用Storm組件將寬帶DPI數(shù)據(jù)流以文件形式寫入云平臺(tái) HDFS,后續(xù)可以對(duì)寬帶DPI文件進(jìn)行離線標(biāo)簽處理。寬帶DPI數(shù)據(jù)清洗寬帶DPI數(shù)據(jù)清洗主要是針對(duì)兩類流量進(jìn)行清洗： 一類是非瀏覽器發(fā)起的 請(qǐng)求；另一類是瀏覽器發(fā)起的非用戶點(diǎn)擊請(qǐng)求；最終清洗后留下的url為用戶的真實(shí)點(diǎn)擊；寬帶DPI數(shù)據(jù)清洗規(guī)那么要求如下：

24、可以實(shí)現(xiàn)“用戶有效點(diǎn)擊”的 Get的實(shí)時(shí)提取。（此處“用戶有效點(diǎn) 擊”的定義為：用戶在瀏覽器輸入的有效網(wǎng)址，點(diǎn)擊瀏覽器書簽，用戶在網(wǎng)頁(yè) 中發(fā)起的任意主動(dòng)點(diǎn)擊行為）。通過(guò)清洗規(guī)那么的設(shè)定，實(shí)現(xiàn)“用戶有效點(diǎn)擊”的 Get的實(shí)時(shí)提取。規(guī)那么庫(kù)1：根據(jù)后綴過(guò)濾圖片、腳本等針對(duì)單條url的規(guī)那么。對(duì)應(yīng)現(xiàn)象：圖片、腳本等頁(yè)面元素。規(guī)那么描述：一般非頁(yè)面資源的文件后綴名有一定規(guī)那么可循，后綴滿足匹 配指定字串，那么被識(shí)別為非頁(yè)面請(qǐng)求而被過(guò)濾去除。特征字符串可配置添加，例如如下：redis-cli sadd blockedurlpa t terns2.JS? . jpg . jpeg .png . gif .

25、 css . swf規(guī)那么庫(kù)2:過(guò)濾帶有指定特征字符串的url針對(duì)單條url的規(guī)那么。對(duì)應(yīng)現(xiàn)象:廣告、框架、廣告聯(lián)盟。規(guī)那么描述：一般廣告、圖片服務(wù)或框架頁(yè)面會(huì)帶有固定的特征字串，選 擇可靠的字串可以排除大量的非頁(yè)面請(qǐng)求URLo如下規(guī)那么可配置添加：redis-cli sadd blockedurlpa t ternsal lyes, com cpro. baidu. com cache, google, com admaster. com. cn “iframecjhq. baidu. com/quotenew規(guī)那么庫(kù)3:過(guò)濾重復(fù)包針對(duì)多條URL請(qǐng)求的規(guī)那么對(duì)應(yīng)現(xiàn)象:一個(gè)緩沖區(qū)域長(zhǎng)度內(nèi)的重復(fù)

26、包。規(guī)那么描述：在緩沖內(nèi)判斷是否有重復(fù)請(qǐng)求出現(xiàn)，如有那么只提取第一個(gè)規(guī)那么庫(kù)4:識(shí)別非頁(yè)面類型請(qǐng)求（包含Js發(fā)出的請(qǐng)求）針對(duì)單條URL的規(guī)那么對(duì)應(yīng)現(xiàn)象：瀏覽器與Js腳本發(fā)出非頁(yè)面類型的請(qǐng)求。規(guī)那么描述：瀏覽器與Js腳本發(fā)出的非頁(yè)面類型請(qǐng)求有一定特征，其中主 要是Accept字段值，一般非頁(yè)面的請(qǐng)求，如圖片請(qǐng)求那么會(huì)包含“image/ 字串，這類請(qǐng)求一般不屬于頁(yè)面類型。當(dāng) Accept 字段值中不包含“text/html或application/xhtml+xml 子串并不能識(shí)別該請(qǐng)求是不是頁(yè)面請(qǐng)求，因此而保存下來(lái)。規(guī)那么庫(kù)5：保存白名單中的請(qǐng)求針對(duì)單條URL的規(guī)那么對(duì)應(yīng)現(xiàn)象：有些URL的特征設(shè)

27、定為白名單項(xiàng)規(guī)那么描述：設(shè)置白名單直接放行已明確需要的URL請(qǐng)求，這樣就不會(huì)浪 費(fèi)實(shí)時(shí)計(jì)算資源而做進(jìn)一步判斷，提高了系統(tǒng)的吞吐量。白名單可以配置，例如如下：redis-cli sadd allowedurlpa t terns : baidu. com/s?” Jttp :cn. bing. com/search?” littp:ww w. google, com. hk/search?3. 23G DPI數(shù)據(jù)采集清洗系統(tǒng)通過(guò)FTP方式采集3G DPI文件，3G DPI數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境3G DPI數(shù)據(jù)采集清洗軟件3G DPI設(shè)備3G DPI接口服務(wù)器千兆千兆交換機(jī)超髭3G D

28、PI接口服務(wù)器Hadoop大數(shù)據(jù)平臺(tái)千兆千兆3G DPI文件清洗流程如下：將3G DPI文件的zip壓縮格式轉(zhuǎn)成gz壓縮格式。對(duì)3G DPI文件進(jìn)行數(shù)據(jù)清洗，包括加協(xié)議號(hào)，過(guò)濾重復(fù)的記錄，文件加lU o輸出正常文件和重單文件寫入HDFS。4. 3. 3AAA數(shù)據(jù)采集清洗城域網(wǎng)中獲取到 GET報(bào)文數(shù)據(jù)中用戶標(biāo)識(shí)是IP地址，由于每次用戶登 錄撥號(hào)IP地址均可能不同，在進(jìn)行用戶分析時(shí)用戶的標(biāo)識(shí)應(yīng)該為AD帳號(hào)。需要 獲取Radius數(shù)據(jù)，將用戶上網(wǎng)撥號(hào)AAA過(guò)程中IP和AD信息的導(dǎo)入，匹配用戶 上網(wǎng)行為記錄中的IP地址和AD賬號(hào)的數(shù)據(jù)原始信息，完成用戶上網(wǎng)記錄身份的 辨識(shí)。實(shí)現(xiàn)獨(dú)立運(yùn)行的AAA rad

29、ius解報(bào)文模塊，實(shí)時(shí)提取AAA報(bào)文中的Attribute Value Pairs 中的對(duì)應(yīng)報(bào)文段，將其 User-Name FramedTP-Address Acct-Status-Type并組合當(dāng)前的系統(tǒng)時(shí)間戳形成一條完整的用戶身份配對(duì)的撥 號(hào)上下線狀態(tài)數(shù)據(jù)的記錄，用于與偽CDR數(shù)據(jù)進(jìn)行匹配。4. 3. 40IDD數(shù)據(jù)采集清洗系統(tǒng)通過(guò)FTP方式采集OIDD文件。OIDD數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境OIDD數(shù)據(jù)采集清洗軟件OIDD文件通過(guò)分布式ETL工具Kettle寫入HDFSO OIDD數(shù)據(jù)接口OIDD數(shù)據(jù)表一：sada_ticket,表結(jié)構(gòu)如下： hive desc formatt

30、ed sada_ticket;OK# col name# col namedata_typecommentstringNone（用戶號(hào)碼）stringNone（開(kāi)始時(shí)間）stringNone（基站）stringNone（上電標(biāo)記）prod_inst_numstart_time base_station power_flag# PartitionInformation# col namedata_typecommentdatelabelstringNoneloadstampstringNone# DetailedTable InformationDatabase:oiddOIDD數(shù)據(jù)表二:sad

31、a oidd day,表結(jié)構(gòu)如下:hive desc formatted sada_oidd_day;# DetailedDatabase:# DetailedDatabase:Table Information oiddOK# col_namedata_typecommentprod_inst_numstringNone（用戶號(hào)碼）start_timestringNone（開(kāi)始時(shí)間）base_stationstringNone（基站）sectorstringNone（扇區(qū)）power_flagstringNone（上電標(biāo)記）# PartitionInformation# col_nameda

32、ta_typecommentdatelabelstringNoneloadstampstringNone4. 3. 5ODS數(shù)據(jù)采集清洗系統(tǒng)通過(guò)FTP方式采集ODS文件,ODS數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境ODS數(shù)據(jù)采集清洗軟件ODS設(shè)備千兆之ODS接口服務(wù)器千兆交換機(jī)千兆ODS接口服務(wù)器千兆Hadoop大數(shù)據(jù)平臺(tái)ODS文件通過(guò)分布式ETL工具Kettle寫入HDFS ODS數(shù)據(jù)接口ODS 數(shù)據(jù)表：rpt_telecom_user_info,表結(jié)構(gòu)如下:hive desc formatted rpt_telecom user_info; OK# col namedata_typecomme

33、ntwbisp acntnumstringNone（帳號(hào)加密）user_agestringNone（用戶年齡）user_sexstringNone（用戶性別）user_typestringNone（用戶類型）user_areastringNone（用戶所屬區(qū)域）desc_coststringNone（費(fèi)用范圍描述）wb_access_tpstringNone（寬帶訪問(wèn)類型）act_op_ratestringNone（活躍操作頻度）promgroupstringNone（套餐類型）guangwang_flagstringNone（是否光釬標(biāo)記）a_connect_collegestringNon

34、e0agrmnt_const_exp_dtstringNone（協(xié)議有效日期）balancestringNone（余額）pi_sub_stat_tpstringNone（是否在用）update_statusstringNone（更新?tīng)顟B(tài)）lst_update_tmpstringNone（最后更新日期）latstringNone（緯度）IngstringNone（經(jīng)度）Partition Informationcol_namedata_type commentdatelabeldatelabelstringNone# DetailedTable InformationDatabase:ods4.

35、 3. 6數(shù)據(jù)脫敏數(shù)據(jù)脫敏也被稱為數(shù)據(jù)混淆、數(shù)據(jù)保密、數(shù)據(jù)消毒、數(shù)據(jù)擾頻、數(shù)據(jù)匿名 化和數(shù)據(jù)認(rèn)證。采用數(shù)據(jù)脫敏技術(shù)，可以幫助大數(shù)據(jù)平臺(tái)提高平安性和保密等 級(jí)，以防止其數(shù)據(jù)被濫用，同時(shí)滿足集團(tuán)對(duì)數(shù)據(jù)平安性的規(guī)范要求，以及由管 理/審計(jì)機(jī)關(guān)所要求的隱私標(biāo)準(zhǔn)。從實(shí)現(xiàn)手段上看,針對(duì)不同的數(shù)據(jù)內(nèi)容,會(huì)有多種數(shù)據(jù)脫敏方式。在Hadoop平臺(tái)上，利用采集清洗及流處理的功能，可以實(shí)現(xiàn)對(duì)各個(gè)字段，針對(duì)性的脫敏 處理，并且保證在數(shù)據(jù)進(jìn)入hadoop之前已經(jīng)是脫敏之后的數(shù)據(jù)。另外針對(duì)AD的脫敏尤為關(guān)鍵，AD是唯一能將DPI數(shù)據(jù)關(guān)聯(lián)到ODS客戶數(shù) 據(jù)的字段，我們對(duì)所有進(jìn)入大數(shù)據(jù)平臺(tái)的AD都統(tǒng)一采用sha-1的加密方式

36、，轉(zhuǎn)換成只有大數(shù)據(jù)平臺(tái)能夠認(rèn)識(shí)的客戶唯一標(biāo)示。需要進(jìn)行脫敏處理的信息如下:需脫敏字段描述脫敏前脫敏后Ad寬帶設(shè)備號(hào)實(shí)際adsha加密結(jié)果（該算法不可反解）user_age用戶年齡實(shí)際年齡年齡段信息，如5年一段，取起始 數(shù)值顯示，如25表示25-29address用戶地址實(shí)際地址，精確到戶小區(qū)、樓盤或商圈信息，如武林商 圈lat&lng位置經(jīng)緯度實(shí)際經(jīng)緯度精確到0.001,約1000平方米, 注：lng*lat = 0. 001*0. 001 （度）=約 95. 18 米*111. 32 米u(yù)ser_name用戶姓名實(shí)際姓名僅保存用戶姓氏desc_cost用戶消費(fèi)情況實(shí)際消費(fèi)金額每150元一檔：

37、0 （表示0T49）,150, 3004. 3. 7數(shù)據(jù)加密大數(shù)據(jù)平臺(tái)以HDFS為基礎(chǔ)，利用HDFS驅(qū)動(dòng)提供的Format功能，實(shí)現(xiàn) hadoop云平臺(tái)系統(tǒng)級(jí)、業(yè)務(wù)級(jí)數(shù)據(jù)加密。HDFS數(shù)據(jù)加密原理圖如下：數(shù)據(jù)加密不修改HDFS內(nèi)核，不影響將來(lái)HDFS的升級(jí)維護(hù)。數(shù)據(jù)加密后，保證HDFS數(shù)據(jù)透明訪問(wèn)，同時(shí)支持SQL查詢服務(wù)。3. 8數(shù)據(jù)ETL處理平臺(tái)采用ETL工具實(shí)現(xiàn)高速ETL處理，處理效率強(qiáng)。功能包括：ETL作業(yè)GUI設(shè)計(jì)器的功能。ETL作業(yè)自動(dòng)調(diào)度器的功能。ETL作業(yè)多路并發(fā)提取的功能。ETL作業(yè)多路并發(fā)轉(zhuǎn)換的功能。ETL作業(yè)多路并發(fā)加載的功能。ETL作業(yè)管理功能。ETL作業(yè)日志管理功能。3

38、. 9作業(yè)智能排隊(duì)調(diào)度.作業(yè)靈活調(diào)度系統(tǒng)可以制定作業(yè)調(diào)度計(jì)劃進(jìn)行作業(yè)調(diào)度。對(duì)于臨時(shí)出現(xiàn)的需要緊急運(yùn)行的作業(yè)，可以靈活調(diào)整作業(yè)調(diào)度計(jì)劃保證緊急 任務(wù)優(yōu)先執(zhí)行。.資源智能調(diào)整系統(tǒng)保證每個(gè)作業(yè)都能獲得相應(yīng)的系統(tǒng)資源，同時(shí)對(duì)于臨時(shí)出現(xiàn)的需要緊急 運(yùn)行的作業(yè)，可以靈活調(diào)整資源配置保證緊急任務(wù)優(yōu)先執(zhí)行。當(dāng)一個(gè)隊(duì)列空閑，其系統(tǒng)資源可以被其他隊(duì)列搶占使用。一旦空閑隊(duì)列有作 業(yè)提交時(shí)，會(huì)返回該隊(duì)列的系統(tǒng)資源，直到滿足該隊(duì)列最低配置，甚至搶占其他 隊(duì)列資源。系統(tǒng)可以動(dòng)態(tài)增加隊(duì)列，并且新提交的隊(duì)列會(huì)慢慢滿足最低資源配置，甚至搶占其他隊(duì)列資源。 TOC o 1-5 h z 4、信息推送子平臺(tái)45 HYPERLINK

39、l bookmark102 o Current Document 五、所提供設(shè)備情況46 HYPERLINK l bookmark104 o Current Document 六、系統(tǒng)連接示意圖48 HYPERLINK l bookmark106 o Current Document 七、場(chǎng)地及環(huán)境準(zhǔn)備要求49 HYPERLINK l bookmark110 o Current Document 八、工程進(jìn)度安排50九、分工界面511、買方職責(zé)51 HYPERLINK l bookmark115 o Current Document 2、賣方職責(zé)51 HYPERLINK l bookmark1

40、17 o Current Document 十、測(cè)試及驗(yàn)收52十一、培訓(xùn)計(jì)劃541、培訓(xùn)概述54 HYPERLINK l bookmark122 o Current Document 2、培訓(xùn)目標(biāo)54 HYPERLINK l bookmark124 o Current Document 3、培訓(xùn)方式54 HYPERLINK l bookmark126 o Current Document 4、培訓(xùn)內(nèi)容54 HYPERLINK l bookmark128 o Current Document 5、培訓(xùn)工作總結(jié)55 HYPERLINK l bookmark130 o Current Documen

41、t 十二、技術(shù)承諾56十三、技術(shù)服務(wù)、支持、保修571、服務(wù)簡(jiǎn)述57 HYPERLINK l bookmark135 o Current Document 2、機(jī)構(gòu)設(shè)置57 HYPERLINK l bookmark137 o Current Document 3、服務(wù)原那么57 HYPERLINK l bookmark139 o Current Document 4、服務(wù)流程58 HYPERLINK l bookmark143 o Current Document 5、故障處理流程60 HYPERLINK l bookmark145 o Current Document 6、服務(wù)明細(xì)62 HY

42、PERLINK l bookmark147 o Current Document 服務(wù)類型62 HYPERLINK l bookmark149 o Current Document 日常服務(wù)63 HYPERLINK l bookmark151 o Current Document 現(xiàn)場(chǎng)服務(wù)64 HYPERLINK l bookmark153 o Current Document 巡檢服務(wù)64 HYPERLINK l bookmark155 o Current Document 例行工作會(huì)議服務(wù)65 HYPERLINK l bookmark157 o Current Document 文檔提供和

43、更新服務(wù)65 HYPERLINK l bookmark159 o Current Document 十四、技術(shù)文檔674.4外部服務(wù)能力子平臺(tái)4.1標(biāo)簽查詢服務(wù)分布式K-V數(shù)據(jù)庫(kù)采用分布式K-V數(shù)據(jù)庫(kù),主要用于存放標(biāo)簽結(jié)果數(shù)據(jù),并支持以下基礎(chǔ)功能:.數(shù)據(jù)查詢接口以API的方式提供通用的根據(jù)key查詢value的高速查詢接口。.數(shù)據(jù)加載支持?jǐn)?shù)據(jù)直接以文件或者分布式文件系統(tǒng)批量導(dǎo)入的方式,并提供導(dǎo)入的 API 接口。另外除了數(shù)據(jù)追加的方式，還需要支持?jǐn)?shù)據(jù)的刪除或修改功能。.分布式模式數(shù)據(jù)存儲(chǔ)采用類似HDFS的分布式存儲(chǔ)模型,另外計(jì)算資源也需要采用分布 式集群調(diào)用的方式以此來(lái)保證數(shù)據(jù)的可靠性和系統(tǒng)的

44、可擴(kuò)展性。.統(tǒng)一的元數(shù)據(jù)管理對(duì)元數(shù)據(jù)進(jìn)行統(tǒng)一的存儲(chǔ)和管理。并提供訪問(wèn)API供業(yè)務(wù)管理平臺(tái)調(diào)用。.系統(tǒng)管理提供集群監(jiān)控、服務(wù)管理、日志管理、監(jiān)控報(bào)警等一整套系統(tǒng)管理功能。高并發(fā)查詢服務(wù)該模塊基于nginx+Apache MINA的框架開(kāi)發(fā)。其中nginx提供高并發(fā)的對(duì)外 服務(wù)，而Apache MINA是一個(gè)高性能和高可用性的網(wǎng)絡(luò)應(yīng)用框架?？梢酝瓿梢韵?功能：.基于token的用戶平安認(rèn)證采用基于Token （令牌）的用戶身份驗(yàn)證機(jī)制，使用戶在訪問(wèn)受保護(hù)的服 務(wù)資源時(shí)僅需提供Token,而不需要提供用戶名和密碼。Token是包含用戶名、有效期和某些專有信息并通過(guò)共享密鑰加密的信息字符串。對(duì)于通過(guò)W

45、eb Application訪問(wèn)查詢服務(wù)的用戶來(lái)說(shuō)，這種認(rèn)證方式可以有 效防止服務(wù)器的用戶賬戶泄露。對(duì)于已經(jīng)授權(quán)訪問(wèn)服務(wù)的用戶，獲取和使用Token的總體流程：1）用戶憑借自身的賬戶向電信申請(qǐng)和獲取Tokeno2）攜帶已獲取的Token查詢有權(quán)限的數(shù)據(jù)標(biāo)簽Token的生成除了需要獲取Token時(shí)用戶輸入的信息外，還需要服務(wù)器端指 定的加密密鑰。系統(tǒng)管理員可以對(duì)生成Token的加密密鑰進(jìn)行配置。.用戶訪問(wèn)權(quán)限控制基于KT數(shù)據(jù)庫(kù)的元數(shù)據(jù)管理，增加用戶對(duì)元數(shù)據(jù)的權(quán)限信息，查詢?cè)L問(wèn)的 時(shí)候首先進(jìn)行用戶識(shí)別，然后根據(jù)用戶的元數(shù)據(jù)權(quán)限信息進(jìn)行訪問(wèn)控制。.高并發(fā)低延時(shí)的查詢接口采用web服務(wù)的方式封裝K-V

46、數(shù)據(jù)庫(kù)的高速查詢接口，并提供短連接和長(zhǎng)連 接兩種方式。需要支持對(duì)K-V數(shù)據(jù)庫(kù)的接口分發(fā)功能。.查詢緩存服務(wù)對(duì)一些訪問(wèn)熱度較高的數(shù)據(jù)或表通過(guò)緩存的方式提高查詢響應(yīng)效率，并減少 Flash卡訪問(wèn)頻率，增加壽命。4. 2DSP廠商程序接入系統(tǒng)允許每個(gè)廠商程序?qū)氇?dú)立的Cacheo系統(tǒng)支持多個(gè)廠商程序算法模型 加載和數(shù)據(jù)訪問(wèn)。系統(tǒng)支持多租戶作業(yè)的統(tǒng)一任務(wù)調(diào)度。用戶提交業(yè)務(wù)應(yīng)用作業(yè) 申請(qǐng)，云平臺(tái)統(tǒng)一封裝各業(yè)務(wù)應(yīng)用作業(yè)。如果用戶網(wǎng)絡(luò)時(shí)延較大，可以有以下兩種方式實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)查詢：1）將K/V內(nèi)存數(shù)據(jù)庫(kù)安裝于用戶端。2）系統(tǒng)進(jìn)行數(shù)據(jù)分發(fā)。4. 4. 3廠商作業(yè)性能優(yōu)化4.431 SQL語(yǔ)句優(yōu)化系統(tǒng)支持SQL語(yǔ)

47、句優(yōu)化，可以解決數(shù)據(jù)傾斜的問(wèn)題。系統(tǒng)提供MapReduce定制服務(wù)，當(dāng)SQL語(yǔ)句效率不高時(shí)，可以將SQL語(yǔ)句轉(zhuǎn) 化成高效的MapReduce作業(yè)直接執(zhí)行。MapReduce 定制服務(wù)我們提供MapReduce定制服務(wù)，當(dāng)SQL語(yǔ)句效率不高時(shí)，可以將SQL語(yǔ)句轉(zhuǎn) 化成高效的MapReduce作業(yè)直接執(zhí)行。SQL語(yǔ)句會(huì)產(chǎn)生大量的中間數(shù)據(jù)，從而影響作業(yè)執(zhí)行效率。MapReduce不產(chǎn) 生中間數(shù)據(jù)。MapReduce作業(yè)和SQL語(yǔ)句相比擬，作業(yè)執(zhí)行效率可以提高37倍。4. 4. 4交互式SQL查詢用戶可以通過(guò)圖形化界面定義查詢參數(shù)，執(zhí)行自己的查詢?nèi)蝿?wù)。系統(tǒng)接口如下：系統(tǒng)兼容標(biāo)準(zhǔn)的SQL語(yǔ)法，可以通過(guò)S

48、QL語(yǔ)句訪問(wèn)查詢。系統(tǒng)支持JDBC連接方式，適合JAVA應(yīng)用。系統(tǒng)支持ODBC連接方式，適合WIN應(yīng)用。系統(tǒng)提供CLI命令接口，適合UNIX應(yīng)用。系統(tǒng)支持Corba協(xié)議，適合IDL服務(wù)對(duì)象接口。系統(tǒng)支持SOAP協(xié)議，適合遠(yuǎn)程RPC調(diào)用。4. 4. 5在線報(bào)表系統(tǒng)提供豐富的報(bào)表展現(xiàn)形式，支持表格、餅圖、柱狀圖、折線圖，用戶可 以自由選擇報(bào)表展現(xiàn)形式。報(bào)表的定義和配置都要求可視化的靈活操作，要求可見(jiàn)即可得，且結(jié)果能夠 靈活導(dǎo)出。生成的報(bào)表可輸出各種文件格式，如EXCEL、HTML、XML、RTF等。.信息推送子平臺(tái)1. 1.流量分發(fā)模塊可以控制流量的轉(zhuǎn)發(fā)，判斷流量能否進(jìn)行廣告投放，可以精確控制符合

49、業(yè)務(wù) 需要的流量，轉(zhuǎn)發(fā)到服務(wù)器上，啟動(dòng)廣告投放計(jì)劃。具體的流量控制轉(zhuǎn)發(fā)規(guī)那么可 以靈活的配置。4. 1. 2.流量分發(fā)規(guī)那么系統(tǒng)提供統(tǒng)一的規(guī)那么配置，根據(jù)廣告投放的策略可以靈活的修改。支持的流量分發(fā)規(guī)那么包括：域名、URL規(guī)那么設(shè)置能控制流量只轉(zhuǎn)發(fā)到指定的域名或者URL的報(bào)文?？刂屏髁糠职l(fā)總量可以控制轉(zhuǎn)發(fā)流量的總流量大小。譬如對(duì)搜狗流量，我們可以控制其搜索的 流量只轉(zhuǎn)發(fā)多個(gè)個(gè)CPM到指定的服務(wù)器上。3、頻次控制可以設(shè)置對(duì)用戶廣告推送的頻次控制，每個(gè)用戶與其IP地址、ADSL賬戶關(guān) 聯(lián)。通過(guò)限制IP、ADSL的頻次控制用戶流量轉(zhuǎn)發(fā)到服務(wù)器的頻次。4、地域定向規(guī)那么可以根據(jù)IP地址判斷用戶所在地區(qū)

50、，可以只將特定地區(qū)的用戶流量進(jìn)行分發(fā)。如武漢某企業(yè)用戶可能只希望了解湖北地區(qū)的網(wǎng)民搜索、訪問(wèn)行為，可以對(duì) 地域設(shè)置只轉(zhuǎn)發(fā)武漢的流量到企業(yè)的服務(wù)器上進(jìn)行數(shù)據(jù)分析，一方面減輕了下游 企業(yè)的服務(wù)器壓力，另一方面最大限度保護(hù)了其他地區(qū)的用戶隱私，降低運(yùn)營(yíng)商 數(shù)據(jù)的流量浪費(fèi)。5、黑名單控制對(duì)一些特定的群體投放廣告會(huì)產(chǎn)生各種風(fēng)險(xiǎn)問(wèn)題的，系統(tǒng)提供黑白名單控 制，將具體對(duì)象的IP或者ADSL賬戶設(shè)置為黑名單。禁止向這些用戶推送廣告。 以此提升用戶整體的體驗(yàn)效果，降低用戶的投訴。1. 3.廣告提單管理廣告主賬戶信息管理系統(tǒng)提供對(duì)廣告主賬戶信息的管理，可以分級(jí)授權(quán)，超級(jí)管理員可以管理系 統(tǒng)中所有的廣告，通過(guò)系統(tǒng)配

51、置授權(quán)給廣告主，這些廣告主可以獲取賬戶和密碼 登錄系統(tǒng)對(duì)個(gè)人的廣告策略進(jìn)行管理。沒(méi)有賬號(hào)的廣告主需要在官網(wǎng)點(diǎn)擊右上角“注冊(cè)”按鈕，填寫相關(guān)信息申請(qǐng) 注冊(cè)。郵箱 I郵箱作為賬戶名聯(lián)系人：聯(lián)系人姓名手機(jī)j手機(jī)號(hào)碼QQQ竭碼驗(yàn)證碼fcW 看不清網(wǎng)址 :/開(kāi)通平臺(tái)首頁(yè)動(dòng)念定IRJ洞察產(chǎn)品案例提供數(shù)據(jù)技術(shù)關(guān)于我們也可通過(guò)廣告平臺(tái)登陸頁(yè)面的“新用戶注冊(cè)”按鈕到官網(wǎng)申請(qǐng)注冊(cè)。用戶名f I用戶名密碼:密碼登錄首頁(yè)動(dòng)態(tài)定向洞察產(chǎn)品案例提供蛇技術(shù)關(guān)于我們密碼找回新用戶注冊(cè)廣告提單投放管理在投放管理模塊，可上傳創(chuàng)意，對(duì)通過(guò)審核的創(chuàng)意組建立推廣單元進(jìn)行廣告 投放。創(chuàng)意組管理通過(guò)投放管理一創(chuàng)意組管理，進(jìn)入創(chuàng)意組管理頁(yè)面

52、。創(chuàng)意組列表顯示的信息 包括序號(hào)、創(chuàng)意組名稱、所選模板、尺寸（已上傳尺寸數(shù)和未上傳尺寸數(shù)）和審 核狀態(tài)，可按創(chuàng)意組名稱和審核狀態(tài)查詢。創(chuàng)總組名稱請(qǐng)甘市核狀態(tài)創(chuàng)意組名稱所選模板尺寸市核狀態(tài)1隼支新宣傳默認(rèn)模板已上傳：2未上q 2個(gè)尺寸局部通過(guò)局部通過(guò)，分置|鹿泠|拜謔投球單元2名學(xué)8默認(rèn)模板已上傳：10未上傳21未通過(guò)5g I刪除3集至宣傳默認(rèn)模板已上傳：1未上傳：30局部通過(guò)SS I蒯除|素建投放單元4里包組A默認(rèn)模板己上傳:6未上傳25局部通過(guò)設(shè)置I刪錚|新連挎改單元，上一頁(yè) 1 下一頁(yè) 當(dāng)麗第1頁(yè).每頁(yè)呈示10條，共4條在創(chuàng)意組列表可點(diǎn)擊創(chuàng)意組名稱可查看該創(chuàng)意組信息；將鼠標(biāo)放到指定創(chuàng)意 組

53、的審核狀態(tài)上，顯示該創(chuàng)意組創(chuàng)意審核情況；點(diǎn)擊指定創(chuàng)意組右側(cè)的“設(shè)置” 按鈕進(jìn)行創(chuàng)意組設(shè)置；點(diǎn)擊指定創(chuàng)意組右側(cè)的“刪除”按鈕刪除該創(chuàng)意組，如果 正在投放的創(chuàng)意組被刪除，該創(chuàng)意組對(duì)應(yīng)的推廣單元變?yōu)闀和顟B(tài)；對(duì)于已經(jīng)通 過(guò)審核的創(chuàng)意組，可點(diǎn)擊該創(chuàng)意組右側(cè)的“新建投放單元”進(jìn)入新建推廣單元頁(yè)面對(duì)該創(chuàng)意組新建推廣單元設(shè)置投放策略。投放管理通過(guò)投放管理-投放管理，進(jìn)入投放管理頁(yè)面。在投放管理頁(yè)面可按時(shí)間維 度查看到推廣單元趨勢(shì)圖和推廣單元列表，時(shí)間維度包括今天、昨天、本周、上 周、本月、上月和近30天，也可點(diǎn)擊時(shí)間對(duì)話框通過(guò)時(shí)間控件點(diǎn)擊指定日期自 定義查看單元列表信息。今天 昨天 本周 上周 本月 上月近

54、3味2014-12-15 72014-12-17從 20141215 到 2014-12-17gR消本二一 十二月 2014 )十二月 2014 )3012345630123456789101112137891011121314131617181920141516KEB181920212223242526272122232425262728293031123282930311234567891045678910/ 周日周一周二周三周四周五周六 周日周一周二周三周四周五周六推廣單元趨勢(shì)圖可通過(guò)下拉框選擇全部推廣計(jì)劃或者指定某個(gè)推廣單元，還 可定義趨勢(shì)圖表展示的指標(biāo)，包括花費(fèi)、展現(xiàn)數(shù)、點(diǎn)擊數(shù)、平均

55、點(diǎn)擊率和平均點(diǎn) 擊本錢。推廣單元列表2014-11-23 - 2014-12-22今天 昨天 本周 上周 本月 上月近現(xiàn)推廣單元：全部推廣單元皿 趨勢(shì)圖 W，硼.展現(xiàn)數(shù)O點(diǎn)擊數(shù)O平均點(diǎn)擊率O平均點(diǎn)擊本錢抵日花費(fèi)用 國(guó)區(qū)血C O每日花費(fèi)推廣單元列表展示該指定時(shí)間內(nèi)的所有推廣計(jì)劃，包括推廣單元名稱、狀態(tài)、 有效期、每日預(yù)算、展現(xiàn)數(shù)、點(diǎn)擊數(shù)、點(diǎn)擊率、總費(fèi)用、平均本錢、本頁(yè)總計(jì)和 全部總計(jì)，可輸入指定推廣計(jì)劃名稱進(jìn)行查詢。鼠標(biāo)放到推廣單元名稱上，點(diǎn)擊 出現(xiàn)的“鉛筆”圖標(biāo)可在彈出的對(duì)話框中修改推廣單元名稱和出價(jià)；點(diǎn)擊推廣單 元名稱可查看該投放單元對(duì)應(yīng)的創(chuàng)意組創(chuàng)意列表，也可對(duì)該創(chuàng)意組進(jìn)行編輯；點(diǎn)擊某個(gè)屬性

56、右側(cè)的上下列圖標(biāo)使推廣單元列表按照該指標(biāo)的升序或者降序進(jìn)行排 列。新增推廣單元i百推廣單元復(fù)制推廣單元啟用日產(chǎn)HK0請(qǐng)輸入推廣單元名稱朝？ J推廣單元有效期默認(rèn)出價(jià)每H演算點(diǎn)擊率總費(fèi)用平均點(diǎn)擊本錢Io默認(rèn)的單元沒(méi)育今曰排期2014-12-20-2014-12-311.5030.003825.26%0.010.011219測(cè)試地域投放用戶者停2014-12-19形5束時(shí)間2.00100000-0 00-1219玩一玩用戶智停2014-12-19無(wú)結(jié)束時(shí)間22.003.0000-0.00-1220測(cè)試標(biāo)及投放用戶暫停2014-12-20形5束時(shí)間3 00100000-0 00-220SB枷筌堿_用

57、戶暫停20141220穆東時(shí)間1.005.0000-0.00-1220測(cè)H式 CPC用戶暫停2014-12-205 時(shí)間1 005 0000-0 00-12201555CPC 新測(cè)試用戶暫停2014.12-20根束時(shí)間1.005.0000-0.00-CPC12201606設(shè)置小額點(diǎn)O擊壟價(jià)用戶暫停2014-12-20根束時(shí)間0 605 0000-0 00-本頁(yè)尊計(jì)-3825.26%0.010.01全部總計(jì)-9263-0.01-在該推廣單元列表中，可對(duì)推廣單元進(jìn)行新增、設(shè)置、復(fù)制、啟用、暫停和 刪除歸檔操作，還可點(diǎn)擊列表下方的“查看已歸檔的推廣計(jì)劃”按鈕查看已歸檔 的推廣計(jì)劃。數(shù)據(jù)統(tǒng)計(jì)報(bào)表可在首

58、頁(yè)，或者通過(guò)進(jìn)入“數(shù)據(jù)中心-投放統(tǒng)計(jì)”查詢廣告投放統(tǒng)計(jì)報(bào)告。 可通過(guò)“昨天”、“本周”、“上月”和“本月”按鈕快捷查詢對(duì)應(yīng)時(shí)間范圍內(nèi) 的數(shù)據(jù)報(bào)表，也可按自定義時(shí)間維度查詢廣告投放數(shù)據(jù)報(bào)表。自定義時(shí)間需點(diǎn)擊 時(shí)間對(duì)話框，選擇起止時(shí)間后點(diǎn)擊確定即可。能查看的數(shù)據(jù)指標(biāo)包括：展現(xiàn)數(shù)、點(diǎn)擊數(shù)、平均點(diǎn)擊率、平均點(diǎn)擊單價(jià)、總花 費(fèi)、勝出率、到達(dá)率、注冊(cè)數(shù)、平均注冊(cè)單價(jià)（CPA）和注冊(cè)轉(zhuǎn)化率。2014-10-27-2014-11-02昨天 本周 上周 本月 上月價(jià)拜32仄 2014-10-28 到 2014-10-28十月20141=1昌n昌MgIM2829 30 12345678910111213 14 1

59、516171192620 222292330243112345678統(tǒng)計(jì)報(bào)表提供六種查看方式，點(diǎn)擊即可切換查看，報(bào)表以圖形和表格形式展 現(xiàn)，圖形報(bào)表包括柱狀和線狀，可選擇柱狀和線狀代表的指標(biāo)通過(guò)圖形報(bào)表直觀 展示特定指標(biāo)數(shù)據(jù)趨勢(shì)；圖形報(bào)表按照指定的查看方式（6種之一）羅列具體數(shù)據(jù)。媒，果總覽定向效果總覽果總覽創(chuàng)意效果總覽關(guān)鍵詞效果總覽點(diǎn)擊數(shù)住狀指標(biāo)：展現(xiàn)數(shù)表格形式展現(xiàn)的數(shù)據(jù)，可通過(guò)點(diǎn)擊對(duì)應(yīng)指標(biāo)右側(cè)的上下箭頭按鈕按照該指標(biāo) 的上升或者下降順序進(jìn)行排序。推廣單元展現(xiàn)數(shù)點(diǎn)擊數(shù)平均點(diǎn)擊率平均點(diǎn)擊單價(jià)總花費(fèi)注冊(cè)數(shù)CPAgj360-IT2-C779373790.486%0.45171 465254%0 0

60、00%0融360微頻2-C789683720.471%0.48178.785.727%0.000%0融360-汽車1-C735593720.506%0.47173.993.590%0.000%0圖形報(bào)表支持更改展示形式，可通過(guò)點(diǎn)擊右上角按鈕設(shè)置為數(shù)據(jù)展示、雙線 形展示、雙柱狀展示、還原，還可點(diǎn)擊最后一個(gè)按鈕進(jìn)行圖形報(bào)表截圖。BI區(qū)也CO數(shù)據(jù)總覽直觀顯示廣告主按時(shí)間篩選查詢后，當(dāng)前投放所花費(fèi)的金額、點(diǎn)擊價(jià)格、注 冊(cè)數(shù)、CPA、注冊(cè)轉(zhuǎn)化率，讓廣告主對(duì)目前的投放狀況一目了然三、總體方案建議.概述大數(shù)據(jù)平臺(tái)是第三代數(shù)據(jù)處理技術(shù)，其中Hadoop平臺(tái)是業(yè)界主流的云計(jì)算 平臺(tái)解決方案，我公司具備多年電信行