基于大數(shù)據(jù)的北斗泛在管理系統(tǒng)及其應(yīng)用

1、基于大數(shù)據(jù)的北斗泛在管理系統(tǒng)及其應(yīng)用2014.08.05摘要：本文在泛在網(wǎng)絡(luò)及北斗的應(yīng)用基礎(chǔ)上，基于物聯(lián)網(wǎng)及大數(shù)據(jù)，建立了在事務(wù)狀態(tài)數(shù)據(jù)化下進(jìn)一步將事務(wù)之間的關(guān)系數(shù)據(jù)化，在數(shù)據(jù)資源化下，進(jìn)一步將數(shù)據(jù)資源體系化的新型北斗動(dòng)態(tài)管理系統(tǒng)模型，并結(jié)合北斗/GPS雙模定位終端，提出了一個(gè)新型的最優(yōu)化的北斗泛在管理系統(tǒng)SKYS-BD方案。關(guān)鍵詞：北斗，大數(shù)據(jù)，定位服務(wù)，動(dòng)態(tài)管理, 泛在網(wǎng)，動(dòng)態(tài)管理，智慧城市一、引言泛在、智能、協(xié)同、融合是信息通信技術(shù)發(fā)展的主要方向，而大數(shù)據(jù)伴隨著云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等技術(shù)的發(fā)展，為智慧城市及信息化的動(dòng)態(tài)管理方案提供了新的契機(jī)。在智慧城市建設(shè)成為我國(guó)的戰(zhàn)略熱點(diǎn)的時(shí)機(jī)

2、下，大數(shù)據(jù)產(chǎn)業(yè)生態(tài)環(huán)境的加速構(gòu)建與北斗導(dǎo)航定位的結(jié)合呈現(xiàn)出集成化、多元化和學(xué)科交叉現(xiàn)象，同時(shí)北斗與全球的定位技術(shù)從常規(guī)靜態(tài)逐步發(fā)展到準(zhǔn)動(dòng)態(tài)、動(dòng)態(tài)和實(shí)時(shí)定位階段，正向著實(shí)時(shí)、高精度、高可靠性的方向發(fā)展，結(jié)合大數(shù)據(jù)的架構(gòu)管理及終端技術(shù)的提高，北斗最終將實(shí)現(xiàn)產(chǎn)品化并應(yīng)用于廣泛領(lǐng)域。本文從北斗應(yīng)用管理入手，結(jié)合泛在網(wǎng)絡(luò)下的應(yīng)用，構(gòu)建以指標(biāo)體系為核心的“數(shù)據(jù)+服務(wù)體系”，同時(shí)給出新型系統(tǒng)SKYS-BD的應(yīng)用解決方案。二、系統(tǒng)設(shè)計(jì)思路本文提出的基于大數(shù)據(jù)的北斗泛在管理系統(tǒng)，不僅僅是一個(gè)技術(shù)方案，而且是一個(gè)服務(wù)體系，是一個(gè)以政治、經(jīng)濟(jì)、文化，民生為基礎(chǔ)，以“發(fā)展更科學(xué)，管理更高效，生活更美好” 為

3、目標(biāo)的管理體系方案。大數(shù)據(jù)化是為了更好的處理好數(shù)據(jù)，做好數(shù)據(jù)的挖掘工作，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助系統(tǒng)決策的目的?；诖髷?shù)據(jù)的結(jié)構(gòu)如圖1：1 多種通信方式：SKYS-BD模塊化設(shè)計(jì)，利用獨(dú)立的通信驅(qū)動(dòng)庫(kù)，在不影響核心和業(yè)務(wù)模塊的基礎(chǔ)上，支持各種通信方式，所有通信驅(qū)動(dòng)程序都遵守相同的驅(qū)動(dòng)庫(kù)規(guī)范，可靠性、可維護(hù)性、可擴(kuò)展性大大提高。2 泛終端接入：擁有通信驅(qū)動(dòng)庫(kù)和定位模式庫(kù)后，終端驅(qū)動(dòng)程序只是通信驅(qū)動(dòng)程序和定位模式程序的組合，從而使其編寫非常簡(jiǎn)單，且終端與SKYS-BD可做到無(wú)關(guān)，面對(duì)復(fù)雜多變的終端市場(chǎng)，可靈活、低成本的接入各類終端，使SKYS-BD的用戶可以非常容易的支持各

4、類終端用戶，從而使最低成本的支持最多數(shù)用戶成為可能。3 SKYS-BD海量數(shù)據(jù)存儲(chǔ)，先進(jìn)的核心架構(gòu)SKYS-BD系統(tǒng)采用了 MPP（大規(guī)模并行處理）方式，無(wú)共享，每個(gè) SMP節(jié)點(diǎn)也可以運(yùn)行自己的操作系統(tǒng)、數(shù)據(jù)庫(kù)等。節(jié)點(diǎn)之間的信息交互是通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)的，當(dāng)需要處理的事務(wù)達(dá)到一定規(guī)模時(shí)，MPP的效率要比SMP好。同時(shí)支持混合按列或按行存儲(chǔ)數(shù)據(jù)，每張表或表分區(qū)可以由管理員根據(jù)應(yīng)用需要，分別指定存儲(chǔ)和壓縮方式?；谶@個(gè)功能，用戶可以對(duì)任何表或表分區(qū)選擇按行或按列存儲(chǔ)數(shù)據(jù)和處理方式。4 最強(qiáng)大的高并發(fā)處理機(jī)制此系統(tǒng)利用強(qiáng)大并行處理能力提供并發(fā)支持。系統(tǒng)提供資源管理功能(work

5、load management)來(lái)管理數(shù)據(jù)庫(kù)資源，利用資源隊(duì)列管理可實(shí)現(xiàn)按用戶組的進(jìn)行資源分配，通過(guò)資源管理功能，可以按用戶級(jí)別進(jìn)行資源分配和管理用戶SQL查詢優(yōu)先級(jí)別，同時(shí)也能防止低質(zhì)量SQL(如沒(méi)有條件的多表join等)對(duì)系統(tǒng)資源的消耗。5 先進(jìn)的線性擴(kuò)展與多層次的容錯(cuò)能力系統(tǒng)的數(shù)據(jù)管理軟件包含多層次容錯(cuò)和冗余能力，基于云計(jì)算架構(gòu)保證整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)在遇到硬件、軟件的故障的情況下，仍然自動(dòng)繼續(xù)運(yùn)行。同時(shí)在系統(tǒng)中增加節(jié)點(diǎn)服務(wù)器即可增加存儲(chǔ)容量，處理性能和加載性能。當(dāng)系統(tǒng)擴(kuò)展時(shí)，數(shù)據(jù)倉(cāng)庫(kù)保持在線，并且完全可用，擴(kuò)展進(jìn)程在后臺(tái)運(yùn)行。增加節(jié)點(diǎn)服務(wù)器，性能和容量線性增加。6 高效的負(fù)載均衡與負(fù)載管理

6、（Workload Management）SKYS-BD內(nèi)置負(fù)載均衡功能，在多臺(tái)SKYS-BD集群的情況下，SKYS-BD可通過(guò)負(fù)載均衡將工作負(fù)載均布在所有的服務(wù)器上，充分發(fā)揮集群的處理能力，防止出現(xiàn)載荷過(guò)于集中而造成的服務(wù)響應(yīng)遲鈍現(xiàn)象。同時(shí)具有系統(tǒng)資源管控能力，可控制給各個(gè)查詢分配各自系統(tǒng)資源，允許管理員指派資源隊(duì)列，從而管理數(shù)據(jù)倉(cāng)庫(kù)的隊(duì)列進(jìn)入執(zhí)行情況，在運(yùn)行的查詢的優(yōu)先級(jí)可以隨時(shí)調(diào)整。7 靈活的業(yè)務(wù)定制功能：SKYS-BD內(nèi)的業(yè)務(wù)模塊完全獨(dú)立，通過(guò)一系列預(yù)先制定好的通信協(xié)議，可在不影響核心模塊的前提下，進(jìn)行業(yè)務(wù)定制，業(yè)務(wù)模塊獨(dú)立后，擺脫了復(fù)雜的業(yè)務(wù)定制的核心和通信模塊，可以更加簡(jiǎn)潔、高效，

7、運(yùn)行穩(wěn)定性大大提高。同時(shí)業(yè)務(wù)模塊的定制完全以業(yè)務(wù)為中心，可是定制工作變得非常簡(jiǎn)易，從而將定制成本降至最低。8 完整的安全機(jī)制：SKYS-BD具備完整的安全機(jī)制，可對(duì)監(jiān)控端的用戶進(jìn)行多級(jí)授權(quán)，授權(quán)體系中無(wú)交叉，悖論現(xiàn)象出現(xiàn)，安全可靠，SKYS-BD用戶可根據(jù)實(shí)際運(yùn)營(yíng)要求，精確限定監(jiān)控端的用戶的操作范圍，高級(jí)安全校驗(yàn)機(jī)制可充分保證用戶的合法性，9 完善的泛在網(wǎng)絡(luò)管理接口：SKYS-BD系統(tǒng)提供完善的泛在網(wǎng)絡(luò)管理接口，系統(tǒng)管理員通過(guò)瀏覽器等方式就可以執(zhí)行全部的服務(wù)器管理功能，在使用系統(tǒng)性能數(shù)據(jù)動(dòng)態(tài)收集模塊后還可以對(duì)服務(wù)器運(yùn)行情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)。三、技術(shù)方案SKYS-BD大數(shù)據(jù)下北斗泛在管理系統(tǒng)數(shù)據(jù)構(gòu)架

8、系統(tǒng)大數(shù)據(jù)處理流程一般可分為數(shù)據(jù)獲取階段、數(shù)據(jù)集成階段以及數(shù)據(jù)分析解釋階段。1 數(shù)據(jù)獲取階段數(shù)據(jù)獲取階段主要是完成對(duì)外界數(shù)據(jù)源的接收和記錄操作。其中對(duì)大數(shù)據(jù)的接收方式主要有北斗/GPS獲取，對(duì)大數(shù)據(jù)的記錄主要完成對(duì)元數(shù)據(jù)的選擇，以便構(gòu)建所需要的數(shù)據(jù)結(jié)構(gòu)。2 數(shù)據(jù)集成階段大數(shù)據(jù)的集成階段主要完成對(duì)已接收數(shù)據(jù)的抽取、清洗和貯存等操作。數(shù)據(jù)庫(kù)的選擇可以多種多樣，針對(duì)特定數(shù)據(jù)設(shè)計(jì)的特定數(shù)據(jù)庫(kù)將會(huì)更加高效、適用。3 數(shù)據(jù)分析和解釋階段用戶提出查詢時(shí)，系統(tǒng)進(jìn)行及時(shí)地分析與建模，并將結(jié)果以用戶可接受的方式返回給用戶。用戶查詢可以是多種多樣的，不同的查詢輸入應(yīng)該得到對(duì)應(yīng)的結(jié)果，即使面對(duì)用戶的錯(cuò)誤查詢也應(yīng)該給出

9、相應(yīng)的錯(cuò)誤友好處理。四、基于大數(shù)據(jù)的北斗泛在管理系統(tǒng)在兒童安全服務(wù)上的應(yīng)用天安信通首次將基于大數(shù)據(jù)的北斗泛在管理系統(tǒng)應(yīng)用在兒童安全服務(wù)管理方面，并取得了很好的效果?；谠朴?jì)算方案，為兒童機(jī)終端和其監(jiān)護(hù)者提供一個(gè)高效可靠的服務(wù)平臺(tái)。服務(wù)平臺(tái)的拓?fù)浣Y(jié)構(gòu)如圖4：Skyscom-Cloud云服務(wù)關(guān)鍵技術(shù)天安信通根據(jù)在GPS服務(wù)領(lǐng)域多年的技術(shù)積累，成功發(fā)布了基于云計(jì)算的智能定位云服務(wù)平臺(tái)，該平臺(tái)能夠?yàn)橛脩籼峁┤妫`活的個(gè)性化服務(wù)。Skyscom-Cloud云平臺(tái)中自動(dòng)系統(tǒng)以Fast Paxos算法為基礎(chǔ)，主管理節(jié)點(diǎn)是其他節(jié)點(diǎn)通過(guò)選舉產(chǎn)生，同時(shí)生成從管理節(jié)點(diǎn)。當(dāng)主節(jié)點(diǎn)宕掉時(shí)，優(yōu)先將從節(jié)點(diǎn)提升為主節(jié)點(diǎn)，然后再選舉新的從節(jié)點(diǎn)。避免單點(diǎn)故障，也減少切換時(shí)對(duì)系統(tǒng)效率的影響，增加穩(wěn)定性。從節(jié)點(diǎn)平時(shí)可以協(xié)助同步節(jié)點(diǎn)間數(shù)據(jù)，能夠更快速的切換不同節(jié)點(diǎn)，提升處理效率。使用Loadrunner，模擬并發(fā)用戶對(duì)平臺(tái)進(jìn)行壓力測(cè)試。每用戶平均每次隨機(jī)發(fā)送1K字節(jié)數(shù)據(jù)，每次持續(xù)測(cè)試1小時(shí)，查看響應(yīng)時(shí)間。10000用戶每24小時(shí)上報(bào)的數(shù)據(jù)量為5230GB，經(jīng)過(guò)優(yōu)化后，實(shí)際存儲(chǔ)量可減少到50GB以內(nèi)，每月的數(shù)據(jù)也可以少于1000GB。五、結(jié)論基于大數(shù)據(jù)的北斗泛在管理系統(tǒng)在穩(wěn)定性，高并發(fā)及大數(shù)據(jù)處理能力方面具有無(wú)與