面向空間大數(shù)據(jù)的GIS.doc

面向空間大數(shù)據(jù)的GIS摘要：大數(shù)據(jù)因具有巨大的研究發(fā)展?jié)摿Γ呀?jīng)得到了學術(shù)界和產(chǎn)業(yè)界的持續(xù)關(guān)注和利用。本文總結(jié)了目前的大數(shù)據(jù)利用現(xiàn)狀，以及大數(shù)據(jù)引發(fā)的科學研究新思維和新觀念?？臻g數(shù)據(jù)作為大數(shù)據(jù)的主體數(shù)據(jù)集，在泛在測繪、多源異構(gòu)時空數(shù)據(jù)等方面給傳統(tǒng)GIS的發(fā)展帶來了巨大的挑戰(zhàn)。面對挑戰(zhàn)，文章總結(jié)了大數(shù)據(jù)環(huán)境下GIS應該具備的基礎(chǔ)特征，以及在空間數(shù)據(jù)挖掘和空間分析方面的研究進展。最后，文章從商業(yè)模式、智慧城市、云計算、城市計算和大數(shù)據(jù)驅(qū)動的人類移動規(guī)律等方面展望了大數(shù)據(jù)背景下GIS的研究熱點和發(fā)展前景。關(guān)鍵詞：空間大數(shù)據(jù)， GIS，空間數(shù)據(jù)挖掘， 空間分析, 云計算1空間大數(shù)據(jù)1.1 大數(shù)據(jù)倍受關(guān)注和利用在學術(shù)界， 0Reilly Media于2008年出版了數(shù)據(jù)之美，隨后Nature、Science等陸續(xù)刊登了大數(shù)據(jù)專輯，麥肯錫從經(jīng)濟和商業(yè)維度分析了大數(shù)據(jù)在不同行業(yè)的應用潛力。2012年，我國科技部發(fā)布的十二五國家科技計劃信息技術(shù)領(lǐng)域2013年度備選項目征集指南中把大數(shù)據(jù)研究列在了首位。在產(chǎn)業(yè)界，IBM、亞馬遜、Google、甲骨文等信息技術(shù)巨頭都紛紛推出了大數(shù)據(jù)解決方案和應用。在中國，百度、騰訊、淘寶、阿里巴巴等也采用了Hadoop處理大規(guī)模數(shù)據(jù)。大數(shù)據(jù)的研究與發(fā)展涉及國防安全、生活健康、氣候變化、地質(zhì)調(diào)查、減災防災、智慧地球等眾多領(lǐng)域。以美國為例，2012年3月，奧巴馬政府率先在全球宣布推出大數(shù)據(jù)的研究和發(fā)展計劃，將大數(shù)據(jù)研發(fā)上升為國家意志，并投資2億多美元資助美國國家科學基金和美國地質(zhì)調(diào)查局等6個聯(lián)邦政府部門的大數(shù)據(jù)項目，以提高從大量的、復雜的數(shù)據(jù)集合中獲取知識的能力。1.2 空間數(shù)據(jù)是大數(shù)據(jù)的基礎(chǔ)大數(shù)據(jù)具有體量巨大、多種多樣、高速變化、真實質(zhì)差等特點。在這些數(shù)據(jù)中，大約80的數(shù)據(jù)與空間位置有關(guān)。空間數(shù)據(jù)描述了對象的具體地理位置和空間分布，包括空間實體的位置及其空間關(guān)系等，涵蓋從宏觀、中觀到微觀的整個層次，可以是點的高程、道路的長度、多邊形的面積、建筑物的體積、像元的灰度等數(shù)值，也可以是空間關(guān)系等拓撲結(jié)構(gòu)?？臻g數(shù)據(jù)具有空間性、時間性、多維性、空間關(guān)系復雜等特性。用于采集空間數(shù)據(jù)的設(shè)備包括紅外、衛(wèi)星、多光譜掃描儀、全站儀等各種宏觀與微觀傳感器或設(shè)備，也包括野外測量、人口普查、土地資源調(diào)查、地圖掃描、地圖數(shù)字化等空間數(shù)據(jù)獲取手段，還可能是計算機、GPS、RS和GIS等技術(shù)應用和分析空間數(shù)據(jù)的過程。遙感對地觀測技術(shù)形成了一個多層次、多角度、全方位和全天候的全球立體對地觀測網(wǎng)，傳感器的地面分辨率數(shù)量級從千米到厘米，波段范圍從紫外到超長波，探測深度從幾米到萬米，新型的高分辨率衛(wèi)星遙感數(shù)據(jù)如Quick Bird等已提供使用?？臻g數(shù)據(jù)基礎(chǔ)設(shè)施積累了大量的城市電子地圖數(shù)據(jù)庫、工程地質(zhì)信息數(shù)據(jù)庫、用地現(xiàn)狀信息數(shù)據(jù)庫、市政紅線數(shù)據(jù)庫、建筑紅線與用地紅線數(shù)據(jù)庫、地籍數(shù)據(jù)庫，以及土地利用及基本農(nóng)田保護規(guī)劃數(shù)據(jù)庫等空間基礎(chǔ)數(shù)據(jù)。此外，人類活動每時每刻還在采集和產(chǎn)生新的空間數(shù)據(jù)集1,2。1.3 大數(shù)據(jù)引發(fā)科學新觀維克托.邁爾.舍恩伯格對大數(shù)據(jù)引發(fā)的思維變革進行了總結(jié)，他認為：分析數(shù)據(jù)時，要盡可能地利用所有數(shù)據(jù)，而不只是分析少量的樣本數(shù)據(jù)；人們應該更為關(guān)注事物之間的相關(guān)關(guān)系，而不是探索因果關(guān)系；大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復雜算法更為有效?？茖W家格雷對科學發(fā)展的進行了四個階段的劃分：在幾千年前，科學是經(jīng)驗法；在幾百年前，科學是由假想到印證假想的過程；在最近幾十年前，科學通過計算進行模擬和驗證；現(xiàn)在，科學是數(shù)據(jù)探索與挖掘，通過數(shù)據(jù)挖掘來統(tǒng)一理論、模擬和實驗驗證。2010年，美國地質(zhì)調(diào)查局制定了美國地質(zhì)調(diào)查局核心科學體系科學戰(zhàn)略(2013-2023)，以期構(gòu)建一個新的地球科學框架體系，服務于復雜問題的解決。新制定的核心科學體系就是通過對海量數(shù)據(jù)的交換、整合、分析，實現(xiàn)科學和技術(shù)的新發(fā)現(xiàn)，形成新知識，以應對國家在自然資源管理、自然災害防治等方面面臨的復雜性問題3。2 GIS面臨新的挑戰(zhàn)2.1 泛在地理信息時代的挑戰(zhàn)目前GIS已發(fā)展為由地理信息科學、地理信息技術(shù)和地理信息工程、計算機科學等交叉體系組成的泛在GIS。地理信息的泛化具有數(shù)據(jù)類型豐富多樣、時空粒度不斷細化兩個顯著特征。泛在地理信息強調(diào)動態(tài)性，對于地表要素或區(qū)域，強調(diào)與其關(guān)聯(lián)的實時屬性變化。對于移動對象，強調(diào)其幾何位置的連續(xù)表達和其他社會屬性的實時變化表達。同時，數(shù)據(jù)時空粒度不斷細化，從而使得地理空間概念越發(fā)重要。泛在地理信息時代數(shù)據(jù)以驚人的速度在增長，如何利用泛在地理空間數(shù)據(jù)挖掘、信息提取、空間智能技術(shù)為決策提供依據(jù)，如何實時處理各種方式產(chǎn)生的地理空間隱喻大數(shù)據(jù)，使之成為生活助理等挑戰(zhàn)已經(jīng)超越了傳統(tǒng)GIS的能力范疇。因此，泛地理信息時代要求GIS能處理廣義地理信息，包括各種具有地理空間分布特征的異構(gòu)信息，具有地理空間語義的網(wǎng)絡文本，以及基于位置的復雜社交網(wǎng)絡關(guān)系與內(nèi)容。近年來GIS的快速發(fā)展主要是由于IT技術(shù)的驅(qū)動，IT技術(shù)的每一次重大進步，都深刻地影響著GIS技術(shù)的發(fā)展，促使其技術(shù)體系和應用模式，乃至商業(yè)模式的演化和變革。當前大數(shù)據(jù)、移動技術(shù)和物聯(lián)網(wǎng)等技術(shù)的發(fā)展，已經(jīng)直接反映到了GIS技術(shù)和應用模式之中4,5。2.2 多元異構(gòu)時空數(shù)據(jù)的挑戰(zhàn)隨著地理信息服務的需求從基礎(chǔ)信息的管理走向智慧解決方案,GIS技術(shù)處理多源異構(gòu)信息的局限性也越發(fā)明顯。首先，由于大數(shù)據(jù)來源具有復雜性、多樣性、多尺度性和不確定性,利用現(xiàn)有的數(shù)據(jù)模型難以真正實現(xiàn)異構(gòu)多尺度數(shù)據(jù)的描述與管理。其次,多源異構(gòu)信息的接入、關(guān)聯(lián)、融合需要制定統(tǒng)一標準和規(guī)范,為決策分析、聯(lián)動指揮等提供可靠的多源異構(gòu)融合信息。再次,用戶需要的是無縫、便捷與自適應感知全方位、多層次、多粒度的信息,以滿足立體的生產(chǎn)生活需求。大數(shù)據(jù)時代的信息具有異構(gòu)、多維、海量、多時相等特性,如何實現(xiàn)各種架構(gòu)的互聯(lián)互通,以及不同數(shù)據(jù)格式的轉(zhuǎn)換,是信息智能應用必須解決的問題。目前,時空數(shù)據(jù)模型和時空數(shù)據(jù)庫的應用研究主要集中在地籍歷史變更數(shù)據(jù)的組織管理、智能交通和導航信息系統(tǒng)、城市氣候環(huán)境變化分析、城市發(fā)展和土地利用模擬等方面,本質(zhì)上依然是一種靜態(tài)的信息化城市,僅有少量專題數(shù)據(jù)以離散時間點的全局空間快照或長時間序列來組織管理,尚難以進行時空數(shù)據(jù)高效存取。為適應各種城市問題分析決策需要，研究基于異常變化發(fā)現(xiàn)的數(shù)據(jù)更新機制是保證數(shù)據(jù)的準確性和現(xiàn)勢性，提高數(shù)據(jù)質(zhì)量、支撐智慧城市運行的重要基礎(chǔ)，因此，GIS的發(fā)展依然面臨巨大的挑戰(zhàn)6。3 大數(shù)據(jù)GIS3.1 大數(shù)據(jù)GIS的基礎(chǔ)特征大數(shù)據(jù)沒有改變GIS的基本特征，但是對傳統(tǒng)GIS提出了巨大的挑戰(zhàn)。在架構(gòu)層面，大數(shù)據(jù)體量大、速度快、模態(tài)多等特性帶來的挑戰(zhàn)終將引起GIS數(shù)據(jù)存儲與管理的質(zhì)變。相對于靜態(tài)、有限的數(shù)據(jù)集，大數(shù)據(jù)GIS的數(shù)據(jù)存儲管理系統(tǒng)需要具備擴展性，以處理動態(tài)無限增長的數(shù)據(jù)的存儲和查詢問題。在數(shù)據(jù)層面，針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以適應大數(shù)據(jù)可擴展和非結(jié)構(gòu)化的要求，以及云計算部署環(huán)境的問題，近年來以Key-Value為代表的NoSQL數(shù)據(jù)庫迅速發(fā)展，非關(guān)系型數(shù)據(jù)庫已經(jīng)成為和關(guān)系數(shù)據(jù)庫并存的空間數(shù)據(jù)存儲及管理的方式之一。在數(shù)據(jù)處理層面，大數(shù)據(jù)GIS的數(shù)據(jù)源頭以秒、分為間隔采集，且經(jīng)年累月不間斷，數(shù)據(jù)無限增長，長期積累的數(shù)據(jù)不可能全部存儲在可隨機訪問的磁盤或內(nèi)存中。當數(shù)據(jù)繼續(xù)不斷積累后，必須采用一定的數(shù)據(jù)粗篩策略，即數(shù)據(jù)通常在存儲前需要進行預處理，保留有價值的信息；原始數(shù)據(jù)經(jīng)過處理后，要么被丟棄，要么被存儲，但是存儲后再次提取代價昂貴。這個預處理過程通常以應用為導向，需要構(gòu)建適于實時分析的概要結(jié)構(gòu)、時空聚合和多尺度表達等方法，實現(xiàn)高效的數(shù)據(jù)篩選和聚合機制，以解決數(shù)據(jù)冗余及噪音問題2。3.2面向空間大數(shù)據(jù)的數(shù)據(jù)挖掘大數(shù)據(jù)必然要和數(shù)據(jù)挖掘相結(jié)合，但是空間數(shù)據(jù)挖掘不同于傳統(tǒng)的數(shù)據(jù)挖掘，多了空間維度以及在不同空間尺度上的挖掘，所以不能完全套用普通事物數(shù)據(jù)挖掘的策略和方法。早在1994年我國科學家李德仁院士等首次提出了從GIS數(shù)據(jù)庫中發(fā)現(xiàn)知識,使GIS成為智能化的信息系統(tǒng)。隨后李院士又將從GIS數(shù)據(jù)庫中發(fā)現(xiàn)知識發(fā)展成為空間數(shù)據(jù)挖掘與知識發(fā)現(xiàn),并出版了專著(2006、2013)，系統(tǒng)的介紹了空間數(shù)據(jù)挖掘的理論與方法。其經(jīng)典理論與方法主要包括概率論、證據(jù)理論、空間統(tǒng)計學、規(guī)則歸納、聚類分析、空間分析、模糊集、云模型、數(shù)據(jù)場、粗集、地學粗空間、神經(jīng)網(wǎng)絡、遺傳算法、可視化、決策樹、空間在線數(shù)據(jù)挖掘等。隨著技術(shù)的進步，出現(xiàn)了針對時空數(shù)據(jù)集的時空模式發(fā)現(xiàn)、時空聚類、時空異常檢測、時空預測和分類等時空數(shù)據(jù)挖掘技術(shù)和算法。從空間數(shù)據(jù)中可以發(fā)現(xiàn)的基本知識類型有普遍的幾何知識、空間分布規(guī)律、空間關(guān)聯(lián)規(guī)則、空間聚類規(guī)則、空間特征規(guī)則、空間區(qū)分規(guī)則、空間演變規(guī)則等,可用特征表、謂詞邏輯、產(chǎn)生式規(guī)則、語義網(wǎng)絡、面向?qū)ο蟮谋磉_方法和可視化等GIS知識和規(guī)則?；贕IS的數(shù)據(jù)挖掘在許多領(lǐng)域得到應用,如基于位置的服務、土地利用分類及地域范圍預測、全球氣候變化監(jiān)控、犯罪易發(fā)點發(fā)現(xiàn)、交通協(xié)調(diào)與管理、疾病監(jiān)控、水資源管理、自然災害預警、公共衛(wèi)生與醫(yī)療健康等7,8。3.3 面向大數(shù)據(jù)的空間分析空間分析主要研究空間格局、空間位置、空間行為、空間關(guān)系、空間過程，廣義的空間分析包括空間分析、空間建模、空間優(yōu)化三部分。大數(shù)據(jù)時代，地理信息系統(tǒng)數(shù)據(jù)極大豐富，數(shù)據(jù)已經(jīng)成為一種類似水、電、氣等按需服務的基礎(chǔ)設(shè)施。過去，空間數(shù)據(jù)的收集工作量巨大，人們總是通過減少模型復雜度來盡量使用較少的參數(shù)和數(shù)據(jù)進行預測建模， 這從一定程度上影響了模型的精度。大數(shù)據(jù)的出現(xiàn)為復雜空間過程建模的深入研究提供了可能，特別是對一些嚴重依賴背景信息的迭代計算模型，實時的數(shù)據(jù)獲取和實時的建模計算為這種問題提供了解決方法。另外，大數(shù)據(jù)還可以聚合展現(xiàn)空間對象在復雜模型中的具體行為，從微觀尺度上彌補宏觀模型構(gòu)建上的錯誤和不足。大數(shù)據(jù)時代，數(shù)據(jù)的精度越來越高，空間數(shù)據(jù)也越來越豐富，這對于復雜優(yōu)化問題的求解是一個新的機遇。在實際應用中，空間優(yōu)化對于交通建模、位置建模、商業(yè)地理學、政治地理學、土地利用規(guī)劃、城市規(guī)劃等有著重要的應用價值，可用于區(qū)域空間綜合評價、資源空間優(yōu)化配置、突發(fā)事件優(yōu)化管理以及空間決策支持等方面9。4 大數(shù)據(jù)GIS的發(fā)展前景4.1 面向大數(shù)據(jù)的商業(yè)模式在2012瑞士達沃斯世界經(jīng)濟論壇上與會學者宣稱：數(shù)據(jù)是一種新的經(jīng)濟資產(chǎn)，將對國家治理模式、企業(yè)決策、組織和業(yè)務流程、個人生活方式產(chǎn)生巨大的影響。基于大數(shù)據(jù)的企業(yè)特征層面的商業(yè)模式創(chuàng)新主要表現(xiàn)為：價值主張創(chuàng)新、價值創(chuàng)造和關(guān)鍵業(yè)務與流程創(chuàng)新、收益模式創(chuàng)新，以及外部關(guān)系網(wǎng)絡和價值網(wǎng)絡重構(gòu)。從產(chǎn)業(yè)鏈來看，基于大數(shù)據(jù)產(chǎn)業(yè)鏈的模式可以從兩個方向進行描述：以大數(shù)據(jù)產(chǎn)品價值鏈為線索沿橫向從數(shù)據(jù)采集、整理、分析到?jīng)Q策逐級遞進，以大數(shù)據(jù)技術(shù)為中心沿縱向從底層的基礎(chǔ)設(shè)施供應、大數(shù)據(jù)技術(shù)提供到完整IT解決方案服務。在行業(yè)層面，一些前瞻性的公司已經(jīng)開始嘗試跨界與融合，這種跨界與融合主要來自三個方向：一是產(chǎn)業(yè)鏈外企業(yè)依托天然擁有的大數(shù)據(jù)資源向大數(shù)據(jù)產(chǎn)業(yè)鏈擴張，涉足大數(shù)據(jù)生產(chǎn)；二是產(chǎn)業(yè)鏈內(nèi)企業(yè)依托大數(shù)據(jù)資源向其他行業(yè)擴張，涉足大數(shù)據(jù)行業(yè)外應用；三是以大數(shù)據(jù)為核心資源的全方位擴張?？傊嫦虼髷?shù)據(jù)的商業(yè)發(fā)展模式及變化才剛剛開啟序幕10。4.2 從數(shù)字城市到智慧城市為解決城市現(xiàn)代化發(fā)展中的一系列問題,地理信息領(lǐng)域從數(shù)字地球的角度提出數(shù)字城市的概念。近年來,學者們進一步提出智慧城市的概念,認為城市的未來發(fā)展將在各種IT技術(shù)的支持下,保障物質(zhì)流信息流、資金流的自動、實時、安全地流動,實現(xiàn)城市管理的智能抉擇與市民生活的智能服務,保障城市的社會、經(jīng)濟、民生的和諧發(fā)展。智慧城市是基于物聯(lián)網(wǎng)、云計算等新一代信息技術(shù)以及社交網(wǎng)絡、智能搜索、智能分析等工具和方法,實現(xiàn)城市信息全面透徹的感知、寬帶泛在的互聯(lián)、以及智能融合的應用，無所不在的傳感網(wǎng)絡將實現(xiàn)城市部件的實時感知與自主聯(lián)網(wǎng),地理信息系統(tǒng)將水、電、氣、交通、環(huán)境等基礎(chǔ)信息與特定時空下的城市事件、緊密關(guān)聯(lián)實時融合,將全面滿足城市人與物的聯(lián)通、管理、響應的需要，在這個環(huán)境中,各種傳感器能夠方便接入城市信息網(wǎng)絡,確保來自任何空間位置的信息源,能在任何時候經(jīng)過接入、關(guān)聯(lián)、融合等處理后發(fā)送并服務于在任何地點且有相應權(quán)限的數(shù)據(jù)管理與更新服務器，實現(xiàn)人與人、人與物、物與物之間進行信息獲取、傳遞、存儲、認知、決策6,11。4.3 從云計算到城市計算在全球化和人類活動地域擴張的21世紀，理解變化變得越來越重要。云計算的出現(xiàn)為解決理解變化的挑戰(zhàn)帶來了可能的解決方案。地理空間科學與所描述的密集問題可以受益于最新的云計算框架，并充分利用時空原理以優(yōu)化云計算。早期的調(diào)研發(fā)現(xiàn)云計算不僅能夠幫助地理空間科學，而且能夠采用時空原理進行優(yōu)化以最好地使用分布式計算資源。為說明云計算如何能潛在解決四個密集問題，YANG總結(jié)了數(shù)據(jù)密集型、計算密集型、發(fā)訪問密集、時空密集型四個科學和應用場景來分析這些問題、時空原則和潛在空間云計算解決方案間的內(nèi)在聯(lián)系。城市計算是以城市為背景，與城市規(guī)劃、交通、能源、環(huán)境、社會學和經(jīng)濟等學科融合的新興領(lǐng)域。城市計算將無處不在的感知技術(shù)、高效的數(shù)據(jù)管理和分析算法，以及新穎的可視化技術(shù)結(jié)合，致力于提高人們的生活品質(zhì)、保護環(huán)境和促進城市運轉(zhuǎn)效率12,13。4.4人類移動模式研究隨著帶有定位功能的移動計算設(shè)備等的廣泛應用，大量具有個體粒度的時空標記的大數(shù)據(jù)的產(chǎn)生（包括手機通話數(shù)據(jù)、社交網(wǎng)站簽到數(shù)據(jù)、出租車軌跡等）為長時間、高精度、高效地跟蹤個體空間移動提供可能。同時，地理信息系統(tǒng)與科學的不斷發(fā)展使得時間地理學從數(shù)據(jù)采集、存儲、分析到可視化等整個過程都獲得了極大的便利，其強大的可視化和空間分析功能增強了個體時空軌跡的直觀顯示及其隱含模式的識別能力。研究表明，個體移動模式識別與分析能夠為交通監(jiān)控與預測、信息與疾病傳播、旅游監(jiān)測與分析等眾多領(lǐng)域的研究提供工作基礎(chǔ)與方法指導?；诖髷?shù)據(jù)研究個體或群體行為，發(fā)現(xiàn)活動中蘊含的空間認知規(guī)律及空間行為和交互模式，建立基于人類活動規(guī)律的地理信息服務，已成為地理信息科學研究的前沿問題。當前，關(guān)于人類移動模式的研究從人類移動模式度量、移動模型構(gòu)建方面取得了很多的進展，但是如何更好的和地理空間結(jié)合并將發(fā)現(xiàn)的模式應用于相關(guān)領(lǐng)域還有很多需要研究和解決的問題14。5 結(jié)語經(jīng)過近半個世紀的發(fā)展，地理空間數(shù)據(jù)表達、管理與分析方法已經(jīng)比較成熟。然而，隨著大數(shù)據(jù)時代的來臨，對GIS的應用又提出了更高的要求?；谖恢玫纳缃痪W(wǎng)絡、城市計算、社會計算等新興領(lǐng)域的不斷涌現(xiàn)，云計算、物聯(lián)網(wǎng)基礎(chǔ)設(shè)施不斷成熟，移動對象、社交關(guān)系、智慧城市、大數(shù)據(jù)商業(yè)模式等作為典型大數(shù)據(jù)的重要性會越加凸顯，同時也將極大地推進面向大數(shù)據(jù)的GIS的核心問題研究，如異構(gòu)時空時空數(shù)據(jù)模型的統(tǒng)一，面向大數(shù)據(jù)的數(shù)據(jù)挖掘和空間分析，海量移動對象管理與軌跡數(shù)據(jù)挖掘、復雜時空網(wǎng)絡分析、圖像內(nèi)容時空語義分析等方面的研究已經(jīng)成為當前業(yè)界及學界共同關(guān)注的問題，大量新出現(xiàn)的理論和技術(shù)問題亟待解決。參考文獻1. 王樹良等. 大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考J,