大數(shù)據(jù)技術(shù)革命與未來的時代

大數(shù)據(jù)技術(shù)革命與未來的時代

隨著物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的日新月異，信息技術(shù)的發(fā)展逐漸進(jìn)入了一個新階段。規(guī)?；臄?shù)據(jù),以及對規(guī)?；瘮?shù)據(jù)的開發(fā)和利用,成為數(shù)字時代發(fā)展的一個新趨勢。英國著名學(xué)者維克托·邁爾-舍恩伯格在其《大數(shù)據(jù)時代》一書中稱這樣一個時代為大數(shù)據(jù)時代。他認(rèn)為,大數(shù)據(jù)時代的到來,意味著一個新的技術(shù)革命浪潮的到來。圍繞大數(shù)據(jù),人類社會的生產(chǎn)和生活方式將發(fā)生新的變革。全球著名的戰(zhàn)略思想庫麥肯錫全球研究院在2011年發(fā)布的《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》報(bào)告中指出,數(shù)據(jù)將成為未來人類社會賴以生存的新的重要戰(zhàn)略性生產(chǎn)資料,將是未來社會創(chuàng)新、競爭和生產(chǎn)力的下一個前沿。在此背景下,中國大數(shù)據(jù)技術(shù)的開發(fā)和應(yīng)用已在很多領(lǐng)域展開,受到高度重視。比如,中國工程院院士、著名互聯(lián)網(wǎng)專家鄔賀銓先生也曾認(rèn)為,隨著技術(shù)的飛速發(fā)展和信息的爆炸性增長,互聯(lián)網(wǎng)正在經(jīng)歷大數(shù)據(jù)時代。他認(rèn)為,大數(shù)據(jù)技術(shù)的應(yīng)用將催生很多新的業(yè)態(tài),將會對互聯(lián)網(wǎng)發(fā)展和人類社會產(chǎn)生深刻變革。作為數(shù)字時代發(fā)展的新趨勢,大數(shù)據(jù)時代的到來以及大數(shù)據(jù)技術(shù)的應(yīng)用無疑將對社會方方面面產(chǎn)生重要影響。那么,大數(shù)據(jù)技術(shù)的應(yīng)用將會對媒體業(yè)的發(fā)展,尤其是傳統(tǒng)媒體的轉(zhuǎn)型升級產(chǎn)生什么樣的影響,這是傳媒界必須思考的重要現(xiàn)實(shí)命題。一、基于業(yè)務(wù)分析的商業(yè)價(jià)值:大數(shù)據(jù)的應(yīng)用價(jià)值從字面意義上來看,大數(shù)據(jù)是指規(guī)模化的海量數(shù)據(jù)。實(shí)際上,它是指大小超出了典型數(shù)據(jù)庫軟件的采集、儲存、管理和分析能力的數(shù)據(jù)集。這樣一個數(shù)據(jù)集,數(shù)據(jù)量從TB級發(fā)展到PB級。眾所周知,現(xiàn)在互聯(lián)網(wǎng)常用的存儲計(jì)量單位為GB,而比GB更大的儲存單位還有TB、PB,甚至EB和ZB,這其中大小相差均為1024倍之多。由此不難看出,大數(shù)據(jù)技術(shù)應(yīng)用對數(shù)據(jù)規(guī)模要求是何其之高。一般認(rèn)為,“大數(shù)據(jù)”特征可以用四個“V”來歸括。一是VolumeBig,即數(shù)據(jù)規(guī)模容量大,計(jì)算能力要求高,從TB到PB,甚而EB和ZB。如此海量的數(shù)據(jù)信息遠(yuǎn)非現(xiàn)有信息基礎(chǔ)設(shè)施和IT架構(gòu)所能承擔(dān)。二是VariableType,即數(shù)據(jù)類型多樣,數(shù)據(jù)來源多種。既有結(jié)構(gòu)化數(shù)據(jù),又有半結(jié)構(gòu)化數(shù)據(jù),更有非結(jié)構(gòu)化數(shù)據(jù),且將以網(wǎng)頁、視頻、圖像與位置等形態(tài)的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為最主要的數(shù)據(jù)類型。三是VelocityFast,即數(shù)據(jù)處理實(shí)時速度要求快。大數(shù)據(jù)的數(shù)據(jù)流是高速實(shí)時數(shù)據(jù)流,換言之為動態(tài)數(shù)據(jù),因此對數(shù)據(jù)處理速度和持續(xù)性要求非常高。四是ValueHigh,即商業(yè)價(jià)值高。但是,大數(shù)據(jù)的商業(yè)價(jià)值高和價(jià)值密度低是相伴而存的。也就是獲取的具有高度價(jià)值的信息,是通過海量數(shù)據(jù)處理而來的,可謂“千淘萬漉雖辛苦,吹盡狂沙始到金”。大數(shù)據(jù)的以上特征,無疑決定了大數(shù)據(jù)技術(shù)的應(yīng)用,不是現(xiàn)有的數(shù)據(jù)庫軟件所能處理的,也不是一般的信息技術(shù)基礎(chǔ)設(shè)施所能承載的。它需要新的信息軟件系統(tǒng)的支撐和數(shù)據(jù)中心建設(shè)。問題是,對數(shù)據(jù)處理有這么高的要求,卻受到業(yè)界的無限推崇,根本的原因則在于它是一種發(fā)展趨勢,是一種產(chǎn)業(yè)變革力量,具有很強(qiáng)的商業(yè)價(jià)值,在未來可能形成變革時代的商業(yè)模式。大數(shù)據(jù)技術(shù)的應(yīng)用能夠形成一種商業(yè)模式的奧秘在于,大數(shù)據(jù)不僅是一種資源,更是一種工具。作為一種工具,利用大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,可以進(jìn)行趨勢判斷,進(jìn)而進(jìn)行商業(yè)業(yè)態(tài)創(chuàng)新和商業(yè)價(jià)值開發(fā)。業(yè)界普遍認(rèn)為,大數(shù)據(jù)技術(shù)應(yīng)用對社會方方面面都有商業(yè)價(jià)值:一是運(yùn)用大數(shù)據(jù)可以進(jìn)行宏觀經(jīng)濟(jì)分析服務(wù)。在這方面,業(yè)界已有很多實(shí)踐案例。比如,IBM日本公司的經(jīng)濟(jì)指標(biāo)預(yù)測系統(tǒng),從網(wǎng)絡(luò)新聞中擷取影響制造業(yè)的480項(xiàng)經(jīng)濟(jì)數(shù)據(jù),然后進(jìn)行一定的數(shù)理模型分析,從而計(jì)算出采購經(jīng)理人指數(shù)的PMI預(yù)測值。而眾所周知,PMI是經(jīng)濟(jì)領(lǐng)域監(jiān)測經(jīng)濟(jì)運(yùn)行的及時、可靠的先行指標(biāo)之一,利用大數(shù)據(jù)技術(shù)的應(yīng)用對其進(jìn)行商業(yè)價(jià)值開發(fā)的前景可謂非常廣闊。管中窺豹,可見一斑。在未來,大數(shù)據(jù)技術(shù)的應(yīng)用將成為未來服務(wù)經(jīng)濟(jì)分析的重要工具。二是運(yùn)用大數(shù)據(jù)推動信息產(chǎn)業(yè)消費(fèi)升級。在電子商務(wù)興起的背景之下,網(wǎng)購已成為一種消費(fèi)趨勢。這種趨勢不僅極大地促進(jìn)了物流和實(shí)體產(chǎn)業(yè)的快速發(fā)展,而且極大地促進(jìn)了物聯(lián)網(wǎng)、云計(jì)算等信息產(chǎn)業(yè)的融合發(fā)展。而大數(shù)據(jù)技術(shù)的應(yīng)用所帶動的營銷方式升級,則必然促進(jìn)電子商務(wù)領(lǐng)域的發(fā)展,進(jìn)而推動信息產(chǎn)業(yè)發(fā)展。三是運(yùn)用大數(shù)據(jù)進(jìn)行各種咨詢服務(wù)。據(jù)麥肯錫的研究報(bào)告,如果大數(shù)據(jù)全面應(yīng)用于美國醫(yī)療行業(yè),美國每年將減少8%的醫(yī)療支出,同時能創(chuàng)造出3000億美元的附加值。與此同時,保險(xiǎn)、電子商務(wù)、交通、媒體等各行各業(yè)都可以運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行管理服務(wù)提升和數(shù)據(jù)價(jià)值挖掘。利用數(shù)據(jù)進(jìn)行分析,從而進(jìn)行產(chǎn)品開發(fā)無疑具有巨大的商業(yè)空間。雖然大數(shù)據(jù)技術(shù)應(yīng)用的社會領(lǐng)域無所不包,非常廣泛。但是,總體來看,大數(shù)據(jù)技術(shù)利用的商業(yè)模式,主要是大數(shù)據(jù)分析所開發(fā)的產(chǎn)品。這些產(chǎn)品,或可優(yōu)化企業(yè)管理,或可提高政務(wù)系統(tǒng)效率,或可提升企業(yè)服務(wù)能力,或可提升企業(yè)產(chǎn)品的價(jià)值,直至形成新的信息產(chǎn)品。大數(shù)據(jù)技術(shù)的運(yùn)用基于海量數(shù)據(jù)的獲取。數(shù)據(jù)的獲取能力,是決定大數(shù)據(jù)分析和開發(fā)的關(guān)鍵。大數(shù)據(jù)技術(shù)運(yùn)營的過程中,其數(shù)據(jù)主要來源是什么呢?一般認(rèn)為,這種來源主要包括三個方面。一是企業(yè)內(nèi)部的經(jīng)營交易信息,二是物聯(lián)網(wǎng)世界中商品和物流信息,三是互聯(lián)網(wǎng)世界中人與人交互信息和位置信息。這三大數(shù)據(jù)信息的海量集聚,才是大數(shù)據(jù)產(chǎn)業(yè)化和價(jià)值化的關(guān)鍵。從流程來看,大數(shù)據(jù)的運(yùn)營模式應(yīng)該是由這樣一個環(huán)節(jié)構(gòu)成的,首先是數(shù)據(jù)獲取,其次是數(shù)據(jù)分析,最后是數(shù)據(jù)產(chǎn)業(yè)化。二、從數(shù)據(jù)到數(shù)據(jù)思維:大數(shù)據(jù)時代的管理理念和實(shí)踐過程大數(shù)據(jù)標(biāo)志著數(shù)字時代發(fā)展的新趨勢。當(dāng)代世界,新聞出版業(yè)正在經(jīng)歷著數(shù)字轉(zhuǎn)型的艱難挑戰(zhàn),無疑也將受到大數(shù)據(jù)技術(shù)應(yīng)用的深刻影響。從本質(zhì)上來講,媒體業(yè)就是數(shù)據(jù)產(chǎn)業(yè)。因此,充分利用大數(shù)據(jù)技術(shù),既是推動自身轉(zhuǎn)型升級的需要,更是行業(yè)本質(zhì)的要求。有這樣幾個方面值得我們注意。一是通過大數(shù)據(jù)技術(shù)應(yīng)用提升媒體管理水平。大數(shù)據(jù)不僅是一種工具,更是一種哲學(xué)觀和方法論。這種哲學(xué)觀就是人類社會的發(fā)展已經(jīng)進(jìn)入以數(shù)據(jù)資源為基礎(chǔ)的階段,數(shù)據(jù)思維將是人類發(fā)展的一個主要思維方式。正如《大數(shù)據(jù)時代的歷史機(jī)遇》一書中所說,“缺少數(shù)據(jù)資源,無以談產(chǎn)業(yè)。缺少數(shù)據(jù)思維,無以言未來”。在大數(shù)據(jù)時代,數(shù)據(jù)成為一種與能源和物質(zhì)同等重要的生產(chǎn)資料,圍繞數(shù)據(jù)進(jìn)行產(chǎn)品開發(fā)和服務(wù)升級將成為未來信息產(chǎn)業(yè)競爭的新趨勢。這就要求,包括媒體業(yè)在內(nèi)的各種社會企業(yè)都要有數(shù)據(jù)思維,要認(rèn)識到數(shù)據(jù)的價(jià)值,以開放和創(chuàng)新視野來謀劃數(shù)據(jù)和開發(fā)數(shù)據(jù)。具體到新聞業(yè)本身,首先意味著新聞機(jī)構(gòu)管理理念、管理方式、管理方法,甚至管理運(yùn)行體制機(jī)制都將發(fā)生前所未有的變革。換言之,新聞企業(yè)管理將步入一個以數(shù)據(jù)為中心的階段,以數(shù)據(jù)思維為理念的時代。比如,新聞企業(yè)的很多生產(chǎn)經(jīng)營行為或?qū)@一個數(shù)據(jù)庫中心展開。通過一定的管理軟件,可以將企業(yè)內(nèi)部所有部門和所有員工的業(yè)務(wù)行為記錄在案,從而形成數(shù)據(jù)庫。在這個軟件平臺上,企業(yè)外部讀者通過網(wǎng)絡(luò)或手機(jī)應(yīng)用平臺進(jìn)入企業(yè)的大量行為也將形成一個數(shù)據(jù)庫。與此同時,新聞企業(yè)所擁有的原創(chuàng)新聞信息內(nèi)容本身就是一個具有無限價(jià)值的數(shù)據(jù)資產(chǎn),運(yùn)用大數(shù)據(jù)技術(shù)對這些數(shù)據(jù)資產(chǎn)進(jìn)行開發(fā),無疑有著廣闊的商業(yè)前景。這無疑對傳統(tǒng)出版管理提出了很大挑戰(zhàn),要求其管理觀念和管理系統(tǒng)全面創(chuàng)新和升級。二是通過大數(shù)據(jù)技術(shù)應(yīng)用進(jìn)行新聞內(nèi)容輔助報(bào)道。大數(shù)據(jù)時代的到來,為新聞選題策劃和內(nèi)容生產(chǎn)水平的提升提供了新的可能。大數(shù)據(jù)的本質(zhì)就是通過對數(shù)據(jù)證析,進(jìn)行數(shù)據(jù)研判,從而優(yōu)化產(chǎn)品,提升質(zhì)量。對于新聞業(yè)而言,通過對受眾閱讀偏好等數(shù)據(jù)的分析,可以更精準(zhǔn)地進(jìn)行選題策劃,從而提高選題質(zhì)量和提升報(bào)道水平,增強(qiáng)新聞報(bào)道的貼近性、生動性。比如,利用大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù),對受眾瀏覽過的網(wǎng)頁內(nèi)容進(jìn)行分析,就可以很容易判斷幾億受眾閱讀信息的特征,從而在此基礎(chǔ)上判斷受眾到底喜歡什么。眾所周知,傳統(tǒng)的新聞受眾調(diào)查,都是基于抽樣調(diào)查展開的。而在大數(shù)據(jù)時代則不同,巨量數(shù)據(jù)為事物發(fā)展趨勢的研判帶來了可能。人們在大數(shù)據(jù)時代,更熱衷的是尋找事物的相關(guān)關(guān)系,而不是因果關(guān)系。也就是說,通過大數(shù)據(jù)來判斷市場受眾的閱讀需求和閱讀品位,將變得更加精確。比如,對亞馬遜網(wǎng)站上受眾在網(wǎng)站上的查詢行為的分析,就可以發(fā)現(xiàn)讀者的閱讀需求偏好。在這方面,西方一些傳媒機(jī)構(gòu)有一些做法很值得借鑒。比如,MSN網(wǎng)站2011年上線的msnNow數(shù)字出版企業(yè),在對Twitter、Facebook、Bing和BreakingN等網(wǎng)站數(shù)據(jù)內(nèi)容分析的基礎(chǔ)上,以分鐘為單位識別熱門話題,然后在此基礎(chǔ)上組織編輯團(tuán)隊(duì)策劃撰寫了100字左右的話題故事,在當(dāng)時就受到受眾青睞。近年來,西方媒體對數(shù)據(jù)的運(yùn)用越來越重視,出現(xiàn)了不少專門與數(shù)據(jù)打交道的記者,通過數(shù)據(jù)挖掘的方式進(jìn)行新聞報(bào)道。利用大數(shù)據(jù)分析輔助策劃新聞選題和組織報(bào)道內(nèi)容,無疑是未來新聞生產(chǎn)不可或缺的重要方面。三是通過大數(shù)據(jù)技術(shù)應(yīng)用實(shí)現(xiàn)新聞服務(wù)的精細(xì)化和定制化。對于媒體業(yè)而言,大數(shù)據(jù)的市場應(yīng)用不僅表現(xiàn)在內(nèi)容生產(chǎn)上,還表現(xiàn)在用戶拓展上,尤其對移動媒體新聞市場具有重要意義。這體現(xiàn)在兩個層面,一是精確地尋找受眾。比如,新聞企業(yè)網(wǎng)站,尤其是門戶新聞網(wǎng)站每天都有成萬上億的受眾逗留體驗(yàn),可以通過對他們的數(shù)據(jù)行為的分析,弄清受眾是誰、訪問過哪些網(wǎng)站、關(guān)心哪些話題等受眾個性化的特點(diǎn),從而在此基礎(chǔ)上深入整合分析受眾行為特征。二是精確地推薦新聞。推薦新聞是在精確地尋找受眾基礎(chǔ)上進(jìn)行的。只有通過大數(shù)據(jù)挖掘技術(shù)弄清了分眾的行為特征,才能對受眾進(jìn)行個性化內(nèi)容推介,從而實(shí)現(xiàn)新聞個性化和分眾化的信息服務(wù)。三、外部數(shù)據(jù)庫的發(fā)展大數(shù)據(jù)技術(shù)已成為推動媒體業(yè)轉(zhuǎn)型升級的重要工具。媒體業(yè)要充分地認(rèn)識到大數(shù)據(jù)技術(shù)應(yīng)用對媒體未來發(fā)展的深刻影響,采取積極措施發(fā)展大數(shù)據(jù)技術(shù),開發(fā)數(shù)據(jù)價(jià)值,從而更好地推動媒體轉(zhuǎn)型升級。具體來講,有這樣幾個方面。一是要重視數(shù)據(jù)資源積累和轉(zhuǎn)化工作。大數(shù)據(jù)技術(shù)應(yīng)用的前提,是擁有海量的數(shù)據(jù)獲取能力。一是內(nèi)部數(shù)據(jù)庫建設(shè),二是外部數(shù)據(jù)庫發(fā)展。內(nèi)部數(shù)據(jù)庫就是通過對傳統(tǒng)出版內(nèi)容資源的數(shù)據(jù)化轉(zhuǎn)換和內(nèi)部管理資源的數(shù)據(jù)化處理,形成一個大的開放的數(shù)據(jù)網(wǎng)絡(luò)。外部數(shù)據(jù)庫發(fā)展,是數(shù)據(jù)資源的必要補(bǔ)充。一方面可以通過出版企業(yè)的網(wǎng)絡(luò)平臺獲取用戶行為數(shù)據(jù),另一方面可以通過合作、購買、交換等方式來從其他數(shù)據(jù)供應(yīng)商獲取數(shù)據(jù)資源。二是要推動大數(shù)據(jù)技術(shù)應(yīng)用能力的提高。對于傳媒業(yè)來講,網(wǎng)絡(luò)和信息技術(shù)的應(yīng)用是短板。雖然大多數(shù)的傳統(tǒng)新聞機(jī)構(gòu)都在朝著數(shù)字化方向轉(zhuǎn)型,創(chuàng)辦了諸多網(wǎng)站平臺,但是,與百度等技術(shù)平臺比較起來,傳統(tǒng)新聞機(jī)構(gòu)的大數(shù)據(jù)應(yīng)用和開發(fā)能力要遜色得多。而大數(shù)據(jù)商業(yè)價(jià)值的開發(fā),又離不開數(shù)據(jù)技術(shù)應(yīng)用。因此,媒體業(yè)要想在大數(shù)據(jù)時代勇立潮頭,就必須在大數(shù)據(jù)技術(shù)應(yīng)用上提高運(yùn)用能力和水平。一方面要推動傳統(tǒng)數(shù)據(jù)獲取和應(yīng)用能力的發(fā)展,另一方面要推進(jìn)新型的包含了統(tǒng)計(jì)分析