【新浪財(cái)經(jīng)-馮兆意】等待鉆取的油田：互聯(lián)網(wǎng)財(cái)經(jīng)大數(shù)據(jù)

Discoverthebeneath80%DiscovertheBeneath80%等待鉆取的油田——互聯(lián)網(wǎng)財(cái)經(jīng)大數(shù)據(jù)新浪財(cái)經(jīng)馮兆意A、數(shù)據(jù)連接一切什么是大數(shù)據(jù)

新浪財(cái)經(jīng)大數(shù)據(jù)情況新浪財(cái)經(jīng)大數(shù)據(jù)類型專注于大數(shù)據(jù)與金融創(chuàng)新什么是大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新更廣的信息范圍新的數(shù)據(jù)與分析類型實(shí)時(shí)信息來(lái)自新技術(shù)的數(shù)據(jù)非傳統(tǒng)形式的媒體大數(shù)據(jù)量社交媒體數(shù)據(jù)最新流行詞定義大數(shù)據(jù)*2012年對(duì)95個(gè)國(guó)家中26個(gè)行業(yè)的1144名專業(yè)人員調(diào)查結(jié)果結(jié)構(gòu)化數(shù)據(jù)：存在于關(guān)系數(shù)據(jù)庫(kù)中，多年來(lái)一直主導(dǎo)著IT應(yīng)用；半結(jié)構(gòu)化數(shù)據(jù)：包括電子郵件、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為根底，這也是谷歌和百度存在的理由；非結(jié)構(gòu)化數(shù)據(jù)：廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新技術(shù)不斷產(chǎn)生，有報(bào)告稱，超過(guò)80%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)是一個(gè)涵蓋多種技術(shù)的概念，簡(jiǎn)單地說(shuō)，是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合?！按髷?shù)據(jù)”理念定義為4個(gè)V，即數(shù)量〔Volume〕、多樣性〔Variety〕、速度〔Velocity〕及數(shù)據(jù)的準(zhǔn)確性〔Veracity〕。新浪財(cái)經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Volume1000+萬(wàn)活躍用戶400000+條評(píng)論30000+條資訊100萬(wàn)+條財(cái)經(jīng)博文大量1000萬(wàn)，1/7股民新浪財(cái)經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Velocity7*24小時(shí)全球市場(chǎng)直播毫秒級(jí)更新頻率的美股實(shí)時(shí)行情數(shù)據(jù)日志分析速度1分鐘高速新浪財(cái)經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Variety國(guó)內(nèi)最多用戶的滬深互聯(lián)網(wǎng)行情產(chǎn)品超過(guò)200種外匯行情國(guó)內(nèi)首家覆蓋美股全市場(chǎng)覆蓋場(chǎng)外市場(chǎng)海量視頻，文本，博文，數(shù)據(jù)多樣新浪財(cái)經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Veracity670家國(guó)內(nèi)外合作媒體73家境內(nèi)外行情、數(shù)據(jù)合作伙伴562個(gè)高端專欄作家超20個(gè)國(guó)家和地區(qū)記者站85%+可信度代表投資者總體真實(shí)新浪財(cái)經(jīng)大數(shù)據(jù)類型專注于大數(shù)據(jù)與金融創(chuàng)新新浪影響主流中國(guó)，微博會(huì)聚社會(huì)力量新浪財(cái)經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新社交網(wǎng)絡(luò)權(quán)威媒體開(kāi)放平臺(tái)每天超過(guò)100萬(wàn)優(yōu)質(zhì)媒體及意見(jiàn)領(lǐng)袖貢獻(xiàn)內(nèi)容每天超過(guò)1億主流用戶通過(guò)新浪網(wǎng)來(lái)了解世界每天超過(guò)40億頁(yè)面訪問(wèn)及內(nèi)容消費(fèi)注冊(cè)用戶超過(guò)5億人均好友超過(guò)200人每天新發(fā)微博內(nèi)容量超過(guò)1.3億用戶每日時(shí)長(zhǎng)超過(guò)90分鐘超過(guò)34萬(wàn)平臺(tái)開(kāi)發(fā)者超過(guò)5萬(wàn)應(yīng)用和網(wǎng)站可以使用微博賬號(hào)直接登錄每日超過(guò)600萬(wàn)站外分享至微博，超過(guò)6000萬(wàn)流量導(dǎo)出新浪+微博雙核聯(lián)動(dòng)專注于大數(shù)據(jù)與金融創(chuàng)新新聞行情用戶微博搜索股吧B、新浪大數(shù)據(jù)平臺(tái)架構(gòu)大數(shù)據(jù)平臺(tái)架構(gòu)大數(shù)據(jù)挖掘框架專注于大數(shù)據(jù)與金融創(chuàng)新專注于大數(shù)據(jù)與金融創(chuàng)新用戶建模的根底準(zhǔn)備HTML

JS

META

…

DW〔標(biāo)準(zhǔn)化、標(biāo)準(zhǔn)化〕行為收集ETLUDF集群報(bào)告報(bào)表API效勞數(shù)據(jù)發(fā)現(xiàn)用戶

(產(chǎn)品)合作

伙伴C、新浪財(cái)經(jīng)大數(shù)據(jù)應(yīng)用新聞中的新主題，新概念-MotifInvesting輿情分析與股票正負(fù)面-Multi-FactorStrategy

用戶瀏覽行為與投資表現(xiàn)-BehaviorAnalysis專注于大數(shù)據(jù)與金融創(chuàng)新新聞數(shù)據(jù)挖掘證券關(guān)注度StockAttention新新聞NewNews主題聚類TopicCluster行業(yè)聚合IndustryCluster輿情監(jiān)控MonitoringPublicOpinion事件影響預(yù)測(cè)EventInfluenceForecast其他Others自然語(yǔ)言是人類最自然最重要的交流工具，也是人類獲取信息和表達(dá)信息的重要載體，隨著線上媒體的不斷開(kāi)展，每天會(huì)產(chǎn)生海量信息流。

新浪財(cái)經(jīng)每日產(chǎn)生30000條財(cái)經(jīng)資訊，我們從中可以得到什么？專注于大數(shù)據(jù)與金融創(chuàng)新新聞數(shù)據(jù)—話題挖掘—概念潛在語(yǔ)義分析(LSA)LSA(隱性語(yǔ)義分析)的目的是要從文本中發(fā)現(xiàn)隱含的語(yǔ)義維度——即“Topic”或者“Concept”。我們知道，在文檔的向量空間模型〔VSM〕中，文檔被表示成由特征詞出現(xiàn)概率組成的多維向量，這種方法的好處是可以將query和文檔轉(zhuǎn)化成同一空間下的向量計(jì)算相似度，可以對(duì)不同詞項(xiàng)賦予不同的權(quán)重專注于大數(shù)據(jù)與金融創(chuàng)新LSA的概率圖模型：

新聞數(shù)據(jù)案例1—話題挖掘—概念潛在語(yǔ)義分析(LSA)新聞TOPIC聚類—小時(shí)頻率專注于大數(shù)據(jù)與金融創(chuàng)新新聞數(shù)據(jù)案例2—策略因子—新聞大數(shù)據(jù)策略專注于大數(shù)據(jù)與金融創(chuàng)新績(jī)效統(tǒng)計(jì)統(tǒng)計(jì)項(xiàng)新聞大數(shù)據(jù)策略滬深300三個(gè)月收益14.31%8.02%年化收益70.73%36.15%年超額收益34.58%N/A最大回撤(三個(gè)月)-4.75%-1.14%夏普比率(三個(gè)月)51.77%40.24%ALPHA收益(三個(gè)月)0.56%N/A最長(zhǎng)盈利區(qū)間數(shù)54最長(zhǎng)虧損區(qū)間數(shù)22區(qū)間數(shù)量1212勝率75.00%66.67%新聞對(duì)于股市，兼具：根本面/情緒面/大數(shù)據(jù)，新聞不僅是信息的最初來(lái)源，而且記錄著傳播過(guò)程，是投資決策中的重要依據(jù)。我們使用新聞大數(shù)據(jù)進(jìn)行選股，在保證大數(shù)據(jù)的前提下，著力量化兩個(gè)核心要素：1.新聞中個(gè)股情感判斷。2.PV點(diǎn)擊量增速。點(diǎn)擊量增速反映該條新聞的熱度，但由于不同個(gè)股PV量級(jí)不同，不能簡(jiǎn)單用增量作為篩選因子，必須做“增速”的處理后才能衡量公司自身進(jìn)入公共視野的程度。在基于上訴邏輯中，我們?cè)谥挥泻孟⒌墓善敝校Y選點(diǎn)擊量增速最大的50只股票，形成股票池，20140801～20141101的回溯結(jié)果如右圖。新聞數(shù)據(jù)案例3—新詞發(fā)現(xiàn)專注于大數(shù)據(jù)與金融創(chuàng)新大數(shù)據(jù)產(chǎn)品—大數(shù)據(jù)i指數(shù)專注于大數(shù)據(jù)與金融創(chuàng)新大數(shù)據(jù)應(yīng)用，我們還在做哪些有意思的開(kāi)掘？專注于大數(shù)據(jù)與金融創(chuàng)新精準(zhǔn)營(yíng)銷在用戶需要的時(shí)間和地點(diǎn)，推薦合適的金融產(chǎn)品。大數(shù)據(jù)聯(lián)盟市場(chǎng)OPENAPI，OPENDATA投資習(xí)慣分析根據(jù)用戶模擬交易流水，分析您的風(fēng)險(xiǎn)偏好與期望收益。用戶群體行為分析通過(guò)分析用戶群體行為，得知投資收益高的這部分用戶分析方法的共同點(diǎn)。數(shù)據(jù)市場(chǎng)案例—利用專利數(shù)據(jù)進(jìn)行的量化研究專注于大數(shù)據(jù)與金融創(chuàng)新LeadingScore=Exp[C0+C06*P06(-1)創(chuàng)造公開(kāi)平均專利壽命 +C07*P07(-1)實(shí)用新型平均專利壽命 +C08*P08(-1)外觀專利平均專利壽命 +C09*P09(-1)創(chuàng)造授權(quán)平均專利壽命 +C15*P15(-1)當(dāng)年度創(chuàng)造授權(quán)平均審查期 +C19*P19(-1)當(dāng)年度創(chuàng)造公開(kāi)IPC分類號(hào)平均數(shù) +C20*P20(-1)當(dāng)年度實(shí)用新型IPC分類號(hào)平均數(shù) +C25*P25(-1)當(dāng)年度創(chuàng)造公開(kāi)平均頁(yè)數(shù) +C26*P26(-1)當(dāng)年度實(shí)用新型專利說(shuō)明書平均頁(yè)數(shù) +C31*P31(-1)當(dāng)年度創(chuàng)造公開(kāi)權(quán)利要求平均數(shù) +C32*P32(-1)當(dāng)年度實(shí)用新型權(quán)利要求平均數(shù) +C37*P37(-1)當(dāng)年度創(chuàng)造公開(kāi)獨(dú)權(quán)平均數(shù) +C38*P38(-1)當(dāng)年度實(shí)用新型獨(dú)權(quán)平均數(shù) +C44*P44(-1)當(dāng)年度實(shí)用新型附圖平均數(shù)] 〔數(shù)據(jù)來(lái)源：新浪財(cái)經(jīng)數(shù)據(jù)合作伙伴〕數(shù)據(jù)市場(chǎng)案例—利用專利數(shù)據(jù)進(jìn)行的量化研究(續(xù))專注于大數(shù)據(jù)與金融創(chuàng)新ROE成長(zhǎng)的公司數(shù)/全部公司數(shù)TOP5%績(jī)優(yōu)股績(jī)效領(lǐng)先大盤一倍預(yù)測(cè)前5%績(jī)優(yōu)股預(yù)測(cè)前10%績(jī)優(yōu)股預(yù)測(cè)后5%與10%績(jī)差股大盤平均表現(xiàn) 〔數(shù)據(jù)來(lái)源：新浪財(cái)經(jīng)數(shù)據(jù)合作伙伴〕新浪財(cái)經(jīng)-大數(shù)據(jù)對(duì)金融企業(yè)的價(jià)值

專注于大數(shù)據(jù)與金融創(chuàng)新數(shù)據(jù)消費(fèi)-》數(shù)據(jù)創(chuàng)新-》數(shù)據(jù)共享用戶傾聽(tīng)市場(chǎng)認(rèn)知金融企業(yè)產(chǎn)品研發(fā)市場(chǎng)活動(dòng)企業(yè)營(yíng)銷行業(yè)生態(tài)企業(yè)合作市場(chǎng)營(yíng)銷用戶傾聽(tīng)用戶畫像用戶分類營(yíng)銷創(chuàng)新指數(shù)創(chuàng)新產(chǎn)品市場(chǎng)感知策略研究用戶開(kāi)展數(shù)據(jù)共享聯(lián)合創(chuàng)新數(shù)據(jù)生態(tài)互聯(lián)經(jīng)濟(jì)造就了“大數(shù)據(jù)”時(shí)代，惟有那些在數(shù)據(jù)獲取、形成洞察力和將洞察力轉(zhuǎn)化為行動(dòng)方面表現(xiàn)優(yōu)秀的企業(yè)才能有持