基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺架構(gòu)的研究及應(yīng)用開題報告-宋尊鋒

1、基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺架構(gòu)的研究及應(yīng)用開題報告架構(gòu)的研究及應(yīng)用開題報告石油工程碩士一班 宋尊鋒2015年1月7日1 1一、課題研究的目的與意義一、課題研究的目的與意義 油田開發(fā)指標(biāo)分析和預(yù)測是油田開發(fā)規(guī)劃、開發(fā)方案設(shè)計與決策管理的重要依據(jù)。利用油田各應(yīng)用系統(tǒng)所提供的數(shù)據(jù)對油田開發(fā)進行分析決策已經(jīng)成為實現(xiàn)油氣田生產(chǎn)經(jīng)營管理目標(biāo)的重要行為之一，信息化的管理方式已經(jīng)深入到生產(chǎn)與管理的各個層次。隨著油田信息化建設(shè)模式由數(shù)字化向智能化轉(zhuǎn)變，為解決單項需求和部門應(yīng)用，越來越多各自獨立的子系統(tǒng)建成并投入使用，存在的問題也逐漸暴露出來：一、課題研究的目的與意義一、課題研究的目

2、的與意義1、大量重復(fù)功能及兼容性問題造成資源浪費、管理復(fù)雜低效、信息傳遞沖突不暢。2、各系統(tǒng)內(nèi)的數(shù)據(jù)彼此獨立，互不關(guān)聯(lián)，形成信息孤島，數(shù)據(jù)共享困難。3、生產(chǎn)數(shù)據(jù)量和數(shù)據(jù)類型復(fù)雜度不斷增大，實時數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)不斷增多，傳統(tǒng)數(shù)據(jù)庫或數(shù)據(jù)存儲方式已不能滿足今后發(fā)展需求。4、面對日趨復(fù)雜的海量生產(chǎn)數(shù)據(jù)，傳統(tǒng)分析方式已經(jīng)顯得力不從心，制約了油田生產(chǎn)的分析決策水平。一、課題研究的目的與意義一、課題研究的目的與意義 針對上述問題，我們需要建立一個基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺，將油田現(xiàn)有生產(chǎn)、經(jīng)營等各類信息系統(tǒng)進行統(tǒng)一整合。通過整合，改變現(xiàn)有單一專業(yè)縱向生產(chǎn)管理和研究模式，使管理人員、研究人員和技術(shù)人員能

3、夠輕松獲取和共享來自油田不同專業(yè)的數(shù)據(jù)。在豐富的數(shù)據(jù)基礎(chǔ)上，通過數(shù)據(jù)挖掘技術(shù)，不僅可以開展油田研究、進行生產(chǎn)分析、還可以實時獲取現(xiàn)場生產(chǎn)數(shù)據(jù)、監(jiān)控生產(chǎn)運行狀態(tài)，更好的管理和經(jīng)營油田。二二、國內(nèi)外現(xiàn)狀研究、國內(nèi)外現(xiàn)狀研究 目前無論國內(nèi)還是國外在傳統(tǒng)的油田數(shù)據(jù)挖掘領(lǐng)域都取得一定應(yīng)用成果，主要通過模糊邏輯理論、神經(jīng)網(wǎng)絡(luò)系統(tǒng)等數(shù)據(jù)挖掘算法，基于MESH網(wǎng)絡(luò)、移動網(wǎng)絡(luò)平臺，利用小型機或大規(guī)模服務(wù)器完成相關(guān)油田各應(yīng)用系統(tǒng)軟件的開發(fā)及應(yīng)用。實現(xiàn)油水井動態(tài)分析、油水井檢測與診斷、油田自動監(jiān)控等功能，為技術(shù)人員和管理人員提供可靠的管理決策意見。二二、國內(nèi)外現(xiàn)狀研究、國內(nèi)外現(xiàn)狀研究 由于國外云計算應(yīng)用起步較早，對

4、基于大數(shù)據(jù)的分布式存儲和計算應(yīng)用較為廣泛，傳統(tǒng)的IT公司也都轉(zhuǎn)型到云計算領(lǐng)域，比如IBM、HP，他們都有自己的大數(shù)據(jù)挖掘平臺。比如2011年IBM公司就推出了IBM InfoSphere BigInsights 大數(shù)據(jù)分析平臺。 國內(nèi)油田目前基于大數(shù)據(jù)的數(shù)據(jù)挖掘方式正處在起步階段，但隨著中石油兩地三中心的云計算模式的不斷推廣應(yīng)用，各油田都在建立自己的數(shù)據(jù)中心，搭建私有云平臺，大數(shù)據(jù)必勢不可擋。三、三、課題研究目標(biāo)、研究內(nèi)容課題研究目標(biāo)、研究內(nèi)容研究目標(biāo)研究目標(biāo) 結(jié)合目前油田生產(chǎn)各業(yè)務(wù)系統(tǒng)、各類數(shù)據(jù)庫建設(shè)情況，以及油田生產(chǎn)應(yīng)用需求，構(gòu)建基于大數(shù)據(jù)的油田生產(chǎn)數(shù)據(jù)挖掘平臺及體系架構(gòu)。三、三、課題研究

5、目標(biāo)、研究內(nèi)容課題研究目標(biāo)、研究內(nèi)容研究內(nèi)容研究內(nèi)容 基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺主要包括應(yīng)用系統(tǒng)整合、大數(shù)據(jù)挖掘平臺及數(shù)據(jù)展示應(yīng)用 3層架構(gòu)，主要研究內(nèi)容也圍繞這三個層次展開。油田生產(chǎn)各業(yè)務(wù)部門自建應(yīng)用系統(tǒng)大數(shù)據(jù)數(shù)據(jù)挖掘HDFS、HBASE分布式數(shù)據(jù)存儲，數(shù)據(jù)倉庫大數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)展示應(yīng)用應(yīng)用系統(tǒng)整合用戶權(quán)限數(shù)據(jù)庫軟件協(xié)議數(shù)據(jù)接口數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)抓取數(shù)據(jù)識別數(shù)據(jù)整合，構(gòu)建樣本數(shù)據(jù)集數(shù)據(jù)匯總模型數(shù)據(jù)分析數(shù)據(jù)元數(shù)據(jù)挖掘算法建模工具知識庫動態(tài)分析產(chǎn)量預(yù)測實時監(jiān)控效益評價可視化展示，人機交互基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺系統(tǒng)架構(gòu)圖基于大數(shù)據(jù)的油田生產(chǎn)挖掘平臺系統(tǒng)架構(gòu)圖油田生產(chǎn)各業(yè)務(wù)部門自建應(yīng)用系統(tǒng)

6、大數(shù)據(jù)數(shù)據(jù)挖掘HDFS、HBASE分布式數(shù)據(jù)存儲，數(shù)據(jù)倉庫大數(shù)據(jù)數(shù)據(jù)挖掘平臺展示應(yīng)用應(yīng)用系統(tǒng)整合用戶權(quán)限數(shù)據(jù)庫軟件協(xié)議數(shù)據(jù)接口數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)抓取數(shù)據(jù)識別數(shù)據(jù)整合，構(gòu)建樣本數(shù)據(jù)集數(shù)據(jù)匯總模型數(shù)據(jù)分析數(shù)據(jù)元數(shù)據(jù)挖掘算法建模工具知識庫動態(tài)分析產(chǎn)量預(yù)測實時監(jiān)控效益評價可視化展示，人機交互（1）應(yīng)用系統(tǒng)整合研究 應(yīng)用系統(tǒng)整合主要對油田現(xiàn)有應(yīng)用系統(tǒng)用戶權(quán)限、數(shù)據(jù)庫、軟件協(xié)議和數(shù)據(jù)接口等進行調(diào)研，通過數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、屏幕圖像識別等技術(shù)將分布在各獨立數(shù)據(jù)庫或系統(tǒng)中的數(shù)據(jù)整合，并轉(zhuǎn)換成適合數(shù)據(jù)挖掘或建模的形式，構(gòu)建樣本數(shù)據(jù)集。二、課題研究目標(biāo)、研究內(nèi)容二、課題研究目標(biāo)、研究內(nèi)容大數(shù)據(jù)數(shù)據(jù)挖掘HDFS、

7、HBASE分布式數(shù)據(jù)存儲，數(shù)據(jù)倉庫大數(shù)據(jù)數(shù)據(jù)挖掘數(shù)據(jù)匯總模型數(shù)據(jù)分析數(shù)據(jù)元數(shù)據(jù)挖掘算法建模工具知識庫（2）大數(shù)據(jù)挖掘研究 通過分布式存儲技術(shù)（HDFS、HBASE），實現(xiàn)匯總數(shù)據(jù)、模型數(shù)據(jù)、分析數(shù)據(jù)以及元數(shù)據(jù)等各類數(shù)據(jù)的存儲，相當(dāng)于數(shù)據(jù)倉庫?；诖髷?shù)據(jù)建模算法和工具，挖掘數(shù)據(jù)中隱藏的模式或關(guān)系，采用數(shù)據(jù)建模軟件（如 SPSSModeler、Hadoop 等）建立分類或預(yù)測模型（規(guī)則、公式或方程式），從而生成預(yù)測結(jié)果，確定評估方法并利用測試樣本，結(jié)合專家經(jīng)驗不斷提升模型精度，輔助油田生產(chǎn)決策。二、課題研究目標(biāo)、研究內(nèi)容二、課題研究目標(biāo)、研究內(nèi)容數(shù)據(jù)展示應(yīng)用動態(tài)分析產(chǎn)量預(yù)測實時監(jiān)控效益評價可視化展

8、示，人機交互二、課題研究目標(biāo)、研究內(nèi)容二、課題研究目標(biāo)、研究內(nèi)容（3）數(shù)據(jù)展示應(yīng)用研究 將建立的數(shù)據(jù)模型針對油田生產(chǎn)需求封裝成可運行軟件，包括建模算法的實現(xiàn)、數(shù)據(jù)的可視化和界面設(shè)計等，最終展示給用戶使用，實現(xiàn)人機交互。三、課題擬采取的研究方法、技術(shù)路線三、課題擬采取的研究方法、技術(shù)路線研究方法研究方法 （1）調(diào)研與學(xué)習(xí)，通過與油田公司信息中心、信息技術(shù)公司的數(shù)據(jù)專家進行大數(shù)據(jù)、數(shù)據(jù)挖掘技術(shù)、已有數(shù)據(jù)挖掘系統(tǒng)進行技術(shù)上的學(xué)習(xí)與交流同時對采油廠地質(zhì)、工程等相關(guān)業(yè)務(wù)口專家進行業(yè)務(wù)方面的調(diào)研，完成需求分析。（2）通過現(xiàn)場應(yīng)用，結(jié)合生產(chǎn)實際，利用信息中心便利的實驗條件和軟件開發(fā)資源，建立一個適應(yīng)持續(xù)數(shù)據(jù)

9、增長需求的數(shù)據(jù)挖掘體系架構(gòu)。三、課題擬采取的研究方法、技術(shù)路線三、課題擬采取的研究方法、技術(shù)路線技術(shù)路線技術(shù)路線 數(shù)據(jù)挖掘數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)抓取技術(shù)研究各獨立信息系統(tǒng)數(shù)據(jù)庫、模塊等調(diào)研應(yīng)用系統(tǒng)整合分布式存儲與技術(shù)研究大數(shù)據(jù)挖掘大數(shù)據(jù)數(shù)據(jù)挖掘平臺研究基于大數(shù)據(jù)的油田生產(chǎn)數(shù)據(jù)挖掘平臺軟件封裝數(shù)據(jù)展示應(yīng)用建模算法數(shù)據(jù)可視化四、課題預(yù)期創(chuàng)新點四、課題預(yù)期創(chuàng)新點（1）基于最新的分布式存儲、分布式計算技術(shù)，實現(xiàn)最高性價比，可以應(yīng)對數(shù)據(jù)量的持續(xù)增加（2）將各類油田生產(chǎn)相關(guān)數(shù)據(jù)統(tǒng)一到大數(shù)據(jù)挖掘平臺來進行數(shù)據(jù)挖掘，在算法庫不斷完善的前提下可以實現(xiàn)對油田海量數(shù)據(jù)整體進行數(shù)據(jù)挖掘，從而發(fā)現(xiàn)其中隱藏的有效信息，解決原有信息孤島問題五、進度安排五、進度安排（1）2015.11-2015.12：進行國內(nèi)外文獻調(diào)研，