畢業(yè)論文-神經(jīng)網(wǎng)絡在股價預測中的應用.doc

青島大學本科生畢業(yè)論文（設計）本科畢業(yè)論文(設計)題 目：_神經(jīng)網(wǎng)絡在股價預測中的應用_ Neural Networks Application in Stock Price Forecsting學 院：_ _自動化工程學院_ 專 業(yè)： 自動化_ 姓 名： 指導教師：_ _ _ 2013年 6 月 5 日摘 要 隨著全球經(jīng)濟的高速發(fā)展和各國人們對于股票市場投資認識的不斷加深，越來越多的人們踏入了股市投資這個行業(yè)，因此更多的投資者便越來越關心股票價格預測這個話題。由于股票投資一個最大的特點是更大的風險就意味著更大的利益，因此股票投資者希望通過建立一個非常精確的股市價格的預測模型來獲得更多的利益，故股市價格的預測具有非常重要的應用價值。 但是由于股票市場是一個十分繁雜的非線性的動力學系統(tǒng)，影響股票市場變化的因素除了其自身所包含的規(guī)律之外，還包括經(jīng)濟環(huán)境等諸多因素，故一般的預測方法難以對其進行準確的預測。由于BP神經(jīng)網(wǎng)絡具有非常好的非線性映射能力、泛化能力和容納錯誤的能力，因而其非常適合用來解決股票預測領域中的一些問題。 在本文中，詳細介紹了BP算法的基本知識，同時針對BP算法在股市預測中存在的學習速度慢、容易陷入局部極小值、預測結果精度不高等問題，提出一種改進的BP神經(jīng)網(wǎng)絡算法。然后本文基于BP網(wǎng)絡進行股市的價格進行預測分析的原理，建立一個基于BP網(wǎng)絡的股市價格的預測模型，然后采用改進后的BP算法進行股市預測，并通過MATLAB軟件對其預測過程進行仿真實驗，最終結果達到了所預料的效果。關鍵詞：神經(jīng)網(wǎng)絡，股票預測，BP算法 Abstract With the increasingly rapid economic development and the change of peoples investment consciousness, stock investment has become an important part of modern life, and the prediction of stock price has become the focus of concern and research of investors. How to build a higher computing speed and a more accurate prediction model of stock market, not only has theoretical significance for financial investors, but also has a more important practical application value. Because the income of stock investment is often proportional to the risk. Although the stock market is a highly complicated nonlinear system, its variation has its own regulation, it is influenced by the market, the macroeconomic environment and other noneconomic reasons, so ,it is hard to forecast the accuracy of the method. The BP neural is suitable to solve some problems in stock market prediction, because of its nonlinear mapping ability, generalization ability and good tolerance, In this thesis, the author introduces the basic knowledge of BP algorithm, as well as an improved algorithm of BP neural network which is in order to solve the problems of the BP algorithm in stock prediction in the presence of slow learning speed, easily falling into local minimum and low prediction accuracy. Then the theory of stock market prediction based on BP network and the shock market prediction model which is based on the BP network is established. The shock market prediction model applies the improved BP algorithm for stock market prediction, and simulation experiments are conducted on the prediction by MATLAB software. Then the final results have achieved the desired effect.Keywords: neural networks, the stock prediction, BP algorithm 目錄摘要IAbstractII目錄III第1章 緒論11.1 課題的研究背景11.2 國內外研究現(xiàn)狀21.3 研究目的及意義3第2章 股票預測的有關知識42.1 股票的基本知識42.2 股票預測的評價指標5第3章 神經(jīng)網(wǎng)絡理論及其算法73.1 人工神經(jīng)網(wǎng)絡概論73.1.1 神經(jīng)元模型73.1.2 神經(jīng)元傳遞函數(shù)83.1.3 人工神經(jīng)網(wǎng)絡的特點93.2 BP神經(jīng)網(wǎng)絡103.2.1 BP網(wǎng)絡的訓練過程113.2.2 標準BP神經(jīng)網(wǎng)絡的優(yōu)缺點133.3 BP算法的改進14第4章 基于 BP 網(wǎng)絡的股市預測164.1 BP網(wǎng)絡進行股市預測的原理164.1.1 BP網(wǎng)絡預測方法設計164.1.2 BP網(wǎng)絡用于股市預測的一般步驟174.2 預測模型參數(shù)的選擇174.3 BP網(wǎng)絡在MATLAB中的實現(xiàn)184.4 BP神經(jīng)網(wǎng)絡進行股市預測的準備204.5 BP網(wǎng)絡預測的仿真及結果分析204.5.1原始數(shù)據(jù)204.5.2仿真結果254.5.3實驗結論28結束語30謝辭31參考文獻32附錄34IV 第1章 緒論1.1 課題的研究背景股票是市場經(jīng)濟的產(chǎn)物，股票的發(fā)行與交易促進了市場經(jīng)濟的發(fā)展。近一些年來，股票市場已經(jīng)顯露出非常強大的生命力，并逐漸成為證券行業(yè)乃至整個金融行業(yè)不可或缺的組成部分，而股票投資也成為了人們日常生活的一個重要組成部分。股市的突然變化直接影響穩(wěn)定的金融市場和健康發(fā)展的經(jīng)濟，這樣對金融市場會產(chǎn)生很大的振蕩。如果股票的突然變化能夠提前得到預測，我們就可以對股票市場進行很大程度上的的調控和引導，這將促進我們經(jīng)濟的健康發(fā)展。因為股票市場受到國家經(jīng)濟、政治等因素的影響，它的內部規(guī)律十分復雜，無固定的變化周期，同時我國個人投資者對股票交易的行為可產(chǎn)生直接的影響，其比例已經(jīng)高達99%，由于投資者的個人心理狀態(tài)不同，因而造成了資本市場投資者結構具有特殊性，從而使股價產(chǎn)生波動，使股價走勢變得難以把握。與機構投資者相比，單獨進行投資的人的專業(yè)知識比較缺乏，人數(shù)也比較多，并且他們的風險承受能力也相應的比較差，這樣就對那些從事投資咨詢服務的各單位提出了一些更高的要求。非職業(yè)的股民一般無法長期的關注著股市的變動，由于他們還得從事各種職業(yè)。上述原因便給股票預測提出了新的課題。股票預測分析是投資者衡量自身的投資風險，并判斷其投資價值的前提和基礎。它是基于精確的考察統(tǒng)計和股市信息，運用一些比較好的方法，從股市的內在規(guī)律出發(fā)，來確定股票的未來前景。投資者通過股票預測分析各種因素的影響下，一定程度的確定性投資收益的不確定性，從而為股權投資在股票投資過程中減少主觀盲目性，提供了一個基礎，從而實現(xiàn)了安全，穩(wěn)定的收入，資本增值，以抵消通脹，維持市場的流動性，投資主體多元化，參與決策管理，取得良好的避稅狀態(tài)及其他投資用途。股市作為市場經(jīng)濟的一個重要特征，伴隨著其誕生，數(shù)以百萬計的投資者的心就隨之牽動。股市的特點是比較高的風險意味著比較高的回報，投資者時時刻刻都在關心股市的價格，將獲得的財務數(shù)據(jù)進行分析，想要預測股市價格的變化趨勢。最近一些年來，股市的模型建立與預測分析隨著各種科學技術的飛速發(fā)展而得到了極大的突破，同時也出現(xiàn)了一些全新的處理方法，而神經(jīng)網(wǎng)絡可以依照輸入數(shù)據(jù)本自身的內在規(guī)律建立所需要的模型，這是一種非常有用的智能化的信息處理技術，而且其對非線性系統(tǒng)具有良好的逼近能力，可以綜合進行處理非常雜亂的信息，這樣它就變成人們探索人類世界奧秘的十分重要的方法。它在許多領域已經(jīng)被廣泛地使用，例如它在信號處理、模式識別與自動控制方面都得到很好的發(fā)展。神經(jīng)網(wǎng)絡可以克服傳統(tǒng)的定量預測方法所面臨的困難和很多人為因素的局限，同時不需要建立一個非常復雜的非線性系統(tǒng)的數(shù)學模型，因為它具有很強的非線性逼近能力、自適應特性和自學習特性。人工神經(jīng)網(wǎng)絡這種非常有用的技術手段將被更廣泛地應用到股市的預測當中去，在股市預測的許多方面都有其獨有的優(yōu)勢，這將為股票這種復雜多變的系統(tǒng)的預測提供一個十分廣闊的發(fā)展平臺。1.2 國內外研究現(xiàn)狀從股票市場開始出現(xiàn)以來，股票的預測分析便已經(jīng)得到各個學術界的關注和探討研究，世界各國有非常多的學者對其進行了深入地研究，因而產(chǎn)生了許多預測分析方法：(1) 證券投資分析方法此種方法可以預測分析股市價格在未來一段時期內變化的規(guī)律，其可以分為運用技術進行分析的方法和運用基本知識進行分析的方法?；痉治龇ㄊ菑囊鸸善卑l(fā)生變化的某些外部因素著手來分析這些因素與股市之間的相互聯(lián)系，它的目的是為了分析股票的內在投資價值，它屬于長期性質的方法，既關心股票的收益，同時又關心股票的升值；而運用技術進行分析的方法則是以股價的動態(tài)變化的規(guī)律性來作為其研究分析的對象，直接從股票市場著手，同時結合投資者的心理和交易數(shù)量等市場因素的分析，以選擇最合適的投資時機與投資方式，以便獲取短期的效益。(2) 時間序列分析方法此種方法是通過建立一個股市價格和綜合指數(shù)之間的辨識模型來預測判斷未來一段時期股價的變化，例如ARMA：自回歸移動平均的模型，ARIMA：其次非平穩(wěn)的模型，RW：傳統(tǒng)的隨機游走的模型等一些方法。時間序列分析方法包含兩種類別：單變量的模型和多變量的模型。單變量的模型需要大量的輸入數(shù)據(jù)，并且選取該模型的結構參數(shù)這一過程是十分復雜的，但是對這樣一種模型來說，其對于一些短期的預測具有十分明顯的效果；而多變量的模型就例如RegerssinoAnalyssi等?？偠灾?，此種分析的方法只能適用于非常短的時期內的預測。 (3) 人工智能方法此種方法是近一些年來科學家們研究最熱門的地方，自上世紀80年代初開始直到現(xiàn)在，人工智能便得到了非常大的發(fā)展，并且其也應用于各種領域，尤其是人工神經(jīng)網(wǎng)絡的研究取得了劃時代的發(fā)展。經(jīng)科學家證實，股市分析是通過研究一個非常復雜多變的非線性的動力學系統(tǒng)來進行的，而人工神經(jīng)網(wǎng)絡卻包含著各種十分優(yōu)良的特性，在處理股價預測這種十分復雜多變的時間序列預測問題方面將發(fā)揮其獨有的作用。(4) 其他預測方法還有一些其他的預測分析的方法，例如馬爾可夫法、判別分析法等定量進行分析的方法；還有利用專家進行評估分析的方法、利用市場進行調查研究的方法等定性進行分析的方法也得到了很大的應用。 1.3 研究目的及意義股票市場能夠極大的影響國家國民經(jīng)濟的發(fā)展變化，股票價格的突然變化也是一個國家各個方面綜合的反映。因此，我們越精確地預測未來股市價格的變化趨勢，幫助投資股票的人獲取利潤和躲避風險就越有把握，就越能夠使國家的國民經(jīng)濟體系和金融體系得到高速健康持續(xù)的發(fā)展。而且，眼下投資基金在中國的發(fā)展十分迅速。其便于分散風險，主要從事大規(guī)模的組合投資。然而，組合投資對于系統(tǒng)風險則根本無法回避，僅僅能分散非線性風險。而預測分析股市價格的變化正是提前預先判定組合投資的資產(chǎn)所面臨的收益和風險，這是對整個金融市場的走勢和風險進行深入地研究。因而對股票一些內在規(guī)律進行預測這種研究，不但可以幫助投資股票的人進行更好的預測分析股票市場的變化趨勢，降低投資風險，獲得最大收益；并且對于金融市場的健康發(fā)展，也同樣具有重大的意義和非常廣闊的應用前景。研究表明，股市分析是一個十分復雜的非線性的動力學問題，但是神經(jīng)網(wǎng)絡卻具有分布式處理、自我適應、自我組織、自我學習和容納錯誤等一些優(yōu)良的特性，因此在處理股市預測這樣一種多種因素影響、非線性、不確定的時間序列的預測問題方面會有其獨特的優(yōu)勢。BP神經(jīng)網(wǎng)絡是目前最為廣泛應用的一種人工神經(jīng)網(wǎng)絡，它擁有非線性的映射的能力、泛化的能力與容納錯誤的能力，是自動控制方面最有功效的學習方法之一，同樣它也是股票的預測分析中的首選的人工神經(jīng)網(wǎng)絡。將BP網(wǎng)絡這種技術應用到股票投資的風險的評估和分析當中，以通過了解股市價格運行的內在規(guī)律機制，從中正確預測股市價格的走勢，幫助預先測定一些災難性的股價的振蕩，從而采取一些適當?shù)拇胧┮跃S護股票市場的穩(wěn)定，保證我國經(jīng)濟的高速健康持續(xù)的增長。 第2章 股票預測的有關知識2.1 股票的基本知識股票是由一定的股份有限公司發(fā)行，用以證明投資該股票的人所擁有的份額大小，它代表著持有該股票的人對股份有限公司的一部分份額資產(chǎn)所擁有的權利。雖然股票只是一種代表物，但是由于持有該股票的人可以憑借著該股票來獲取對應的利益份額并且享有相應的權利，所以股票是一種有價的證券，同時其也具有以下一些重要的性質： (1) 風險性我們生活中的每一項投資都存在著或大或小的風險，就連股票的投資照樣也不會例外。其風險性主要體現(xiàn)在以下幾個方面：首先，存在著各種各樣的影響股份有限公司經(jīng)營管理的因素，并且股份公司還存在著不確定的經(jīng)營業(yè)績，股份公司每一段時間的具體的盈利將決定著分給股票持有者的紅利和股息的多少。經(jīng)營好盈利多，股息的紅利就可以多發(fā)；經(jīng)營狀況不佳盈利就少，股東的收益就少，甚至可能達到無利可分；如果公司破產(chǎn)，那么股票持有者就很有可能血本無歸；其次，影響股票價格變化的因素除了股份公司的經(jīng)營業(yè)績外，還存在著眾多的其他一些因素。如果投資者購買的是在二級市場上可以進行流通交易的股票，當該種股票的價格開始下滑時，該股票的持有者就會由于股票的貶值而遭受損失。但是二級市場股價的浮動并不會影響到上市公司的經(jīng)營和業(yè)績，如果股民購買股票是為了取得上市公司的股息紅利，那么二級市場上股票價格的波動對其經(jīng)濟利益并沒有實質性的影響。 (2) 收益性股票的收益性是指擁有該股票的人都能夠憑借著股票從發(fā)行該股票的公司領取一定的分紅，從而就可以獲得購買該股票所應得的效益，這不僅是購買股票的人向該股份公司進行股票投資的主要原因，同時也是該股份公司發(fā)行其股票的應當具備的條件之一。例如根據(jù)我國規(guī)定，某一公司發(fā)行一種股票在前三年內必須要是連續(xù)的盈利，股票進行分紅的前提條件包括該股票必須是盈利的這個因素，這樣就可以為上市股票的收益性提供了一些保障。(3) 參與性根據(jù)我國法律規(guī)定，擁有股票的人就一定要成為發(fā)行該股票的股份有限公司的股東，他便擁有參與該公司管理決策的相應權利。因此，股東進行投資所想要的經(jīng)濟利益在行使其參與公司管理的權利時得到一定的加強。通俗來講，某一股東要想成為該股份公司的領頭者時，其擁有的股票份額必須占整個份額的絕大多數(shù)。 (4) 穩(wěn)定性股票的穩(wěn)定性是指股票所代表的是擁有股票的人與賣出該股票的公司之間一種較為平和穩(wěn)定的經(jīng)濟關系。股東通過一定的資金進行投資而買進股票后，擁有股票的人將不能夠退還該股票，股份公司和股票是相互聯(lián)系的，也就是股票是與發(fā)行該股票的公司并存的。對于擁有該股票的人來說，只要其擁有該種股票，就永遠不會變動該股票代表的各種權益。如果想要改變其股東的身份，要么將該種股票轉讓給第三方，要么等待發(fā)行該股票的公司的破產(chǎn)清盤。 (5) 流通性某一種股票在經(jīng)得上級一些部門的同意之后，就能夠在國家證券交易所內部流通或者進行柜臺的交易，持有該股票的人就可將該股票按照相對應的市場價格將其轉讓給第三方，該股票所代表著的各種權益將全部轉讓給買進該股票的人。當股東所擁有的股票是可以在市場上流通交易的股票時，擁有該股票的人就可以在任何一個該股票的買賣日到市場上兌現(xiàn)該股票，這就是股票的流通性。但是無論在哪一個國家或者地區(qū)，能夠上市流通的股票所占的比例都非常的小，并不是所有的股票都可以在市場上進行流通交易。2.2 股票預測的評價指標決定股票的市場價格的因素除了該股票的價值之外，還存在著各種各樣的其他一些因素。進行股票預測所涉及的一些變量如下所示：(1) 綜合指數(shù)是一個影響整個股票市場氣勢的變量，同時也是股市價格進行預測分析的變量之一，在國內其可以分成上證綜合指數(shù)與深證綜合指數(shù)。(2) 開盤價是指該種股票在當天開盤后第一筆進行交易的價格。假如該股票在其可以買賣后30分鐘之內不存在成交的價格，則將前一天該股票的收盤價定為其開盤價。(3) 收盤價是指在該股票交易中每一天其最后一筆的交易價格。(4) 最高價與最低價分別是指該股票在每一天所進行交易的價位中的最高的、最低的價位。 (5) 成交量是指股票每一天進行交易的數(shù)目。通常手是股票進行交易的最小單位，一手代表100股。(6) 成交金額是指用貨幣來表示的該股票在一段時期內的成交總量，其等于該股票賣出時的價格乘以該股票在一段時期內成賣出去的數(shù)量。(7) 漲跌是將每一天的收盤價與前一天的收盤價來進行比較，從而決定該股票的價格的變化趨勢。(8) 市盈率是指某一種股票在市面上每一股所代表的市價與每一股所得到的實際盈利之間的比率。(9) 市凈率是指一個股票在市場上的價格與發(fā)行該股票時其代表的價格之間的比值。(10) 資產(chǎn)收益率是指一個企業(yè)在一段時期內的純利潤與所投資的平均資產(chǎn)的總額之間的比值。 第3章 神經(jīng)網(wǎng)絡理論及其算法3.1 人工神經(jīng)網(wǎng)絡概論人工神經(jīng)網(wǎng)絡（Artificial Neural Network），同時也被簡稱為神經(jīng)網(wǎng)絡（Neural Network），這是一種模仿生物的神經(jīng)網(wǎng)絡結構和功能的數(shù)學計算模型。神經(jīng)網(wǎng)絡是由非常多的人工神經(jīng)元相互聯(lián)結而進行計算的。在許多情況之下，人工神經(jīng)網(wǎng)絡則利用外面的信息，來改變自身內部的結構，這是一種自我適應的系統(tǒng)。人工神經(jīng)網(wǎng)絡是受到生物（人或其它動物）的神經(jīng)網(wǎng)絡的啟發(fā)式操作功能的想法而構造。人工神經(jīng)網(wǎng)絡在一般意義上就是一種學習方法（Learning Method），通過對一些數(shù)據(jù)的學習，我們可以利用其來達到我們想要的結果。因此，通過標準的數(shù)學統(tǒng)計方法，通過統(tǒng)計學的標準數(shù)學方法我們能夠得到大量的可以用規(guī)范性函數(shù)來表示的局部結構空間；同時，在人工智能領域的人工感知領域中，我們可以在數(shù)理統(tǒng)計學進行推廣應用的基礎上做一些人工感知方面的決定性的問題，通過數(shù)學統(tǒng)計學的應用（即通過統(tǒng)計，人工神經(jīng)網(wǎng)絡有喜歡的人喜歡簡單和容易的判斷做出決定的能力）相比，這種方法比邏輯推理演算形式化具有更多的優(yōu)點。3.1.1 神經(jīng)元模型人工神經(jīng)網(wǎng)絡中最基本的一種單元是人工神經(jīng)元，神經(jīng)元的這種模型結構是生物神經(jīng)元的結構和功能的一種數(shù)學抽象。圖3-1是一個多個輸入、單個輸出的非線性的單元，其主要是由輸入值、權值、閾值、激活函數(shù)和輸出值幾個部分所構成。 圖31 人工神經(jīng)元模型 上圖中, 表示神經(jīng)元接收的來自前級n個神經(jīng)元的輸入信號；每一個輸入都對應于一個權值，即軸突的傳遞效率；神經(jīng)元的激活狀態(tài)由所有輸入進行加權求和后的結果決定，即 ;每一個神經(jīng)元設定一個閾值，如果神經(jīng)元的輸入加權和大于閾值，則它處于激發(fā)狀態(tài)。表示神經(jīng)元的激活函數(shù)，激活狀態(tài)發(fā)生改變時神經(jīng)元產(chǎn)生輸出,為。根據(jù)在人工神經(jīng)網(wǎng)絡中的功能的不同，神經(jīng)元可以分為三種：輸入神經(jīng)元、隱層神經(jīng)元和輸出神經(jīng)元?？梢越邮諄碜酝獠啃畔⒌纳窠?jīng)元是輸入神經(jīng)元，對外部輸出信息的是輸出神經(jīng)元，隱層神經(jīng)元處于神經(jīng)網(wǎng)絡內部，并不直接與外部環(huán)境接觸。這三種類型的神經(jīng)元彼此相互連結，共同構成了一個功能完備的神經(jīng)網(wǎng)絡。3.1.2 神經(jīng)元傳遞函數(shù)根據(jù)神經(jīng)元輸出的特性的異同，可采用一些不同的傳遞函數(shù)來表示，主要有圖3-2所示的幾種形式。 圖3-2 神經(jīng)元傳遞函數(shù)(1) 閾值型函數(shù)此類函數(shù)可分為階躍函數(shù)與sgn函數(shù)，其分別如圖(a)和(b)所示，其表達式為： (2) 分段線性函數(shù)該函數(shù)如上圖(c)所示，其表達式為： (3) S型函數(shù)此函數(shù)如圖(d)所示，在(0，1)內單調連續(xù)取值，型函數(shù)的表達式為： (4) 雙曲正切S型函數(shù)此函數(shù)如圖(e)所示，在(-1，l)內單調連續(xù)取值，型函數(shù)的表達式為： 3.1.3 人工神經(jīng)網(wǎng)絡的特點神經(jīng)網(wǎng)絡的主要特點是：（1）分布式存儲信息神經(jīng)網(wǎng)絡是指許多神經(jīng)元之間的相互連接，并對各個層次之間連接的權值的分布來表示一些特定的信息，將其信息存儲于該網(wǎng)絡不同的位置中，其具有魯棒性能和容錯性能。如果由于某些原因，輸入信號失真或網(wǎng)絡局部受損，網(wǎng)絡輸出則仍能保證其正確性。（2）并行協(xié)同處理信息單個人工神經(jīng)元的功能極其有限，其結構也非常簡單，由于神經(jīng)網(wǎng)絡是由很多人工神經(jīng)元構成的，具有實時性與并行性，因此可以實現(xiàn)多種不同的行為。人工神經(jīng)網(wǎng)絡對輸入的數(shù)據(jù)進行一定地處理運算，這是依賴于網(wǎng)絡中的每個神經(jīng)元獨立完成的，而且各神經(jīng)元之間又互不影響，可以同時處理信息，然后一層層地傳下去，并最終得到網(wǎng)絡的總輸出。（3）信息處理與存儲合二為一神經(jīng)元不僅具有信息處理的功能，而且還具有信息存儲的功能，對信息的記憶與處理同時體現(xiàn)在神經(jīng)元之間權值的變化以及激勵函數(shù)對神經(jīng)元的影響中。（4）自學習、自組織在網(wǎng)絡的訓練過程中，神經(jīng)網(wǎng)絡的權值會不斷地發(fā)生調整和變化，它表示著各個人工神經(jīng)元之間的連接強度。此外，隨著反復學習和訓練樣本的增加，每個神經(jīng)元之間的權值會不斷地增大，神經(jīng)元的反映靈敏度便會得到相應地提高。3.2 BP神經(jīng)網(wǎng)絡1986年，Rumelhart和McCelland領導的科學家小組在Parallel Distributed Processing一書中，提出了具有非線性連續(xù)轉移函數(shù)的多層感知器的誤差反向傳播（error back proragation，簡稱BP）算法。這種算法成為目前應用最多的一種神經(jīng)網(wǎng)絡學習算法。 圖3-3 BP神經(jīng)網(wǎng)絡模型其如圖3-3所示，基于BP算法的BP神經(jīng)網(wǎng)絡是一種單方向傳播的多層的前向網(wǎng)絡，一般為三層或者三層以上，其一般由輸入層、輸出層與至少一個隱含層組成。各層必須包括一個或者多個人工神經(jīng)元，并且每層之間一般采用全互連的方式，即下層的單元與上層的單元之間都要實現(xiàn)全部連接，而同一層的各人工神經(jīng)元之間不能存在相互的連接，相鄰兩層的人工神經(jīng)元之間都通過可調的權值來連接，并且各人工神經(jīng)元之間不會存在反饋。它的信息是由輸入層依次向第一個隱含層進行傳遞，一直直到輸出層。每一個人工神經(jīng)元以加權和的形式來綜合它的全部或者一部分的輸入數(shù)據(jù)，并且根據(jù)選用的激活函數(shù)形式來產(chǎn)生相對應的輸出。BP神經(jīng)網(wǎng)絡的激活函數(shù)為非線性連續(xù)可微的非遞減的函數(shù)，我們一般使用型函數(shù)。BP算法的基本思路是：其學習的過程是由輸入信號的正方向進行傳播與誤差的反方向進行傳播這兩個過程構成。在正方向傳播時，我們輸入的樣本由輸入層開始傳入，經(jīng)各隱含層逐層進行處理后，然后傳給輸出層。如果輸出層實際的輸出與其期望的輸出不相符時，則便開始進入誤差的反方向傳播階段。誤差的反方傳是指將輸出的誤差以某一種方式通過該網(wǎng)絡的隱含層向其輸入層開始逐層反傳，并且將這個誤差分給每一個層次的所有單元，從而便獲得各個層次每一個單元的誤差信號，此誤差信號即可以作為修改每個單元權值的根據(jù)。這樣一種信號正方向的傳播與誤差反方向的傳播的各個層次的權值調整的過程是循環(huán)往復地進行的。神經(jīng)網(wǎng)絡的學習訓練體現(xiàn)在該網(wǎng)絡的權值在不斷進行調整的過程中。這個過程一直進行到該神經(jīng)網(wǎng)絡輸出的誤差減小到某一個設定值，或者達到我們預先設定那個學習次數(shù)為止。3.2.1 BP網(wǎng)絡的訓練過程BP神經(jīng)網(wǎng)絡的訓練過程一般可分為以下幾個步驟： (1) 初始化BP神經(jīng)網(wǎng)絡各層之間的連接權值和神經(jīng)元的閾值，設定網(wǎng)絡基本參數(shù)，如學習步長、誤差精度等，準備輸入訓練樣本數(shù)據(jù)集合；(2) 將樣本集合中的訓練樣本輸入到網(wǎng)絡中進行一定地訓練。設所訓練的樣本為，輸入層與隱層之間的連接權值為，隱層神經(jīng)元的閾值為，則計算隱層各個神經(jīng)元的輸出值的公式可以表示為： 為了更方便地表示，令，則隱層各個單元的輸出值公式可表示為：(3) 根據(jù)隱層各個單元的輸出、由隱層到輸出層的連接權值和輸出層神經(jīng)元閾值便可以得到計算輸出層神經(jīng)元的輸出公式如下式所示： 同樣地為了方便起見，令，則輸出層神經(jīng)元的輸出值公式可表示為：(4) 計算實際輸出的值與期望的值之間的這個差值，判斷其差值是否小于我們預先進行設定的誤差。如果計算的差值小于設定誤差，那么轉回到步驟(2)，從樣本集合中選取下一個樣本對進行新一輪的訓練；否則，網(wǎng)絡便轉入誤差反方向傳播的階段，按照使誤差E不斷減小直到小于設定誤差的調整原則，對網(wǎng)絡各層的連接權值進行調整和修改。利用梯度下降的方法求連接權值的變化，輸出層的連接權值修正公式表示為： 其中， 那么， 所以有， 根據(jù)以上公式可以推導出隱含層到輸出層之間的連接權值的調整公式為： 以及隱含層到輸入層之間的連接權值的調整公式為： (5) 從樣本集合中順次選取下一個樣本對，返回步驟(2)繼續(xù)進行訓練，直到所需要訓練的樣本都已經(jīng)被訓練完畢。(6) 如果網(wǎng)絡的全局型的誤差小于預先設定的誤差，那么結束訓練，輸入新的樣本到網(wǎng)絡中進行測試；如果輸出值大于預先設定的誤差，那么返回到步驟(1)重新開始。BP算法訓練流程圖如圖3-4所示： 圖3-4 BP算法訓練流程圖3.2.2 標準BP神經(jīng)網(wǎng)絡的優(yōu)缺點 BP 網(wǎng)絡是目前世界上應用最為廣泛的神經(jīng)網(wǎng)絡之一，主要是由于基于 BP 算法的多層感知器具有以下一些吸引人的能力：(1) 非線性映射能力 BP 網(wǎng)絡通過學習存儲大量的輸入和輸出模式相對應的映射關系，而并需要事先用知識性的數(shù)學方程來描述這種映射關系。在工程上及許多技術領域中，經(jīng)常會遇到諸如此類的問題：在輸入輸出系統(tǒng)方面已經(jīng)集聚了許多相關的輸入輸出數(shù)據(jù)，但其內部的規(guī)律性仍然尚未掌握，因此不能用準確的數(shù)學分析方法來描述其中蘊涵的內在規(guī)律性。這種問題具有難以得非常準確的解、缺乏專家的經(jīng)驗、能夠轉化成為模式識別或者非線性映射的問題的共同特點。對于這種類型的問題，基于BP算法的多層感知器具有非常大的優(yōu)勢。(2) 泛化能力 在將BP神經(jīng)網(wǎng)絡訓練之后，其所輸入的樣本數(shù)據(jù)中的這種非線性的映射關系便被儲存在該網(wǎng)絡的權值矩陣當中，在以后的工作階段中，當向該BP網(wǎng)絡輸入訓練時未曾出現(xiàn)過的非樣本數(shù)據(jù)時，網(wǎng)絡也能照常完成由m維輸入空間到n維輸出空間的正確的映射關系。泛化能力是衡量一個多層次感知器的性能好壞的一個非常重要的方面。(3) 容錯能力 BP 網(wǎng)絡還允許有較大誤差的輸入樣本。因為權值的調整是一個從大量的輸入樣本中進行提取具有統(tǒng)計特性數(shù)據(jù)的過程，能夠反映其正確規(guī)律的權值是從全體樣本得來的，少量樣本的誤差并不能決定權值調整的結果。然而隨著BP神經(jīng)網(wǎng)絡應用范圍的逐步擴大，其也逐步顯露出了越來越多的缺陷和不足之處，例如：(1) BP算法容易陷入局部極值并且達不到全面的優(yōu)化從數(shù)學的角度來看，傳統(tǒng)的 BP神經(jīng)網(wǎng)絡是一種按局部進行搜索來優(yōu)化的一種方法，它所要解決的就是一個復雜的非線性化問題，沿局部改善的方向逐漸調整網(wǎng)絡的權值，這樣會使BP算法陷入局部極值，權值收斂于一個局部極小點，從而使網(wǎng)絡訓練失敗。同時初始的網(wǎng)絡權重使BP神經(jīng)網(wǎng)絡對其十分的敏感，當我們使用各種各樣的權重來對神經(jīng)網(wǎng)絡進行初始化時，該網(wǎng)絡便將收斂于不同的局部極小值。(2) BP神經(jīng)網(wǎng)絡在學習時其收斂的速度比較慢由于BP神經(jīng)網(wǎng)絡算法在本質上來說是一種梯度下降法，而它所要進行優(yōu)化的目標函數(shù)又是十分復雜的，因此，必然會出現(xiàn)“鋸齒形現(xiàn)象”，這將使得BP算法低效；同時由于所要優(yōu)化的目標函數(shù)也很復雜，它必然會在BP神經(jīng)元輸出接近0或1的時候，得到一些較為平坦的區(qū)域，這時權值誤差改變的量非常得小，這將使得該網(wǎng)絡的訓練過程變得十分緩慢；在BP神經(jīng)網(wǎng)絡的模型當中，為了使該網(wǎng)絡可以順利地執(zhí)行BP算法，我們就不能使用所謂傳統(tǒng)的一維搜索方法來求每一次迭代所得的步長，而必須先把該步長更新的規(guī)則預先賦予給該BP網(wǎng)絡，這種方法也會產(chǎn)生BP算法的低效性能。以上種種情況，將導致BP神經(jīng)網(wǎng)絡算法收斂速度慢的現(xiàn)象。(3) 網(wǎng)絡的結構參數(shù)(包括隱層數(shù)、隱層神經(jīng)元數(shù))和運算參數(shù)(如學習速率、非線性函數(shù)等)的選取一般缺乏理論上的指導，都是在經(jīng)驗的基礎上來確定的，因此，這將導致網(wǎng)絡往往會具有很大的冗余性，同時也增加了網(wǎng)絡學習的時間。3.3 BP算法的改進標準BP算法的改進可以分為兩大類：其中一類就是基于標準的梯度下降法的算法來進行改進，例如彈性BP算法、自適應學習速率法、動量法等；而另一類則是基于數(shù)值優(yōu)化方法的算法改進，例如共軛梯度法、擬牛頓法、LM法等。 (1) 增加動量項 標準的BP算法在進行調整權值的過程當中，只按照N時刻的誤差梯度下降的方向來進行調整，而從不考慮N時刻以前的梯度下降的方向，這往往會使訓練的過程發(fā)生一些振蕩，收斂的速度也會變得比較緩慢。為了提高BP網(wǎng)絡在訓練時的速度，我們就可以在它的權值的調整公式當中增加一個動量項。 現(xiàn)在就以輸出層作為例子，則其權值調整向量表達式為： 從上式我們可以看出，增加一個動量項這種方法就是從前一次的權值的調整量當中取出一些量來疊加到本次權值的調整量中，其中被稱之為動量因子。動量項這個量反映了前一段時間積累的調整的經(jīng)驗，對于N時刻權值的調整起到一定阻尼的作用。特別是當誤差的曲面上突然出現(xiàn)變化時，增加動量項這種方法便可以減小網(wǎng)絡振蕩的趨勢，提高我們對其進行訓練的速度。(2) 自適應調節(jié)學習速率學習速率的另一個名稱為步長，在標準的BP算法中它就是一個常數(shù)，然而我們在實際的應用過程當中，便很難確定一個自始至終都非常合適的最佳學習速率。從誤差的曲面上我們就可以得到，在比較平滑的一塊區(qū)域內如果非常小就會增加該網(wǎng)絡所需訓練的次數(shù)，這樣我們便希望可以增大值；而在誤差變化非常劇烈的區(qū)域內，太大則會由于調整量太大而跨過比較窄的“坑凹”處，使訓練過程出現(xiàn)振蕩，這樣就使迭代的次數(shù)增加。神經(jīng)網(wǎng)絡可以自適應的改變其學習的速率，讓其在該增大的時候就會增大，在該減小的時候就會減小，這種方法可以加快所建立的網(wǎng)絡的收斂速度。自適應調節(jié)學習速率的調整公式為： = 其它 其中，表示第k次神經(jīng)網(wǎng)絡訓練后所得到的誤差平方和，表示第k次訓練神經(jīng)網(wǎng)絡的學習速率，自適應的調節(jié)學習速率可以縮短網(wǎng)絡訓練所花費的時間。 第4章 基于 BP 網(wǎng)絡的股市預測4.1 BP網(wǎng)絡進行股市預測的原理BP神經(jīng)網(wǎng)絡通過記憶輸入到網(wǎng)絡中的歷史數(shù)據(jù)，找出股票在股市中變化的規(guī)律，從而用以預測在未來一段時期內某一股票價格的變化趨勢。4.1.1 BP網(wǎng)絡預測方法設計設某一時間序列為，其中該時間序列的歷史數(shù)據(jù)為，對未來n+m+k (k0)時刻的該序列的取值進行相應的預測，即預測(k0)的某一種非線性的函數(shù)關系： 我們經(jīng)常使用如下三種預測：(1) 單步預測單步預測是指當該神經(jīng)網(wǎng)絡所有輸入的數(shù)據(jù)都是在時間序列下的實際值時所進行的預測。在進行單步預測的時候，把時間序列上的實際值這些所需的輸入數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡當中，其輸出就是下一個時刻的預測的值，若想要繼續(xù)對的值進行預測，則必須使用實際值來作為網(wǎng)絡輸入的數(shù)據(jù)，便可以得到預測的值。(2) 多步預測 多部預測是指當BP神經(jīng)網(wǎng)絡開始輸入所要求的歷史數(shù)據(jù)的時候，網(wǎng)絡輸出的便是這些預測的值。實驗已經(jīng)證實多步預測當用于預測股票的價格的時候，其預測誤差比較大。這可能是由于在網(wǎng)絡調整其權值與閥值的時候，每一次迭代過程都要累加前一次k個預測的值的誤差，因而便造成此網(wǎng)絡難以收斂于某個值，甚至可能導致該網(wǎng)絡發(fā)生嚴重振蕩的情況。(3) 滾動預測滾動預測，又可以稱為先迭代一步，再進行下一步預測，即首先對網(wǎng)絡進行一次中的預測，然后再將該網(wǎng)絡的輸出預測值傳回到網(wǎng)絡的輸入端再作為該網(wǎng)絡輸入的一部分數(shù)據(jù)，以用于進行下一個步驟的預測。假若開始進行預測的時候，其輸入的數(shù)據(jù)是時序實際的值，其輸出便是下一個時間點的預測的值，然后再將與一起作為該網(wǎng)絡輸入的數(shù)據(jù)對進行預測估計，然后得到輸出預測的值，再將與作為該網(wǎng)絡輸入的數(shù)據(jù)對進行預測估計，如此反復進行迭代，便可以得到對未來的一段時期預測的值。如下表4-1所示，便可以預測未來q個時刻的值。 執(zhí)行的步驟 神經(jīng)網(wǎng)絡的輸入 其輸出（預測值） 1 2 . . . q 表4-1 滾動預測可見，當ql時，輸入的數(shù)據(jù)一般不只是時序實際的觀測值，同時也包含預測的值，特別是當qm時，全部輸入的數(shù)據(jù)都是預測的值。按照股票買賣的數(shù)據(jù)量，我們一般可以將投資預測分為短時間投資的預測和長時間投資的預測。我們要實現(xiàn)短時間的投資預測就得使用單步預測的方法；而時間序列比較長一些的預測一般可以采用迭代一步來進行預測，即像前面講訴的方法那樣來用一個短時間的預測模型來進行逐步的預測，將預測得到的數(shù)據(jù)反饋給預測的模型作為輸入量來繼續(xù)進行預測。4.1.2 BP網(wǎng)絡用于股市預測的一般步驟用BP神經(jīng)網(wǎng)絡對股票的市場價格來進行預測一般可以分為兩大部分，即神經(jīng)網(wǎng)絡的訓練和神經(jīng)網(wǎng)絡的預測，其大致步驟可以如下所示：(1)選取正常運作情況下的股票樣本數(shù)據(jù)作為訓練樣本數(shù)據(jù)，構造訓練樣本；(2)對股票樣本數(shù)據(jù)進行預處理，即對原始數(shù)據(jù)進行歸一化處理；(3)構造一個訓練樣本，設定網(wǎng)絡輸入的數(shù)據(jù)和目標的數(shù)據(jù)；(4)選用具有三層結構的BP網(wǎng)絡建立預測模型；(5)訓練所建立的網(wǎng)絡，待該網(wǎng)絡訓練達到要求后，就可以運用該網(wǎng)絡對未來股市的價格進行預測。4.2 預測模型參數(shù)的選擇 預測模型設計主要需要確定輸入輸出層的節(jié)點數(shù)目、所建立網(wǎng)絡的層數(shù)、所需隱層節(jié)點的數(shù)目、激活函數(shù)的類型、訓練的終止條件等等。(1) 輸入輸出層的節(jié)點數(shù)目在設計的時候根據(jù)問題的需要來設定。(2) 網(wǎng)絡層數(shù)的選取實驗已經(jīng)證實，任何一個三層的BP網(wǎng)絡都可以近似地表示任何一個連續(xù)可微的非線性函數(shù)。由于神經(jīng)網(wǎng)絡具有簡單容易實行、計算量比較小、并行性非常強等優(yōu)點，因此其目前仍然是多層式的神經(jīng)網(wǎng)絡進行訓練的首選的網(wǎng)絡結構之一，而且也己被更多的人們廣泛地用于各種實際的問題。故本文采用三層次的網(wǎng)絡進行股市預測。(3) 隱層節(jié)點數(shù)的選取影響我們設置的隱層節(jié)點數(shù)目的多少的原因是多方面的，包括我們所要訓練的數(shù)據(jù)的多少、誤差的大小以及數(shù)據(jù)本身的規(guī)律性等等。確定最佳的隱節(jié)點數(shù)的一個非常常用的方法是試湊法，即可以首先設置比較少的隱節(jié)點來訓練所建立的網(wǎng)絡，然后再逐漸增加其隱節(jié)點的數(shù)目，利用同一個樣本來進行訓練，從其中來確定網(wǎng)絡的誤差達到最小時做所對應的隱節(jié)點的數(shù)目。下面介紹幾個粗略估計隱節(jié)點數(shù)的公式： 式中，為隱層節(jié)點的數(shù)目；為輸入節(jié)點數(shù)；為輸出層節(jié)點的數(shù)目；為110區(qū)間內的某一固定值。在這篇文章中將采用式來確定網(wǎng)絡所需隱層節(jié)點的大致數(shù)目，然后再通過進行反復的試驗來得到具體的節(jié)點數(shù)。(4) 激活函數(shù)的選取初始化參數(shù)時，激活函數(shù)通常選擇的是連續(xù)可微的型函數(shù)。其表達式如式（3-5）所示。(5) 訓練終止條件，主要由最大許可誤差值與訓練次數(shù)來決定。設計時應可根據(jù)用戶需求來設定其值。當滿足條件時，BP網(wǎng)絡訓練自行終止。4.3 BP網(wǎng)絡在MATLAB中的實現(xiàn) (1) BP神經(jīng)網(wǎng)絡的生成及初始化 一個BP神經(jīng)網(wǎng)絡可以利用newff函數(shù)生成。其常用的格式為： 其中，為R組輸入數(shù)據(jù)中每一組元素中的最值組成的維的矩陣；神經(jīng)網(wǎng)絡共有i層，則表示第i層的長度；而則為第i層的傳遞函數(shù)，一般為“tansig”；為BP神經(jīng)網(wǎng)絡訓練的函數(shù)，一般為“trainlm”；為權值、閾值的BP學習算法，一般為“l(fā)earngdm”；為BP神經(jīng)網(wǎng)絡網(wǎng)絡性能的函數(shù)，一般為“mse”；net為生成的BP網(wǎng)路。newff函數(shù)建立了一個神經(jīng)網(wǎng)絡并且對這個網(wǎng)絡的權值與閾值賦予了初值，用戶可以根據(jù)自己的需要來重新進行定義各層網(wǎng)絡的初始化函數(shù)。(2) BP神經(jīng)網(wǎng)絡的訓練采用train函數(shù)可以對我們所建立的BP神經(jīng)網(wǎng)絡進行訓練。其常用格式為：其中，NET為等待訓練的BP神經(jīng)網(wǎng)絡；此時P為網(wǎng)絡的輸入信號；T為網(wǎng)絡的目標，一般為0；Pi為初始的輸入延遲，一般為0；Ai為初始的層次延遲，一般為0；net為訓練后得到的的BP神經(jīng)網(wǎng)絡；tr為網(wǎng)絡在訓練過程中得到的記錄；Y為該BP網(wǎng)絡的輸出信號；E為BP網(wǎng)絡的誤差；Pf為最終輸入的延遲；Af為最終層的延遲。在網(wǎng)絡訓練之前，我們一般要對原始數(shù)據(jù)進行一定的處理以提高網(wǎng)絡的訓練效率。(3) BP神經(jīng)網(wǎng)絡的仿真采用sim函數(shù)可以對我們所建立的BP神經(jīng)網(wǎng)絡進行仿真。其常用格式為：其中，Y為網(wǎng)絡輸出；此時Pf為最終輸出的延遲；Af為最終層的延遲；E為網(wǎng)絡誤差；perf為網(wǎng)絡性能；net為待仿真的神經(jīng)網(wǎng)絡；P為網(wǎng)絡輸入；Pi為初始輸入的延遲時間，一般設置為0；Ai為初始層的延遲時間，一般設置為0；T為網(wǎng)絡的目標，一般設置為0。此外，在MATLAB工具箱中提供了postreg函數(shù)，可以利用其對我們所建立的網(wǎng)絡進行仿真而得到的輸出與目標輸出作某種分析比較，以此來分析網(wǎng)絡經(jīng)過訓練所得到的結果的優(yōu)劣。(4) 數(shù)據(jù)的預處理和后處理 數(shù)據(jù)的預先處理和后處理是一個非常有效地訓練BP神經(jīng)網(wǎng)絡關鍵的步驟，這將直接地影響到訓練后BP神經(jīng)網(wǎng)絡的性能。比較常用的方法就是將原始的數(shù)據(jù)進行歸一化的處理，即通過一些線性的變換將輸入和輸出的數(shù)據(jù)都統(tǒng)一地限制到0,1或-1，1區(qū)間內。 MATLAB工具箱中提供了兩種函數(shù)：premnmx和postmnmx，前一種函數(shù)的功能是將數(shù)據(jù)變化到-1和1之間，后一種函數(shù)的功能是恢復被前者處理后的數(shù)據(jù)。 premnmx函數(shù)的常用格式為： 這個函數(shù)的作用是把BP網(wǎng)絡輸入的數(shù)據(jù)A和目標的數(shù)據(jù)B歸一化成為An和Bn，同時將返回輸入數(shù)據(jù)A中的最小值mina和最大值maxa，以及目標數(shù)據(jù)B的最小值minb和最大值maxb。postmnmx函數(shù)的常用格式為：這個函數(shù)的作用是將前面premnmx函數(shù)所歸一化后的數(shù)據(jù)來進行反歸一化的處理。另外，MATLAB工具箱中還提供了tramnmx函數(shù)，該函數(shù)的作用是利用預先計算的最大最小值對數(shù)據(jù)進行變換。該函數(shù)適用于向已經(jīng)訓練好了的網(wǎng)絡加入新的輸入向量的情形。4.4 BP神經(jīng)網(wǎng)絡進行股市預測的準備 (1) 初始數(shù)據(jù)的選取為了驗證本文提出的基于改進BP算法的股市預測模型的準確性，本篇文章將武漢鋼鐵的股票數(shù)據(jù)作為預測對象。選取前280組數(shù)據(jù)作為網(wǎng)絡訓練的樣本，然后將剩下的40組數(shù)據(jù)作為網(wǎng)絡預測的樣本，用來評估本文所建立BP神經(jīng)網(wǎng)絡模型性能的優(yōu)劣。輸入量選取前一天的開盤價、最高價、最低價、每五日的平均價以及收盤價5個變量，輸出量選取第二天股票的收盤價。(2) BP神經(jīng)網(wǎng)絡模型的建立首先建立基于改進BP算法的預測模型，選用三層網(wǎng)絡結構構成BP網(wǎng)絡：輸入層、一個隱層和輸出層。本文中采用5個輸入層節(jié)點，3個隱含層節(jié)點和1個輸出層節(jié)點。 初始權值采用Rand函數(shù)生成的隨機數(shù)，激活函數(shù)選擇的是式（3-5）所示的連續(xù)可微的型函數(shù)。訓練終止條件設置為最大許可誤差E0.001或者為訓練次數(shù)200次。設定學習速率初始值為，設定動量因子的初始值為0.9。4.5 BP網(wǎng)絡預測的仿真及結果分析4.5.1原始數(shù)據(jù) 武鋼股份股票價格部分歷史數(shù)據(jù)(共221組)：日期開盤最高最低MA1收盤2012-5-112.842.852.812.862.822012-5-142.842.842.792.842.82012-5-152.792.82.762.8162.782012-5-162.772.782.762.8022.762012-5-172.772.82.752.792.792012-5-212.792.792.762.7822.782012-5-222.792.82.772.7822.82012-5-232.792.82.772.7822.782012-5-242.782.82.772.7882.792012-5-252.792.852.782.7922.812012-5-282.822.882.822.812.872012-5-292.882.92.852.8282.892012-5-302.882.882.852.8422.852012-5-312.842.852.822.852.832012-6-12.832.852.82.852.812012-6-42.782.782.752.8262.752012-6-52.762.82.752.82.762012-6-62.772.792.762.7822.762012-6-72.772.792.732.7642.742012-6-82.752.772.732.7522.752012-6-112.752.792.742.7562.772012-6-122.762.772.742.7542.752012-6-132.752.772.732.7542.762012-6-142.762.772.752.7562.752012-6-182.772.782.762.762.772012-6-192.772.782.762.762.772012-6-202.782.782.752.7622.762012-6-212.762.772.712.7562.732012-6-252.772.782.722.7522.732012-6-262.722.722.682.742.712012-6-272.72.722.672.722.672012-6-282.672.692.672.7042.682012-6-292.692.72.662.6962.692012-7-22.72.712.652.6822.662012-7-32.672.682.642.672.652012-7-42.662.672.642.6682.662012-7-52.652.652.622.6582.632012-7-62.642.662.612.652.652012-7-92.642.642.62.6382.62012-7-102.62.622.592.632.612012-7-112.62.632.62.622.612012-7-122.612.622.592.6162.612012-7-132.622.622.62.6082.612012-7-162.612.622.552.6062.592012-7-172.582.592.572.62.582012-7-182.592.622.582.62.612012-7-192.622.632.62.5982.62012-7-202.62.622.592.5982.612012-7-232.62.62.562.5942.572012-7-242.572.612.572.5962.592012-7-252.592.62.572.5882.572012-7-262.572.632.572.592.612012-7-272.62.