數據挖掘_xxx_xxxx

1、中南民族大學計算機科學學院數據挖掘與知識發(fā)現綜合實驗報告姓 名 年 級 級 專 業(yè) 軟件工程指導教師 李波 學 號 序 號 31 實驗類型 綜合型 成績評定評語：教師簽名： 年 月 日 2016 年 12月 15 日年級 專 業(yè)軟件工程班級組號實驗室9-205日期實驗名稱  數據挖掘與知識發(fā)現實驗內容分項內容實驗級別Weka環(huán)境熟悉；決策樹（1）決策樹（2）關聯規(guī)則，聚類分析KDD案例屬性相關性，神經網絡（1）神經網絡（2）小 組 成 員姓名學號組內分工自我評分教師評分     實驗分項1  Weka環(huán)境

2、熟悉；決策樹（1）實驗目的1. 熟悉Weka軟件的環(huán)境和基本用法。2. 掌握ARFF數據文件的編制方法。3. 學習應用Weka軟件建立決策樹的方法，并理解決策樹的剪枝和未剪枝的分類效果。實驗要求1、 參照教材 19 -22 頁內容，熟悉 頁內容，熟悉 WekaWeka Weka軟件的安裝及使用環(huán)境； 2、在記事本程序中編制 ColdType training.arff, ColdTypetest.arff .3、打開 WekaWeka Weka軟件，并參 軟件，并參 照教材 1.9.2 1.9.2 ，完成相關操作并 小節(jié)，完成相關操作并 小節(jié)，完成相關操作并 小節(jié)，完成相關操作并 理解 相應

3、處理結果。4、根據教材表 2.1 所提供的數據集 T，基于 WekaWeka Weka軟件，應用 C4.5 算法建立決策樹， 預測某個學生是否決定去打籃球。要求：（ 1）采用 arff arff文件來完成； 文件來完成；（2）分別完成決策樹剪枝和未的情況。實驗原理步驟（算法流程）1熟悉Weka軟件的環(huán)境和基本用法并編寫arff文件。(1) 我們實驗中Weka訪問的數據格式是arff格式的。(2) 運行Weka后，出現了窗口，我們在里面選擇Explorer界面。(3) 在Preprocess選項卡，點擊file按鈕，加載arff文件，就可以對文件中的數據進行采集挖掘。(4) 用data定義數據集

4、的開始，數據值用逗號隔開，若存在缺失數據，則用問號表示。2打開Weka軟件，按照教材要求完成相關操作，并理解相應處理結果 (1)在打開arff文件后，界面詳細顯示了數據集的實例個數，屬性值的比例關系等。圖1實驗原理步驟（算法流程） (2)在界面中可以進行屬性和實例的篩選，直接在對話框中對數據實例進行篩選，對缺失數據進行填補，重命名甚至進行排序也可以。  (3)建立分類模型，切換到classify選項卡，單擊choose按鈕，打開分類器選擇對話框，選擇J48來建立決策樹模型。在Test options面板底部有一個More options按鈕，單擊該按鈕，

5、打開Classifier evaluation options對話框，設置選中Output predictions復選框，可以在輸出結果中出現預測輸出結果。單擊start按鈕，就可以執(zhí)行數據挖掘。 圖2 (3)在Result list列表框的會話條目上右擊，從快捷菜單中選擇Visualize tree命令，打開Tree View窗口，可以看到感冒類型診斷決策樹。實驗原理步驟（算法流程） 圖3 (4)利用所建立的分類模型分類未知實例，在執(zhí)行數據挖掘前，將Test options檢驗方式設置為Supplies test set，并打開ColdType-tes

6、t.arff文件作為檢驗集。在輸出結果中顯示預測結果，再單擊start按鈕，執(zhí)行數據挖掘。 (5)切換到Cluster選項卡，選擇簡單K-均值算法，打開算法參數設置對話框，在其中設置聚類的相關參數，本次實驗中簇的個數為2，分類屬性為Cold-Type。實驗原理步驟（算法流程）  (6)為了能夠更客觀的顯示，打開可視化窗口，將x軸改為Cluster，將Y軸改為Cold-Type，拖動Jitter滑塊至中間，可以清楚地看到分布結果。 我們可以清楚地看見數據分為了兩個簇，每一個簇中的感冒性質是一樣的，兩個簇的種類分別是病毒性感冒和細菌性感冒。 (7)

7、并且能夠看清楚坐標系中每個點所在的信息。實驗結果及分析(8)使用Weka進行關聯分析，切換到Associate選項卡，規(guī)則書默認為10條，最小置信度為0.9.執(zhí)行關聯分析。由上圖我們可以發(fā)現并不是所有的關聯規(guī)則都是有價值的，所以在參數設置上還有很大的改進空間。(9)根據打籃球的數據集建立剪枝與未剪枝的決策樹。由于打籃球的數據太少，所以剪枝與未剪枝的決策樹是一樣的，只有當數據很多的時候，決策樹才會有明顯的不同。(10)預測某個學生是否決定去打籃球經test文件的數據集以及由籃球數據得出的決策樹得到是否決定打籃球的輸出結果。在這次的test文件中得到的兩個預測結果一個是yes，一個是No。實驗收獲

8、通過本次實驗，我基本掌握了weka軟件的使用，掌握ARFF數據文件的編制方法。并學習應用Weka軟件建立決策樹的方法，并理解決策樹的剪枝和未剪枝的分類效果 實驗分項2  決策樹（2）實驗目的1. 進一步熟悉Weka軟件的環(huán)境和基本用法。2. 學習應用Weka軟件建立決策樹的方法，并理解決策樹的剪枝和未剪枝的分類結果。實驗要求具體題目1. 使用來自UCI的Credit screening database數據集，應用weka的J48算法建立2棵決策樹，分別為剪枝和未剪枝的情形。2. 分別采用use training set和cross-validation方式進行驗證。3. 將表的第三

9、條實例play屬性值由Yes改為No，在進行決策樹訓練，比較生成的分類模型。實驗原理步驟（算法流程）1. 使用來自UCI的Credit screening database數據集，應用weka的J48算法建立2棵決策樹，分別為剪枝和未剪枝的情形。(1) 在J48的算法下，先設置未剪枝情況，單擊Classify選項卡中的choose后面的文本框，在打開的參數設置對話框中選擇，可以看到決策樹的參數設置。經過剪枝的決策樹 未經過剪枝的決策樹 上面兩個驗證方法采用的是use training set,下面我們采用交叉驗證Cross Validation來驗證分類器，所用的折數填為10。 實驗原理步驟（

10、算法流程） 下圖表示的是剪枝的圖，采用的Cross Validation驗證。 下圖表示的是未剪枝的圖，采用的Cross Validation驗證。 下圖是cross Validation的剪枝決策樹決策樹的狀態(tài)如下：下圖是cross Validation的未剪枝的決策樹，與use training set 的未剪枝決策樹是一樣的。但是在數據分析中分的更仔細一些，精確一些。2. 將表的第三條實例play屬性值由Yes改為No，在進行決策樹訓練，比較生成的分類模型上圖是屬性未改之前的決策樹實驗結果及分析 由于表的第三條實例play屬性值由Yes改為No，在進行決策樹訓練，這種選擇影響著

11、所有的后續(xù)子樹。 從上圖中我們可以發(fā)現通過屬性值的更改直接導致了根結點的變化，之前的根結點是Courses，現在根節(jié)點是Weather。實驗收獲通過本次實驗，學習應用Weka軟件建立決策樹的方法，并理解決策樹的剪枝和未剪枝的分類結果。實驗分項3關聯規(guī)則，聚類分析實驗目的1. 進一步熟悉weka軟件的環(huán)境和基本用法。2. 學習應用weka軟件生成關聯規(guī)則的方法。3. 學習應用weka軟件進行K-means聚類分析的方法。實驗要求具體題目1.根據教材表2.3所提供的數據集，基于weka軟件，應用Apriori算法建立關聯規(guī)則。2.對教材表2.6的數據集，應用weka軟件進行K-means聚類，先建

12、立一個arff文件。3.對教材習題2-10題，進行上機驗證。系統(tǒng)平臺。Weka軟件實驗原理步驟（算法流程）1. 根據教材表2.3所提供的數據集，基于weka軟件，應用Apriori算法建立關聯規(guī)則。（1） 為適應Apriori算法，我們要將數值型數據轉換成分類類型數據，將其中的1替換成yes，0替換成no。（2） 加載數據項之后，用weka打開文件，切換到Associate選項卡，單擊Choose按鈕，選擇Apriori算法。（3） 單擊choose按鈕右方的文本框，在算法參數設置對話框中，設置outputItemSets為True，希望輸出條目集，從圖中可以看到使用置信度Confidence

13、進行規(guī)則的度量，最小置信度為0.9，支持度support閾值的上下限為0.11.0，我在此次的實驗中閾值設為0.1。實驗原理步驟（算法流程）(4)單擊Start按鈕，輸出結果如下圖，在圖中看到支持度閾值為0.35，置信度閾值為0.9，以及各個條目集，而我們可以看到生成的關聯規(guī)則有10條，置信度全為100%。實驗結果及分析APriori算法輸出結果關聯規(guī)則結果分析：1. 關聯規(guī)則應用廣泛，大型數據之間可以經常發(fā)現數據之間的關系。2. 但是一次關聯分析輸出的規(guī)則往往數量較多，但多數并無利用價值，所以我們應用要謹慎。2. 對教材表2.6的數據集，應用weka軟件進行K-means聚類，先建立一個ar

14、ff文件。（1） 加載arff文件，切換到Cluster選項卡，單擊Choose按鈕，打開算法對話框，選擇SimpleKMeans算法（2） 單擊Choose按鈕右方的文本框，打開參數設置對話框，查看參數，保持默認值，將K值設為2，距離函數選擇歐氏距離。實驗結果及分析（3） 單擊Start按鈕，查看結果，注意結果中將實例分為0和1兩個簇，最后分別有兩個和三個實例，并且每個簇中心的值分別為(4.1667，4.3333)和(1.5,1.25),與算出來的結果完全相同。、（4） K-means聚類的輸出結果K-means聚類的可視化輸出結果實驗結果及分析(4)在Result list窗格中的本次數據

15、挖掘會話條目上右擊，選擇Visualize cluster assignments命令，打開聚類可視化窗口，選擇x，y,分別顯示屬性值。K-means算法小結：(1) 在算法開始前，需要選擇K值，不同的K值會有不同的聚類效果。(2) 當簇的大小近似相等時，K-means的算法效果最好。對于習題2-10的驗證：1. 我們先加載籃球的數據集，選擇play列，單擊Remove按鈕，使該屬性不參加訓練。切換到Cluster選項卡，單擊choose按鈕，打開算法選擇對話框，選擇SimpleKMeans算法。2. 單擊Choose右方的文本框，打開參數設置對話框，保持默認值。3. 單擊start按鈕，查看

16、結果。實例被分成了0，1兩個簇，分別是7，8個實例，與play的實際分類情況一致。4. 在result list窗格中的本次數據挖掘會話條目上右擊，會出現如下圖所示的可視化輸出結果。本次實驗基本算法是K-means算法：1. 隨機選擇一個K值，用以確定簇的總數。2. 在數據集中任選K個實例，將他們作為初始簇中心。3. 計算這K個簇中心與其他剩余實例的簡單歐氏距離，按照這個劃分到簇中。4. 使用每個簇中的實例計算該簇的新簇中心。當計算得到新的簇中心與上次一致，則終止算法。實驗收獲1. 算法中使用置信度和支持度兩個指標來確定關聯規(guī)則，關聯規(guī)則是從大型數據庫中找到數據之間的關聯關系，關聯規(guī)則和傳統(tǒng)的

17、產生式規(guī)則不同。2. K-means算法：隨機選擇一個K值，用以確定簇的總數；在數據集中任選K個實例，將他們作為初始簇中心；計算這K個簇中心與其他剩余實例的簡單歐氏距離，按照這個劃分到簇中；使用每個簇中的實例計算該簇的新簇中心；當計算得到新的簇中心與上次一致，則終止算法。實驗分項4KDD案例實驗目的1. 學習應用Weka軟件進行KDD案例分析的基本步驟。2. 學習通過K-means聚類算法對輸入屬性進行評估的方法。實驗要求具體題目參照教材3.3小結，基于Weka軟件，完成KDD過程模型和分析任務系統(tǒng)平臺Weka軟件實驗原理步驟（算法流程）步驟：建模 使用Weka進行有指導的學習訓練，選擇C4.

18、5數據挖掘算法，在weka中名為J48將test option 設置為Percentage split，并使用默認百分比66%。選擇class為輸出屬性，并選中classifier evaluation options 對話框中的Output predictions 復選框，以顯示在檢驗集上的預測結果。步驟：評估通過檢查如下圖所示，我們可以得出檢驗集分類正確率為84.3%，是一個不算太差的結果，可以用于評估。步驟：評估而我們?yōu)榱说玫礁哔|量的分類器，我們可以作以下考慮：1. 修改算法參數2. 進行屬性評估3. 進行實例選擇4. 選擇其他有指導學習算法其中對于在嘗試修改算法參數，而分類器質量未得

19、到明顯的改善的情況下，可考慮進行屬性評估。即檢查輸入屬性是否能夠很好的定義數據中所包含的類。如果輸入屬性很好的定義了輸出類，將看到實例很自然被聚類到已知的類中。所以通過無指導聚類技術，可以對輸入屬性進行評估。下圖是分類模型訓練結果評估步驟如下：1. 先加載信用卡篩選數據集到Weka，切換到Cluster選項卡，選擇Simple KMeans算法。2. 設置算法參數，顯示標準差，迭代次數設置為5000次，其他保持默認，簇的默認情況下為2。3. 在Cluster mode面板中設置評估數據為Use training set,并單擊Ignore attributes按鈕，選擇忽略class屬性。4.

20、 單擊start按鈕，執(zhí)行聚類，結果如下圖，觀察結果可發(fā)現，共有690個實例，其中有518個實例被分類到Cluster0中，172個實例被分類到Cluster1中，但是與實際分類情況不相似，實際情況是被分成了307個實例和383個實例，所以該聚類所形成的簇沒有較高的質量，初步斷定輸入屬性對于實例的分類能力不太強，如下圖所示：實驗原理步驟（算法流程）聚類結果對屬性進行進一步分析，包括兩個方面。1. 對缺失屬性進行檢測。2. 對所有屬性的分類能力進行檢測，找出較大分類能力的幾個屬性和具有較小分類能力的屬性。對于缺失屬性值的檢測結果，通過Weka的Preprocess預處理選項卡。選擇不同屬性，查看

21、Missing項，如下圖的six屬性檢測情況。實驗原理步驟（算法流程）Missing顯示該屬性有9個缺失值，通過查看數據集數據，發(fā)現該屬性的確缺失9個屬性值，所以weka將所有的缺失值檢測出來了。對于所有屬性的分類能力的檢測，可通過查看Clusterer output窗口中每個屬性的每個取值在兩個簇中的分布來初步確定。如屬性A1的一個取值b分別在Cluster0和Cluster1中出現了356和124，分別占出現的所有的A1取值的68%和72%。屬性A1的另外一個取值分別在Cluster0和Cluster1中出現了162和48，分別占出現的所有的A1取值的31%和27%。而A1 中的每個取值分

22、別在兩個簇中的出現的比例差不多，表明屬性A1分別取值a和b的實例并沒有很好地被聚類到不同的簇。這就說明屬性A1不具有較好的分類能力。但我們可以從聚類圖中看出如A5 的分類能力就比較好，同樣我們也可以通過Visualize cluster assignments 窗口直觀地觀察15個屬性的分類能力。屬性A1：屬性A2：實驗原理步驟（算法流程）屬性A9：屬性A12：實驗原理步驟（算法流程）屬性A11：屬性A4：實驗原理步驟（算法流程）:通過對15個輸入屬性進行分類能力的檢查，發(fā)現A9，A10，A11，A12這4個屬性具有較好的分類預測能力，而A1，A2，A4，A5，A6這5個屬性具有較差的分類預測

23、能力。下面我們可以選擇A9，A10，A11，A12這4個具有較好分類預測能力的屬性，刪除其他屬性進行實驗，發(fā)現分類的正確率仍為84.3%，分類正確率并未得到提升，說明依靠屬性選擇期望提高分類器質量的辦法不行。但是若刪除這四個屬性，使用其他的輸入屬性進行實驗，得到的正確率會有很大幅度的下降，所以我們可以僅使用這四個屬性建模，在提高實驗效率的同時，又不降低分類器的質量。通過屬性選擇不能達到提高分類模型質量的目的，那么我們可以通過實例選擇來提高，選擇具有代表性的屬性值的實例，其中分類類型的屬性值為出現比例最高的屬性值，如A1的b屬性值，數值型屬性值為接近各類中均值的取值如A2中屬性32.55，28.

24、6，所以我們要取屬性A2的值接近這兩個值的實例。選擇這些輸入屬性進行實驗，會發(fā)現分類的正確率有所提高。最后的輸出結果如下圖所示：實驗結果及分析我們可以發(fā)現正確率從84.3%提高到了92.3%，所以我們有代表性屬性值的數據實例建立有指導的模型比訓練實例建立的模型效果更好。本次實驗基本算法是K-means算法：5. 隨機選擇一個K值，用以確定簇的總數。6. 在數據集中任選K個實例，將他們作為初始簇中心。7. 計算這K個簇中心與其他剩余實例的簡單歐氏距離，按照這個劃分到簇中。8. 使用每個簇中的實例計算該簇的新簇中心。9. 當計算得到新的簇中心與上次一致，則終止算法。實驗收獲 通過這次實驗，我知道了

25、基本算法是K-means算法，K-means是一種無指導的聚類技術，使用它可以將相似性高的實例劃分到相應的簇中，但是它缺乏對數據集屬性的重要性判斷。實驗分項5屬性相關性，神經網絡（1）神經網絡（2）實驗目的1. 理解屬性評估的原理，掌握屬性相關性的計算。2. 理解BP神經網絡的基本原理，掌握應用BP算法建立前饋神經網絡的方法和步驟。實驗要求具體題目1. 根據教材5.4節(jié)的5.4.1小節(jié)，基于Excel的correl函數計算屬性相關性，并使用散點圖來查看屬性相關性，對結果進行分析。2. 參照教材6.2.3小節(jié)，基于weka軟件，使用BP算法創(chuàng)建有指導的分類模型。實驗內容為6.2.3中實驗1：建立

26、邏輯異或模型。系統(tǒng)平臺 Weka軟件和Excel表格實驗原理步驟（算法流程）1. 使用MS Excel的CORREL函數計算屬性相關性用Excel的CORREL函數計算iris數據集中的Petal_width(花瓣寬度)和Petal_length(花瓣長度)，Petal_width(花瓣寬度)和Sepal_ width(花萼寬度)兩對屬性之間的分別相關度。過程如下。(1) 在Excel中加載iris.xls數據集。(2) 在一個空白單元格中輸入=CORREL(B2:B151，C2:C151)，單擊確定按鈕。(3) 在另一個空白單元格中輸入=CORREL(B2:B151，D2:D151)，單擊確

27、定按鈕。 在兩個單元格中分別顯示了0.9627和-0.3661。前一個值接近于1，說明花瓣寬度和長度之間具有較強的正相關性；而后一個值說明花瓣寬度和花萼寬度兩個屬性之間具有一定的但較小的負相關性。2. 使用散點圖檢查屬性的相關性相關系數只能表示兩個屬性之間的線性相關程度。兩個具有較小r值的屬性仍可能存在曲線的關系。通過散點圖可以檢查兩個屬性之間是否存在曲線相關，當然也能顯示兩個屬性間的線性相關性。實驗原理步驟（算法流程）步驟：1. 在Excel中加載iris.xls數據集。2. 選中Petal_width和Petal_length列，打開“插入”菜單，單擊“散點圖”按鈕，插入以這兩個屬性為x坐

28、標和y坐標的散點圖。3. 選中Petal_width和Sepal_width列，打開“插入”菜單，單擊“散點圖”按鈕，插入以這兩個屬性為x坐標和y坐標的另一個散點圖。Petal_width和Petal_length的散點圖Petal_width和Sepal_width的散點圖上圖顯示了生成的兩個散點圖，根據散點圖和相關系數我們可知Petal_width 實驗原理步驟（算法流程）和Petal_length之間具有較強的正相關性，而Petal_width和Sepal_width兩個屬性之間沒有相關性。4. 應用BP算法建立前饋神經網絡(1) 準備訓練數據。新建Excel電子表格文件，輸入內容如下圖

29、，另存為.csv文件，并加載到Explorer中。(2) 定義網絡體系結構，設置相關參數。定義網絡體系結構需要作出以下幾項選擇。1. 隱層：可以設置12個隱層，并指定每個隱層中節(jié)點的個數。在Weka中的格式為用逗號分隔的各隱層中節(jié)點的個數，如指定的兩個隱層，分別有5個和3個隱層節(jié)點，設置格式(5,3)。2. 學習率：可以是0.10.9的范圍內的數值，通常較低的學習率需要較多的訓練迭代，較高的學習率使得網絡收斂的更快，由此獲得不理想的輸出結果的機會更大。3. 周期：全部訓練數據通過網絡的總次數。4. 收斂性：通過收斂性的設置來選擇一個訓練終止的最大均方根誤差，收斂參數的合理設置為0.1，如果希望

30、根據周期數來終止訓練，收斂參數可以設置為一個任意小的值。在Weka中切換到Classify選項卡，單擊Classifier窗口的Choose按鈕，選擇分類器MultilayerPerceptron，在Choose按鈕右邊的文本框中右擊，在彈出的快捷菜單中選擇Show properties命令，打開分類器的屬性設置對話框。在屬性設置對話框中，將GUI設置為True，使得在訓練前，可查看包含神經網絡體系結構的GUI界面。 并且可交互式地修改結構和設置其他參數，且可以在網絡訓練過程中暫停，進行結構和參數的反復修改。在屬性設置對話框中，設置hiddenLayers為“5，3”，表示有2個隱層，分別有5

31、個和3個隱層節(jié)點；設置learning-Rate為“0.5”，trainingTime為“10000” 單擊OK按鈕，回到WekaExplorer的Classifier窗口，設置Test Options為Use training set,并單擊More options按鈕，打開Classifier evaluation options對話框，選中Output predictions復選框，以確保在輸出中能夠看到檢驗集的分類情況。 步驟三：訓練網絡 單擊Weka Explorer的Classifier窗口中的start按鈕，開始神經網絡的訓練過程。彈出神經網絡GUI界面，單擊start按鈕，執(zhí)行

32、訓練，并選擇Accept訓練結果。實驗結果及分析XOR Classifier的輸出結果步驟四：解釋訓練結果 從輸出結果中可以看到，結果并不理想，其中的Root mean squared為0.5005，4個檢驗集，2個屬于XOR等于1的類實例分類正確，而2個屬于XOR等于0的類實例中的計算輸出值分別為0.522和0.522，不能清晰的確定屬于哪個類。步驟五：結果不理想，更改結果，調整參數，重復實驗 觀察到分類器的輸出結果不理想，更改網絡結構，調整參數，重復實驗。這次實驗指定1個隱層，具有兩個隱層節(jié)點。學習率設置為0.1，降低學習率的目的是提高迭代次數，希望得到更理想的結果。其他參數保持默認值。 開始訓練，通過觀察下圖分析結果。實驗結果分析第二次實驗的