Clementine數(shù)據(jù)挖掘快速上手

1、數(shù)據(jù)挖掘快速上手Version1.0 Preparedby 高處不勝寒QQ 群： 140944152009-10-15、Clementine 數(shù)據(jù)挖掘的基本思想數(shù)據(jù)挖掘（ Data Mining ）是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程，它是一種深層次的數(shù)據(jù)分析方法。 隨著科技的發(fā)展，數(shù)據(jù)挖掘不再只依賴在線分析等傳統(tǒng)的分析方法。它結(jié)合了人工智能（AI ）和統(tǒng)計(jì)分析的長(zhǎng)處，利用人工智能技術(shù)和統(tǒng)計(jì)的應(yīng)用程序，并把這些高深復(fù)雜的技術(shù)封裝起來(lái)，使人們不用自己掌握這些技術(shù)也能完成同樣的功能，并且更專注于自己所要解

2、決 的問題。Clementine 為我們提供了大量的人工智能、統(tǒng)計(jì)分析的模型（神經(jīng)網(wǎng)絡(luò)，關(guān)聯(lián)分析，聚類分析、因子分析等），并用基于圖形化的界面為我們認(rèn)識(shí)、了解、熟悉這個(gè)軟件提供了方便。除了這些 Clementine 還擁有優(yōu)良的數(shù)據(jù)挖掘設(shè)計(jì)思想， 正是因?yàn)橛辛诉@個(gè)工作思想， 我們每一步的工 作也變得很清晰。 （如圖一所示 ）CRISSP-DMpr ocess mod el如圖可知， CRISP-DMModel 包含了六個(gè)步驟， 并用箭頭指示了步驟間的執(zhí)行順序。這些順序并不嚴(yán)格，用戶可以根據(jù)實(shí)際的需要反向執(zhí)行某個(gè)步驟，也可以跳過某些步驟不予執(zhí)行。通過對(duì)這些步驟的執(zhí)行，我們也涵蓋了數(shù)據(jù)挖掘的關(guān)鍵部

3、分。商業(yè)理解 (B u si ness unddeerrsst andiin g) ：商業(yè)理解階段應(yīng)算是數(shù)據(jù)挖掘中最重要的一個(gè)部分，在這個(gè)階段里我們需要明確商業(yè)目標(biāo)、評(píng)估商業(yè)環(huán)境、確定挖掘目標(biāo)以及產(chǎn)生一個(gè)項(xiàng)目計(jì)劃。數(shù)據(jù)理解 (D ataundeerrssttaannddiinngg)：數(shù)據(jù)是我們挖掘過程的“原材料 ”，在數(shù)據(jù)理解過程中我們要知道都有些什么數(shù)據(jù)，這些數(shù)據(jù)的特征是什么，可以通過對(duì)數(shù)據(jù)的描述性分析得到數(shù)據(jù)的特點(diǎn)。數(shù)據(jù)準(zhǔn)備 (Date prepar atiion) ：在數(shù)據(jù)準(zhǔn)備階段我們需要對(duì)數(shù)據(jù)作出選擇、清洗、重建、合并等工作。 選出要進(jìn)行分析的數(shù)據(jù)，并對(duì)不符合模型輸入要求的數(shù)據(jù)進(jìn)行規(guī)

4、范化操作。建模 (Modd elliingg)：建模過程也是數(shù)據(jù)挖掘中一個(gè)比較重要的過程。我們需要根據(jù)分析目的選出適合的模型工具，通過樣本建立模型并對(duì)模型進(jìn)行評(píng)估。模型評(píng)估 ( Ev aluatii on)：并不是每一次建模都能與我們的目的吻合，評(píng)價(jià)階段旨在對(duì)建模結(jié)果進(jìn)行評(píng)估，對(duì)效果較差的結(jié)果我們需要分析原因，有時(shí)還需要返回前面的步驟對(duì)挖掘過程重新定義。結(jié)果部署 (Deployment) )：這個(gè)階段是用建立的模型去解決實(shí)際中遇到的問題，它還包括了監(jiān)督、 維持、產(chǎn)生最終報(bào)表、重新評(píng)估模型等過程。、Clementine 的基本操作方法1. 操作界面的介紹Cleemmeen tine 操作界面.1

5、數(shù)據(jù)流程區(qū)Clementine 在進(jìn)行數(shù)據(jù)挖掘時(shí)是基于數(shù)據(jù)流程形式，從讀入數(shù)據(jù)到最后的結(jié)果顯示都是由流程圖的形式顯示在數(shù)據(jù)流程區(qū)內(nèi)。數(shù)據(jù)的流向通過箭頭表示，每一個(gè)結(jié)點(diǎn)都定義了對(duì)數(shù)據(jù)的不同操作，將各種操作組合在一起便形成了一條通向目標(biāo)的路徑。數(shù)據(jù)流程區(qū)是整個(gè)操作界面中最大的部分，整個(gè)建模過程以及對(duì)模型的操作都將在這個(gè)區(qū)域內(nèi)執(zhí)行。我們可以通過" 文件"(File ） " 新建流"(new stream)新建一個(gè)空白的數(shù)據(jù)流，也可以打開已有的數(shù)據(jù)流。所有在一個(gè)運(yùn)行期內(nèi)打開的數(shù)據(jù)流都將保存在管理器的 Stream欄下。1.2 選項(xiàng)面板選項(xiàng)面板橫跨于 Clemen

6、tine 操作界面的下部， 它被分為收藏夾（Favorites ）、數(shù)據(jù)源（ Sources）、記錄選項(xiàng)（Record Ops）、字段選項(xiàng)（ Fields Ops ）、圖形（Graphs）、建模（Modeling ）、輸出（ Output ）、導(dǎo)出八個(gè)欄，其中每個(gè)欄目包含了具有相關(guān)功能的結(jié)點(diǎn)。結(jié)點(diǎn)是數(shù)據(jù)流的基本組成部分，每一個(gè)結(jié)點(diǎn)擁有不同的數(shù)據(jù)處理功能。設(shè)置不同的欄是為了將不同功能的結(jié)點(diǎn)分組，下面我們介紹各個(gè)欄的作用。數(shù)據(jù)源 (Sources)：該欄包含了能讀入數(shù)據(jù)到Clementine 的結(jié)點(diǎn)。例如 Var. File 結(jié)點(diǎn)讀取自由格式的文本文件到 Clementine， SPSS File

7、 讀取 spss文件到 Clementine 。記錄選項(xiàng) (RecordOps) ：該欄包含的結(jié)點(diǎn)能對(duì)數(shù)據(jù)記錄進(jìn)行操作。例如篩選出滿足條件的記錄（ select）、將來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)合并在一起（merge）、向數(shù)據(jù)文件中添加記錄(append)等。字段選項(xiàng) (FieldOps)：該欄包含了能對(duì)字段進(jìn)行操作的結(jié)點(diǎn)。例如過濾字段（filter ）能讓被過濾的字 段不作為模型的輸入、導(dǎo)出（derive ）結(jié)點(diǎn)能根據(jù)用戶定義生成新的字段，同時(shí)我們還可以定義字段的數(shù)據(jù)格式。圖形 (Graphh s)：該欄包含了眾多的圖形結(jié)點(diǎn)，這些結(jié)點(diǎn)用于在建模前或建模后將數(shù)據(jù)由圖形形式輸出。建模 (Modeling

8、) )：該欄包含了各種已封裝好的模型，例如神經(jīng)網(wǎng)絡(luò)（Neural Net）、決策樹（ C5.0）等。這些模型能完成預(yù)測(cè)（NeuralNet ，Regression，Logistic）、分類（C5.0，C&RTree，Kohonen ， K-means， Twostep ）、關(guān)聯(lián)分析 (Apriori ， GRI ， Sequece)等功能。輸出 (O utpuutt) ：該欄提供了許多能輸出數(shù)據(jù)、模型結(jié)果的結(jié)點(diǎn)，用戶不僅可以直接在Clementine中查看輸出結(jié)果，也可以輸出到其他應(yīng)用程序中查看，例如SPSS和Excel 。收藏夾 ( Fav oriittess) ：該欄放置了用戶經(jīng)常

9、使用的結(jié)點(diǎn)，方便用戶操作。用戶可以自定義其Favorites 欄，操作方法為：選中菜單欄的工具(Tools) ，在下拉菜單中選擇收藏夾(Favorites) ，在彈出的 Palette Manager 中選中要放入 Favorites 欄中的結(jié)點(diǎn)。1.3 管理器理器中共包含了流( Streams)、輸出(Outputs) 、模型(Models) 三個(gè)欄。其中流（Streams）中放置了運(yùn)行期內(nèi)打開的所有數(shù)據(jù)流，可以通過右鍵單擊數(shù)據(jù)流名對(duì)數(shù)據(jù)流進(jìn)行保存、設(shè)置屬性等操作。輸出( Outputs) 中包含了運(yùn)行數(shù)據(jù)流時(shí)所有的輸出結(jié)果，可以通過雙擊結(jié)果名查看輸出的結(jié)果。模型( Models) 中包含了

10、模型的運(yùn)行結(jié)果，我們可以右鍵單擊該模型從彈出的瀏覽(Browse) 中查看模型結(jié)果，也可以將模型結(jié)果加入數(shù)據(jù)流中。1.4 4項(xiàng)目窗口的介紹項(xiàng)目窗口含有兩個(gè)選項(xiàng)欄，一個(gè)是CRISP-DM ，一個(gè)是類( Classes)。CRISP-DM 的設(shè)置是基于 CRISP-DMModel 的思想， 它方便用戶存放在挖掘各個(gè)階段形成的文件。由右鍵單擊階段名，可以選擇生成該階段要擁有的文件，也可以打開已存在的文件將其放入該階段。這樣做的好處是使用戶對(duì)數(shù)據(jù)挖掘過程一目了然，也有利于對(duì)它進(jìn)行修改。類 (Classes)窗口具有同 CRISP-DM 窗口相似的作用，它的分類不是基于挖掘的各個(gè)過程，而是基于存儲(chǔ)的文件

11、類型。例如數(shù)據(jù)流文件、結(jié)點(diǎn)文件、圖表文件等。2、數(shù)據(jù)流基本操作的介紹2.1 生成數(shù)據(jù)流的基本過程數(shù)據(jù)流是由一系列的結(jié)點(diǎn)組成，當(dāng)數(shù)據(jù)通過每個(gè)結(jié)點(diǎn)時(shí)，結(jié)點(diǎn)對(duì)它進(jìn)行定義好的操作。我們?cè)诮?shù)據(jù)流是通常遵循以下四步：、向數(shù)據(jù)流程區(qū)增添新的結(jié)點(diǎn)；、將這些結(jié)點(diǎn)連接到數(shù)據(jù)流中；、設(shè)定數(shù)據(jù)結(jié)點(diǎn)或數(shù)據(jù)流的功能；、運(yùn)行數(shù)據(jù)流。2.2 向數(shù)據(jù)流程區(qū)添 /刪結(jié)點(diǎn) 當(dāng)向數(shù)據(jù)流程區(qū)添加新的結(jié)點(diǎn)時(shí)，我們有下面三種方法遵循：、雙擊結(jié)點(diǎn)面板中待添加的結(jié)點(diǎn)；、左鍵按住待添加結(jié)點(diǎn)，將其拖到數(shù)據(jù)流程區(qū)內(nèi)；、選中結(jié)點(diǎn)面板中待添加的結(jié)點(diǎn)，將鼠標(biāo)放入數(shù)據(jù)流程區(qū)，在鼠標(biāo)變?yōu)槭中螘r(shí)單擊數(shù)據(jù)流程區(qū)。通過上面三種方法我們都將發(fā)現(xiàn)選中的結(jié)點(diǎn)出現(xiàn)在

12、了數(shù)據(jù)流程區(qū)內(nèi)。當(dāng)我們不再需要數(shù)據(jù)流程區(qū)內(nèi)的某個(gè)結(jié)點(diǎn)時(shí)，可以通過以下兩種方法來(lái)刪除：左鍵單擊待刪除的結(jié)點(diǎn)，用刪除（delete）；右鍵單擊待刪除的結(jié)點(diǎn)，在出現(xiàn)的菜單中選擇刪除（delete）。2.3 將結(jié)點(diǎn)連接到數(shù)據(jù)流中上面我們介紹了將結(jié)點(diǎn)添加到數(shù)據(jù)流程區(qū)的方法，然而要使結(jié)點(diǎn)真正發(fā)揮作用，我們需要連接到數(shù)據(jù)流中。以下有三種可將結(jié)點(diǎn)連接到數(shù)據(jù)流中的方法：、雙擊結(jié)點(diǎn)左鍵選中數(shù)據(jù)流中要連接新結(jié)點(diǎn)的結(jié)點(diǎn)（起始結(jié)點(diǎn)），雙擊結(jié)點(diǎn)面板中要連接入數(shù)據(jù)流的結(jié)點(diǎn)（目標(biāo)結(jié)點(diǎn)），這樣便將數(shù)據(jù)流中的結(jié)點(diǎn)與新結(jié)點(diǎn)相連接了；圖六雙擊目標(biāo)結(jié)點(diǎn)以加入數(shù)據(jù)流、通過鼠標(biāo)滑輪連接在工作區(qū)內(nèi)選擇兩個(gè)待連接的結(jié)點(diǎn)，用左鍵選中連接的起始結(jié)

13、點(diǎn)，按住鼠標(biāo)滑輪將其拖曳到目標(biāo)結(jié)點(diǎn)放開，連接便自動(dòng)生成。 （如果鼠標(biāo)沒有滑輪也選用alt鍵代替） 由滑輪連接兩結(jié)點(diǎn)、手動(dòng)連接右鍵單擊待連接的起始結(jié)點(diǎn)，從彈出的菜單欄中選擇連接(Connect) 。選中連接( Connect) 后鼠標(biāo)和起始結(jié)點(diǎn)都出現(xiàn)了連接的標(biāo)記，用鼠標(biāo)單擊數(shù)據(jù)流程區(qū)內(nèi)要連接的目標(biāo)結(jié)點(diǎn)，連接便生成。圖八 選擇菜單欄中的 連接 coonnnectt圖九點(diǎn)擊要連入的結(jié)點(diǎn)注意：、第一種連接方法是將選項(xiàng)面板中的結(jié)點(diǎn)與數(shù)據(jù)流相連接，后兩種方法是將已在數(shù)據(jù)流程區(qū)中的結(jié)點(diǎn)加入到數(shù)據(jù)流中、數(shù)據(jù)讀取結(jié)點(diǎn)（如 SPSS File ）不能有前向結(jié)點(diǎn)，即在連接時(shí)它只能作為起始結(jié)點(diǎn)而不能作為目標(biāo)結(jié)點(diǎn)。2.

14、4 繞過數(shù)據(jù)流中的結(jié)點(diǎn)當(dāng)我們暫時(shí)不需要數(shù)據(jù)流中的某個(gè)結(jié)點(diǎn)時(shí)我們可以繞過該結(jié)點(diǎn)。在繞過它時(shí)，如果該結(jié)點(diǎn)既有輸入結(jié)點(diǎn)又有輸出結(jié)點(diǎn)那么它的輸入節(jié)點(diǎn)和輸出結(jié)點(diǎn)便直接相連；如果該結(jié)點(diǎn)沒有輸出結(jié)點(diǎn)， 那么繞過該結(jié)點(diǎn)時(shí)與這個(gè)結(jié)點(diǎn)相連的所有連接便被取消。：用鼠標(biāo)滑輪雙擊需要繞過的結(jié)點(diǎn)或者選擇按住alt鍵，通過用鼠標(biāo)左鍵雙擊該結(jié)點(diǎn)來(lái)完成。2.5 將結(jié)點(diǎn)加入已存在的連中當(dāng)我們需要在兩個(gè)已連接的結(jié)點(diǎn)中再加入一個(gè)結(jié)點(diǎn)時(shí)，我們可以采用這種方法將原來(lái)的連接變成兩個(gè)新的連接。方法：用鼠標(biāo)滑輪單擊欲插入新結(jié)點(diǎn)的兩結(jié)點(diǎn)間的連線，按住它并把他拖到新結(jié)點(diǎn)時(shí)放手，新的連接便生成。 （在鼠標(biāo)沒有滑輪時(shí)亦可用alt鍵代替）2.6 刪除連

15、接當(dāng)某個(gè)連接不再需要時(shí)，我們可以通過以下三種方法將它刪除：、選擇待刪除的連接，單擊右鍵，從彈出菜單中選擇Delete Connection ；、選擇待刪除連接的結(jié)點(diǎn)，按F3 鍵，刪除了所有連接到該結(jié)點(diǎn)上的連接；、 選 擇 待 刪 除 連 接 的 結(jié) 點(diǎn) ， 從 主 菜 單 中 選 擇 斷 開 連 接 ( Edit Node Disconnect) 。2.7 數(shù)據(jù)流的執(zhí)行數(shù)據(jù)流結(jié)構(gòu)構(gòu)建好后要通過執(zhí)行數(shù)據(jù)流數(shù)據(jù)才能從讀入開始流向各個(gè)數(shù)據(jù)結(jié)點(diǎn)。執(zhí)行數(shù)據(jù)流的方法有以下三種：、選擇菜單欄中的按鈕，數(shù)據(jù)流區(qū)域內(nèi)的所有數(shù)據(jù)流將被執(zhí)行；、先選擇要輸出的數(shù)據(jù)流，再選擇菜單欄中的按鈕，被選的數(shù)據(jù)流將被執(zhí)行；、選擇

16、要執(zhí)行的數(shù)據(jù)流中的輸出結(jié)點(diǎn)，單擊鼠標(biāo)右鍵，在彈出的菜單欄中選擇Execute選項(xiàng)，執(zhí)行被選中的數(shù)據(jù)流。在這部分我們將介紹五種分析方法的建立過程，它們分別是因子分析、 關(guān)聯(lián)分析、 聚類分析、決策樹分析和神經(jīng)網(wǎng)絡(luò)。為了方便大家練習(xí)，我們將采用Clementine 自帶的示例，這些示例在demos文件夾中均可找到，它們的數(shù)據(jù)文件也在demos文件夾中。在模型建立過程中我們將介紹各個(gè)結(jié)點(diǎn)的作用。1、因子分析 (f acttor. st r)研究從變量群中提取共性因子的統(tǒng)計(jì)技術(shù)。最早由英國(guó)心理學(xué)家 C.E. 斯皮爾曼提出。他發(fā)現(xiàn)學(xué)生的各科成績(jī)之間存在著一定的相關(guān)性，一科成績(jī)好的學(xué)生，往往其他各科成績(jī)也比

17、較好，從而推想是否存在某些潛在的共性因子，或稱某些一般智力條件影響著學(xué)生的學(xué)習(xí)成績(jī)。因子分析可在許多變量中找出隱藏的具有代表性的因子。將相同本質(zhì)的變量歸入一個(gè)因子，可減少變量的數(shù)目，還可檢驗(yàn)變量間關(guān)系的假設(shè)。因子分析的主要目的是用來(lái)描述隱藏在一組測(cè)量到的變量中的一些更基本的，但又無(wú)法直接測(cè)量到的隱性變量(latentvariable,latentfactor)。比如，如果要測(cè)量學(xué)生的學(xué)習(xí)積極性(motivation)，課堂中的積極參與，作業(yè)完成情況，以及課外閱讀時(shí)間可以用來(lái)反應(yīng)積極性。而學(xué)習(xí)成績(jī)可以用期中，期末成績(jī)來(lái)反應(yīng)。在這里，學(xué)習(xí)積極性與學(xué)習(xí)成績(jī)是無(wú)法直接用一個(gè)測(cè)度( 比如一個(gè)問題 ) 測(cè)

18、準(zhǔn)，它們必須用一組測(cè)度方法來(lái)測(cè)量，然后把測(cè)量結(jié)果結(jié)合起來(lái)，才能更準(zhǔn)確地來(lái)把握。換句話說，這些變量無(wú)法直接測(cè)量?？梢灾苯訙y(cè)量的可能只是它所反映的一個(gè)表征(manifest)， 或者是它的一部分。在這里，表征與部分是兩個(gè)不同的概念。表征是由這個(gè)隱性變量直接決定的。隱性變量是因，而表征是果，比如學(xué)習(xí)積極性是課堂參與程度( 表征測(cè)度 ) 的一個(gè)主要決定因素。那么如何從顯性的變量中得到因子呢？因子分析的方法有兩類。一類是探索性因子分析，另一類是驗(yàn)證性因子分析。探索性因子分析不事先假定因子與測(cè)度項(xiàng)之間的關(guān)系，而讓數(shù)據(jù)“自己說話”。主成分分析是其中的典型方法。驗(yàn)證性因子分析假定因子與測(cè)度項(xiàng)的關(guān)系是部分知道的

19、，即哪個(gè)測(cè)度項(xiàng)對(duì)應(yīng)于哪個(gè)因子，雖然我們尚且不知道具體的系數(shù)。示例 factor.str是對(duì)孩童的玩具使用情況的描述，它一共有 76個(gè)字段。 過多的字段不僅增添了分析的復(fù)雜性，而且字段之間還可能存在一定的相關(guān)性，于是我們無(wú)需使用全部字段來(lái)描述樣本信息。下面我們將介紹用 Clementine 進(jìn)行因子分析的步驟：St ep 一：讀入數(shù)據(jù)數(shù)據(jù)源 (Source) 欄中的結(jié)點(diǎn)提供了讀入數(shù)據(jù)的功能，由于玩具的信息存儲(chǔ)為toy_train.sav ，所以我們用SPSS文件( SPSS File) 結(jié)點(diǎn)來(lái)讀入數(shù)據(jù)。雙擊 SPSS文件( SPSS File) 結(jié)點(diǎn)使之添加到數(shù)據(jù)流程區(qū)內(nèi)，雙擊添加到 數(shù)據(jù)流程區(qū)

20、里的 SPSS文件(SPSS File) 結(jié)點(diǎn)，由此來(lái)設(shè)置該結(jié)點(diǎn)的屬性。在屬性設(shè)置時(shí)，單擊導(dǎo)入文件(Import file) 欄右側(cè)的按鈕，選擇要加載到數(shù)據(jù)流中進(jìn)行分析的文件，這里選擇toy_train.sav 。單擊注解( Annotations) 頁(yè)，在名稱( name) 欄中選擇定制( custom) 選項(xiàng)并在其右側(cè)的文本框中輸入自定義的結(jié)點(diǎn)名稱。這里我們按照原示例輸入toy_train 。Step二：設(shè)置字段屬性進(jìn)行因子分析時(shí)我們需要了解字段間的相關(guān)性，但并不是所有字段都需要進(jìn)行相關(guān)性分析，比如“序號(hào) ”字段，所以需要我們將要進(jìn)行因子分析的字段挑選出來(lái)。字段選項(xiàng)(Field Ops)

21、欄中的類型( Type) 結(jié)點(diǎn)具有設(shè)置各字段數(shù)據(jù)類型、選擇字段在機(jī)器學(xué)習(xí)中的的輸入/輸出屬性等功能，我們利 用該結(jié)點(diǎn)選擇要進(jìn)行因子分析的字段。首先，將類型(Type)結(jié)點(diǎn)加入到數(shù)據(jù)流中，雙擊該結(jié)點(diǎn)對(duì)其進(jìn)行屬性設(shè)置：由上圖可看出數(shù)據(jù)文件中所有的字段名顯示在了字段(Field) 欄中，類型( Type) 表示了每個(gè)字段的數(shù)據(jù)類型。 我們不需要為每個(gè)字段設(shè)定數(shù)據(jù)類型，只需從 Values欄中的下拉菜單中選擇<Read> 項(xiàng)，然后選擇讀取值( Read Value) 鍵，軟件將自動(dòng)讀入數(shù)據(jù)和數(shù)據(jù)類型；缺失(Missing) 欄是在數(shù)據(jù)有缺失時(shí)選擇是否用空( Blank) 填充該字段；檢查(

22、Check) 欄選擇是否判斷該字段數(shù)據(jù)的合理性；而方向( Direction)欄在機(jī)器學(xué)習(xí)模型的建立中具有相當(dāng)重要的作用，通過對(duì)它的設(shè)置我們可 將字段設(shè)為輸入 / 輸出 /輸入且輸出 /非輸入亦非輸出四種類型。在這里我們將前19個(gè)字段的方向 ( Direction)設(shè)置為無(wú)( none) ，這表明在因子分析我們不將這前19個(gè)字段列入考慮，從第20個(gè)字段起我們將以后字段的方向(direction) 設(shè)置為輸入( In) ，對(duì)這些字段進(jìn)行因子分析。Step 三： 對(duì)數(shù) 據(jù)行 因 子 分析 因子 分 析 模型 在 建模 ( Modeling) 欄中 用 主 成 分 / 因 子 分 析( PCA/Fa

23、ctor) 表示。在分析過程中模型需要有大于或等 于兩個(gè)的字段輸入，上一步的 Type 結(jié)點(diǎn)中我們已經(jīng)設(shè)置好了將作為模型輸入的字段，這里我們將 主成分/ 因子分析( PCA/Factor) 結(jié)點(diǎn)連接在類型(Type) 結(jié)點(diǎn)之后不修改它的屬性，默認(rèn)采用主成分分析方法。后我們便可以將它執(zhí)行。右鍵單擊主成分 / 因子分析( PCA/Factor) 結(jié)點(diǎn)，在彈出的菜 單欄中選擇執(zhí)行( Execute) 命令。執(zhí)行結(jié)束后，模型結(jié)果放在管理器的模型( Models) 欄中，其標(biāo)記為名稱為主成分 / 因子分析( PCA/Factor) 的黃色結(jié)點(diǎn)。右鍵單擊該結(jié)果結(jié)點(diǎn)，從彈出的菜單中選擇瀏覽(Browse)

24、選項(xiàng)查看輸出結(jié)果。由結(jié)果可知參與因子分析的字段被歸結(jié)為了五個(gè)因子變量，其各個(gè)樣本在這五個(gè)因子變量里的得分也在結(jié)果中顯示。Step四：顯示經(jīng)過因子分析后的數(shù)據(jù)表模型的結(jié)果結(jié)點(diǎn)也可以加入到數(shù)據(jù)流中對(duì)數(shù)據(jù)進(jìn)行操作。我們?cè)跀?shù)據(jù)流程區(qū)內(nèi)選中類型( Type) 結(jié)點(diǎn)，然后雙擊管理器模型( Models) 欄中的 PCA/Factor 結(jié)點(diǎn)，該結(jié)點(diǎn)便加入到數(shù)據(jù)流中。為了顯示經(jīng)過因子分析后的數(shù)據(jù)我們可以采用表格( Table) 結(jié)點(diǎn)，該結(jié)點(diǎn)將數(shù)據(jù)由數(shù)據(jù)表的形式輸出。4.1為因子變量命名在將PCA/Factor （結(jié)果）結(jié)點(diǎn)連接到表格( Table)結(jié)點(diǎn)之前，用戶可以設(shè)置不需要顯示的字段，也可以更改因子變量名，

25、為了達(dá)到這個(gè)目的我們可以添加字段選項(xiàng)(FieldOps) 欄中的字段( filter) 結(jié)點(diǎn)。在對(duì)過濾( filter) 結(jié)點(diǎn)進(jìn)行屬性設(shè)置時(shí)，過濾(filter) 項(xiàng)顯示了字段的過濾與否，如果需要將某個(gè)字段過濾，只需用鼠標(biāo)單擊Filter 欄中的箭頭，當(dāng)箭頭出現(xiàn)紅“× ”時(shí)該字段便被過濾。第一個(gè)字段( Field) 欄結(jié)點(diǎn)表明數(shù)據(jù)在讀入過濾( filter) 結(jié)點(diǎn)時(shí)的字段名，第二個(gè)字段(Field) 欄表示數(shù)據(jù)經(jīng)過過濾(filter) 結(jié)點(diǎn)后的字段名。由于因子分析生成的因子變量都由系統(tǒng)自動(dòng)命名，用戶可以通過修改這些因子變量的第二個(gè)字段(Field) 的值來(lái)重新設(shè)定其字段名。2數(shù)據(jù)輸出

26、顯示, 在對(duì) 數(shù) 據(jù)進(jìn) 行輸 出 時(shí) 我們 選 擇 了 輸出 ( Output) 欄 中 的 表格 ( Table) 結(jié) 點(diǎn)和 圖形( Graph) 欄中的柱狀圖（ Histogram ）結(jié) 點(diǎn)。這兩個(gè)結(jié)點(diǎn)一個(gè)通過數(shù)據(jù)表的形式輸出，一個(gè)通過柱裝圖的形式輸出。對(duì)柱裝圖我們?cè)O(shè)置其顯示storeplay 字段的數(shù)據(jù)（ store_play 為第五個(gè)因子變量的新名）。通過“執(zhí)行 ”按鈕分別執(zhí)行兩條數(shù)據(jù)流，將經(jīng)過因子分析后的數(shù)據(jù)顯示。P.S. ：在這個(gè)因子分析的案例中我們用到了SPSS文件(SPSS Fillele)、類型(Ty pe)、過濾( Fill ter ) 、表格 ( Tab lle)、柱狀圖

27、 ( Histogrram) )、PC A/ Factor 結(jié)點(diǎn)。2. 關(guān)聯(lián)分析、決策樹分析（ baskr ul e.str ）關(guān)聯(lián)分析是指如果兩個(gè)或多個(gè)事物之間存在一定的聯(lián)系 , 那么其中一個(gè)事物就能通過其他事物進(jìn)行預(yù)測(cè) . 它的目的是為了挖掘隱藏在數(shù)據(jù)間的相互關(guān)系在數(shù)據(jù)挖掘的基本任務(wù)中關(guān)聯(lián) (ass()ciation) 和順序序貫?zāi)Ｐ?(seqtlencing) 關(guān)聯(lián)分析是指搜索事務(wù)數(shù)據(jù)庫(kù) (trarisactionaldatabases) 中的所有細(xì)節(jié)或事務(wù) , 從中尋找重復(fù)出現(xiàn)概率很高的模式或規(guī)則。示例 baskrule.str 是針對(duì)某商場(chǎng)的購(gòu)物資料對(duì)數(shù)據(jù)進(jìn)行分析。為了找出商品在出售

28、時(shí)是否存在某種聯(lián)系， 我們將使用關(guān)聯(lián)分析方法；為了得到購(gòu)買某種商品的顧客特征，我們將采用決策樹方法對(duì)顧客分類。St ep一： 讀入數(shù)據(jù)該模型的數(shù)據(jù)文件存儲(chǔ)為BASKETS1n ，我們選擇 Source欄的 Var. File（自由格式文本文件）結(jié)點(diǎn)作為數(shù)據(jù)讀入結(jié)點(diǎn)，雙擊該結(jié)點(diǎn)進(jìn)行屬性設(shè)置。tep二：關(guān)聯(lián)分析從數(shù)據(jù)源讀入數(shù)據(jù)后我們需要根據(jù)要進(jìn)行的分析對(duì)字段進(jìn)行設(shè)置。關(guān)聯(lián)分析是分析多個(gè)量之間的關(guān)系，所以需要將進(jìn)行分析的字段既設(shè)置為模型的輸入又設(shè)置為模型的輸出，對(duì)字段的設(shè)置可以通過 Type結(jié)點(diǎn)進(jìn)行。22.1 為數(shù)據(jù)設(shè)置字段格式在數(shù)據(jù)流程區(qū)內(nèi)選中已存在的Var. File結(jié)點(diǎn)，雙擊文件選擇( Fil

29、e OPs)欄中的類型( Type)結(jié)點(diǎn)，將類型(Type)結(jié)點(diǎn)加入到數(shù)據(jù)流中。由于我們的分析是對(duì)商品進(jìn)行，與顧客的個(gè)人信息無(wú)關(guān)，所以在類型( Type) 中將顧客個(gè)人信息字段的方向(Direction) 設(shè)為空( none)，其他商品字段的方向( Direction) 設(shè)為雙向(Both) 。同時(shí)我們也將讀入字段類型和字段取值。22.2 生成關(guān)聯(lián)分析數(shù)據(jù)流Clementine 提供了三個(gè)可以進(jìn)行關(guān)聯(lián)分析的模型，他們分別是 Apriori 、GRI 、 Sequence，在這里我們選擇 GRI 結(jié)點(diǎn)加入到數(shù)據(jù)流中。執(zhí)行該數(shù)據(jù)流，它的結(jié)果將在在管理器的 Models 欄中 以與模型同名的結(jié)點(diǎn)顯示

30、，右鍵選擇瀏覽該結(jié)點(diǎn)，結(jié)果如下圖：結(jié)果數(shù)據(jù)表顯示了各種商品間的關(guān)系，該表的每一行表明了當(dāng)某種商品被購(gòu)買時(shí)還有哪些產(chǎn)品可能被同時(shí)購(gòu)買，它是居于關(guān)聯(lián)分析中的支持度和可信度來(lái)分析的。Step三：圖形化顯示各商品之間的關(guān)系對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析除了利用模型外，我們還可以利用Graphs欄中的 Web結(jié)點(diǎn)將它們之間的關(guān)系通過網(wǎng)狀圖顯示。Web結(jié)點(diǎn)的屬性設(shè)置如下圖所示：選中 Web結(jié)點(diǎn)將它連接到Type結(jié)點(diǎn)上，對(duì)選擇 Fields欄右邊的打開對(duì)話框按鈕，彈出如上圖所示的選擇字段(Select Fields) 對(duì)話框。 選出將要作關(guān)聯(lián)分析的項(xiàng)，確定后返回Web屬性菜單。在 plot面板中選中 “僅顯示真值標(biāo)志(

31、showtrue tag only) ”欄可幫我們簡(jiǎn)化輸出網(wǎng)絡(luò)。在Web結(jié)點(diǎn)的屬性設(shè)置好后我們可以運(yùn)行這條數(shù)據(jù)流，運(yùn)行結(jié)果如下左圖所示。* 各色的結(jié)點(diǎn)代表了各種不同的商品，任兩點(diǎn)的連線越粗表明這兩點(diǎn)間的關(guān)系越強(qiáng)烈。我們還可以通過改變浮標(biāo)值設(shè)置不同的顯示，當(dāng)浮標(biāo)值越大時(shí)web 圖將顯示擁有越強(qiáng)關(guān)系的點(diǎn)（如下右圖所示）。(decisiontree) 一般都是自上而下的來(lái)生成的。每個(gè)決策或事件（即自然狀態(tài)）都可能引出兩個(gè)或多個(gè)事件，導(dǎo)致不同的結(jié)果，把這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。決策樹就是將決策過程各個(gè)階段之間的結(jié)構(gòu)繪制成一張箭線圖。選擇分割的方法有好幾種，但是目的都是一致的：對(duì)

32、目標(biāo)類嘗試進(jìn)行最佳的分割。從根到葉子節(jié)點(diǎn)都有一條路徑，這條路徑就是一條“規(guī)則 ”。決策樹可以是二叉的，也可以是多叉的。對(duì)每個(gè)節(jié)點(diǎn)的衡量：1) 通過該節(jié)點(diǎn)的記錄數(shù)2) 如果是葉子節(jié)點(diǎn)的話，分類的路徑對(duì)葉子節(jié)點(diǎn)正確分類的比例有些規(guī)則的效果可以比其他的一些規(guī)則要好。決策樹對(duì)于常規(guī)統(tǒng)計(jì)方法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：1) 可以生成可以理解的規(guī)則；2) 計(jì)算量相對(duì)來(lái)說不是很大；3) 可以處理連續(xù)和種類字段；4) 決策樹可以清晰的顯示哪些字段比較重要。缺點(diǎn)：1) 對(duì)連續(xù)性的字段比較難預(yù)測(cè)；2) 對(duì)有時(shí)間順序的數(shù)據(jù)，需要很多預(yù)處理的工作；3) 當(dāng)類別太多時(shí)，錯(cuò)誤可能就會(huì)增加的比較快；4) 一般的算法分類的時(shí)候，只是根據(jù)一

33、個(gè)字段來(lái)分類。St ep四：用決策樹進(jìn)行分類分析在本例中我們運(yùn)用決策樹對(duì)購(gòu)買某樣商品的客戶進(jìn)行分類，通過分析他的個(gè)人信息（例如年齡、收入等） 判斷怎樣的人會(huì)購(gòu)買健康食品。在用決策樹建模時(shí)我們需要設(shè)置一個(gè)輸出結(jié)點(diǎn)，模型根據(jù)樣本在該結(jié)點(diǎn)的不同取值構(gòu)造出決策樹。4.1 將 導(dǎo)出(Derriivv e)結(jié)點(diǎn)連接到 Typ e結(jié)點(diǎn)后Derive 結(jié)點(diǎn)在字段選項(xiàng)( Field OPs) 欄中，可選用任何一種結(jié)點(diǎn)連入數(shù)據(jù)流的方法將這個(gè)結(jié)點(diǎn)連接；4.2 設(shè)置 D r ivee結(jié)點(diǎn)的屬性雙擊Drive 結(jié)點(diǎn)打開屬性對(duì)話框，如下圖所示：DriveField 欄中將該結(jié)點(diǎn)命名為health_food ，在導(dǎo)出為(

34、Driveas)欄中選擇 Flag，這表明新生成的health_food 字段將存儲(chǔ)兩值類型的數(shù)據(jù)。在真值(True value)和假值(False value) 欄中分別填寫新字段的兩種數(shù)據(jù)值，其中真值(True value)表示當(dāng)條件滿足時(shí)該字段的值，假值(False value) 表明當(dāng)條件不滿足時(shí)該字段的值。對(duì)判斷條件的設(shè)置我們可以通過單擊True when 欄右邊的按鈕進(jìn)行。在表達(dá)式構(gòu)建器(Expression Builder) 中我們可以選擇數(shù)據(jù)的任一字段，通過設(shè)計(jì)表達(dá)式建立結(jié)果為真時(shí)的條件。這里我們?cè)O(shè)置表達(dá)式為 fruitveg = 'T' and fish =

35、'T'，這表明當(dāng)顧客購(gòu)買了fruitveg和fish 時(shí)該顧客便購(gòu)買了健康食物。3設(shè)置字段的輸入 /輸出方向要 用 決 策 樹 模 型 建 模 就 需 要 在 數(shù) 據(jù) 載 入 模 型 前 定 義 一 個(gè) 輸 出 字 段 ， 這 里 我 們 通 過 在health_food 結(jié)點(diǎn)后添加一Type 結(jié)點(diǎn)來(lái)定制字段的輸入/輸出方向。由于我們要分析購(gòu)買健康食物的顧客 特征，所以我們將health_food 字段的 Direction 選項(xiàng)設(shè)置為輸出( Out) ，將顧客的各個(gè)特征設(shè)置為輸入( In)，將其他商品設(shè)置為無(wú)( None) 。44.4 數(shù)據(jù)流的最終建立在對(duì)字段定義結(jié)束后，我們

36、將C5.0 （決策樹模型）結(jié)點(diǎn)加入到數(shù)據(jù)流。其數(shù)據(jù)流建立如下 圖：4.4 數(shù)據(jù)流的最終建立在對(duì)字段定義結(jié)束后，我們將C5.0 （決策樹模型）結(jié)點(diǎn)加入到數(shù)據(jù)流。其數(shù)據(jù)流建立如下圖：數(shù)據(jù)流， 我們可得到輸出結(jié)果如下樹形圖所示。該樹的葉結(jié)點(diǎn)表明了怎樣 的顧客將選擇健康食品，怎樣的顧客將拒絕健康食品，我們也可以根據(jù)該樹的將客戶按是否購(gòu)買健康食品進(jìn)行分類。P.S. :在這個(gè)關(guān)聯(lián)分析 /決策樹分析的案例中我們用到了Var. Fille、 Derive 、Web、GRI 和C5.0結(jié)點(diǎn)。3. 聚類分析(clustter.str )聚類分析指將物理或抽象對(duì)象的集合分組成為由類似的對(duì)象組成的多個(gè)類的分析過程。它

37、是一種重要的人類行為。聚類與分類的不同在于，聚類所要求劃分的類是未知的。聚類是將數(shù)據(jù)分類到不同的類或者簇這樣的一個(gè)過程，所以同一個(gè)簇中的對(duì)象有很大的相似性，而不同簇間的對(duì)象有很大的相異性。聚類分析的目標(biāo)就是在相似的基礎(chǔ)上收集數(shù)據(jù)來(lái)分類。聚類源于很多領(lǐng)域，包括數(shù)學(xué)，計(jì)算機(jī)科學(xué)，統(tǒng)計(jì)學(xué)，生物學(xué)和經(jīng)濟(jì)學(xué)。在不同的應(yīng)用領(lǐng)域，很多聚類技術(shù)都得到了發(fā)展，這些技術(shù)方法被用作描述數(shù)據(jù)，衡量不同數(shù)據(jù)源間的相似性，以及把數(shù)據(jù)源分類到不同的簇中。從統(tǒng)計(jì)學(xué)的觀點(diǎn)看，聚類分析是通過數(shù)據(jù)建模簡(jiǎn)化數(shù)據(jù)的一種方法。傳統(tǒng)的統(tǒng)計(jì)聚類分析方法包括系統(tǒng)聚類法、分解法、加入法、動(dòng)態(tài)聚類法、有序樣品聚類、有重疊聚類和模糊聚類等。采用k-

38、 均值、k- 中心點(diǎn)等算法的聚類分析工具已被加入到許多著名的統(tǒng)計(jì)分析軟件包中，如SPSS、SAS等。從機(jī)器學(xué)習(xí)的角度講，簇相當(dāng)于隱藏模式。聚類是搜索簇的無(wú)監(jiān)督學(xué)習(xí)過程。與分類不同，無(wú)監(jiān)督學(xué)習(xí)不依賴預(yù)先定義的類或帶類標(biāo)記的訓(xùn)練實(shí)例，需要由聚類學(xué)習(xí)算法自動(dòng)確定標(biāo)記，而分類學(xué)習(xí)的實(shí)例或數(shù)據(jù)對(duì)象有類別標(biāo)記。聚類是觀察式學(xué)習(xí)，而不是示例式的學(xué)習(xí)。從實(shí)際應(yīng)用的角度看，聚類分析是數(shù)據(jù)挖掘的主要任務(wù)之一。而且聚類能夠作為一個(gè)獨(dú)立的工具獲得數(shù)據(jù)的分布狀況，觀察每一簇?cái)?shù)據(jù)的特征，集中對(duì)特定的聚簇集合作進(jìn)一步地分析。聚類分析還可以作為其他算法（如分類和定性歸納算法）的預(yù)處理步驟。lementine 提供了多種可用于

39、聚類分析的模型，包括Kohonen ， Kmeans， TwoStep 方法。示例 Cluster.str 是對(duì)人體的健康情況進(jìn)行分析，通過測(cè)量人體類膽固醇、Na、Ka 等的含量將個(gè)體歸入不同類別。示例 中采用了三種方法對(duì)數(shù)據(jù)進(jìn)行分類，這里我們重點(diǎn)討論Kmeans聚類方法。Step一：讀入數(shù)據(jù)和前兩步一樣，在建立數(shù)據(jù)流時(shí)首先應(yīng)讀入數(shù)據(jù)文件。該示例中數(shù)據(jù)文件存儲(chǔ)為 DRUG1n ， 我們向數(shù)據(jù)流程區(qū)內(nèi)添加Var. File 結(jié)點(diǎn)讀入數(shù)據(jù)。Step二：為數(shù)據(jù)設(shè)置字段格式將Type結(jié)點(diǎn)連入數(shù)據(jù)流，通過編輯該結(jié)點(diǎn)對(duì)數(shù)據(jù)字段進(jìn)行設(shè)置。在機(jī)器學(xué)習(xí)方法中聚類被稱為無(wú)導(dǎo)師的學(xué)習(xí)。所謂無(wú)導(dǎo)師的學(xué)習(xí)是指事先并不知

40、道數(shù)據(jù)的分類情況， 就像在決策樹方法中我們通過已知的某個(gè)結(jié)點(diǎn)值來(lái)建立模型，在聚類方法中所有參與聚類的字段在設(shè)置字段格式時(shí)其方向( Direction) 都將被設(shè)置為輸入( In) 。Step 三：生成聚類分析數(shù)據(jù)流設(shè)置好字段格式后我們將 Kmeans結(jié)點(diǎn)加入到數(shù)據(jù)流。 在編輯 Kmeans 結(jié)點(diǎn)時(shí)我們重點(diǎn)需要定 義將要其分成的類別數(shù)，這個(gè)屬性在 聚類數(shù)(Specified number of cluster) 中設(shè)定。數(shù)據(jù)流建立好后，右鍵單擊Kmeans 結(jié)點(diǎn)選擇執(zhí)行該數(shù)據(jù)流。執(zhí)行結(jié)果以與Kmean 同名的結(jié) 點(diǎn)顯示在管理器的 Models 窗口中，瀏覽該結(jié)點(diǎn)我們能夠得到關(guān)于分類的信息，如下圖

41、所示：St ep四：圖形化輸出各個(gè)類的組成情況查看各類中的情況除了瀏覽結(jié)果結(jié)點(diǎn)外，我們還可以選擇用圖形將結(jié)果顯示出來(lái)。4.1 將模型的結(jié)果結(jié)點(diǎn)連入數(shù)據(jù)流。中 Type結(jié)點(diǎn)，雙擊 Models 窗口中的 Kmeans 結(jié)果結(jié)點(diǎn)將該結(jié)點(diǎn)連接到Type后4.2 設(shè)置圖形輸出結(jié)點(diǎn)選擇 Graph 欄中的 Distribution 結(jié)點(diǎn)將它連接到Kmeans結(jié)果結(jié)點(diǎn)后，雙擊該結(jié)點(diǎn)對(duì)它進(jìn)行設(shè) 置。在 Field 欄中選擇 $KM-Kmeans 選項(xiàng)，該選項(xiàng)保存了分類結(jié)果，即每個(gè)樣本在聚類后所屬的類別。 Distribution 結(jié)點(diǎn)要求 Field 欄為非數(shù)據(jù)結(jié)點(diǎn)。在 Overlay 選項(xiàng)中我們選擇 Dr

42、ug 項(xiàng)，這是為了 研究在不同的分類類別里 Drug 的各個(gè)取值的所占比例。運(yùn)行該數(shù)據(jù)流我們可得到下圖 ,圖中詳細(xì)的顯示了不同 Drug 類型在各個(gè)類別里的分布情況。 同樣道理，我們也可以對(duì)其他屬性進(jìn)行研究。P.S. : 在這個(gè)聚類分析的案例中我們用到了K means、 Distr i bution 結(jié)點(diǎn)。4、神經(jīng)網(wǎng)絡(luò)（ ggooodlearn.str ）神經(jīng)網(wǎng)絡(luò)是一種仿生物學(xué)技術(shù)，通過建立不同類型的神經(jīng)網(wǎng)絡(luò)可以對(duì)數(shù)據(jù)進(jìn)行預(yù)存、分類等操作。goodlearn.str 通過對(duì)促銷前后商品銷售收入的比較，判斷促銷手段是否對(duì)增加商品收益有關(guān)。Clementine 提供了多種預(yù)測(cè)模型，包括Nerual

43、Net 、Regression和Logistic 。這里我們用神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)建模，評(píng)價(jià)該模型的優(yōu)良以及對(duì)新的促銷方案進(jìn)行評(píng)估。St ep一：讀入數(shù)據(jù)， 本示例的數(shù)據(jù)文件保存為GOODS1n ，我們向數(shù)據(jù)流程區(qū)添加Var. File 結(jié)點(diǎn)，并將數(shù)據(jù)文件讀入該結(jié)點(diǎn)。St ep二、計(jì)算促銷前后銷售額的變化率向數(shù)據(jù)流增加一個(gè)Derive 結(jié)點(diǎn)，將該結(jié)點(diǎn)命名為Increse。在公式欄中輸入 (After - Before) / Before * 100.0以此來(lái)計(jì)算促銷前后銷售額的變化Step 三：為數(shù)據(jù)設(shè)置字段格式添加一個(gè)Type 結(jié)點(diǎn)到數(shù)據(jù)流中。由于在制定促銷方案前我們并不知道促銷后商品的銷售額，所以將字段 After 的Direction 屬性設(shè)置為 None ；神經(jīng)網(wǎng)絡(luò)模型需要一個(gè)輸出， 這里我們將 Increase字段的 Direction 設(shè)置為 Out ，除此之外的其它結(jié)點(diǎn)全設(shè)置為In。Step四：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程在設(shè)置好各個(gè)字段的Direction 方向后我們將 Neural Net 結(jié)點(diǎn)連接入數(shù)據(jù)流。在對(duì) Neural Net 進(jìn)行設(shè)置時(shí)我們選擇快速建模方法（ Quick ），選中防