多策略數(shù)據(jù)挖掘平臺(tái)MSMiner

1、多策略數(shù)據(jù)挖掘平臺(tái)MSMinerMSMiner課程項(xiàng)目介紹課程項(xiàng)目介紹中科院計(jì)算所智能信息處理重點(diǎn)實(shí)驗(yàn)室智能科學(xué)組中科院計(jì)算所智能信息處理重點(diǎn)實(shí)驗(yàn)室智能科學(xué)組多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求多策略數(shù)據(jù)挖掘平臺(tái)軟件多策略數(shù)據(jù)挖掘平臺(tái)軟件MSMinerMSMiner( Multi-Strategies Data Miner)是一個(gè)針對(duì)決策支持的以數(shù)據(jù)倉庫為基礎(chǔ)的通用數(shù)據(jù)挖掘平臺(tái)軟件，同時(shí)提供了一個(gè)輕量級(jí)的數(shù)據(jù)倉庫解決方案。

2、MSMiner是什么?多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求數(shù)據(jù)倉庫的設(shè)計(jì)、建模 第三方工具如PowerDeginer數(shù)據(jù)轉(zhuǎn)換與集成 MSETL數(shù)據(jù)存儲(chǔ)與管理 第三方工具 如 Oracle, SQLServer等數(shù)據(jù)分析和展現(xiàn) MSOLAP 采用第三方查詢、報(bào)表工具 如BO。數(shù)據(jù)倉庫的維護(hù)和管理 MSMetaData一個(gè)數(shù)據(jù)倉庫解決方案主要包括：統(tǒng)計(jì)分析或數(shù)據(jù)挖掘工具 MSDM多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Cop

3、yright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求背景介紹背景介紹MSMiner由中科院計(jì)算所智能信息處理重點(diǎn)實(shí)驗(yàn)室從1999年開始設(shè)計(jì)和實(shí)現(xiàn)，經(jīng)歷了早期的VB版本，后來又用VC重新實(shí)現(xiàn)，目前正在開發(fā)3.0版本。多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求MSMiner體系架構(gòu)體系架構(gòu) MSMiner體系結(jié)構(gòu)外部事務(wù)型數(shù)

4、據(jù)庫數(shù)據(jù)倉庫元 數(shù) 據(jù) 管 理數(shù)據(jù)抽取、轉(zhuǎn)換、裝載(Extract Transform Load)主題2主題1主題nOLAP及可視化工具數(shù)據(jù)挖掘模塊.MSMiner的數(shù)據(jù)倉庫以功能強(qiáng)大的元數(shù)據(jù)管理MetaServer為調(diào)度中心 數(shù)據(jù)倉庫管理工具 MSMetaDataETL（數(shù)據(jù)抽取、裝載、轉(zhuǎn)換）工具 MSETLOLAP（聯(lián)機(jī)分析處理）工具M(jìn)SOLAP 數(shù)據(jù)挖掘(Data Mining)工具 MSDM多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備

5、知識(shí)提交要求MSMiner功能特點(diǎn)功能特點(diǎn)MSMiner的若干特點(diǎn)：1）通過ODBC接口將數(shù)據(jù)存儲(chǔ)在第三方關(guān)系數(shù)據(jù)庫(如Oracle、Sybase、SQL Server、Informix和IBM DB2等），支持多種不同的數(shù)據(jù)源； 2）采用DLL形式封裝數(shù)據(jù)挖掘算法，從而可以靈活擴(kuò)充，這樣就提供了豐富的挖掘策略。3）以對(duì)話框向?qū)б龑?dǎo)用戶建立ETL和數(shù)據(jù)挖掘任務(wù)，以面向?qū)ο蟮姆绞絹斫M織和執(zhí)行ETL和數(shù)據(jù)挖掘任務(wù)4）在挖掘任務(wù)執(zhí)行引擎中，提供了任務(wù)調(diào)度功能，可以定時(shí)定期地執(zhí)行挖掘任務(wù)，同時(shí)采用多線程技術(shù)并發(fā)地執(zhí)行挖掘任務(wù)和任務(wù)中的步驟。 多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright

6、 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求MSMiner啟動(dòng)時(shí)歡迎界面啟動(dòng)時(shí)歡迎界面多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求MSMiner登錄界面登錄界面MSMiner控制臺(tái)控制臺(tái)多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背

7、景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求MSMiner數(shù)據(jù)倉庫管理子系統(tǒng)數(shù)據(jù)倉庫管理子系統(tǒng)MSMetaData多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求MSMiner ETL子系統(tǒng)子系統(tǒng)MSETL多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要

8、求MSMiner聯(lián)機(jī)分析處理子系統(tǒng)聯(lián)機(jī)分析處理子系統(tǒng)MSOLAP多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求MSMiner數(shù)據(jù)挖掘子系統(tǒng)數(shù)據(jù)挖掘子系統(tǒng)MSDM多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求課程項(xiàng)目內(nèi)容要求課程項(xiàng)目內(nèi)容要求對(duì)MSMiner數(shù)據(jù)挖掘子系統(tǒng)進(jìn)行

9、擴(kuò)展開發(fā)，選擇實(shí)現(xiàn)下列某種算法： 1聚類算法：k-means、k-harmonic 2分類算法：C4.5、SVM、GA 3關(guān)聯(lián)規(guī)則：Apriori、FP-tree 4神經(jīng)網(wǎng)絡(luò)多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求提交要求和項(xiàng)目流程提交要求和項(xiàng)目流程提交要求和項(xiàng)目流程如下： 1）可以兩至三人為一小組工程實(shí)現(xiàn)； 2）實(shí)現(xiàn)結(jié)果為符合MSMiner數(shù)據(jù)挖掘子系統(tǒng)挖掘算法DLL接口規(guī)范要求的DLL文件。 3）開發(fā)完畢，在機(jī)房MSMin

10、er環(huán)境下進(jìn)行測試。 4）最后提交程序源碼和實(shí)驗(yàn)報(bào)告，在實(shí)驗(yàn)報(bào)告中要寫清算法步驟、說明以及心得體會(huì)等，源碼要求有清晰明確的注釋。多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求課程項(xiàng)目預(yù)備知識(shí)課程項(xiàng)目預(yù)備知識(shí)以下為完成此項(xiàng)目的預(yù)備知識(shí)： 深刻掌握一種或幾種數(shù)據(jù)挖掘算法，如聚類、分類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)算法等，能夠用 C/C+ 編程實(shí)現(xiàn)。 熟悉 VC+6.0 IDE 編程環(huán)境，掌握 MFC 編程機(jī)制及其用法。 了解組件編程技術(shù)，能夠開發(fā)

11、簡單的 DLL 程序。 數(shù)據(jù)庫基礎(chǔ)知識(shí)、熟悉 SQL 語句。多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求課程項(xiàng)目提供的資源課程項(xiàng)目提供的資源 可供參考的資源:(http:/ 子系統(tǒng)挖掘算法DLL的 接口詳細(xì)說明2）兩個(gè)算法DLL開發(fā)示例 (BP算法、SOM算法)3）算法DLL公共代碼框架 (一組工程文件，工程名為AssocALG) 4）訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)5）書：史忠植 著 . 知識(shí)發(fā)現(xiàn) . 清華大學(xué)出版社 .2002. P2953

12、26，可幫助了解 MSMiner 體系設(shè)計(jì)、編程架構(gòu)等背景知識(shí)。多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求常見問題解答常見問題解答 幾個(gè)常見問題的說明：1）Q：為什么要實(shí)現(xiàn)DLL程序，可以實(shí)現(xiàn)成可執(zhí)行程序嗎？A：因?yàn)楸敬螌?shí)驗(yàn)要開發(fā)算法DLL程序，目的正是用于封裝數(shù)據(jù)挖掘算法，并最終由MSMiner數(shù)據(jù)挖掘子系統(tǒng)所調(diào)用。所以不能實(shí)現(xiàn)成可執(zhí)行程序。2）Q：算法DLL接口規(guī)范是否很復(fù)雜，難以在短時(shí)期內(nèi)實(shí)現(xiàn)？A：我們已經(jīng)提供了算法DLL

13、接口規(guī)范文檔，接口函數(shù)只有四個(gè)，其中只有兩個(gè)要自己實(shí)現(xiàn)，其余兩個(gè)可直接使用示例代碼。開發(fā)人員要做的就是將算法功能實(shí)現(xiàn)和封裝，使得可以通過兩個(gè)接口函數(shù)MSMiner之MSDM就能所用該算法的功能。多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源 背景介紹 界面展示MSMiner簡介 體系架構(gòu)題目要求預(yù)備知識(shí)提交要求3）Q：我注意到接口規(guī)范中提供算法DLL的公用函數(shù)類CPublicFunc，它有什么用？DLL算法程序1MSMiner數(shù)據(jù)挖掘子系統(tǒng)MSDMDLL算法程序2DLL算法程序3DLL算法程序n元數(shù)據(jù)管

14、理MetaServer. 在每個(gè)算法的具體實(shí)現(xiàn)中，不可避免的要實(shí)現(xiàn)數(shù)據(jù)的輸入輸出及相關(guān)參數(shù)的存儲(chǔ)。 而在整個(gè)MSMiner平臺(tái)中，數(shù)據(jù)的輸入輸出等由元數(shù)據(jù)管理模塊統(tǒng)一管理。 因此，DLL程序要與元數(shù)據(jù)管理模塊打交道。與元數(shù)據(jù)管理模塊交互用到時(shí)了COM技術(shù)，為了降低開發(fā)負(fù)擔(dān)，我們提供了CPublicFunc公共函數(shù)類，該類提供了一些成員函數(shù)，封裝調(diào)用了元數(shù)據(jù)管理模塊MetaServer的很多功能。開發(fā)人員可生成實(shí)例對(duì)象，直接調(diào)用其成員函數(shù)與元數(shù)據(jù)管理組件服務(wù)程序交互，避免去了解COM技術(shù)。多策略數(shù)據(jù)挖掘平臺(tái)MSMiner 常見問題Copyright 2006 中國科學(xué)院計(jì)算技術(shù)研究所課程項(xiàng)目內(nèi)容要求 資源清單課程項(xiàng)目提供資源