物聯(lián)網(wǎng)中的智能決策講義(PPT 35頁(yè)).ppt

第13章物聯(lián)網(wǎng)中的智能決策 內(nèi)容提要 智能決策是物聯(lián)網(wǎng) 智慧 的來(lái)源 本章將介紹數(shù)據(jù)挖掘的基本流程 基本類型和典型算法 第12章介紹了搜索引擎的相關(guān)知識(shí)搜索引擎的基本組成搜索引擎的體系結(jié)構(gòu) 信息采集 索引技術(shù) 搜索服務(wù) 物聯(lián)網(wǎng)中搜索引擎的挑戰(zhàn)本章介紹數(shù)據(jù)挖掘的基本流程 預(yù)處理 數(shù)據(jù)挖掘 知識(shí)評(píng)估與表示 重點(diǎn)介紹幾種典型的數(shù)據(jù)挖掘算法 最后討論物聯(lián)網(wǎng)中智能決策的新特點(diǎn) 內(nèi)容回顧 13 1數(shù)據(jù)挖掘概述13 2數(shù)據(jù)挖掘的基本類型和算法 13 3智能決策與物聯(lián)網(wǎng)什么是數(shù)據(jù)挖掘 數(shù)據(jù)挖掘有哪三個(gè)步驟 本章內(nèi)容 13 1數(shù)據(jù)挖掘概述 數(shù)據(jù)挖掘 DataMining 從大量數(shù)據(jù)中獲取潛在有用的并且可以被人們理解的模式的過(guò)程是一個(gè)反復(fù)迭代的人機(jī)交互和處理的過(guò)程 歷經(jīng)多個(gè)步驟 并且在一些步驟中需要由用戶提供決策數(shù)據(jù)挖掘的過(guò)程 數(shù)據(jù)預(yù)處理 數(shù)據(jù)挖掘和對(duì)挖掘結(jié)果的評(píng)估與表示每一個(gè)階段的輸出結(jié)果成為下一個(gè)階段的輸入 13 1數(shù)據(jù)挖掘概述 數(shù)據(jù)挖掘的過(guò)程數(shù)據(jù)預(yù)處理階段數(shù)據(jù)準(zhǔn)備 了解領(lǐng)域特點(diǎn) 確定用戶需求數(shù)據(jù)選取 從原始數(shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本數(shù)據(jù)預(yù)處理 檢查數(shù)據(jù)的完整性及一致性 消除噪聲等數(shù)據(jù)變換 通過(guò)投影或利用其他操作減少數(shù)據(jù)量數(shù)據(jù)挖掘階段確定挖掘目標(biāo) 確定要發(fā)現(xiàn)的知識(shí)類型選擇算法 根據(jù)確定的目標(biāo)選擇合適的數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘 運(yùn)用所選算法 提取相關(guān)知識(shí)并以一定的方式表示知識(shí)評(píng)估與表示階段模式評(píng)估 對(duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式 知識(shí) 進(jìn)行評(píng)估知識(shí)表示 使用可視化和知識(shí)表示相關(guān)技術(shù) 呈現(xiàn)所挖掘的知識(shí) 13 1數(shù)據(jù)挖掘概述 數(shù)據(jù)挖掘的過(guò)程 13 1數(shù)據(jù)挖掘概述13 2數(shù)據(jù)挖掘的基本類型和算法 13 3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘的基本類型和算法有那些 本章內(nèi)容 13 2數(shù)據(jù)挖掘的基本類型和算法 數(shù)據(jù)挖掘的基本類型關(guān)聯(lián)分析 AssociationAnalysis 聚類分析 ClusteringAnalysis 離群點(diǎn)分析 OutlierAnalysis 分類與預(yù)測(cè) ClassificationandPrediction 演化分析 EvolutionAnalysis 描述性挖掘任務(wù) 刻劃數(shù)據(jù)庫(kù)中數(shù)據(jù)的一般特性 預(yù)測(cè)性挖掘任務(wù) 在當(dāng)前數(shù)據(jù)上進(jìn)行推斷和預(yù)測(cè) 關(guān)聯(lián)分析 關(guān)聯(lián)分析的目標(biāo)是從給定的數(shù)據(jù)中發(fā)現(xiàn)頻繁出現(xiàn)的模式 即關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則通常的表述形式是XY 表示 數(shù)據(jù)庫(kù)中滿足條件X的記錄 元組 可能也滿足條件Y 以某電器商場(chǎng)銷售記錄為例 含義 4 支持度 的顧客的年齡在20至29歲且月收入在3000至5000元 且這樣的顧客中 65 置信度 的人購(gòu)買了筆記本電腦 關(guān)聯(lián)分析 挖掘關(guān)聯(lián)規(guī)則 需要置信度和支持度越高越好基本概念項(xiàng)集 滿足若干條件的數(shù)據(jù)項(xiàng)的集合 如果條件數(shù)為k 則稱k 項(xiàng)集滿足年齡 顧客 20 29 的項(xiàng)集是1 項(xiàng)集滿足年齡 顧客 20 29 收入 顧客 3000 5000 的項(xiàng)集是2 項(xiàng)集計(jì)算步驟首先找到具備足夠支持度的項(xiàng)集 即頻繁項(xiàng)集然后由頻繁項(xiàng)集構(gòu)成關(guān)聯(lián)規(guī)則 并計(jì)算置信度 關(guān)聯(lián)分析 如何尋找頻繁項(xiàng)集Apriori算法基本思想 利用已求出的k 項(xiàng)集來(lái)計(jì)算 k 1 項(xiàng)集首先計(jì)算頻繁1 項(xiàng)集然后根據(jù)兩個(gè)頻繁k 項(xiàng)集 p1 p2 pk q1 q2 qk 計(jì)算頻繁 k 1 項(xiàng)集 其中pi qi 1 i k 1 且該 k 1 項(xiàng)集為 p1 p2 pk qk 最后判定該 k 1 項(xiàng)集是否頻繁即可缺點(diǎn) 可能產(chǎn)生大量候選項(xiàng)集 并需要重復(fù)地掃描數(shù)據(jù)庫(kù)FP Growth算法利用樹(shù)狀結(jié)構(gòu)保存項(xiàng)集 從而減小了計(jì)算頻繁項(xiàng)集所需的存儲(chǔ)空間 關(guān)聯(lián)分析 如何由頻繁項(xiàng)集構(gòu)造關(guān)聯(lián)規(guī)則 并計(jì)算置信度關(guān)聯(lián)規(guī)AB的置信度其中count AANDB 為滿足條件A以及B的數(shù)據(jù)項(xiàng)數(shù)目 count A 為滿足條件A的數(shù)據(jù)項(xiàng)數(shù)目計(jì)算步驟對(duì)于每一個(gè)頻繁項(xiàng)集S 計(jì)算S的所有非空子集對(duì)于每個(gè)S的非空子集F 若大于給定置信度閾值 則得到一個(gè)關(guān)聯(lián)規(guī)則 分類和預(yù)測(cè) 分類和預(yù)測(cè)的目標(biāo)是找出描述和區(qū)分不同數(shù)據(jù)類或概念的模型或函數(shù) 以便能夠使用模型預(yù)測(cè)數(shù)據(jù)類或標(biāo)記未知的對(duì)象所獲得的分類模型可以采用多種形式加以描述輸出分類規(guī)則判定樹(shù)數(shù)學(xué)公式神經(jīng)網(wǎng)絡(luò) 分類與預(yù)測(cè)的區(qū)別 分類通常指預(yù)測(cè)數(shù)據(jù)對(duì)象屬于哪一類 而當(dāng)被預(yù)測(cè)的值是數(shù)值數(shù)據(jù)時(shí) 通常稱為預(yù)測(cè) 分類和預(yù)測(cè) 以判定樹(shù)方法為例 簡(jiǎn)要介紹分類的基本步驟和結(jié)果表示 問(wèn)題實(shí)例 假定商場(chǎng)需要向潛在的客戶郵寄新產(chǎn)品資料和促銷信息 客戶數(shù)據(jù)庫(kù)描述的客戶屬性包括姓名 年齡 收入 職業(yè)和信用記錄 我們可以按是否會(huì)在商場(chǎng)購(gòu)買計(jì)算機(jī)將客戶分為兩類 只將促銷材料郵寄給那些會(huì)購(gòu)買計(jì)算機(jī)的客戶 從而降低成本 分類和預(yù)測(cè) 用于預(yù)測(cè)客戶是否可能購(gòu)買計(jì)算機(jī)的判定樹(shù) 其中每個(gè)非樹(shù)葉節(jié)點(diǎn)表示一個(gè)屬性上的測(cè)試 每個(gè)樹(shù)葉節(jié)點(diǎn)代表預(yù)測(cè)結(jié)果 分類和預(yù)測(cè) 如何構(gòu)造上述判定樹(shù) 基本概念 n個(gè)客戶中有a個(gè)購(gòu)買了計(jì)算機(jī)的期望信息建立樹(shù)節(jié)點(diǎn)時(shí) 選取合適的判定屬性 以最大化期望信息增益應(yīng)某種屬性上的信息增益大小反映了該屬性區(qū)分給定數(shù)據(jù)的的能力強(qiáng)弱 10條客戶記錄 其中6人購(gòu)買了計(jì)算機(jī) 4人沒(méi)有購(gòu)買 這10位客戶中有3人的職業(yè)是學(xué)生 其中有2人購(gòu)買計(jì)算機(jī) 而非學(xué)生客戶購(gòu)買計(jì)算機(jī)的有4人 在選擇區(qū)分屬性以前 數(shù)據(jù)的期望信息為 用職業(yè)區(qū)分之后的期望信息為 則選擇職業(yè)作為區(qū)分屬性的信息增益為 聚類分析 聚類的目的是將數(shù)據(jù)對(duì)象劃分為多個(gè)類或簇 在同一個(gè)簇中的對(duì)象之間具有較高的相似度 而不同簇中的對(duì)象差別較大聚類與分類的區(qū)別 要?jiǎng)澐值念愂鞘孪任粗木垲惙治龅膽?yīng)用 聚類分析 聚類分析的方法劃分方法 要求事先給定聚類的數(shù)目k 首先創(chuàng)建一個(gè)初始劃分 然后通過(guò)對(duì)劃分中心點(diǎn)的反復(fù)迭代來(lái)改進(jìn)劃分 典型算法包括k means算法和k medoids算法等層次方法 對(duì)給定數(shù)據(jù)集合進(jìn)行逐層遞歸的合并或者分裂 因此可以被分為合并或分裂方法 合并方法首先將每個(gè)對(duì)象都作為獨(dú)立的類 然后持續(xù)合并相近的類 直到達(dá)到終止條件為止 分裂方法首先將所有的數(shù)據(jù)對(duì)象置于一個(gè)類中 然后反復(fù)迭代并判定當(dāng)前的類是否可以被繼續(xù)分裂 直到達(dá)到終止條件為止基于密度的方法 只要某區(qū)域數(shù)據(jù)密度超過(guò)閾值 就將該區(qū)域的數(shù)據(jù)進(jìn)行聚類 其優(yōu)勢(shì)在于噪音數(shù)據(jù)下的抗干擾能力 并能夠發(fā)現(xiàn)任意形狀的聚類 聚類分析 聚類分析的方法 續(xù) 基于網(wǎng)格的方法 把對(duì)象空間量化為具有規(guī)則形狀的單元格 從而形成一個(gè)網(wǎng)格狀結(jié)構(gòu) 在聚類的時(shí)候 將每個(gè)單元格當(dāng)作一條數(shù)據(jù)進(jìn)行處理 優(yōu)點(diǎn)是處理速度很快 因處理時(shí)間與數(shù)據(jù)對(duì)象數(shù)目無(wú)關(guān) 而只與量化空間中的單元格數(shù)目相關(guān)基于模型的方法 如果事先已知數(shù)據(jù)是根據(jù)潛在的概率分布生成的 基于模型的方法便可為每個(gè)聚類構(gòu)建相關(guān)的數(shù)據(jù)模型 然后尋找數(shù)據(jù)對(duì)給定模型的最佳匹配 主要分兩類 統(tǒng)計(jì)學(xué)方法和神經(jīng)網(wǎng)絡(luò)方法 離群點(diǎn)分析 離群點(diǎn) Outlier 數(shù)據(jù)集合中存在的一些數(shù)據(jù)對(duì)象 它們與其余絕大多數(shù)數(shù)據(jù)的特性或模型不一致尋找離群點(diǎn)的意義發(fā)現(xiàn)信用卡詐騙 通過(guò)檢測(cè)購(gòu)物地點(diǎn) 商品種類或者購(gòu)物金額和頻率 能夠發(fā)現(xiàn)與絕大多數(shù)正常消費(fèi)不一樣的記錄 這種行為就有可能屬于信用卡詐騙性使用預(yù)防網(wǎng)絡(luò)詐騙 在網(wǎng)絡(luò)銷售的時(shí)候 詐騙者往往冒充商家 出售報(bào)價(jià)比正常價(jià)格低出許多的商品 這樣的行為也是可以通過(guò)離群點(diǎn)分析被找到的 離群點(diǎn)分析 尋找離群點(diǎn)的方法基于統(tǒng)計(jì)的方法 需要事先已知數(shù)據(jù)的分布或概率模型 例如一個(gè)正態(tài)分布 然后根據(jù)數(shù)據(jù)點(diǎn)與該模型的不一致性檢驗(yàn)來(lái)確定離群點(diǎn)基于距離的方法 不需要數(shù)據(jù)模型 而是將那些沒(méi)有足夠鄰居的數(shù)據(jù)對(duì)象看作是離群點(diǎn) 這里的鄰居是基于距給定對(duì)象的距離來(lái)定義的 現(xiàn)有的基于距離的離群點(diǎn)探測(cè)算法又分為基于索引的算法 嵌套循環(huán)算法和基于單元的算法 其目的都是為了減小計(jì)算和I O開(kāi)銷基于偏移的方法 不采用統(tǒng)計(jì)檢驗(yàn)或基于距離的度量值來(lái)確定異常對(duì)象 相反 它通過(guò)檢查數(shù)據(jù)對(duì)象的一組主要特征來(lái)確定離群點(diǎn) 偏離事先給出的特征描述的數(shù)據(jù)對(duì)象被認(rèn)為是離群點(diǎn) 演化分析 演化分析的目的是挖掘隨時(shí)間變化的數(shù)據(jù)對(duì)象的變化規(guī)律和趨勢(shì) 并對(duì)其建模 進(jìn)而為相關(guān)決策提供參考演化分析的應(yīng)用對(duì)股票的演化分析可以得出整個(gè)股票市場(chǎng)和特定的公司的股票變化規(guī)律 為投資者決策提供幫助對(duì)生態(tài)和氣候的演化分析可以知道人類活動(dòng)對(duì)自然的影響程度 為環(huán)境保護(hù)提供重要依據(jù) 建模方法 除了關(guān)聯(lián)分析和分類分析 還包括與時(shí)間相關(guān)的數(shù)據(jù)分析方法 主要包括趨勢(shì)分析 相似搜索 序列模式挖掘和與周期分析 演化分析 與時(shí)間相關(guān)的數(shù)據(jù)分析方法趨勢(shì)分析 確定趨勢(shì)的常見(jiàn)方法是計(jì)算數(shù)據(jù)n階的變化平均值 或者采用最小二乘法等方法平滑數(shù)據(jù)變化曲線相似搜索 相似搜索用于找出與給定序列最接近的數(shù)據(jù)序列序列模式挖掘 挖掘相對(duì)時(shí)間或其它維屬性出現(xiàn)頻率高的模式周期分析 挖掘具有周期的模式或者關(guān)聯(lián)規(guī)則 例如 若每周六公司的下班時(shí)間比平時(shí)晚半小時(shí)以上 則選擇打車回家的人數(shù)大約增加20 13 1數(shù)據(jù)挖掘概述13 2數(shù)據(jù)挖掘的基本類型和算法 13 3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘在物聯(lián)網(wǎng)背景下有著廣泛的需求 本章內(nèi)容 13 3智能決策與物聯(lián)網(wǎng) 數(shù)據(jù)挖掘技術(shù)在物聯(lián)網(wǎng)中的需求精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析 精準(zhǔn)農(nóng)業(yè) 精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析 通過(guò)植入土壤或暴露在空氣中的傳感器監(jiān)控土壤性狀和環(huán)境狀況 數(shù)據(jù)通過(guò)物聯(lián)網(wǎng)傳輸?shù)竭h(yuǎn)程控制中心 可及時(shí)查清當(dāng)前農(nóng)作物的生長(zhǎng)環(huán)境現(xiàn)狀和變化趨勢(shì) 確定農(nóng)作物的生產(chǎn)目標(biāo) 通過(guò)數(shù)據(jù)挖掘的方法 可以知道 環(huán)境溫度濕度和土壤各項(xiàng)參數(shù)等因素是如何影響農(nóng)作物產(chǎn)量的 如何調(diào)節(jié)它們才能夠最大限度地提高農(nóng)作物產(chǎn)量 市場(chǎng)行銷 精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析 利用數(shù)據(jù)挖掘技術(shù)通過(guò)對(duì)用戶數(shù)據(jù)的分析 可以得到關(guān)于顧客購(gòu)物取向和興趣的信息 從而為商業(yè)決策提供依據(jù)數(shù)據(jù)庫(kù)行銷 DatabaseMarketing 通過(guò)交互式查詢 數(shù)據(jù)分割和模型預(yù)測(cè)等方法來(lái)選擇潛在的顧客以便向它們推銷產(chǎn)品預(yù)測(cè)采用何種銷售渠道和優(yōu)惠條件 使得用戶最有可能被打動(dòng)貨籃分析 BasketAnalysis 通過(guò)分析市場(chǎng)銷售數(shù)據(jù) 例如POS數(shù)據(jù)庫(kù) 來(lái)發(fā)現(xiàn)顧客的購(gòu)買行為模式 智能家居 精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析 以獲取天氣信息為例 一方面 智能設(shè)備隨時(shí)關(guān)注氣象信息 并針對(duì)雨天發(fā)出報(bào)警提醒 另一方面 另外一些智能終端會(huì)隨時(shí)跟蹤主人的行蹤 并通過(guò)數(shù)據(jù)挖掘方法由主人的歷史行動(dòng)特征數(shù)據(jù)預(yù)測(cè)他的去向一旦預(yù)測(cè)到主人要出門(mén) 那么就在合適的時(shí)候由相應(yīng)的智能終端提醒他不要忘記帶雨傘 例如 如果主人在門(mén)口 就將由安裝在門(mén)上的智能設(shè)備向他發(fā)出提醒 如果在車內(nèi) 則由車載計(jì)算機(jī)發(fā)出提醒 金融安全 精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析 由于金融投資的風(fēng)險(xiǎn)很大 所以在進(jìn)行投資決策時(shí) 需要通過(guò)對(duì)各種投資方向的數(shù)據(jù)進(jìn)行分析 以選擇最佳的投資方向 數(shù)據(jù)挖掘可以通過(guò)對(duì)已有數(shù)據(jù)的處理 找到數(shù)據(jù)對(duì)象之間的關(guān)系 然后利用學(xué)習(xí)得到的模式進(jìn)行合理的預(yù)測(cè)金融欺詐識(shí)別主要是通過(guò)分析正常行為和詐騙行為的數(shù)據(jù)和模式 得到詐騙行為的一些特性 這樣當(dāng)某項(xiàng)業(yè)務(wù)記錄符合這樣的特征時(shí) 識(shí)別系統(tǒng)可以向決策人員提出警告 產(chǎn)品制造和質(zhì)量監(jiān)控 精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析 隨著科技進(jìn)步 制造業(yè)已不是簡(jiǎn)單的手工勞動(dòng) 而是集成了多種先進(jìn)科技的流水作業(yè) 在產(chǎn)品的生產(chǎn)制造過(guò)程中常常伴隨有大量的數(shù)據(jù) 如產(chǎn)品的各種加工條件或控制參數(shù) 如時(shí)間 溫度等 通過(guò)各種監(jiān)控儀器收集的這些數(shù)據(jù)反映了每個(gè)生產(chǎn)環(huán)節(jié)的狀態(tài) 對(duì)生產(chǎn)的順利進(jìn)行起著這關(guān)重要的作用 通過(guò)數(shù)據(jù)挖掘?qū)?shù)據(jù)進(jìn)行分析 可以得到產(chǎn)品質(zhì)量與這些參數(shù)之間的關(guān)系 從而能獲得針對(duì)性很強(qiáng)的建議以改進(jìn)產(chǎn)品質(zhì)量 而且有可能發(fā)現(xiàn)新的更高效節(jié)約的控制模式 為廠家?guī)?lái)豐厚的回報(bào) 互聯(lián)網(wǎng)用戶行為分析 精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析 隨著中國(guó)互聯(lián)網(wǎng)用戶數(shù)的激增 用戶在互聯(lián)網(wǎng)上的行為分析逐漸引起了關(guān)注 例如 用戶在上網(wǎng)的時(shí)候通常需要不停地從一個(gè)網(wǎng)頁(yè)通過(guò)HTTP鏈接跳轉(zhuǎn)到另一個(gè)網(wǎng)頁(yè)獲取互聯(lián)網(wǎng)用戶訪問(wèn)模式帶來(lái)的好處很多 首先可以輔助改善分布式網(wǎng)絡(luò)系統(tǒng)的性能 例如在有高度相關(guān)的站點(diǎn)間提供快速有效的訪問(wèn)通道 其次 能夠幫助更好地組織和設(shè)計(jì)網(wǎng)頁(yè) 以及幫助改善市場(chǎng)營(yíng)銷策略 例如把廣告放在合適的網(wǎng)頁(yè)上 以更好地吸引客戶的注意 本章小結(jié) 內(nèi)容回顧本章介紹了數(shù)據(jù)挖掘的基本流程 重