商業(yè)智能基礎(chǔ)培訓(xùn)教程

商業(yè)智能基本概念主題商業(yè)智能技術(shù)介紹數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹OLAP技術(shù)介紹數(shù)據(jù)挖掘技術(shù)介紹BI基本概念（一）什么是BI（BusinessIntelligence）?

即商業(yè)智能技術(shù)，它以數(shù)據(jù)倉(cāng)庫(kù)（DataWarehousing）、在線分析處理（OLAP）、數(shù)據(jù)挖掘（DataMining）3種技術(shù)的整合為基礎(chǔ)，建立企業(yè)數(shù)據(jù)中心和業(yè)務(wù)分析模型，以提高企業(yè)獲取經(jīng)營(yíng)分析信息的能力，從而提高企業(yè)經(jīng)營(yíng)和決策的質(zhì)量與速度。BI基本概念（二）BI技術(shù)體系的互補(bǔ)性DataWarehousing

集成各系統(tǒng)的歷史數(shù)據(jù)，建立面向主題的企業(yè)數(shù)據(jù)中心OLAP

靈活、動(dòng)態(tài)、快速的多維分析、隨機(jī)查詢、即席報(bào)表DataMining

通過(guò)數(shù)學(xué)模型發(fā)現(xiàn)隱藏的、潛在的規(guī)律，以輔助決策BI技術(shù)體系的優(yōu)勢(shì)實(shí)現(xiàn)從宏觀到微觀、從廣度到深度、從定量到定性各種層次的決策分析易用、靈活、動(dòng)態(tài)、快速商業(yè)智能的體系商業(yè)智能技術(shù)體系（BI——BusinessIntelligence）在線分析處理技術(shù)（OLAP：OnlineAnalyticalProcessing）數(shù)據(jù)挖掘技術(shù)（DataMining）數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（DataWarehousing）數(shù)據(jù)整合集成各系統(tǒng)的歷史數(shù)據(jù)，建立面向主題的企業(yè)數(shù)據(jù)中心數(shù)據(jù)分析靈活、動(dòng)態(tài)、快速的多維分析、隨機(jī)查詢、即席報(bào)表知識(shí)發(fā)現(xiàn)通過(guò)數(shù)學(xué)模型發(fā)現(xiàn)隱藏的、潛在的規(guī)律，以輔助決策更加全面、深入的分析形成知識(shí)庫(kù)指導(dǎo)決策、再分析系統(tǒng)整體技術(shù)框架企業(yè)數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)查詢庫(kù)歷史數(shù)據(jù)前端展示工具查詢統(tǒng)計(jì)應(yīng)用報(bào)表應(yīng)用OLAP分析應(yīng)用監(jiān)控告警應(yīng)用數(shù)據(jù)挖掘應(yīng)用自動(dòng)化應(yīng)用財(cái)務(wù)系統(tǒng)ECCRMOA系統(tǒng)外部數(shù)據(jù)ETLOLAPOLTPDMETLETL數(shù)據(jù)源OLAPServer多維數(shù)據(jù)庫(kù)商業(yè)智能系統(tǒng)體系結(jié)構(gòu)（一）數(shù)據(jù)源數(shù)據(jù)源是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于RDBMS中的各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場(chǎng)信息和競(jìng)爭(zhēng)對(duì)手的信息等等；數(shù)據(jù)的存儲(chǔ)與管理是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。數(shù)據(jù)倉(cāng)庫(kù)的真正關(guān)鍵是數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù)，同時(shí)也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來(lái)建立數(shù)據(jù)倉(cāng)庫(kù)的核心，則需要從數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)特點(diǎn)著手分析。針對(duì)現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉(cāng)庫(kù)按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和部門級(jí)數(shù)據(jù)倉(cāng)庫(kù)（通常稱為數(shù)據(jù)集市）。商業(yè)智能系統(tǒng)體系結(jié)構(gòu)（二）OLAP服務(wù)器對(duì)分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢(shì)。其具體實(shí)現(xiàn)可以分為：ROLAP、MOLAP和HOLAP。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中；MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫(kù)中；HOLAP基本數(shù)據(jù)存放于RDBMS之中，聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫(kù)中。前端工具主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。其中數(shù)據(jù)分析工具主要針對(duì)OLAP服務(wù)器，報(bào)表工具、數(shù)據(jù)挖掘工具主要針對(duì)數(shù)據(jù)倉(cāng)庫(kù)。

主題商業(yè)智能技術(shù)介紹數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹OLAP技術(shù)介紹數(shù)據(jù)挖掘技術(shù)介紹數(shù)據(jù)倉(cāng)庫(kù)定義數(shù)據(jù)倉(cāng)庫(kù)的概念

數(shù)據(jù)倉(cāng)庫(kù)（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）、集成的（Integrate）、相對(duì)穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。什么是數(shù)據(jù)倉(cāng)庫(kù)？？數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)面向主題操作型數(shù)據(jù)庫(kù)的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織。主題是一個(gè)抽象的概念，是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。集成性面向事務(wù)處理的操作型數(shù)據(jù)庫(kù)通常與某些特定的應(yīng)用相關(guān)，數(shù)據(jù)庫(kù)之間相互獨(dú)立，并且往往是異構(gòu)的。數(shù)據(jù)倉(cāng)庫(kù)的集成特性是指在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前，必須對(duì)數(shù)據(jù)加工和集成，這是建立數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵步驟，首先要統(tǒng)一原始數(shù)據(jù)中的矛盾之處，還要將原始數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用向面向主題的轉(zhuǎn)變

.數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)相對(duì)穩(wěn)定的數(shù)據(jù)倉(cāng)庫(kù)反映的是歷史數(shù)據(jù)，而不是日常事務(wù)處理產(chǎn)生的數(shù)據(jù)，數(shù)據(jù)經(jīng)加工和集成進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后是極少或根本不修改的，操作型數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常實(shí)時(shí)更新，數(shù)據(jù)根據(jù)需要及時(shí)發(fā)生變化。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期保留，也就是數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。反映歷史變化操作型數(shù)據(jù)庫(kù)主要關(guān)心當(dāng)前某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過(guò)去某一時(shí)點(diǎn)(如開始應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)的時(shí)點(diǎn))到目前的各個(gè)階段的信息，通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)

數(shù)據(jù)抽取數(shù)據(jù)的存儲(chǔ)和管理數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織結(jié)構(gòu)數(shù)據(jù)抽取數(shù)據(jù)抽取又為ETL（dataextraction,transformationandloading）是對(duì)數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換和整合的過(guò)程，是數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的入口。通過(guò)ETL的過(guò)程，數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、增量、轉(zhuǎn)換、調(diào)度、監(jiān)控以及數(shù)據(jù)安全性等方面。在技術(shù)發(fā)展上，數(shù)據(jù)抽取所涉及的單個(gè)技術(shù)環(huán)節(jié)都已相對(duì)成熟，市場(chǎng)上提供了很多數(shù)據(jù)抽取工具，例如MicrosoftDTS、DataStage等。數(shù)據(jù)的存儲(chǔ)和管理

數(shù)據(jù)倉(cāng)庫(kù)的真正關(guān)鍵是數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù)的特性，同時(shí)也決定了其對(duì)外部數(shù)據(jù)表現(xiàn)形式。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量比傳統(tǒng)事務(wù)處理大得多，且隨時(shí)間的推移還在不斷累積。因此，對(duì)大量數(shù)據(jù)的存儲(chǔ)和管理是數(shù)據(jù)倉(cāng)庫(kù)首先要解決的問(wèn)題。不過(guò)從現(xiàn)有技術(shù)和產(chǎn)品來(lái)看，關(guān)系數(shù)據(jù)庫(kù)經(jīng)過(guò)近30年的發(fā)展，在數(shù)據(jù)存儲(chǔ)和管理方面已經(jīng)非常成熟，能夠支持?jǐn)?shù)據(jù)分割技術(shù)，能夠?qū)⒁粋€(gè)大的數(shù)據(jù)庫(kù)表分散在多個(gè)物理存儲(chǔ)設(shè)備中，進(jìn)一步增強(qiáng)了系統(tǒng)管理大數(shù)據(jù)量的擴(kuò)展能力。支持多維分析的查詢模式，這也是關(guān)系數(shù)據(jù)庫(kù)在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域遇到的最嚴(yán)峻的挑戰(zhàn)之一。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織將多維結(jié)構(gòu)劃分為兩類表：一類是事實(shí)表，用來(lái)存儲(chǔ)數(shù)據(jù)和維關(guān)鍵字；一類是維表，即對(duì)每個(gè)維至少使用一個(gè)表來(lái)存放維的層次、成員類別等維的描述信息。維表和事實(shí)表通過(guò)主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起，形成“星型模式”。對(duì)于層次復(fù)雜的維，為避免冗余數(shù)據(jù)占用過(guò)大的存儲(chǔ)空間，可以使用多個(gè)表來(lái)描述，這種星型模式的擴(kuò)展稱為“雪花模式”。主題BI技術(shù)介紹數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹OLAP技術(shù)介紹數(shù)據(jù)挖掘技術(shù)介紹什么是聯(lián)機(jī)分析處理（OLAP）？OLAP的定義OLAP((On-LineAnalyticalProcessOLAP))是使分析人員、管理人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映數(shù)據(jù)維特性的信息，進(jìn)行快速、一致、交互地訪問(wèn)，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會(huì)的定義)OLAP的目標(biāo)與思想OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合，是數(shù)據(jù)倉(cāng)庫(kù)中大容量數(shù)據(jù)得以有效利用的重要保障。OLAP基本思想企業(yè)的決策者應(yīng)能靈活地操縱企業(yè)的數(shù)據(jù)，以多維的形式從多方面和多角度來(lái)觀察企業(yè)的狀態(tài)、了解企業(yè)的變化

相關(guān)概念(一)元數(shù)據(jù)元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)的數(shù)據(jù)，它描述了多維數(shù)據(jù)庫(kù)的數(shù)據(jù)和環(huán)境。它是對(duì)源數(shù)據(jù)及其內(nèi)容、分析主題、維信息、指標(biāo)信息等多維數(shù)據(jù)庫(kù)結(jié)構(gòu)信息的描述。主題：在OLAP分析中，用戶所關(guān)注業(yè)務(wù)的一個(gè)考核方面；如：電信行業(yè)中可能的客戶信用度分析、客戶帳務(wù)、話務(wù)量分析等，而分析類型相近的主題可能會(huì)劃分在一個(gè)分組中。維：在OLAP分析中，維是作為主題的一個(gè)分析角度，比如：客戶分析中對(duì)其年齡、性別、所在地區(qū)、行業(yè)分布等因素有關(guān)，這樣，地區(qū)和行業(yè)等就是該客戶的維。相關(guān)概念(二)層次：在一個(gè)維中，劃分各成員之間的父子關(guān)系的方式，稱層次；如時(shí)間維通?？煞譃槟?、季、月、日等層。成員：特定層次中的某一特定元素，稱為該層上的一個(gè)成員；如“JAN”為時(shí)間維月這一層次上的成員。指標(biāo)：一種考核標(biāo)準(zhǔn)，由多個(gè)因素（維）共同決定，如：某個(gè)時(shí)段的話務(wù)量、話務(wù)員坐席數(shù)等；有時(shí)指標(biāo)也稱為測(cè)量值。上鉆：通過(guò)上鉆，可以查看所選維成員的上一級(jí)聚合值，即顯示該成員的父級(jí)數(shù)據(jù)；如在“05JAN99”這個(gè)成員上執(zhí)行上鉆，可以查看99年一月份的數(shù)據(jù)。下鉆：與上鉆相反，該操作是實(shí)現(xiàn)從父級(jí)信息查看下一級(jí)的詳細(xì)數(shù)據(jù)，即從“JAN99”執(zhí)行下鉆后，可以看到99年一月各天的數(shù)據(jù)；相關(guān)概念(三)層鉆維通常是以一種層次關(guān)系展現(xiàn)出來(lái)的，要查看某一層次上所有數(shù)據(jù)時(shí)，可以使用層鉆，比如時(shí)間維通常分為年、季、月、日這些層次，要查看所有月（包括所有年的各個(gè)月份）的數(shù)據(jù)，則可在月這一層次上執(zhí)行層鉆；旋轉(zhuǎn)對(duì)一次查詢的返回結(jié)果中，把數(shù)據(jù)表的行和列調(diào)換位置，即轉(zhuǎn)換分析點(diǎn)或觀察角度。切片以分頁(yè)的形式列出某一范圍內(nèi)的數(shù)據(jù)，一頁(yè)里只顯示切片維的一個(gè)成員內(nèi)的數(shù)據(jù)。切塊獲取多維數(shù)據(jù)集中數(shù)據(jù)的一個(gè)子集，由維度的成員限制一個(gè)或多個(gè)維度來(lái)指定。多個(gè)切片構(gòu)成一個(gè)切塊。例如，特定月份的事實(shí)構(gòu)成該年數(shù)據(jù)的一個(gè)切片，那么該年多個(gè)月份的數(shù)據(jù)集合就是一個(gè)切塊。OLAP功能示意按機(jī)構(gòu)鉆取濟(jì)南地區(qū)維時(shí)間維行業(yè)維青島主題BI技術(shù)介紹數(shù)據(jù)倉(cāng)庫(kù)技術(shù)介紹OLAP技術(shù)介紹數(shù)據(jù)挖掘技術(shù)介紹數(shù)據(jù)挖掘技術(shù)(DataMining)DM的定義數(shù)據(jù)挖掘(DataMining)是從浩如瀚海的數(shù)據(jù)和文檔中識(shí)別出有效的、新穎的、潛在有用的以及最終可理解模式的高級(jí)處理過(guò)程。也就是說(shuō)，從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。DM的特點(diǎn)涉及數(shù)據(jù)庫(kù)、統(tǒng)計(jì)分析、人工智能多種技術(shù)預(yù)測(cè)和驗(yàn)證功能特征和規(guī)律描述數(shù)據(jù)挖掘模型分類模型：把數(shù)據(jù)進(jìn)行分類，并發(fā)現(xiàn)各類數(shù)據(jù)的共同