數(shù)據(jù)分析師的流程與知識(shí)結(jié)構(gòu)

1、數(shù)據(jù)分析師的流程和知識(shí)結(jié)構(gòu)在互聯(lián)網(wǎng)高速發(fā)展的今天，大數(shù)據(jù)依然滲透到我們的生活和工作，企業(yè)要想在未來獲得更多的價(jià)值，大數(shù)據(jù)和數(shù)據(jù)分析師是非常有必要的。但 是作為數(shù)據(jù)分析師，無論最初的職業(yè)定位方向是技術(shù)還是業(yè)務(wù)，最終發(fā)到一 定階段后都會(huì)承擔(dān)數(shù)據(jù)管理的角色。因此，一個(gè)具有較高層次的數(shù)據(jù)分析師 需要具備完整的知識(shí)結(jié)構(gòu)。1、數(shù)據(jù)米集了解數(shù)據(jù)采集的意義在于真正了解數(shù)據(jù)的原始面貌，包括數(shù)據(jù)產(chǎn)生的時(shí)間、條件、格式、內(nèi)容、長(zhǎng)度、限制條件等。這會(huì)幫助數(shù)據(jù)分析師更有 針對(duì)性的控制數(shù)據(jù)生產(chǎn)和采集過程，避免由于違反數(shù)據(jù)采集規(guī)則導(dǎo)致的數(shù)據(jù) 問題。同時(shí)，對(duì)數(shù)據(jù)采集邏輯的認(rèn)識(shí)增加了數(shù)據(jù)分析師對(duì)數(shù)據(jù)的理解程度， 尤其是數(shù)據(jù)中的

2、異常變化。在數(shù)據(jù)采集階段，數(shù)據(jù)分析師需要更多的了解數(shù)據(jù)生產(chǎn)和采集過程中的異常情況，如此才能更好的追本溯源。另外，這也能很大程度上避免“垃 圾數(shù)據(jù)進(jìn)導(dǎo)致垃圾數(shù)據(jù)出”的問題。2、數(shù)據(jù)存儲(chǔ)無論數(shù)據(jù)存儲(chǔ)于云端，還是本地，數(shù)據(jù)的存儲(chǔ)不只是我們看到的數(shù)據(jù)庫(kù)那么簡(jiǎn)單。比如：數(shù)據(jù)存儲(chǔ)系統(tǒng)是 MySql、Oracle、SQL Server，還 是其他系統(tǒng)；數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)及各庫(kù)表如何關(guān)聯(lián)，星型、雪花型，還是其他;生產(chǎn)數(shù)據(jù)庫(kù)接收數(shù)據(jù)時(shí)是否有一定規(guī)則，比如只接收特定類型字段；生產(chǎn)數(shù) 據(jù)庫(kù)面對(duì)異常值如何處理，強(qiáng)制轉(zhuǎn)換、留空，還是返回錯(cuò)誤；生產(chǎn)數(shù)據(jù)庫(kù)及 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)如何存儲(chǔ)數(shù)據(jù)，名稱、含義、類型、長(zhǎng)度、精度、是否可為空、

3、是否唯一、字符編碼、約束條件規(guī)則是什么；接觸到的數(shù)據(jù)是原始數(shù)據(jù)，還 是ETL后的數(shù)據(jù)，ETL規(guī)則是什么；數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的更新機(jī)制是什么，全量 更新，還是增量更新；不同數(shù)據(jù)庫(kù)和庫(kù)表之間的同步規(guī)則是什么，哪些因素會(huì)造成數(shù)據(jù)差 異，如何處理差異的在數(shù)據(jù)存儲(chǔ)階段，數(shù)據(jù)分析師需要了解數(shù)據(jù)存儲(chǔ)內(nèi)部 的工作機(jī)制和流程，最核心的因素是在原始數(shù)據(jù)基礎(chǔ)上經(jīng)過哪些加工處理， 最后得到了怎樣的數(shù)據(jù)。由于數(shù)據(jù)在存儲(chǔ)階段是不斷動(dòng)態(tài)變化和迭代更新 的，其及時(shí)性、完整性、有效性、一致性、準(zhǔn)確性很多時(shí)候由于軟硬件、內(nèi) 外部環(huán)境問題無法保證，這些都會(huì)導(dǎo)致后期數(shù)據(jù)使用問題。3、數(shù)據(jù)提取數(shù)據(jù)提取是將數(shù)據(jù)取出的過程，數(shù)據(jù)提取的核心環(huán)節(jié)是

4、從哪取、何 時(shí)取、如何取，從哪?。簲?shù)據(jù)來源，不同的數(shù)據(jù)源得到的數(shù)據(jù)結(jié)果未必一致； 何時(shí)取：提取時(shí)間，不同時(shí)間取出來的數(shù)據(jù)結(jié)果未必一致；如何?。禾崛∫?guī) 則，不同提取規(guī)則下的數(shù)據(jù)結(jié)果很難一致。在數(shù)據(jù)提取階段，數(shù)據(jù)分析師首先需要具備數(shù)據(jù)提取能力。常用的 Select From 語句是SQL查詢和提取的必備技能，但即使是簡(jiǎn)單的取數(shù)工作也有不同層次，第一層是從單張數(shù)據(jù)庫(kù)中按條件提取數(shù)據(jù)的能力，where是基本的條件語句；第二層是掌握跨庫(kù)表提取數(shù)據(jù)的能力，不同的join有不同 的用法；第三層是優(yōu)化SQL語句，通過優(yōu)化嵌套、篩選的邏輯層次和遍歷次 數(shù)等，減少個(gè)人時(shí)間浪費(fèi)和系統(tǒng)資源消耗。其次是理解業(yè)務(wù)需求的能

5、力，比如業(yè)務(wù)需要“銷售額”這個(gè)字段， 相關(guān)字段至少有產(chǎn)品銷售額和產(chǎn)品訂單金額，其中的差別在于是否含優(yōu)惠 券、運(yùn)費(fèi)等折扣和費(fèi)用。包含該因素即是訂單金額，否則就是產(chǎn)品單價(jià)X數(shù) 量的產(chǎn)品銷售額。4、數(shù)據(jù)挖掘數(shù)據(jù)挖掘是面對(duì)海量數(shù)據(jù)時(shí)進(jìn)行數(shù)據(jù)價(jià)值提煉的關(guān)鍵，以下是算法選擇的基本原則，沒有最好的算法，只有最適合的算法，算法選擇的原則是 兼具準(zhǔn)確性、可操作性、可理解性、可使用性；沒有一種算法能解決所有問 題，但精通一門算法可以解決很多問題；挖掘算法最難的是算法調(diào)優(yōu)，同一' 種算法在不同場(chǎng)景下的參數(shù)設(shè)定相同，實(shí)踐是獲得調(diào)優(yōu)經(jīng)驗(yàn)的重要途徑。在 數(shù)據(jù)挖掘階段，數(shù)據(jù)分析師要掌握數(shù)據(jù)挖掘相關(guān)能力，數(shù)據(jù)挖掘、統(tǒng)

6、計(jì)學(xué)、 數(shù)學(xué)基本原理和常識(shí)；熟練使用一門數(shù)據(jù)挖掘工具，Clementine 、SAS或R都是可選項(xiàng)，如果是程序出身也可以選擇編程實(shí)現(xiàn)；需要了解常用的數(shù)據(jù) 挖掘算法，以及每種算法的使用場(chǎng)景和優(yōu)劣差異。5、數(shù)據(jù)分析數(shù)據(jù)分析相對(duì)于數(shù)據(jù)挖掘，更多的是偏向業(yè)務(wù)使用和解讀，當(dāng)數(shù)據(jù)挖掘算法得出結(jié)論后，如何解釋算法在結(jié)果、可信度、顯著程度等方面對(duì)于業(yè)務(wù)的實(shí)際意義，如何將挖掘結(jié)果反饋到業(yè)務(wù)操作過程中便于業(yè)務(wù)理解和實(shí) 施是關(guān)鍵。6、數(shù)據(jù)展現(xiàn)數(shù)據(jù)展現(xiàn)即數(shù)據(jù)可視化的部分，數(shù)據(jù)分析師如何把數(shù)據(jù)觀點(diǎn)展示給 業(yè)務(wù)的過程。數(shù)據(jù)展現(xiàn)除遵循各公司統(tǒng)一規(guī)范原則外，具體形式還要根據(jù)實(shí) 際需求和場(chǎng)景而定。基本素質(zhì)要求如下，工具：PPT

7、 Excel、Word，甚至郵件都是不錯(cuò)的展現(xiàn)工具，任意 一個(gè)工具用好都很強(qiáng)大；形式：圖文并茂的基本原則更易于理解，生動(dòng)、有趣、互動(dòng)、講故事都是加分項(xiàng)；原則：領(lǐng)導(dǎo)層喜歡讀圖、看趨勢(shì)、要結(jié)論，執(zhí)行層看數(shù)、讀文字、看過程；場(chǎng)景：大型會(huì)議PPT最合適，匯報(bào)說明Word最實(shí)用，數(shù)據(jù)較多時(shí)Excel更方便。最重要一點(diǎn)，數(shù)據(jù)展現(xiàn)永遠(yuǎn)輔助于數(shù)據(jù)內(nèi)容，有價(jià)值的數(shù)據(jù)報(bào)告才是關(guān)鍵。7、數(shù)據(jù)使用數(shù)據(jù)使用是數(shù)據(jù)具有落地價(jià)值的直接體現(xiàn)，這個(gè)過程需要數(shù)據(jù)分析師具備數(shù)據(jù)溝通能力、業(yè)務(wù)推動(dòng)能力和項(xiàng)目工作能力。數(shù)據(jù)溝通能力：深入淺出的數(shù)據(jù)報(bào)告、言簡(jiǎn)意賅的數(shù)據(jù)結(jié)論更利于 業(yè)務(wù)理解和接受，打比方、舉例子都是非常實(shí)用的技巧；業(yè)務(wù)推動(dòng)能力：在業(yè)務(wù)理解數(shù)據(jù)的基礎(chǔ)上，推動(dòng)業(yè)務(wù)落地實(shí)現(xiàn)數(shù)據(jù) 建議。從業(yè)務(wù)最重要、最緊急、最能產(chǎn)生效果的環(huán)節(jié)開始是