如何進行定量分析

如何進行定量分析??本文我們正式來研究如何進行定量分析。一、什么是定量分析與定性分析相同的是，定量分析一詞同樣出自化學(xué)領(lǐng)域，在xx百科中是這樣定義的：“本指分析化學(xué)中的一個分支，用以測定物質(zhì)中各種成分的含量。引申指在社會科學(xué)領(lǐng)域中從量的方面分析事物，運用數(shù)學(xué)方法研究、考察事物之間的相互聯(lián)系和作用的分析方法?！睆闹锌梢园l(fā)現(xiàn)，定量分析最大的特點就是從量的角度出發(fā)分析問題，也就是上文所提到的先對問題進行量化以降低問題的不確定性，然后再對所得的數(shù)據(jù)使用數(shù)學(xué)、統(tǒng)計學(xué)的方法進行研究，目標是去尋找事物間的相互聯(lián)系，例如：因果關(guān)系、相關(guān)性等。二、定量分析與定性分析的異同點1.目標不同：雖然分析的最終目的都是解決問題，但定性分析和定量分析的目標卻是不同的。定量分析的目標是去尋找事物之間的相互聯(lián)系，而定性分析的目標是去揭示事物的行為、態(tài)度、動機。2.方式/方法不同：定性分析可以選擇的方式非常靈活，有許多可以使用的方法，例如上文提到過的：直接觀察法、訪談法、文件分析法等。而定量分析的方式則比較單一，主要就是依托于數(shù)學(xué)和統(tǒng)計學(xué)的方法。3.難點不同;相比定性分析，定量分析工作量大，人力、物力和時間成本都會比較高。在數(shù)據(jù)收集階段，將問題量化就是一個系統(tǒng)且復(fù)雜的思考過程，其中往往還需要各種人力、物力的支持。到了分析階段，又要面對數(shù)據(jù)量大，存儲成本高，運算效率等一系列的問題（這些問題我們會在下文中詳細討論），而定性分析，執(zhí)行的難點則在于執(zhí)行過程中的非系統(tǒng)誤差比較大，會出現(xiàn)各種各樣的意外情況，且主觀成分過多，也會帶來系統(tǒng)性的偏差。4.核心不同定性分析依賴于個人（或群體）的經(jīng)驗、能力和水平，其標準常常因人而異，會帶有主觀任意性。而定量則依賴于量化系統(tǒng)，分析階段所得出的所有結(jié)論、規(guī)律都是基于量化系統(tǒng)所提供的數(shù)據(jù)，數(shù)據(jù)的質(zhì)量、緯度很大程度上決定了此次定量分析的結(jié)果是否有效。?三、定量分析步驟定量分析主要分為兩大階段：量化階段和分析階段，量化階段的內(nèi)容上文已經(jīng)討論過在這里就不再贅述，我們直接來研究分析階段。當通過量化階段完成了預(yù)期的數(shù)據(jù)收集后，就必須面對這些數(shù)據(jù)如何預(yù)處理的問題，這個過程需要耗費大量的時間，當然這也是大數(shù)據(jù)時代所面臨的主要課題。在技術(shù)短時間內(nèi)無法突破的情況下，可以通過一個系統(tǒng)的步驟來提高效率。制定一個分析計劃在我個人的工作習(xí)慣中，我一直傾向于在分析開始之前先做一個時間計劃，預(yù)估接下來會在什么時間點進行哪些步驟，每個步驟預(yù)計花費多少時間。在實際的項目中，我們往往不是像kaggle競賽那樣直接拿到一個完整的數(shù)據(jù)集或者等所有的數(shù)據(jù)收集結(jié)束之后才開始分析工作，更多情況需要我們在數(shù)據(jù)收集過程中就逐步開始分析，在這樣的情況下管控好各類數(shù)據(jù)到位的時間節(jié)點和分析工作的時間節(jié)點，是避免重復(fù)勞動的有效手段（當然也并非必須）。制定一個分析框架分析框架有很多，時下比較普遍的框架是這樣的：?值得一提的是，第2、3、4步將會是一個循環(huán)往復(fù)的過程，模型所得的結(jié)果達不到預(yù)期時，就必須回到第3步去調(diào)整或者更換模型，預(yù)先處理好的數(shù)據(jù)此時可能就需要重新準備。實際項目中，這幾個步驟重復(fù)多次是非常常見的事情。了解數(shù)據(jù)了解數(shù)據(jù)又稱為數(shù)據(jù)探索，這個過程在分析中非常重要，了解數(shù)據(jù)集，對于接下來構(gòu)造什么樣的特征、選取什么樣的模型都起到至關(guān)重要的作用。當然這個探索過程也不僅僅只是簡單的弄清楚數(shù)據(jù)集里每一個字段所代表的意思，還需要考察數(shù)據(jù)的分布、缺失值等各項指標，才算是對數(shù)據(jù)集有了一個初步的認識。我們舉一個Kaggle競賽中的一個例子，這是一個信用違約數(shù)據(jù)集查看各個字段的數(shù)量、均值、最值等指標圖片來與公眾號用直方圖來查看年齡字段的分布情況（當然能做的探索還有很多，在這里只是進行舉例）選擇技術(shù)在這里技術(shù)選擇指的就是選擇什么樣的模型和算法?？蛇x的模型和算法不勝枚舉，在這里就不做贅述，但也需要注意一些問題：1.明確目標例如：我們需要進行預(yù)測時，可以選擇回歸；需要分類時，可以選擇樸素貝葉斯、決策樹；2.貼合數(shù)據(jù)的特點根據(jù)特征工程的所構(gòu)建出的字段的類型和特點來選擇比較貼合的算法，也可以減小很多不必要的麻煩。3.根據(jù)經(jīng)驗如果個人（或團隊）有一定的類似項目經(jīng)驗，根據(jù)此前的項目經(jīng)驗來進行選擇也可以有效的避開很多坑。驗證和分享結(jié)果驗證的方式同樣有很多，時下比較流行的是對原有數(shù)據(jù)集進行切分，將數(shù)據(jù)集分為訓(xùn)練集和測試集，拆分的方法有簡單的三七開，也有比較復(fù)雜的交叉驗證法等。使用