北大數據分析老鳥(niǎo)寫(xiě)給學(xué)弟們一封信

北大數據分析老鳥(niǎo)寫(xiě)給學(xué)弟們一封信

以下是我在近三年做各類(lèi)計量和統計分析過(guò)程中感受最深的東西，或能對大家有所幫助。當然，它不是ABC的教程，也不是細致的數據分析方法介紹，它只 是“總結”和“體會(huì )”。由于我所學(xué)所做均甚雜，我也不是學(xué)統計、數學(xué)出身的，故本文沒(méi)有主線(xiàn)，只有碎片，且文中內容僅為個(gè)人觀(guān)點(diǎn)，許多論斷沒(méi)有數學(xué)證明， 望統計、計量大牛輕拍。

關(guān)于軟件

于我個(gè)人而言，所用的數據分析軟件包括 EXCEL、SPSS、STATA、EVIEWS。在分析前期可以使用EXCEL進(jìn)行數據清洗、數據結構調 整、復雜的新變量計算(包括邏輯計算);在后期呈現美觀(guān)的圖表時(shí)，它的制圖制表功能更是無(wú)可取代的利器;但需要說(shuō)明的是，EXCEL畢竟只是辦公軟件，它 的作用大多局限在對數據本身進(jìn)行的操作，而非復雜的統計和計量分析，而且，當樣本量達到“萬(wàn)”以上級別時(shí)，EXCEL的運行速度有時(shí)會(huì )讓人抓狂。

SPSS是擅長(cháng)于處理截面數據的傻瓜統計軟件。首先，它是專(zhuān)業(yè)的統計軟件，對“萬(wàn)”甚至“ 十萬(wàn)”樣本量級別的數據集都能應付自如;其次，它是統計軟 件而非專(zhuān)業(yè)的計量軟件，因此它的強項在于數據清洗、描述統計、假設檢驗(T、F、卡方、方差齊性、正態(tài)性、信效度等檢驗)、多元統計分析(因子、聚類(lèi)、判 別、偏相關(guān)等)和一些常用的計量分析(初、中級計量教科書(shū)里提到的計量分析基本都能實(shí)現)，對于復雜的、前沿的計量分析無(wú)能為力;第三，SPSS主要用于 分析截面數據，在時(shí)序和面板數據處理方面功能了了;最后，SPSS兼容菜單化和編程化操作，是名副其實(shí)的傻瓜軟件。

STATA與EVIEWS都是我偏好的計量軟件。前者完全編程化操作，后者兼容菜單化和編程化操作;雖然兩款軟件都能做簡(jiǎn)單的描述統計，但是較之 SPSS差了許多;STATA與EVIEWS都是計量軟件，高級的計量分析能夠在這兩個(gè)軟件里得到實(shí)現;STATA的擴展性較好，我們可以上網(wǎng)找自己需要 的命令文件(.ado文件)，不斷擴展其應用，但EVIEWS就只能等著(zhù)軟件升級了;另外，對于時(shí)序數據的處理，EVIEWS較強。

綜上，各款軟件有自己的強項和弱項，用什么軟件取決于數據本身的屬性及分析方法。EXCEL適用于處理小樣本數據，SPSS、 STATA、EVIEWS可以處理較大的樣本;EXCEL、SPSS適合做數據清洗、新變量計算等分析前準備性工作，而STATA、EVIEWS在這方面 較差;制圖制表用EXCEL;對截面數據進(jìn)行統計分析用SPSS，簡(jiǎn)單的計量分析SPSS、STATA、EVIEWS可以實(shí)現，高級的計量分析用 STATA、EVIEWS，時(shí)序分析用EVIEWS。

關(guān)于因果性

做統計或計量，我認為最難也最頭疼的就是進(jìn)行因果性判斷。假如你有A、B兩個(gè)變量的數據，你怎么知道哪個(gè)變量是因(自變量)，哪個(gè)變量是果(因變量)?

早期，人們通過(guò)觀(guān)察原因和結果之間的表面聯(lián)系進(jìn)行因果推論，比如恒常會(huì )合、時(shí)間順序。但是，人們漸漸認識到多次的共同出現和共同缺失可能是因果關(guān) 系，也可能是由共同的原因或其他因素造成的。從歸納法的角度來(lái)說(shuō)，如果在有A的情形下出現B，沒(méi)有A的情形下就沒(méi)有B，那么A很可能是B的原因，但也可能 是其他未能預料到的因素在起作用，所以，在進(jìn)行因果判斷時(shí)應對大量的事例進(jìn)行比較，以便提高判斷的可靠性。

有兩種解決因果問(wèn)題的方案：統計的解決方案和科學(xué)的解決方案。統計的解決方案主要指運用統計和計量回歸的方法對微觀(guān)數據進(jìn)行分析，比較受干預樣本與 未接受干預樣本在效果指標(因變量)上的差異。需要強調的是，利用截面數據進(jìn)行統計分析，不論是進(jìn)行均值比較、頻數分析，還是方差分析、相關(guān)分析，其結果 只是干預與影響效果之間因果關(guān)系成立的必要條件而非充分條件。類(lèi)似的，利用截面數據進(jìn)行計量回歸，所能得到的最多也只是變量間的數量關(guān)系;計量模型中哪個(gè) 變量為因變量哪個(gè)變量為自變量，完全出于分析者根據其他考慮進(jìn)行的預設，與計量分析結果沒(méi)有關(guān)系�？傊�，回歸并不意味著(zhù)因果關(guān)系的成立，因果關(guān)系的判定或 推斷必須依據經(jīng)過(guò)實(shí)踐檢驗的相關(guān)理論。雖然利用截面數據進(jìn)行因果判斷顯得勉強，但如果研究者掌握了時(shí)間序列數據，因果判斷仍有可為，其中最經(jīng)典的方法就是 進(jìn)行“格蘭杰因果關(guān)系檢驗”。但格蘭杰因果關(guān)系檢驗的結論也只是統計意義上的因果性，而不一定是真正的因果關(guān)系，況且格蘭杰因果關(guān)系檢驗對數據的要求較高 (多期時(shí)序數據)，因此該方法對截面數據無(wú)能為力。綜上所述，統計、計量分析的結果可以作為真正的因果關(guān)系的一種支持，但不能作為肯定或否定因果關(guān)系的最 終根據。

科學(xué)的解決方案主要指實(shí)驗法，包括隨機分組實(shí)驗和準實(shí)驗。以實(shí)驗的方法對干預的效果進(jìn)行評估，可以對除干預外的其他影響因素加以控制，從而將干預實(shí)施后的效果歸因為干預本身，這就解決了因果性的確認問(wèn)題。

關(guān)于實(shí)驗

在隨機實(shí)驗中，樣本被隨機分成兩組，一組經(jīng)歷處理條件(進(jìn)入干預組)，另一組接受控制條件(進(jìn)入對照組)，然后比較兩組樣本的效果指標均值是否有差 異。隨機分組使得兩組樣本“同質(zhì)”，即“分組”、“干預”與樣本的所有自身屬性相互獨立，從而可以通過(guò)干預結束時(shí)兩個(gè)群體在效果指標上的差異來(lái)考察實(shí)驗處 理的凈效應。隨機實(shí)驗設計方法能夠在最大程度上保證干預組與對照組的相似性，得出的研究結論更具可靠性，更具說(shuō)服力。但是這種方法也是備受爭議的，一是因 為它實(shí)施難度較大、成本較高;二是因為在干預的影響評估中，接受干預與否通常并不是隨機發(fā)生的;第三，在社會(huì )科學(xué)研究領(lǐng)域，完全隨機分配實(shí)驗對象的做法會(huì ) 涉及到研究倫理和道德問(wèn)題。鑒于上述原因，利用非隨機數據進(jìn)行的準實(shí)驗設計是一個(gè)可供選擇的替代方法。準實(shí)驗與隨機實(shí)驗區分的標準是前者沒(méi)有隨機分配樣 本。

通過(guò)準實(shí)驗對干預的影響效果進(jìn)行評估，由于樣本接受干預與否并不是隨機發(fā)生的，而是人為選擇的，因此對于非隨機數據，不能簡(jiǎn)單的認為效果指標的差異 來(lái)源于干預。在剔除干預因素后，干預組和對照組的本身還可能存在著(zhù)一些影響效果指標的因素，這些因素對效果指標的作用有可能同干預對效果指標的作用相混 淆。為了解決這個(gè)問(wèn)題，可以運用統計或計量的方法對除干預因素外的其他可能的影響因素進(jìn)行控制，或運用匹配的方法調整樣本屬性的不平衡性在對照組中尋 找一個(gè)除了干預因素不同之外，其他因素與干預組樣本相同的對照樣本與之配對這可以保證這些影響因素和分組安排獨立。

隨機實(shí)驗需要至少兩期的面板數據，并且要求樣本在干預組和對照組隨機分布，分析方法就是DID(倍差法，或曰雙重差分法);準實(shí)驗分析用截面數據就 能做，不要求樣本在干預組和對照組隨機分布，分析方法包括DID(需兩期的面板數據)、PSM(傾向性得分匹配法，需一期的截面數據)和PSM- DID(需兩期的面板數據)。從準確度角度來(lái)說(shuō)，隨機實(shí)驗的準確度高于準實(shí)驗和非實(shí)驗分析。

關(guān)于分析工具的選擇

如果根據理論或邏輯已經(jīng)預設了變量間的因果關(guān)系，那么就無(wú)需使用實(shí)驗方法。我對非實(shí)驗數據分析工具的選擇原則如下。

因變量為連續變量，自變量至少有一個(gè)連續變量，進(jìn)行多元線(xiàn)性回歸;

因變量為連續變量，自變量全部為分類(lèi)變量，進(jìn)行方差分析;

因變量為分類(lèi)變量，自變量至少有一個(gè)連續變量，使用Logit模型或Probit模型;

因變量為分類(lèi)變量，自變量全部為分類(lèi)變量，進(jìn)行交叉表分析和卡方檢驗;

因變量在某個(gè)閉區間內分布，并且有較多樣本落在閉區間的邊界上，使用Tobit模型;

因變量不唯一，如多產(chǎn)出問(wèn)題，進(jìn)行數據包絡(luò )分析(DEA);

因變量為整數、數值小、取零個(gè)數較多，使用計數(Count)模型;

數據具有層次結構(嵌套結構)，使用多層線(xiàn)性模型(HLM)。

隨著(zhù)統計和計量經(jīng)濟學(xué)的發(fā)展，各種前沿分析工具層出不窮，但我認為最靠譜的分析工具不外乎以下四種：DID(針對隨機實(shí)驗)，多元線(xiàn)性回歸，固定效 應變截距模型(FE，針對面板數據)，Logit模型或Probit模型(針對分類(lèi)因變量數據)。其他方法或適用條件苛刻，或分析過(guò)程折騰，或方法本身不 可靠(尤其是聚類(lèi)分析、判別分析，超級不靠譜)，因此能用以上四種方法分析問(wèn)題時(shí)，不必為“炫方法”而瞎折騰。

關(guān)于擬合優(yōu)度、變量選擇原則及估計值絕對大小的意義

在人人的“數據分析”小站中，某同學(xué)提出這樣一個(gè)問(wèn)題：“多元回歸分析中，怎么選擇自變量和因變量，可以使R方達到80%以上?”

很顯然，問(wèn)這個(gè)問(wèn)題的同學(xué)要么沒(méi)學(xué)好計量，要么就是犯了功利主義的錯誤，或者二者皆有。擬合優(yōu)度的大小很大程度上取決于數據本身的性質(zhì)。如果數據是 時(shí)序數據，只要拿有點(diǎn)相關(guān)關(guān)系的變量進(jìn)行回歸就能使擬合優(yōu)度達到80%以上，但這樣的高R方根本說(shuō)明不了什么，很可能使分析者陷入偽回歸的陷阱，嚴謹的做 法當然是做平穩性檢驗和協(xié)整檢驗;如果是截面數據，根本沒(méi)必要追求R方到80%的程度，一般來(lái)說(shuō)，有個(gè)20%、30%就非常大了。

如果一定要增大R方，那么最應該做的的確是對納入模型的變量進(jìn)行選擇。選擇納入模型的原則我認為有三條。第一，從理論和邏輯出發(fā)，將可能影響因變量 的變量作為自變量納入模型，即理論上或邏輯上能影響因變量的自變量必須納入模型，即使該自變量的回歸系數不顯著(zhù)。第二，奧姆剃刀原則如無(wú)必要，勿增實(shí) 體，即理論上或邏輯上不能影響因變量的自變量不能納入模型，即使該自變量的回歸系數顯著(zhù)。第三，防止納入具有多重共線(xiàn)性的自變量。

前面說(shuō)了，對截面數據進(jìn)行計量分析，R方能達到20%、30%是非常了不起的事情。但是，如果擬合優(yōu)度(或類(lèi)似擬合優(yōu)度的指標)在20%、30%或 更低時(shí)，回歸系數只具有定性或定序上的意義，強調其絕對數值的大小沒(méi)什么意義。譬如lnY=alnA+blnB+…+zlnZ+c 回歸的R方為20%，a 為0.375，b為0.224，且二者的T檢驗顯著(zhù)，那么我們可以說(shuō)，A、B對Y有影響，也可以說(shuō)一百分點(diǎn)的A變化對Y的影響大于一百分點(diǎn)的B變化對Y的 影響(控制其他因素的情況下)，但說(shuō)一百分點(diǎn)的A變化對Y的影響較一百分點(diǎn)的B變化對Y的影響大0.151%，就沒(méi)什么意義了。

其他一些建議或忠告

用心思考變量間的因果關(guān)系：是A影響了B還是B影響了A?A、B之間是否真的有因果關(guān)系?是否存在C，使C既影響A又影響B(tài)，而

[北大數據分析老鳥(niǎo)寫(xiě)給學(xué)弟們一封信]相關(guān)文章：

1.北大數據分析老鳥(niǎo)寫(xiě)給學(xué)弟們一封信

【北大數據分析老鳥(niǎo)寫(xiě)給學(xué)弟們一封信】相關(guān)文章：

銷(xiāo)售數據的分析方法07-25

大數據分析07-20

數據分析報告07-28

大數據分析07-25

多維數據分析方法04-07

數據分析主管的職責01-13

數據分析工作職責07-28

數據分析簡(jiǎn)歷模板02-17

數據分析報告【推薦】03-07

【推薦】數據分析報告03-01