基于Lasso的高維數據線性回歸模型統(tǒng)計推斷方法比較.pdf

1、目的：
　　本文將介紹五種基于Lasso的高維數據線性回歸模型統(tǒng)計推斷方法：Lasso-懲罰計分檢驗(Lasso Penalized Score Test,Lassoscore)，多重樣本拆分(Multiple Sample-Splitting,MS-split)、穩(wěn)定選擇(Stability Selection)、低維投射(Low-Dimensional Projection Estimate,LDPE)、協方差檢驗(Covar

2、iance test,Covtest)，并將這五種方法作比較，分析其在不同高維數據情形下的表現。
　　方法：
　　分別介紹Lasso-懲罰計分檢驗、多重樣本拆分、穩(wěn)定選擇、低維投射、協方差檢驗的基本原理。利用以下四個參數設置模擬數據，分別為：7種樣本量n=50、75、100、150、200、300、400；兩種自變量個數p=100、300；兩種自變量間相關性，一是自變量間相互獨立，二是自變量間相關性為corr(Xi,Xj)=

3、0.5|i-j|；兩種回歸系數大小，一是β1=β2=β3=β4=β5=5，βj=0，j>5。二是β1=β2=β3=β4=β5=0.15，βj=0，j>5。以上四個參數分別構成不同情形的高維數據。采用R軟件模擬數據并用五種方法做統(tǒng)計推斷，最后以期望假陽性率(Expected False Positives,EFP)和檢驗效能(power)為評價指標，比較這五種方法在不同高維數據情形下的表現。
　　結果：
　　在理想高維數據情形

4、下五種方法除協方差檢驗推斷結果保守外其余方法表現都較好，其中穩(wěn)定選擇的EFP最低而檢驗效能最高，在五種方法中表現最好。低維投射、穩(wěn)定選擇、多重樣本拆分都對βmin條件有要求，其中穩(wěn)定選擇過于其依賴βmin條件，所以在復雜高維數據情形下檢驗效能大幅度降低，表現差。在復雜高維數據情形下低維投射在大樣本和小樣本下表現都較保守，雖然在中等樣本量時檢驗效能很高，但是以引入極高的假陽性為代價的。無論在何種數據情形下協方差檢驗推斷結果都很保守。在復雜

5、高維數據情形下Lasso-懲罰計分檢驗的檢驗效能是五種方法中最高的，其次為多重樣本拆分，而Lasso-懲罰計分檢驗的EFP也是最高的，多重樣本拆分的EFP基本接近0。
　　結論：
　　在常見復雜高維數據情形下Lasso-懲罰計分檢驗發(fā)現真實非零變量的能力優(yōu)于其余四種方法，且其對βmin的要求低，但期望假陽性率高。多重樣本拆分的發(fā)現真實非零變量的能力雖然依賴于數據對βmin條件的滿足與否，但當條件不滿足時僅次于Lasso-懲罰