logistic回歸模型

1、Logistic回歸模型回歸模型1Logistic回歸模型的基本知識(shí)回歸模型的基本知識(shí)1.1Logistic模型簡(jiǎn)介主要應(yīng)用在研究某些現(xiàn)象發(fā)生的概率，比如股票漲還是跌，公司成功或失敗的概率，以及討論概p率與那些因素有關(guān)。顯然作為概率值，一定有，因此很難用線性模型描述概率與自變量的p10??pp關(guān)系，另外如果接近兩個(gè)極端值，此時(shí)一般方法難以較好地反映p的微小變化。為此在構(gòu)建與自變pp量關(guān)系的模型時(shí)，變換一下思路，不直接研究，而是研究的一個(gè)

2、嚴(yán)格單調(diào)函數(shù)，并要求pp)(pG在接近兩端值時(shí)對(duì)其微小變化很敏感。于是Logit變換被提出來(lái)：)(pGp（1）pppLogit??1ln)(其中當(dāng)從時(shí)，從，這個(gè)變化范圍在模型數(shù)據(jù)處理上帶來(lái)很大的方便，p10?)(pLogit?????解決了上述面臨的難題。另外從函數(shù)的變形可得如下等價(jià)的公式：（2）XTXTTeepXpppLogit?????????11ln)(模型(2)的基本要求是，因變量（y）是個(gè)二元變量，僅取0或1兩個(gè)值，而因變量取

3、1的概率就是模型要研究的對(duì)象。而，其中表示影響的第個(gè)因素，它可)|1(XyP?TkxxxX)1(21??ixyi以是定性變量也可以是定量變量，。為此模型(2)可以表述成：Tk)(10??????（3）kxkxkxkxkkeepxxpp??????????????????????????11011011011ln顯然，故上述模型表明是的線性函數(shù)。此時(shí)我們稱滿足上面條件pyE?)()(1)(lnyEyE?kxxx21?的回歸方程為L(zhǎng)ogis

4、tic線性回歸。Logistic線性回歸的主要問(wèn)題是不能用普通的回歸方式來(lái)分析模型，一方面離散變量的誤差形式服從伯努利分布而非正態(tài)分布，即沒(méi)有正態(tài)性假設(shè)前提；二是二值變量方差不是常數(shù)，有異方差性。不同于多元線性回歸的最小二乘估計(jì)法則(殘差平方和最小)，Logistic變換的非線性特征采用極大似然估計(jì)極大似然估計(jì)的方法尋求最佳的回歸系數(shù)。因此評(píng)價(jià)模型的擬合度的標(biāo)準(zhǔn)變?yōu)樗迫恢翟u(píng)價(jià)模型的擬合度的標(biāo)準(zhǔn)變?yōu)樗迫恢刀请x差平方和。定義定義1稱事件發(fā)

5、生與不發(fā)生的概率比為優(yōu)勢(shì)比優(yōu)勢(shì)比(比數(shù)比比數(shù)比oddsratio簡(jiǎn)稱簡(jiǎn)稱)，形式上表示為，形式上表示為=（4）kxkxepp?????????1101定義定義2Logistic回歸模型是通過(guò)極大似然估計(jì)法得到的，故模型好壞的評(píng)價(jià)準(zhǔn)則有似然值來(lái)表征，稱表2.1.1購(gòu)房分組數(shù)據(jù)購(gòu)房分組數(shù)據(jù)序號(hào)年家庭收入X(萬(wàn)元)簽訂意向人數(shù)實(shí)際購(gòu)買(mǎi)人數(shù)11.525822.5321333.5582644.5522255.5432066.5392277.528

6、1688.5211299.51510例2.1.2藥物療效數(shù)據(jù)藥物療效數(shù)據(jù)[2]為考察某藥物療效，隨機(jī)抽取220例病人并分配到治療組和對(duì)照組，治療組采用治療藥物，對(duì)照組采用安慰劑。治療一段時(shí)間后觀察病人的療效，得到表2.1.2數(shù)據(jù)。設(shè)y為療效指標(biāo)(y=1有效，y=0無(wú)效)，為治療組指標(biāo)(1為治療組，0為對(duì)照組)，為年齡組指標(biāo)(1為45歲，0為其1x2x他)。表2.1.2藥物療效數(shù)據(jù)藥物療效數(shù)據(jù)序號(hào)治療分組1x年齡分組2x有療效無(wú)效合計(jì)11

7、1321850210402060301213152400184058上述兩個(gè)例子數(shù)據(jù)都是經(jīng)過(guò)統(tǒng)計(jì)加工后的分組數(shù)據(jù)，對(duì)此類(lèi)數(shù)據(jù)進(jìn)行Logistic回歸，首先要明確應(yīng)變量對(duì)應(yīng)事件的發(fā)生概率如何確定和進(jìn)行Logit變換，其次才能建立Logistic回歸。為便于數(shù)據(jù)處理，我們?yōu)楸阌跀?shù)據(jù)處理，我們將此類(lèi)數(shù)據(jù)的格式作個(gè)約定，排列格式為（組序號(hào)，自變量將此類(lèi)數(shù)據(jù)的格式作個(gè)約定，排列格式為（組序號(hào)，自變量，該組事件發(fā)生數(shù)，該組總例數(shù)），該組事件發(fā)生數(shù)，