隨機森林算法優(yōu)化研究.pdf

1、隨機森林算法(Random Forests)是一種基于統(tǒng)計學習理論的組合分類器，它將bootstrap重抽樣方法和決策樹算法相結合，該算法的本質是構建一個樹型分類器{hk(x)，k=1，…}的集合，然后使用該集合通過投票進行分類和預測。由于該算法較好地解決了單分類器在性能上無法提升的瓶頸，因此具有較好的性能，能應用于各種分類篩選和預測中。當然，該算法也存在一些有待完善的地方，比如不能很好地處理非平衡數據、運行效率和分類精度有待提升等。針

2、對這些不足，理論界主要集中在三個方面進行優(yōu)化研究，一是引進新的算法，二是對將數據預處理融入到算法中，三是針對算法自身構建過程進行優(yōu)化。本文在充分查閱國內外相關資料的基礎上，對后二個方面開展了優(yōu)化研究。
　　一、在數據預處理方面，提出了兩種改進隨機森林的優(yōu)化算法。
　　首先，針對隨機森林不能很好地處理非平衡數據的問題，根據聚類算法思想和物理學的重心理論，本文提出了C_SMOTE算法，該算法能較好地降低數據集的非平衡性，從而提升

3、了隨機森林算法的分類性能。該算法針對SMOTE算法在選取“人造”樣本時，存在一定的盲目性現象和容易產生邊緣化的問題，提出了從負類樣本的重心出發(fā)，有目的構造“人造”樣本的新思路，使得在“人造”負類樣本的過程中，新產生的樣本有向重心匯聚的趨勢，這樣就可以有效地解決了SMOTE算法的缺陷，從而實現了既保留原有數據集的信息，又較好地解決數據集的非平衡性問題，從而在很大的程度上提升了隨機森林算法在非平衡數據集上的分類性能。
　　其次，隨機森

4、林算法在進行節(jié)點分裂時常采用C4.5算法，但C4.5算法在處理連續(xù)變量時，采用二分離散化方法，該方法使得隨機森林算法運行效率由數據集中連續(xù)變量的數量N決定，N值越大，隨機森林算法執(zhí)行效率越低。針對此現象，本文提出了一種降低N值的新算法，該算法可以很好地為C4.5算法提供簡約的數據集，從而提升C4.5算法的執(zhí)行效率。新算法是在借鑒CHI2系列算法思想的基礎上，針對CHI2系列算法沒有考慮x2統(tǒng)計量和真實值之間存在偏差的問題而提出的。該算法

5、使用x2矯正公式較好地處理了CHI2系列算法中的偏差問題。文中通過使用三種通用的UCI數據集，將新算法和沒有解決偏差問題CHI2系列算法，在改善隨機森林算法性能方面進行了比較分析。實證數據表明，和CHI2系列算法相比，新算法能更有效地約簡數據集中的冗余信息，使連續(xù)變理取值的數量很大程度地減少，從而提升隨機森林算法的執(zhí)行效率。
　　二、在隨機森林自身構建過程優(yōu)化方面，提出了一種新的節(jié)點分裂混合算法。
　　本文通過分析隨機森林算

6、法分類性能的影響因素，針對隨機森林在生成過程中，節(jié)點分裂算法不同引起的隨機森林分類性能不同的現象，提出了一種基于線性組合的節(jié)點分裂混合算法。該算法將C4.5算法和CART算法在節(jié)點分裂時的函數進行線性組合，通過變換組合函數中的系數，充分發(fā)揮了這兩種算法優(yōu)勢，較好地實現了隨機森林算法分類性能的優(yōu)化。同時，還詳細分析了混合算法的穩(wěn)定性、相關度和強度。首先，通過構造F統(tǒng)計量進行方差分析，對該混合算法的穩(wěn)定性進行了檢驗。統(tǒng)計結果表明，該隨機森林

7、的混合算法隨著森林中樹木個數的變化雖然存在一定的不穩(wěn)定性，但當森林中樹木達到800棵時，算法可以達到穩(wěn)定的狀態(tài)。然后，對混合算法的相關度和強度進行了理論上的推導和論述，同時實現了隨機森林的平均相關度和強度的計算，并使用實證分析的辦法，驗證了平均相關度和算法分類精度存在負相關，森林的平均強度和算法的分類精度存在正相關的關系，并得了出混合算法對提升森林的平均強度和降低平均相關度較有其他算法具有明顯的優(yōu)勢，也從另一個方面驗證了混合算法的優(yōu)越性