隨機(jī)森林的特征選擇和模型優(yōu)化算法研究.pdf

1、集成學(xué)習(xí)的興起，為分類(lèi)方法的設(shè)計(jì)提供了一個(gè)新的研究方向。隨機(jī)森林是在眾多集成方法中逐漸發(fā)展起來(lái)的一種分類(lèi)器集成學(xué)習(xí)的方法，在實(shí)際中得到廣泛應(yīng)用，成為數(shù)據(jù)挖掘、人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別等領(lǐng)域的研究人員以及工程應(yīng)用領(lǐng)域中的技術(shù)人員共同關(guān)心的一個(gè)研究熱點(diǎn)。
　　隨機(jī)森林在降低分類(lèi)系統(tǒng)泛化誤差、簡(jiǎn)化分類(lèi)器設(shè)計(jì)等方面表現(xiàn)優(yōu)良，但是隨機(jī)森林方法并不完美，從實(shí)際應(yīng)用中看，還有著大量進(jìn)一步提升精度，降低泛化誤差的需求。
　　本文在介紹集

2、成學(xué)習(xí)和隨機(jī)森林的研究現(xiàn)狀、算法思想的基礎(chǔ)上，重點(diǎn)分析了隨機(jī)森林的優(yōu)缺點(diǎn)，并提出了一些改進(jìn)的方案，進(jìn)行了大量的實(shí)驗(yàn)分析，完成了以下研究工作：
　　(1)在分析了隨機(jī)森林集成的強(qiáng)度和相關(guān)度之間的關(guān)系的基礎(chǔ)上，提出了一種新的特征選擇算法。為了降低隨機(jī)森林的泛化誤差上界，提高森林整體性能，在綜合考慮強(qiáng)度和相關(guān)度之間相互影響的關(guān)系后，利用卡方檢驗(yàn)進(jìn)行特征的相關(guān)性評(píng)估，依據(jù)評(píng)估的結(jié)果在特征空間進(jìn)行有區(qū)分的隨機(jī)選擇特征。經(jīng)實(shí)驗(yàn)驗(yàn)證，這種方法在

3、保留原始算法所有的優(yōu)點(diǎn)的基礎(chǔ)上，可以進(jìn)一步的降低隨機(jī)森林的誤差上界，提高泛化精度；
　　(2)在理解單個(gè)分類(lèi)樹(shù)與集成的整體效果之間的關(guān)系后，進(jìn)一步對(duì)分類(lèi)樹(shù)之間關(guān)系進(jìn)行了分析，設(shè)計(jì)了一種基于層次聚類(lèi)的模型選擇算法。通過(guò)將符合度量標(biāo)準(zhǔn)的分類(lèi)樹(shù)不斷凝聚在一起，再?gòu)闹袑で蟠順?shù)進(jìn)行參與森林的集成。提出了樹(shù)與樹(shù)之間的相似性度量，并在實(shí)驗(yàn)中使用多種度量比較分析，該模型選擇算法可以提高樹(shù)與樹(shù)之間的差異度，利用較少的樹(shù)就可以提高森林的分類(lèi)精度；<