基于遺傳算法的決策樹優(yōu)化算法研究.pdf

1、隨著網絡技術和數據庫管理系統(tǒng)的快速發(fā)展,不同領域的企業(yè)內部都積累了海量的數據,這使得以往的數據分析工具和技術已經無法滿足數據信息處理的需求,進而造成數據資源的巨大浪費。于是如何尋找這些數據中所存在的巨大信息和知識,為企業(yè)所用,成為人們關注的新視角。數據挖掘就是自動發(fā)現(xiàn)海量數據中隱含的、有潛在用途知識的一種新技術。其中,分類和預測是一種重要的數據挖掘研究任務。
　　目前,決策樹算法以其分類的準確率高、速度快、分類規(guī)則易于理解而作為數

2、據挖掘分類技術中最常用的方法,評價決策樹性能好壞主要取決于決策樹模型分類預測的準確率和復雜度。C4.5作為經典的決策樹分類算法,具有很好的分類精度(準確率),但是由于其在樹的構造過程中采用貪心算法,因此構造的決策樹往往存在過度擬合,規(guī)模過大等缺陷。而遺傳算法是一種全局優(yōu)化的智能搜索算法,具有潛在的并行性和可擴展性,容易與其他算法相結合。因而,將遺傳算法組合應用到決策樹分類算法 C4.5中,通過兩種不同的思路對決策樹進行優(yōu)化:
　　

3、(1)通過深入分析決策樹經典算法C4.5的基本原理,總結出該算法在平衡決策樹的分類精度和規(guī)模控制等方面的不足,從實用的角度提出了在構建決策樹時應權衡好決策樹的分類精度和樹的規(guī)模。針對遺傳算法具有搜索全局最優(yōu)的特點,第四章將遺傳算法直接用于決策樹的優(yōu)化,由于 C4.5算法生成的決策樹分類精度還是較高的,則先利用 C4.5算法生成初始的決策樹種群,可以有效地避免遺傳算法剛開始盲目的搜索,但由于樹的不易編碼性,于是將初始種群中的決策樹轉換成相

4、應的規(guī)則集,然后對規(guī)則集進行編碼,通過設定適當的適應度函數和遺傳操作,從而得到優(yōu)化后的決策樹。
　　(2)在現(xiàn)實生活中,數據集中的屬性對分類問題并不都是有效的,有些可能是不相關、冗余的屬性,因而在數據集進行分類之前,對屬性集進行合理的約簡具有很好的研究價值。于是第五章提出利用遺傳算法的全局尋優(yōu)能力首先對數據的屬性集進行約簡,借助粗糙集理論對適應度函數進行合理的構造,從而得到約簡的分類屬性組合,然后對約簡后的屬性集再利用經典的 C4