基于因素化表示的強化學習方法研究.pdf

1、強化學習是隨機環(huán)境中解決決策問題一種有效的方法。然而，在大狀態(tài)空間，特別是在復雜隨機狀態(tài)下的應用領域，它仍然沒有解決“維數(shù)災難”的問題。目前，因素化強化學習作為強化學習在時間和空間上的擴展，已經(jīng)被證明比強化學習更適合解決大狀態(tài)隨機控制問題，在機器人導航等方面有著廣闊的應用前景。但是，目前的研究工作集中在學習前狀態(tài)空間的前期處理，對學習過程缺乏深入研究。本文圍繞強化學習前的狀態(tài)空間的前期處理以及學習過程中值函數(shù)的值的存儲和表示，對以下方面

2、進行了研究和探討： 1.介紹了因素化學習的基本學習理論和研究進展，并對四種典型的強化學習算法作了分析比較，分析了它們的各自特點和適用情況，為后面的工作中算法的選擇提供了基礎。 2.提出了改進的基于因素化表示的動態(tài)規(guī)劃方法，針對動態(tài)規(guī)劃方法中求解精確的Vπ值計算量復雜的問題，提出了改進的使用生成Vπ的線性近似值以獲取算法的加速的方法；針對傳統(tǒng)強化學習算法使用值函數(shù)Look-up表存儲和表示值函數(shù)的值存在著的冗余度過高的問題

3、，提出了決策樹方法，并在后面的仿真實驗中驗證算法效果。 3.提出了一種新的基于因素法方法的TD(λ)算法。其基本思想是狀態(tài)因素化表示，通過動態(tài)貝葉斯網(wǎng)絡(Dynamic Bayes Networks，DBNs)表示Markov決策過程(Markov decision Process，MDP)中的狀態(tài)概率轉(zhuǎn)移函數(shù)，結合決策樹(decision tree)表示TD(λ)算法中的狀態(tài)值函數(shù)的值，大大降低了狀態(tài)空間的搜索與計算復雜度、以