半馬氏決策過程中的首達(dá)目標(biāo)準(zhǔn)則.pdf

1、本文致力于研究半馬氏決策過程中的幾個(gè)首達(dá)目標(biāo)準(zhǔn)則，包括首達(dá)目標(biāo)期望準(zhǔn)則、風(fēng)險(xiǎn)概率準(zhǔn)則、首達(dá)目標(biāo)概率準(zhǔn)則和受約束首達(dá)目標(biāo)準(zhǔn)則。與通常的無(wú)限階段期望折扣準(zhǔn)則和平均準(zhǔn)則不同，首達(dá)目標(biāo)準(zhǔn)則關(guān)注的是系統(tǒng)首次到達(dá)某些狀態(tài)集前的性能和行為，具有豐富的實(shí)際背景和應(yīng)用意義。然而，據(jù)我們所知，首達(dá)目標(biāo)準(zhǔn)則在半馬氏決策過程中還沒有文獻(xiàn)研究，本文首次在半馬氏決策過程中研究這些準(zhǔn)則。我們針對(duì)這些首達(dá)目標(biāo)準(zhǔn)則，得到了各準(zhǔn)則下的最優(yōu)策略存在性條件及其計(jì)算方法.全文分

2、為六章，詳情如下。
　　 第一章為綜述，介紹半馬氏決策過程的歷史背景和發(fā)展現(xiàn)狀，正式引入半馬氏決策過程的模型、相關(guān)概念和常用的最優(yōu)準(zhǔn)則，并概述本文的選題依據(jù)、研究?jī)?nèi)容和主要結(jié)果。
　　 第二章討論可數(shù)狀態(tài)半馬氏決策過程的首達(dá)目標(biāo)期望準(zhǔn)則，即優(yōu)化目的是最小化系統(tǒng)到達(dá)目標(biāo)狀態(tài)集前的期望總費(fèi)用。對(duì)于這個(gè)準(zhǔn)則，已有文獻(xiàn)在離散時(shí)間馬氏決策過程和連續(xù)時(shí)間跳馬氏決策過程中研究，本章首次在更一般的半馬氏決策過程中研究這個(gè)準(zhǔn)則。我們考慮非

3、負(fù)的費(fèi)用率函數(shù)，即其有下界但不一定有上界，這比已有文獻(xiàn)(關(guān)于離散時(shí)間和連續(xù)時(shí)間跳馬氏決策過程首達(dá)目標(biāo)期望準(zhǔn)則的工作)要求報(bào)酬或費(fèi)用函數(shù)有界的條件寬松.不同于上述已有文獻(xiàn)利用不動(dòng)點(diǎn)理論建立最優(yōu)方程，我們利用最小非負(fù)解方法在適當(dāng)條件下建立了最優(yōu)方程和最優(yōu)策略的存在性，并得到最優(yōu)策略的一些性質(zhì)和計(jì)算值函數(shù)的值迭代算法。由于我們采用的是最小非負(fù)解方法而不是不動(dòng)點(diǎn)理論，本章不需要類似于已有文獻(xiàn)保證動(dòng)態(tài)規(guī)劃算子為壓縮算子的條件。在本章最后，我們說明

4、半馬氏決策過程的首達(dá)目標(biāo)期望準(zhǔn)則可退化為離散時(shí)間馬氏決策過程和連續(xù)時(shí)間跳馬氏決策過程的首達(dá)目標(biāo)期望準(zhǔn)則。
　　 第三章研究可數(shù)狀態(tài)半馬氏決策過程的風(fēng)險(xiǎn)概率準(zhǔn)則，即優(yōu)化目的是最小化系統(tǒng)首達(dá)目標(biāo)狀態(tài)集的時(shí)間不超過給定閾值的風(fēng)險(xiǎn)概率.對(duì)于這個(gè)準(zhǔn)則，已有文獻(xiàn)的工作集中在離散時(shí)間馬氏決策過程和連續(xù)時(shí)間跳馬氏決策過程中，本章首次在更一般的半馬氏決策過程中研究這個(gè)準(zhǔn)則.我們引入了比已有文獻(xiàn)(關(guān)于離散時(shí)間和連續(xù)時(shí)間跳馬氏決策過程風(fēng)險(xiǎn)概率準(zhǔn)則的工

5、作)更廣泛的新策略類，其不僅依賴于通常的狀態(tài)和行動(dòng)，也依賴于閾值.在這個(gè)新策略類中，我們刻畫風(fēng)險(xiǎn)函數(shù)和值函數(shù)的特征，用逐步逼近方法證明值函數(shù)滿足最優(yōu)方程，并進(jìn)一步得到最優(yōu)策略存在性條件。由于我們考慮的策略類比已有文獻(xiàn)的策略類更一般化，本章得到的最優(yōu)策略存在性條件比已有文獻(xiàn)(關(guān)于離散時(shí)間和連續(xù)時(shí)間跳馬氏決策過程風(fēng)險(xiǎn)概率準(zhǔn)則的工作)的結(jié)果寬松很多.另外，也給出了分別用于計(jì)算值函數(shù)和最優(yōu)策略的值迭代和策略迭代算法.我們用兩個(gè)例子說明風(fēng)險(xiǎn)函數(shù)的

6、基本特征和值迭代算法計(jì)算值函數(shù)的過程。
　　 第四章考慮Borel狀態(tài)空間和行動(dòng)空間的半馬氏決策過程，優(yōu)化準(zhǔn)則是首達(dá)目標(biāo)概率準(zhǔn)則，即優(yōu)化目的是最小化系統(tǒng)首達(dá)目標(biāo)狀態(tài)集前所產(chǎn)生的總報(bào)酬不超過給定水平的概率.在目前文獻(xiàn)中，關(guān)于首達(dá)目標(biāo)概率準(zhǔn)則的工作集中于離散時(shí)間馬氏決策過程，在更一般的半馬氏決策過程中還沒有研究，本章首次在半馬氏決策過程中研究這個(gè)準(zhǔn)則.我們引入不僅與狀態(tài)和行動(dòng)有關(guān)，也與報(bào)酬水平有關(guān)的策略類，然后在“緊-連續(xù)”條件下，

7、利用半馬氏決策過程的模型特征推演得到值迭代算法.在值迭代算法的基礎(chǔ)上，我們進(jìn)一步建立最優(yōu)方程和最優(yōu)策略的存在性，并得到加在模型原始數(shù)據(jù)上從而易于驗(yàn)證的最優(yōu)策略存在的充分條件.值得指出的是，本章考慮一般的Borel狀態(tài)和行動(dòng)空間，不同于已有文獻(xiàn)(關(guān)于離散時(shí)間馬氏決策過程首達(dá)目標(biāo)概率準(zhǔn)則的工作)考慮可數(shù)狀態(tài)和行動(dòng)空間的情形,“緊-連續(xù)”條件對(duì)本章結(jié)果是必要和基本的.我們用一個(gè)數(shù)值算例說明本章結(jié)果。
　　 第五章討論可數(shù)狀態(tài)半馬氏決策

8、過程的受約束首達(dá)目標(biāo)準(zhǔn)則，即優(yōu)化問題是在系統(tǒng)到達(dá)目標(biāo)狀態(tài)集前的期望總費(fèi)用不超出給定約束值的策略類中，尋找使系統(tǒng)到達(dá)目標(biāo)狀態(tài)集前的期望總報(bào)酬最大的策略.據(jù)我們所知，無(wú)論是在離散時(shí)間馬氏決策過程中，還是在連續(xù)時(shí)間跳馬氏決策過程或半馬氏決策過程中，這個(gè)準(zhǔn)則都還未見文獻(xiàn)研究.本章考慮半馬氏決策過程的受約束首達(dá)目標(biāo)準(zhǔn)則.在行動(dòng)空間為Borel空間，報(bào)酬/費(fèi)用率可能既無(wú)上界也無(wú)下界的假設(shè)下，我們給出保證約束最優(yōu)策略存在的條件，并說明約束最優(yōu)策略至多

9、在一個(gè)狀態(tài)隨機(jī)化.與已有文獻(xiàn)關(guān)于標(biāo)準(zhǔn)的受約束無(wú)限階段期望折扣準(zhǔn)則的結(jié)果相比，我們的最優(yōu)性條件僅加在非目標(biāo)狀態(tài)集上而不是整個(gè)狀態(tài)空間，從而是較弱的。另外，我們的結(jié)果對(duì)無(wú)折扣情形直接成立，而不需要引入其它任何條件。我們用一個(gè)維修系統(tǒng)的例子說明本章的條件。
　　 第六章總結(jié)本文工作，并展望進(jìn)一步的工作。
　　 總的來說,半馬氏決策過程是一類狀態(tài)逗留時(shí)間允許服從任意概率分布的馬氏決策過程，可以描述在隨機(jī)時(shí)間點(diǎn)上采取決策的許多控制