基于強(qiáng)化學(xué)習(xí)的植入式腦機(jī)接口神經(jīng)信息解碼：算法設(shè)計(jì)及應(yīng)用.pdf

1、腦機(jī)接口直接將大腦的運(yùn)動信息解析成外部設(shè)備的控制指令，實(shí)現(xiàn)了大腦與外界環(huán)境的直接交互，為殘障患者重建運(yùn)動功能提供了一種新的途徑。目前主要的神經(jīng)解碼算法分為基于監(jiān)督學(xué)習(xí)和基于強(qiáng)化學(xué)習(xí)兩大類。相比于基于監(jiān)督學(xué)習(xí)的解碼模型，基于強(qiáng)化學(xué)習(xí)的神經(jīng)解碼的特點(diǎn)在于:(1)無需實(shí)際的用戶肢體行為數(shù)據(jù);(2)允許用戶通過試錯的方式學(xué)會動態(tài)地操控外部設(shè)備。這類解碼算法可以追蹤到時變的神經(jīng)活動，并實(shí)現(xiàn)用戶和解碼器的相互適應(yīng)，能夠保持長期穩(wěn)定的解碼性能。目前，

2、該方向的研究主要集中在離散、簡單的任務(wù)上。但是，腦機(jī)接口任務(wù)日益復(fù)雜多樣，傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法難以滿足其解碼要求，而尚無針對復(fù)雜任務(wù)的強(qiáng)化學(xué)習(xí)解碼算法的相關(guān)研究報(bào)道。
　　本文研究基于強(qiáng)化學(xué)習(xí)的神經(jīng)解碼關(guān)鍵技術(shù)，聚焦于連續(xù)、復(fù)雜任務(wù)中狀態(tài)-動作空間大而探索困難，時間信用分配導(dǎo)致學(xué)習(xí)速度慢，以及神經(jīng)信號中混有噪聲導(dǎo)致自適應(yīng)解碼性能降低等存在的難點(diǎn)問題。針對上述挑戰(zhàn)，本文采用高效的強(qiáng)化學(xué)習(xí)算法探索復(fù)雜的神經(jīng)狀態(tài)-動作空間，重建連續(xù)的運(yùn)動

3、軌跡;結(jié)合核自適應(yīng)濾波器理論，設(shè)計(jì)新的解碼算法實(shí)現(xiàn)非線性解碼的全局最優(yōu)解;引入相關(guān)熵抑制噪聲對自適應(yīng)解碼性能的影響，從而實(shí)現(xiàn)魯棒、穩(wěn)定的神經(jīng)解碼。本文的主要研究內(nèi)容及創(chuàng)新點(diǎn)如下:
　　1.針對復(fù)雜神經(jīng)狀態(tài)-動作空間中探索困難的問題，本文提出采用attentiongated reinforcement learning(AGREL)算法預(yù)測center-out任務(wù)中連續(xù)的2D搖桿軌跡。AGREL利用即時獎賞更新參數(shù)而不易受初始值影響

4、，以及softmax策略依據(jù)概率選擇最優(yōu)與次優(yōu)動作以避免解碼性能的波動。與傳統(tǒng)的Q學(xué)習(xí)算法相比，AGREL將預(yù)測軌跡和真實(shí)軌跡之間的相關(guān)系數(shù)提高了5.88％，均方誤差則降低了41.66％，平均總目標(biāo)到達(dá)率提高了28.01％。此外，相比于靜態(tài)模型，自適應(yīng)的AGREL保持多數(shù)據(jù)段的解碼精度在85％以上，延長了腦機(jī)接口系統(tǒng)的使用時間。
　　2.針對以往方法只分配時間信用而導(dǎo)致訓(xùn)練時間過長的問題，本文提出空間信用分配，實(shí)現(xiàn)在多物體的復(fù)雜環(huán)

5、境中區(qū)分潛在目標(biāo)。結(jié)合AGREL高效的誤差信號機(jī)制與核自適應(yīng)濾波器理論，本文首次設(shè)計(jì)了quantized attention gatedreinforcement learning(QAGKRL)算法，實(shí)現(xiàn)非線性神經(jīng)解碼的全局最優(yōu)解。該算法還利用量化方法壓縮神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以降低計(jì)算復(fù)雜度。與AGREL相比，QAGKRL在避障任務(wù)中的平均成功率顯著提高，保證了解碼的準(zhǔn)確性和穩(wěn)定性。
　　3.針對由神經(jīng)信號中噪聲降低解碼精度的問題

6、，本文引入最大相關(guān)熵準(zhǔn)則作為AGREL和QAGKRL的優(yōu)化函數(shù)，能夠降低解碼模型對異常值等噪聲的敏感性，從而提高解碼性能。基于最大相關(guān)熵準(zhǔn)則的AGREL和QAGKRL在避障任務(wù)中的平均總成功率分別提高了12.56％和6.08％。
　　綜上所述，本文嘗試解決了基于強(qiáng)化學(xué)習(xí)的腦機(jī)接口中連續(xù)、復(fù)雜任務(wù)的神經(jīng)狀態(tài)-動作空間探索困難問題、空間信用分配問題以及神經(jīng)信號的降噪問題。本文深入探索了一系列基于強(qiáng)化學(xué)習(xí)的解碼算法，并應(yīng)用于復(fù)雜多樣的任