GPU平臺(tái)上循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法設(shè)計(jì)與優(yōu)化.pdf

1、隨著科技不斷發(fā)展及理論基礎(chǔ)日益成熟，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)目前已被廣泛應(yīng)用于眾多領(lǐng)域，并且為各自領(lǐng)域帶來(lái)突破性進(jìn)展。在自然語(yǔ)言處理(Natural Language Processing，NLP)方向，相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法及概率模型，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)在訓(xùn)練時(shí)序序列方面取得極佳效果，并迅速應(yīng)用于語(yǔ)音及自然語(yǔ)言理解等領(lǐng)域。同時(shí)，多核處理器及深度

2、學(xué)習(xí)專用加速卡等高性能處理器的發(fā)展，進(jìn)一步推進(jìn)了基于神經(jīng)網(wǎng)絡(luò)模型的研究與應(yīng)用。本文主要基于GPU平臺(tái)，對(duì)如何提升循環(huán)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練準(zhǔn)確率及訓(xùn)練速度進(jìn)行研究，并針對(duì)此兩方面進(jìn)行算法設(shè)計(jì)及優(yōu)化，從而提升語(yǔ)音識(shí)別、機(jī)器翻譯模型等實(shí)際應(yīng)用訓(xùn)練效果。
　　本文主要工作內(nèi)容和成果包括:
　　(1)針對(duì)語(yǔ)音識(shí)別應(yīng)用及其模型，提升模型訓(xùn)練準(zhǔn)確率及訓(xùn)練速度。通過(guò)對(duì)其訓(xùn)練數(shù)據(jù)進(jìn)行重新組織，提升其模型訓(xùn)練速度;針對(duì)時(shí)序序列特征，改進(jìn)數(shù)據(jù)規(guī)范化

3、算法，減少數(shù)據(jù)漂移，達(dá)到均勻分布。在訓(xùn)練過(guò)程中，結(jié)合調(diào)整學(xué)習(xí)率、隱藏層神經(jīng)元數(shù)量和參數(shù)更新算法等調(diào)參方法，最終在相同訓(xùn)練階段內(nèi)提升訓(xùn)練準(zhǔn)確率。
　　(2)針對(duì)機(jī)器翻譯應(yīng)用及其模型，提升模型訓(xùn)練速度?；跈C(jī)器翻譯預(yù)測(cè)模型，通過(guò)對(duì)模型進(jìn)行并行算法優(yōu)化，充分利用計(jì)算資源，將原單句訓(xùn)練變?yōu)槎嗑溆?xùn)練，在保證翻譯質(zhì)量情況下，提升單句訓(xùn)練速度。
　　(3)提升基于GPU循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練速度。通過(guò)編寫高效CUDA計(jì)算內(nèi)核，提升計(jì)算效率;

4、通過(guò)改善GPU顯存重用率，增大單次訓(xùn)練樣本數(shù)，充分利用計(jì)算資源，提升訓(xùn)練速度;基于GPU硬件計(jì)算單元，通過(guò)低比特量化方法對(duì)模型參數(shù)進(jìn)行量化存儲(chǔ)，減小參數(shù)存儲(chǔ)規(guī)模，同時(shí)使用混合精度方法進(jìn)行微調(diào)訓(xùn)練，從而對(duì)模型進(jìn)行加速計(jì)算。
　　本文通過(guò)對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)及相關(guān)應(yīng)用模型結(jié)構(gòu)的深入理解，結(jié)合深度學(xué)習(xí)框架，基于GPU平臺(tái)，設(shè)計(jì)并實(shí)現(xiàn)了循環(huán)神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，同時(shí)充分利用硬件特性，有效提高了語(yǔ)音識(shí)別模型及機(jī)器翻譯模型訓(xùn)練準(zhǔn)確率及訓(xùn)練速度，為后續(xù)研