有限精度信息熵的性質及其應用的研究.pdf

1、信息論是人們在長期通信工程的實踐中，由通信技術與概率論、隨機過程和數理統(tǒng)計相結合而逐步發(fā)展起來的一門學科。自1948年Shannon發(fā)表了著名的論文“通信的數學原理”為信息論奠定了理論基礎以來，信息論作為通信系統(tǒng)的理論基礎，指導著通信理論的發(fā)展。以通信理論為核心的經典信息論所涉及的內容早已超越了狹義的通信工程范疇，進入了新興的信息科學領域。
　　 信息熵是信息理論的基本概念之一，并有離散信息熵和連續(xù)信息熵之分。離散信息熵具有良好

2、的性質，如非負性、量綱一致性、坐標變換不變性等；但是連續(xù)信息熵是發(fā)散的，而去除了無限大項所得到的微分熵，則不具有離散信息熵的良好性質。針對微分熵的不足，許多學者作出了改進工作。有限精度的信息熵是改進微分熵的一種嘗試。它消除了微分熵的不足并實現了連續(xù)與離散信息熵的統(tǒng)一。
　　 本文首先介紹了鑒別信息、基于方差的連續(xù)信息熵、Renyi熵、Kolmogorov復雜度和加權熵等對Shannon信息熵的改進工作。接著，介紹了有限精度函數理

3、論以及有限精度的概率和信息熵的定義。進而，研究了有限精度信息熵的基本性質以及有限精度測量信息系統(tǒng)中的數學建模，導出了平均互信息的表達式并揭示了有限精度的信息傳輸理論的基本內涵。最后，討論了有限精度信息熵與不確定性分析理論如證據理論、模糊集合理論和可能性理論中對不確定性度量的區(qū)別與聯(lián)系。闡述了有限精度的概率與信息理論中的概率關聯(lián)和非概率關聯(lián)與其它不確定性理論中的沖突和非特異性之間的某種對應關系。
　　 本文的結果將為基于概率的經典