電子政務系統(tǒng)中海量數(shù)據(jù)清洗方法研究與應用.pdf

1、隨著信息技術的快速發(fā)展，管理者在進行決策分析和制定時不能單純依靠以往的經(jīng)驗，必須借助必要的數(shù)據(jù)來進行科學的管理。這導致管理人員進行決策分析時對數(shù)據(jù)的依賴性更加強烈。為了使分析盡可能的準確，人們提出了建立數(shù)據(jù)倉庫的要求。但是在構建數(shù)據(jù)倉庫的過程中，會不可避免的存在各種各樣的數(shù)據(jù)質量問題，這必然會影響數(shù)據(jù)倉庫前端的決策支持系統(tǒng)產(chǎn)生錯誤的分析結果。為了過濾掉這些質量問題，必須對其進行數(shù)據(jù)清洗來提高數(shù)據(jù)質量。數(shù)據(jù)清洗已經(jīng)成為數(shù)據(jù)倉庫、數(shù)據(jù)挖掘以

2、及網(wǎng)絡數(shù)據(jù)處理領域的一個重要課題。
　　 本文首先對數(shù)據(jù)清洗知識進行全而和詳細的描述，介紹了數(shù)據(jù)清洗的概念、意義和國內外研究與應用現(xiàn)狀。對數(shù)據(jù)清洗技術的原理、方法、評價標準以及基本流程進行了分析和總結。本文對屬性清洗及重復記錄清洗所用到的技術和各種算法進行了分析和總結。本文還介紹了領域本體以及本體表示語言——OWL等相關知識，并重點研究如何結合領域本體知識來進行數(shù)據(jù)清洗。
　　 針對傳統(tǒng)知識庫表示的局限性，本文通過分解和