數(shù)據(jù)預處理系統(tǒng)的幾個關(guān)鍵技術(shù)研究與實現(xiàn).pdf

1、隨著數(shù)據(jù)庫技術(shù)和企業(yè)信息化的發(fā)展，企業(yè)之間積累了大量用于事務(wù)管理和數(shù)據(jù)分析的數(shù)據(jù)，如何有效利用這些數(shù)據(jù)，成為企業(yè)最關(guān)注的問題.在這樣的背景下，數(shù)據(jù)挖掘技術(shù)應(yīng)運而生，它的目的就是如何從海量數(shù)據(jù)中提取出極為寶貴的信息。然而，由于每個數(shù)據(jù)庫自身獨特的架構(gòu)設(shè)計，數(shù)據(jù)的采集錯誤、錄入時產(chǎn)生的隨機誤差，數(shù)據(jù)的維護不當?shù)仍颍沟脭?shù)據(jù)中不可避免地存在一定的問題.此外，數(shù)據(jù)量的劇增也給數(shù)據(jù)挖掘任務(wù)帶來很大的困難.這些問題在很大程度上影響著數(shù)據(jù)挖掘任務(wù)的

2、成敗.因此，在進行挖掘任務(wù)前有必要提高數(shù)據(jù)的質(zhì)量，即進行數(shù)據(jù)預處理。
　　本文首先介紹了數(shù)據(jù)預處理的基本知識，了解預處理的各個主要任務(wù)，詳細介紹了一般數(shù)據(jù)預處理系統(tǒng)的組成。本文針對各數(shù)據(jù)挖掘平臺數(shù)據(jù)格式的不統(tǒng)一、數(shù)據(jù)清理過程的不完善、冗余數(shù)據(jù)的繁多以及數(shù)據(jù)挖掘任務(wù)對數(shù)據(jù)類型的要求不同等問題，研究與實現(xiàn)了其中幾個關(guān)鍵的技術(shù)。
　　本文的主要工作是，介紹了數(shù)據(jù)預處理系統(tǒng)的已實現(xiàn)部分和本文所實現(xiàn)的部分。接著對XML描述的數(shù)據(jù)格式進

3、行了詳細說明，提出一種基于XML模式定義的XML數(shù)據(jù)格式，并對XML的解析方式進行了比較，提出一種處理大量數(shù)據(jù)集合的分批處理方法。然后對相似性度量算法進行了描述和對比，指出算法存在的問題和改進方法，并提出一種考慮數(shù)值分布的距離度量算法和一種改進的余弦相似度算法，用來對數(shù)值型數(shù)據(jù)進行相似性度量。最后，本文對離散化算法進行了分析，提出一種基于相似性度量的離散化算法。通過這幾種技術(shù)的研究與實現(xiàn)，極大地豐富了數(shù)據(jù)預處理系統(tǒng)的功能，更加滿足了數(shù)據(jù)