基于CWM的ETL工具的設(shè)計與實現(xiàn).pdf

1、ETL，(Extract Transformation Loading，ETL)就是從多個異構(gòu)數(shù)據(jù)源獲取業(yè)務(wù)數(shù)據(jù)，進行數(shù)據(jù)清洗和和轉(zhuǎn)換，存儲到數(shù)據(jù)倉庫的過程。ETL是BI/DW的核心和靈魂，按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是實施數(shù)據(jù)倉庫的重要步驟，ETL的開發(fā)也是整個數(shù)據(jù)倉庫系統(tǒng)開發(fā)過程中工作量最大、耗時最長的部分。 然而，在目前開發(fā)ETL系統(tǒng)的過程中，存在著一些問題，其中最典型的就是元數(shù)據(jù)管理混亂問題。針對這個問題，本文提

2、出一種基于公共倉庫元模型(Common Warehouse Metamodel，CWM)來開發(fā)ETL系統(tǒng)的思想，CWM是數(shù)據(jù)倉庫和業(yè)務(wù)分析領(lǐng)域的一個完整的元模型。作為一個元模型，CWM提供了構(gòu)造描述一個完整信息供應(yīng)鏈(Information Supply Chain，ISC)的所有組件的元數(shù)據(jù)所需要的語法和語義，從而便于數(shù)據(jù)倉庫系統(tǒng)和商業(yè)智能系統(tǒng)中的各種工具之間的元數(shù)據(jù)交換，因此直接在CWM框架下開發(fā)ETL工具，能大大縮短開發(fā)周期并容易

3、被其他工具所理解。 本文首先分析了ETL系統(tǒng)在數(shù)據(jù)倉庫系統(tǒng)中的作用和ETL工具的發(fā)展現(xiàn)狀，尤其重點介紹了元數(shù)據(jù)在整個過程中的指導(dǎo)控制作用；詳細分析了CWM中對ETL過程提供元模型的各個包的結(jié)構(gòu)，并以現(xiàn)有包為基礎(chǔ)歸納出數(shù)據(jù)抽取、轉(zhuǎn)換和裝載元模型。以該元模型為指導(dǎo)設(shè)計ETL系統(tǒng)，首先描述了從CWM模型中每個類、屬性和關(guān)聯(lián)映射到相應(yīng)的關(guān)系數(shù)據(jù)庫組件中的方法，構(gòu)建一個全局元數(shù)據(jù)庫來存儲元模型結(jié)構(gòu)和ETL規(guī)則；分析對操作型數(shù)據(jù)庫中的數(shù)據(jù)和