數據流查詢和數據流挖掘在油田中應用的研究.pdf

1、在數據挖掘和數據分析研究領域中，最近出現(xiàn)了一個新的研究方向，即數據流的挖掘與分析。在網絡監(jiān)控、入侵檢測、情報分析、金融服務、股票交易、電子商務、電信、Web頁面訪問和科學研究等眾多領域中，數據以流的形式出現(xiàn)。由于數據流的特殊性，短時間內有大量數據連續(xù)到達，這些數據具有隨時間動態(tài)變化的趨勢，怎樣對這些數據流使用有限存儲空間進行快速處理以獲取有用信息，為數據挖掘及其應用研究帶來了新的機遇和挑戰(zhàn)，也具有很重要的意義。 油田計算機網絡建

2、設正日趨完善，油田開發(fā)和生產科研工作中的大量信息已經實現(xiàn)網上傳輸，信息共享的數量和質量得到大幅度提高，開發(fā)基于多服務器、大信息量的數據庫信息網絡監(jiān)控系統(tǒng)，提供多方位監(jiān)控信息建設質量和管理過程的手段，及時全面準確地了解掌握每天用戶對數據庫的使用情況，使網上服務器中的數據信息管理變得可視和透明，通過計算機程序運行取代傳統(tǒng)的人工信息管理模式，是迫切需要解決的問題。 本論文主要研究了以下幾個方面的內容： (1)通過對國內外數據流

3、技術系統(tǒng)的研究，總結出關于數據流、數據流查詢、數據流挖掘以及數據流管理系統(tǒng)(DSMS)的基本特點、模型以及關鍵技術等。 (2)大慶油田采油二廠各生產部門每天用PDPMIS系統(tǒng)連續(xù)的向網絡中心傳送大量生產數據，本論文把流動的數據集看做一個特殊的數據流，把數據流管理系統(tǒng)(DSMS)做為傳統(tǒng)數據庫系統(tǒng)的擴展。提出了一個基于數據流挖掘的油田網絡監(jiān)控系統(tǒng)模型，模型添加了用戶接口、數據監(jiān)控、查詢處理器、存儲區(qū)等系統(tǒng)模塊，其中在數據流挖掘模塊

4、里通過Operators的連接，系統(tǒng)能夠通過過濾、聚集、分類，或者忽略某些特定的數據元素。(3)油田生產中，更為感興趣的問題是近來哪些模式反映較為異常，本論文研究了數據流異常模式的提取。設定的域值條件為采油廠多年的經驗值，采用XML結合數據流系統(tǒng)的方式增強系統(tǒng)的可擴展性。同時介紹了一個數據挖掘環(huán)境-YaLE(YetAnotherLearningEnvironment)和針對時間序列數據流處理實時和模擬的概念漂移的一個插件工具Concep

5、tdriftplugin。并給出了一個集成學習器KBS-數據流(BayesianBoostingforStreams)實驗的樣例以及一個數據流可適應的時間窗口配置文件。 (4)介紹了油田網絡監(jiān)控系統(tǒng)的設計與實現(xiàn)，系統(tǒng)將報警條件設定的域值保存到XML文件里，采用DOM訪問XML文件；利用了ORACLE的審計、觸發(fā)器、JOB等功能結合JAVA程序對網絡中數據庫操作情況、生產數據質量等進行全面的監(jiān)控，并對異常情況進行報警提示，為兼顧時