基于微博的突發(fā)事件檢測(cè)方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，新聞、論壇、微博等一些新興的互聯(lián)網(wǎng)服務(wù)已經(jīng)成為人們傳播以及獲取信息的重要平臺(tái)。尤其是近幾年來(lái)，微博的發(fā)展正異軍突起，并且憑借其實(shí)時(shí)性和便捷性受到廣大用戶的喜愛(ài)。微博上隨時(shí)隨地的動(dòng)態(tài)信息使得微博成為把握社會(huì)脈搏的有力工具，因此對(duì)微博中海量信息進(jìn)行事件挖掘，及時(shí)發(fā)現(xiàn)社會(huì)動(dòng)態(tài)對(duì)社會(huì)的穩(wěn)定和公眾的利益有著重要的影響。本文的研究以微博為平臺(tái)，以Twitter數(shù)據(jù)為基礎(chǔ)，對(duì)微博中的突發(fā)事件進(jìn)行檢測(cè)與追蹤。本文的工作主要分為

2、以下幾個(gè)方面：
　　首先，選取合適的分詞工具，本文選用ansj做為本文的中文分詞工具，并構(gòu)建自定義用戶詞典和停用詞詞庫(kù)。根據(jù)突發(fā)事件的特性，設(shè)計(jì)表結(jié)構(gòu)，建立與突發(fā)事件相關(guān)的表。
　　其次，將Twitter測(cè)試數(shù)據(jù)集中的數(shù)據(jù)按照時(shí)間順序劃分到不同的時(shí)間窗中，對(duì)單位時(shí)間窗中的數(shù)據(jù)集進(jìn)行預(yù)處理，得到新的數(shù)據(jù)集。提取新數(shù)據(jù)集中的時(shí)間信息和內(nèi)容信息，使用分詞工具對(duì)新數(shù)據(jù)集中的內(nèi)容進(jìn)行分詞，去除停用詞，并將分詞過(guò)程中無(wú)意義的詞加入停用詞

3、庫(kù)。然后進(jìn)行突發(fā)特征詞的提取，并基于詞共現(xiàn)技術(shù)構(gòu)建突發(fā)詞的相似度矩陣，記錄突發(fā)詞的突發(fā)時(shí)間區(qū)間。
　　最后，使用自底向上的凝聚式層次聚類算法，以突發(fā)詞集合和相似度矩陣為輸入進(jìn)行聚類，得到一顆由突發(fā)詞組成的二叉樹(shù)，并采用合適的閾值對(duì)二叉樹(shù)進(jìn)行切分，得到相關(guān)的事件簇，將事件簇中的相似事件進(jìn)行合并并與突發(fā)時(shí)間區(qū)間相對(duì)應(yīng)，最終得到準(zhǔn)確的突發(fā)事件和對(duì)應(yīng)的突發(fā)時(shí)間。
　　本文基于上述工作實(shí)現(xiàn)了突發(fā)事件檢測(cè)系統(tǒng)。使用改進(jìn)的BBW（Basi