Ajax深度信息獲取及聚類關鍵技術的研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，人們獲取知識的來源不再局限于書本和課堂，越來越多的網(wǎng)絡公開課走入了人們的現(xiàn)代生活，例如著名的網(wǎng)易公開課，中國大學MOOC和搜狐名校公開課等。用戶觀看視頻后，通過評論可以進行學習交流和發(fā)表觀點。通過研究有效的信息采集方法和優(yōu)秀的文本聚類算法，將大量分散的評論信息完整的采集、組織和歸類，發(fā)現(xiàn)學習者關注的問題，對今后優(yōu)質資源的建設，起到大眾導向作用。本文的研究將涉及兩種關鍵的技術:信息采集技術和文本聚類技術。經(jīng)過分析該類

2、型網(wǎng)站的結構特點，首先，評論不是以傳統(tǒng)靜態(tài)HTML網(wǎng)頁呈現(xiàn)的表層信息，而是以Ajax動態(tài)網(wǎng)頁呈現(xiàn)的深度信息。其次，這些評論信息是典型的短文本，文本比較口語化，隱含的話題也比較分散。這些特點就為傳統(tǒng)信息采集及聚類技術增加了難度。
　　本人獨立完成了如下工作:第一，在評論信息采集階段，利用HtmlUnit模擬特定的Firefox瀏覽器，調用瀏覽器API模擬用戶事件的觸發(fā)，獲取該事件交互后的完整頁面信息。該方法利用事件取代URL地址作為

3、頁面發(fā)生變化的唯一標識，有效地避免了傳統(tǒng)爬蟲對URL地址的依賴，并能夠保證Ajax信息的抓全率，為后續(xù)聚類工作提供了必備的數(shù)據(jù)源。第二，對采集后的評論文本進行NLPIR中文分詞，構建了公開課領域的用戶字典，整理了1205個停用詞，將文本轉換為計算機能理解的數(shù)據(jù)模型，引入了LDA主題模型，有效地避免了傳統(tǒng)VSM向量空間模型對語義相關性的忽略。第三，對處理后的文本進行聚類時，以初始中心的選擇為研究的切入點，基于LDA模型，在部分最重要的主題

4、維度上預先聚類，收斂的各中心點作為所有主題維度聚類的初始中心點，這使得初始點的選擇更加具有代表性，避免了盲目選擇造成的聚類結果不穩(wěn)定。線性結合了VSM模型和LDA模型的計算公式，并通過訓練確定其最優(yōu)參數(shù)，應用到K-means算法中。
　　最后用實驗表明，深度評論信息獲取階段，對比已有文獻的方法，本文提出的方法具有可行性及靈活性，能夠提高采集率。短評論信息聚類階段，基于VSM+LDA模型線性相加的文本相似度公式，應用到基于LDA初始