產(chǎn)品庫平臺系統(tǒng)的研究和實現(xiàn).pdf

1、隨著電子商務飛速發(fā)展，互聯(lián)網(wǎng)上的商品信息量呈“爆炸式”的發(fā)展，出現(xiàn)信息過載問題。為了改善用戶購物體驗的購物搜索引擎和個性化推薦服務等應用，都需要能將網(wǎng)上各式的商品與它所屬產(chǎn)品對應起來，進行“信息降維”。同時將互聯(lián)網(wǎng)上同屬一個產(chǎn)品的商品信息融合，有助于數(shù)據(jù)挖掘和知識發(fā)現(xiàn)。
　　 本文設計了產(chǎn)品庫平臺系統(tǒng)整體架構模型：它能自動處理海量的網(wǎng)上商品，識別這些商品屬于哪個產(chǎn)品，并更新產(chǎn)品庫：自動融合每個產(chǎn)品對應的網(wǎng)上商品的信息，包括產(chǎn)品規(guī)

2、格資料和評論信息；并且作為一個基礎平臺為其它應用提供服務。
　　 本產(chǎn)品庫平臺與現(xiàn)存人工整理的產(chǎn)品庫平臺不同，是一個所有處理過程都是自動化的產(chǎn)品庫平臺。本文重點研究了如何借助了IR(information retrieval)，自然語言處理以及機器學習等技術，設計算法來進行商品所屬產(chǎn)品的自動化識別。本論文根據(jù)商品數(shù)據(jù)的特點，在產(chǎn)品識別中的特征提取部分，研究了商品標題中屬性實體識別和商品屬性規(guī)約問題。在商品標題中屬性實體識別問題中

3、，由于經(jīng)典的命名實體識別算法具有較低的命名實體覆蓋率(有限的人工訓練和識別)，需要人工干預，不能自學習(適應)商品數(shù)據(jù)的變化的局限性，本文提出改進算法：基于商業(yè)詞庫的屬性實體識別算法，并用實驗證明改進的有效性。在商品屬性規(guī)約問題中，根據(jù)現(xiàn)有的基于頻率統(tǒng)計方法正確率和召回率都較低的現(xiàn)狀，改進了商品規(guī)約算法，并用實驗驗證了改進的有效性。在前面改進的基礎上，本文設計并實現(xiàn)了完整的產(chǎn)品識別算法，并改進其中的產(chǎn)品分類算法使其能完全自動化，同時用實