基于電商數(shù)據(jù)和用戶行為的信息抽取.pdf

1、隨著互聯(lián)網(wǎng)和電子商務(wù)在中國的爆炸式發(fā)展，以阿里巴巴為首的電子商務(wù)公司，正在產(chǎn)生海量的數(shù)據(jù)并吸引數(shù)以億計的用戶。換言之，大數(shù)據(jù)時代正在步步逼近，面對海量的數(shù)據(jù)，怎樣提高數(shù)據(jù)利用率，怎樣提取用戶最想要的，最有價值的信息是核心價值的問題。在電子商務(wù)這塊戰(zhàn)斗在互聯(lián)網(wǎng)產(chǎn)業(yè)最前沿的陣地上，尤其需要快速完成從數(shù)據(jù)到信息的轉(zhuǎn)化。這就是本文要研究的信息抽?。╥nformation extraction）問題，尤其專注于電子商務(wù)領(lǐng)域。
　　現(xiàn)有的信息

2、抽取技術(shù)主要包括命名實體識別（Named Entity Recognition）和關(guān)系抽?。≧elation Extraction）。命名實體識別現(xiàn)在主要有以下技術(shù)方法：基于規(guī)則和詞典的方法、基于統(tǒng)計的方法、二者混合的方法等。其中基于規(guī)則和詞典的方法，在有針對性的優(yōu)化規(guī)則的基礎(chǔ)上，準確率很高，但是人力成本較大，可復(fù)用和可擴展性不強，往往只能解決某些特定的應(yīng)用場景?；诮y(tǒng)計的方法準確率和召回率往往不盡如人意，算法復(fù)雜度也較高，但是可擴展性

3、強，進步空間很大，大量學者致力于改進數(shù)學統(tǒng)計模型，以達到更高的準確率和召回率，從而真正實現(xiàn)機器智能識別。經(jīng)典的命名實體識別模型有HMM（隱馬爾科夫模型），ME-HMM（最大熵隱馬爾科夫模型），CRF（條件隨機場）等。關(guān)系抽取是從海量語料中分析抽取命名實體之間的關(guān)系，比如地名與機構(gòu)名之間的從屬關(guān)系，物品名之間的相似關(guān)系，各種簡稱與全稱之間的同義關(guān)系等。
　　同時，信息抽取是一個應(yīng)用性很強的領(lǐng)域，理論算法必須要形成系統(tǒng)實現(xiàn)，才能準確評

4、定算法模型的效果。但是，現(xiàn)在流行的信息抽取系統(tǒng)有華盛頓大學領(lǐng)導(dǎo)開發(fā)的 OPENIE系列軟件包，只能應(yīng)用于英文信息抽取?，F(xiàn)在迫切需要一種高效使用的中心信息抽取系統(tǒng)。
　　本文的主要貢獻為：
　　1)介紹了經(jīng)典的信息抽取模型，分別是命名實體識別領(lǐng)域的HMM，ME-HMM，CRF等，近義詞關(guān)系抽取領(lǐng)域的詞向量模型。同時還介紹了信息抽取任務(wù)常用的評價指標準確率，召回率和F值。
　　2)基于經(jīng)典的命名實體識別模型——隱馬爾科夫模

5、型做了針對于電子商務(wù)數(shù)據(jù)的優(yōu)化，提出了一種基于詞匯的隱馬爾科夫模型（Lexical-HMM），提升了模型對于電商應(yīng)用場景下，對于命名實體識別的準確率。對于近義詞關(guān)系抽取，則提出了一種基于用戶搜索和瀏覽行為的二部圖模型，可以高效準確的抽取實體近義關(guān)系，并做了對比實驗，證明了算法效果。
　　3)設(shè)計并驗證了本文提出的信息抽取系統(tǒng)?；赟park平臺和人工訓(xùn)練集，采用DAG的設(shè)計方式，可以高效準確地從輸入數(shù)據(jù)從抽取命名實體庫和近義詞庫，