中文分詞方法在農業(yè)搜索中的應用研究.pdf

1、為了方便從事專業(yè)農業(yè)的相關研究人員，準確及時的獲取相關信息，為其提供決策依據(jù)，加快農業(yè)信息化、智能化建設的趨勢不可逆轉。中文分詞技術是農業(yè)垂直搜索、農業(yè)專家系統(tǒng)、農業(yè)知識推送、農業(yè)信息檢索、農業(yè)數(shù)據(jù)挖掘等方面不可或缺的一個重要環(huán)節(jié)。通過對現(xiàn)有的中文分詞方法的研究，切分的準確率主要取決分詞方法和分詞詞典，因此，本文提出基于粒子群的N最短路徑方法分詞模型，并將其應用于農業(yè)搜索方面。全文的主要研究結果如下:
　　(1)基于詞的n元語法模

2、型的分詞方法，針對該方法是基于詞典的分詞，構造出所有的分詞路徑，最后利用相關的搜索算法，從所有路徑中找到代價最小的路徑作為最后的分詞結果，本文所用的搜索算法是改進的粒子群算法，主要的改進有以下兩點。
　　首先，針對其收斂精度不高，極易收斂于局部最優(yōu)的問題。引入了一種隨迭代次數(shù)和粒子間距離大小動態(tài)改變的慣性權重，通過設置比例系數(shù)控制二者對慣性權重的影響力度，在此基礎上為了增加種群多樣性，又引入“雜交變異”算子，設計了一種基于雜交變異

3、的動態(tài)粒子群優(yōu)化算法，通過測試算法的測試有效的提高了算法的效率;
　　其次，深入分析后結合粒子群算法的優(yōu)點，利用最優(yōu)粒子和其它粒子在種群中的不同作用，給出了一種自適應變異粒子群算法，算法中最優(yōu)粒子根據(jù)種群進化程度，自適應調整自身搜索鄰域大小，增強種群的局部搜索能力;對非最優(yōu)粒子的位置進行小概率的隨機初始化，當其速度為零時，速度自適應變化，以便增強種群多樣性和全局搜索能力。仿真實驗結果表明，增強種群多樣性的同時提高了局部搜索能力。<

4、br>　　(2)將改進的粒子群算法用于分詞算法的最短路徑尋優(yōu)，創(chuàng)建基于粒子群的N最短路徑方法分詞模型，并將其用于分詞，實驗結果表明，在同一核心詞典分詞詞庫下，粒子群N-最短路徑方法相對于其他算法句子的正確召回率更高，進一步分析實驗發(fā)現(xiàn)正確切分率有很大一部分取決于核心詞典。
　　(3)利用Python編程工具，實現(xiàn)并利用網頁抓取技術，建立了農業(yè)專業(yè)領域的真實語料庫，該語料主要來源于中國知網農業(yè)基礎科學、農業(yè)工程、農藝學、植物保護、農

5、作物、園藝、林業(yè)、畜牧與動物醫(yī)學、蠶蜂與野生動物保護、水產和漁業(yè)等專題，共包含694種期刊，近五年的全部文章的題目、關鍵字以及摘要，一共有968125條記錄;選取真實語料庫中，694中期刊2014年第一期的所有文章的摘要，共21269條記錄作為分詞標準語料庫，以此為基礎構建訓練語料庫，以及分詞詞典。
　　(4)利用基于粒子群的N最短路徑方法分詞模型、網頁抓取技術以及網絡垂直搜索技術，將中文分詞技術應用于農業(yè)專業(yè)領域搜索。設計并開發(fā)