基于顏色差異的果實自動識別方法與雙目定位技術研究.pdf

1、進入21世紀，新的農(nóng)業(yè)生產(chǎn)模式和新技術的應用促進了農(nóng)業(yè)機械的更新和發(fā)展，智能農(nóng)業(yè)機械的技術條件逐漸成熟，自走式農(nóng)業(yè)機械的田間自動導航、機器視覺檢測與農(nóng)業(yè)機器人的研究得到重視，國家自然科學基金和863計劃都給予很高的支持力度。就果實收獲自動化而言，機器人必須能夠感知外部環(huán)境，判斷果實的成熟度，根據(jù)機器人和目標物之間的距離進行行走路徑規(guī)劃，避開障礙物對成熟水果實施采摘。因此，機器人的智能化程度是必須解決的首要問題。從目前的技術水平來看，農(nóng)業(yè)

2、機器人智能系統(tǒng)的發(fā)展還不夠完善，其智能程度遠沒有達到農(nóng)業(yè)生產(chǎn)的需要。研究適合生產(chǎn)實際的果實收獲機器人關鍵技術，不僅具有理論意義，而且具有潛在的應用前景。
　　 果實的自動識別與3D定位以及成熟度檢測是研究果實采摘機器人三大關鍵技術。本論文在充分了解果實采摘自動化的國內(nèi)外研究成果基礎上，針對果實采摘機器人研究中存在的問題，以番茄采摘為主要研究對象，著眼于解決自然環(huán)境下成熟期果實與背景有色彩差異的果實目標自動識別與雙目定位問題，研究

3、快速而穩(wěn)定的算法。具體研究的主要工作包括：
　　 1.經(jīng)過參考同類研究和調(diào)研，構建了開展研究所需的主動雙目視覺系統(tǒng)和標定實驗臺，并采集了不同天氣環(huán)境下大量的番茄圖像作為圖像分析的主要數(shù)據(jù)。
　　 2.針對在自然環(huán)境下采集果實圖像時受到光照劇烈變化的影響和傳統(tǒng)方法不能直接用于彩色圖像進行亮度校正的問題，提出基于L*a*b*顏色模型下亮度自適應校正算法來改善RGB彩色果實圖像，在解決圖像改善效果過亮或過暗問題的同時，不但保留

4、了圖像處理的自適應特點，而且不丟失原圖像的顏色信息，達到了改善光照對圖像質(zhì)量影響的目的。為提高圖像處理的實時性，可通過亮度分量平均值的大小來決定是否需要圖像的亮度自適應校正。通過對大量圖像進行亮度分析，結(jié)果發(fā)現(xiàn)：弱光照下整幅圖像的亮度分量平均值較低，小于40；而強光照下整幅圖像的亮度分量平均值較高，大于100。正常光照情況下是不需要進行亮度調(diào)整的。
　　 3.圖像分割是采摘機器人視覺中極為重要而且困難的內(nèi)容之一，分割的好壞直接影

5、響著后續(xù)的處理。目前這項研究仍在果實無葉子或樹枝遮蓋的相互分離的理想情況下進行，基本上都是針對特定果實進行研究的，通用性不強，分割效果也因方法而異，不能動態(tài)適應因果實品種變化和光照變化。作者針對自然光照下成熟期果實與背景有色彩差異的果實圖像進行分割的問題，通過采集的大量圖像數(shù)據(jù)，在顏色特征分析和提取的基礎上，從多個角度嘗試了不同的方法進行果實圖像分割。通過比較分析，確定了不同生長狀態(tài)下果實圖像的自動分割方法：利用RGB顏色空間下番茄圖像

6、中目標與背景的(R-G)灰度值存在明顯差異的特點，首先使用Otsu法對番茄的RGB彩色圖像的色差灰度圖像(R-G)進行動態(tài)閾值分割，然后對番茄的R分量灰度圖像應用基于形態(tài)重建的受控標記分水嶺算法搜索靠攏或重疊番茄的分界線，最后對前面兩次運算的結(jié)果作交集運算得到最終分割的二值圖像，將番茄從背景中分割出來。試驗表明，該方法不僅能對自然光照條件下不同生長狀態(tài)的多目標番茄圖像進行有效分割，而且對番茄的成熟度及品種差異也具有很好的魯棒性。這個內(nèi)容

7、是本研究主要創(chuàng)新點之一。
　　 4.以番茄采摘為例，在二值圖像形態(tài)學處理的基礎上，對番茄的形狀特征和紋理特征進行了提取和選擇，并根據(jù)所選擇的特征量確定了番茄識別與生長狀態(tài)判別流程。通過對754幅圖像的處理，對于選擇性收獲而言，采摘成熟和完熟番茄的正確識別率幾乎為100％，除了番茄淹沒在成片枯葉中而分水嶺算法不能分離的情況和單果被枝葉分為多果的誤判。采摘半熟程度以上番茄的正確識別率約為80％。
　　 5.針對番茄的選擇性收

8、獲，對人工選擇的樣本集進行特征數(shù)據(jù)的分析，提出將番茄的紅色調(diào)所占著色面積比與黃綠色調(diào)所占著色面積比的差值作為主要分組特征，并結(jié)合著色區(qū)域整體色調(diào)均值和方差，用神經(jīng)網(wǎng)絡建立番茄成熟度的檢測模型。從網(wǎng)絡的抗干擾能力和運行效率兩個角度來看，將面積比差值和色調(diào)均值作為網(wǎng)絡的兩個輸入時，網(wǎng)絡運行是最佳的。在小干擾下，網(wǎng)絡能保持較低的誤判率。當噪聲水平在0.1時，正確判別率可達到76.28％。
　　 6.從雙目定位的幾何模型出發(fā)，歸納了雙目

9、定位的基本過程，總結(jié)了立體視覺的攝像機標定問題，進行了基于2D圓控制點的攝像機模型建立和標定試驗，得到了定焦距雙目系統(tǒng)的內(nèi)外參數(shù)，并對標定進行了精度評價。分析了變焦距攝像機的工作原理，指出了變焦距雙目系統(tǒng)定位3D目標存在的問題：變焦距雙目系統(tǒng)能獲得目標識別所需要的清晰圖像時，基于視差的雙目定位幾何計算所需的攝像機內(nèi)參數(shù)如何實時獲取。
　　 7.針對傳統(tǒng)的基于視差計算的雙目視覺定位幾何模型不能適應變焦距雙目系統(tǒng)的目標定位問題，提出

10、了一種基于2個Ward網(wǎng)絡聯(lián)合工作的的采摘機器人雙目視覺系統(tǒng)測量模型。該方法借助兩個Ward網(wǎng)絡的聯(lián)合工作建立一種隱含的視覺測量模型來代替幾何數(shù)學模型，將各種不確定因素包含在神經(jīng)網(wǎng)絡中，不要求預先建立成像系統(tǒng)的非線性關系，也不需要具體求出攝像機的內(nèi)部參數(shù)，從而避免了基于視差計算的定位方法中的攝像機內(nèi)參數(shù)實時獲取的困難、略去了圖像校正、誤差修正等中間過程。盡管網(wǎng)絡適應攝像機內(nèi)參數(shù)變化是以付出擬合精度為代價的，但是實驗表明，訓練好的模型從深

11、度距離223mm到1183mm的有效視場內(nèi)，能較好地適應攝像機內(nèi)參數(shù)變化實現(xiàn)較高精度的果實目標定位，3個方向的合成誤差不超過±5mm的定位可靠度達到88.584％。真實的番茄3D定位試驗結(jié)果表明，其測量精度是可以接受的。另外，根據(jù)透視縮放現(xiàn)象建立目標輪廓沿主軸方向的像素長度與深度距離之間的關系，從而估計果實的外形尺寸。這個內(nèi)容是本研究另一個主要創(chuàng)新點。
　　 8.基于MATLAB開發(fā)了一個較為完整的番茄采摘機器人雙目視覺軟件，但