一種果實定位識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺和模式識別技術(shù)領(lǐng)域，更具體涉及一種果實定位識別方 法。
【背景技術(shù)】
[0002] 隨著全球信息化的迅猛發(fā)展，數(shù)字農(nóng)業(yè)已經(jīng)發(fā)展成為現(xiàn)代農(nóng)業(yè)的新潮流?？焖贉?確地獲取農(nóng)作物生長形態(tài)圖像信息已成為農(nóng)業(yè)數(shù)字化和智慧化管理的必然趨勢和手段。利 用機器視覺技術(shù)準確獲取果樹上果實的數(shù)量是進行果樹測產(chǎn)和精細果園管理的關(guān)鍵。傳統(tǒng) 的果實產(chǎn)量估測是基于歷史數(shù)據(jù)、天氣條件和人工計數(shù)來進行的，這種方法不僅誤差較大， 而且還費時費力，已不能滿足現(xiàn)代農(nóng)業(yè)發(fā)展的需求。隨著現(xiàn)代信息技術(shù)的發(fā)展，基于機器視 覺的測產(chǎn)方法表現(xiàn)出了能夠代替人工測產(chǎn)方法的潛力。到目前為止，國內(nèi)外一些機構(gòu)已經(jīng) 開發(fā)了各種基于機器視覺的果實的識別計數(shù)系統(tǒng)。
[0003] 卡梅隆大學的Q. Wang等開發(fā)了基于雙目視覺的蘋果園測產(chǎn)系統(tǒng)。在HSV顏色空 間下，利用蘋果和樹葉顏色區(qū)間的不同檢測出果實像素點，然后使用形態(tài)學算法將蘋果的 像素區(qū)域分割為個體蘋果。首先計算每個蘋果區(qū)域的偏心率（E)，并使用閾值0 < E < 0. 6 發(fā)現(xiàn)相對圓區(qū)，去除噪聲后，計算剩余相對圓區(qū)的平均直徑并將其作為蘋果的平均直徑萬。 計算某個蘋果區(qū)域直徑，若該直徑大于2萬丨則將這對區(qū)域分解為兩個蘋果。對受遮擋的蘋 果，一個蘋果可能得到多個蘋果區(qū)域，計算任意兩個蘋果區(qū)域的中心之間的距離，若該距離 小于萬則將這兩個區(qū)域視為只有一個蘋果。再從多幅圖像中對蘋果進行定位，使用塊匹配 算法獲得圖像序列中被測蘋果在以攝像頭為參照的坐標系中的三維坐標，再將該坐標轉(zhuǎn)換 到地面坐標系中，在地面坐標系中，計算兩個蘋果之間的距離，合并距離小于0. 05m的兩個 蘋果，并給出合并后的蘋果新的定位。通過計算果園固定設(shè)施的GPS偏移和立體三角測量 偏差修正蘋果位置。得到校正后的定位信息后，對蘋果進行計數(shù)。但是該系統(tǒng)需要在晚上 有人工光源和人工背景的條件下才能進行，并且對蘋果重疊問題只能檢測兩個蘋果的重疊 情況。
[0004] 中國農(nóng)業(yè)大學提出了一種基于多源圖像信息融合的果實識別方法。該方法使用基 于光學混合探測（PMD)技術(shù)的深度攝像機與RGB攝像機組合捕獲果園環(huán)境的多源圖像并進 行預(yù)處理，得到待配準圖像。通過SURF算法提取待配準圖像的尺度不變特征，歐式距離作 為判斷特征相似的測度，最近鄰與次近鄰比值實現(xiàn)特征向量的初匹配，采用最近鄰的搜索 策略加速過程，剔除異常點與優(yōu)化模型交替迭代的方法提純匹配結(jié)果，采用模糊邏輯技術(shù) 實現(xiàn)多源圖像的像素級融合。采用直方圖首閾檢測的方法實現(xiàn)對果實區(qū)域識別。但是該發(fā) 明并沒有解決果實遮掩、重疊、定位等問題。
[0005] 其他相關(guān)研宄也不盡人意，現(xiàn)有技術(shù)受環(huán)境光照影響顯著，也未能很好地解決光 照變化、果實表面顏色變異、重疊、遮擋，以及果實定位和計數(shù)等問題，給測產(chǎn)結(jié)果帶來較大 的誤差。

【發(fā)明內(nèi)容】

[0006] (一）要解決的技術(shù)問題
[0007] 本發(fā)明要解決的技術(shù)問題是如何有效解決光照變化、果實顏色變異、果實重疊、果 實遮擋的影響，并通過對果實定位的方法準確對果實數(shù)量進行計數(shù)。
[0008] (二）技術(shù)方案
[0009] 為了解決上述技術(shù)問題，本發(fā)明提供了一種果實定位識別方法，所述方法包括以 下步驟：
[0010] S1、利用不同光照條件下的不同成熟程度果實圖像與非果實圖像作為訓練樣本， 通過對神經(jīng)網(wǎng)絡(luò)模型進行訓練得到用于果實檢測的神經(jīng)網(wǎng)絡(luò)顏色分類模型；
[0011] S2、獲取目的場景的RGB圖像以及深度圖像；
[0012] S3、將所述RGB圖像的R、G、B值作為所述神經(jīng)網(wǎng)絡(luò)顏色分類模型的輸入，并輸入到 所述神經(jīng)網(wǎng)絡(luò)顏色分類模型，由所述神經(jīng)網(wǎng)絡(luò)顏色分類模型對所述RGB圖像的像素點進行 分類，去除背景像素，得到果實像素區(qū)域圖像；
[0013] S4、利用邊緣檢測算法對所述步驟S3得到的果實像素區(qū)域圖像進行邊緣檢測，得 到果實邊緣圖像，所述果實邊緣圖像為各個果實的邊界；
[0014] S5、選用標準的圓作為果實的形狀模型，利用霍夫變換算法對所述果實邊緣圖像 進行圓檢測，得到果實圓以及圓心在所述RGB圖像中的坐標；利用霍夫變換圓檢測，根據(jù)不 完全信息檢測園的特性實現(xiàn)對所述果實邊緣圖像中重疊區(qū)域的分割；
[0015] S6、匹配所述RGB圖像和深度圖像的像素坐標，得到果實圓心的深度信息；
[0016] S7、根據(jù)果實圓心的所述深度信息，融合采集深度圖像的攝像頭的姿態(tài)信息以及 其世界定位信息，通過世界坐標變換算法得到每個果實圓心的世界坐標。
[0017] 優(yōu)選地，所述步驟S2中，通過RGB攝像頭獲取所述RGB圖像，通過深度攝像頭獲取 所述深度圖像。
[0018] 優(yōu)選地，所述步驟Sl中的神經(jīng)網(wǎng)絡(luò)顏色分類模型為三層結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)，其隱 含層神經(jīng)元使用雙曲正切S型傳遞函數(shù)tansig，用于將所述隱含層神經(jīng)元上范圍為（_ <-， + 00 )的輸入值映射到區(qū)間（-1，+1)上；輸出層使用線性傳遞函數(shù)purelin傳遞函數(shù)。
[0019] 優(yōu)選地，所述步驟S3之后、所述步驟S4之前，還包括以下步驟：
[0020] 所述神經(jīng)網(wǎng)絡(luò)顏色分類模型對所述果實像素區(qū)域圖像進行二值化，然后對二值化 的所述果實像素區(qū)域圖像進行形態(tài)學的孔洞填充和開運算，用得到的孔洞填充和開運算之 后的所述果實像素區(qū)域圖像對所述RGB圖像做掩碼運算，得到邊緣平滑的去除背景的果實 像素區(qū)域圖像。
[0021] 優(yōu)選地，所述步驟S4中的邊緣檢測算法為拉普拉斯二階零交叉檢測算子，所述拉 普拉斯二階零交叉檢測算子利用兩個不同參數(shù)的高斯函數(shù)的差來近似地對所述果實像素 區(qū)域圖像作卷積，通過尋找所述果實像素區(qū)域圖像的二階導數(shù)的過零點來