本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于凸包中心先驗和馬爾可夫吸收鏈的果實目標(biāo)獲取方法。

背景技術(shù)：

隨著現(xiàn)代農(nóng)業(yè)的發(fā)展，基于機器視覺的采摘機器人成為國內(nèi)外農(nóng)業(yè)工程領(lǐng)域的研究熱點，而對果實目標(biāo)的獲取是采摘機器人后續(xù)目標(biāo)識別定位、采摘的首要任務(wù)。由于不同的果實有往往有不同的形狀、顏色和大小等特征，以往的對果實圖像的獲取方法往往受某一類果實的特征限制，相應(yīng)的采摘機器人只能采摘某一指定品種的水果，不具有通用性，提高了綜合果園果農(nóng)的成本。由于人類的視覺系統(tǒng)具有視覺注意機制，可以迅速將注意力集中在復(fù)雜場景的某些顯著性目標(biāo)上，而對于目標(biāo)以外的背景區(qū)域關(guān)注較少，因此利用顯著性目標(biāo)檢測的方法進(jìn)行果實目標(biāo)區(qū)域的獲取，可以不需要根據(jù)果實目標(biāo)顏色或形狀特征等和背景的差異來提取果實目標(biāo)區(qū)域，從而具有一定的通用性，可以使得此類采摘機器人具有更多的推廣和使用價值。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種果園果實目標(biāo)獲取方法，使得果實采摘機器人在圖像處理階段能夠?qū)崿F(xiàn)對果實目標(biāo)的精確獲取，進(jìn)一步可完成識別定位，推動果實采摘機器人的實用化進(jìn)程。實現(xiàn)本發(fā)明的技術(shù)方案包括如下步驟：

(1)圖像采集步驟：基于視覺傳感器實時采集果實圖像。

(2)顯著圖獲取步驟：該步驟采用顏色顯著性加強算法進(jìn)行Harris角點檢測，構(gòu)建最小凸包，把獲得的凸包計算形心(x₀,y₀)作為顯著目標(biāo)中心，來定義每個超像素i的顯著性值，獲得初始顯著圖。

(3)顯著圖增強步驟：該步驟采用吸收馬爾可夫鏈，來定義對初始顯著圖進(jìn)行二值分割后構(gòu)建的無向圖模型中每個點的顯著性值，獲得增強的顯著圖。

(4)顯著圖優(yōu)化步驟：該步驟中分別采用基于內(nèi)容擴散機制、抑制函數(shù)、光滑濾波器這三種相互獨立又相互補充的優(yōu)化方法進(jìn)行優(yōu)化，實現(xiàn)顯著圖的優(yōu)化?；趦?nèi)容擴散機制的優(yōu)化方法主要是采用K-means算法進(jìn)行分類，在每個分類中按顯著性值的大小進(jìn)行降序排列后逐個對每個節(jié)點優(yōu)化，實現(xiàn)圖像前景區(qū)域的增強?；谝种坪瘮?shù)的優(yōu)化方法，主要引入一個數(shù)學(xué)分段函數(shù)進(jìn)行逐像素的抑制，來抑制掉圖像中顯著性值比較小的點?；诠饣瑸V波器的優(yōu)化方法是采用一種局部光滑濾波函數(shù)，在光滑圖像的時候能有效的保持圖像的邊緣地帶，并將噪聲過濾掉，從而使背景更加干凈，實現(xiàn)顯著圖的優(yōu)化。

(5)果實目標(biāo)獲取步驟：該步驟中采用自適應(yīng)閾值來分割上述優(yōu)化后的顯著圖，獲得二值黑白圖像，再與原始圖像疊加，從而可將果實目標(biāo)從背景中分割出來。

本發(fā)明的有益效果：

(1)對于果實采摘機器人來說，本發(fā)明方法能夠?qū)崿F(xiàn)果實目標(biāo)的獲取，對推動果實采摘機器人的實用化起到重要作用。

(2)本發(fā)明方法基于顯著性目標(biāo)檢測的方法進(jìn)行果實目標(biāo)區(qū)域的獲取，可以不需要根據(jù)果實目標(biāo)顏色或形狀特征等和背景的差異來提取果實目標(biāo)區(qū)域，從而具有一定的通用性，可以使得此類采摘機器人具有更多的推廣和使用價值。

(3)本發(fā)明方法利用檢測到的興趣點構(gòu)建的凸包中心作為顯著目標(biāo)的中心，進(jìn)行初級顯著圖的獲取，可處理顯著性目標(biāo)不在圖像中心的復(fù)雜圖像。

(4)本發(fā)明方法利用基于凸包中心先驗獲取的初級顯著圖進(jìn)行前景點的判斷，并以此作為吸收馬爾可夫鏈的吸收節(jié)點，通過計算其他節(jié)點與前景點的相似性來重義定義每個節(jié)點的顯著性值，從而獲得增強的顯著圖。

(5)果實目標(biāo)獲取步驟中采用Otsu方法對得到的顯著圖進(jìn)行自適應(yīng)閾值分割，再與原始圖像疊加，從而獲得從背景中分割出來的果實目標(biāo)。

附圖說明

圖1為果實目標(biāo)獲取總流程；

圖2為實驗過程效果圖；

其中，圖(a)為采集的蘋果圖像；(b)為采用SLIC超像素分割后的圖像；(c)為基于凸包中心先驗的初始顯著圖；(d)為增強后的顯著圖；(e)為優(yōu)化后的顯著圖；(f)為采用抑制函數(shù)減少背景區(qū)域的效果圖；(g)為過濾噪點后的效果圖；(h)為最終獲得的果實目標(biāo)圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的實施方式做進(jìn)一步的描述。本發(fā)明以蘋果果實為例進(jìn)行說明，但本發(fā)明同樣適用于其他果實。

如圖1所示，本發(fā)明提出的果園果實目標(biāo)獲取方法包括如下步驟：

(1)圖像采集步驟

圖像的采集基于視覺傳感器，用作后續(xù)提取目標(biāo)對象的區(qū)域信息，采集圖像如圖2(a)所示。

(2)顯著性獲取步驟

該步驟中采用SLIC超像素分割算法，將采集的圖像首先分割成視覺均勻、形狀規(guī)則且大小一致的超像素，如圖2(b)?？紤]到興趣點一般都聚集在顯著性目標(biāo)的周圍，把顏色顯著性加強算法(color saliency boosting algorithm)應(yīng)用到Harris角點檢測方法中，然后利用檢測到的興趣點構(gòu)建最小凸包，對獲得的凸包計算形心(x₀,y₀)，把其作為顯著目標(biāo)中心，來計算每個超像素i的顯著性值，如式(1)，從而獲得基于凸包中心先驗的初始顯著圖,如圖2(c)。

其中，x_i和y_i分別是超像素i的水平和垂直坐標(biāo)，是通過將圖像中的像素坐標(biāo)歸一化到[0,1]，然后分別計算超像素i中包含的所有像素橫坐標(biāo)和縱坐標(biāo)的均值得到的。σ_x和σ_y分別代表水平和垂直的方差。

(3)顯著圖增強步驟

該步驟對用凸包中心先驗的方法獲得的顯著性圖像進(jìn)行二值分割，可以基本上將顯著性區(qū)域中前景點分離出來(即分離出來的節(jié)點基本能覆蓋圖像中的顯著性區(qū)域)。將獲得的顯著性區(qū)域中的前景點作為吸收馬爾可夫鏈的吸收節(jié)點，圖像中的其余節(jié)點作為吸收馬爾可夫鏈的轉(zhuǎn)移節(jié)點，來構(gòu)建吸收馬爾可夫鏈，構(gòu)建的吸收馬爾可夫鏈的概率轉(zhuǎn)移矩陣為：

其中，I是一個k×k的單位矩陣，Q∈[0,1]_m×m中的元素表示轉(zhuǎn)移節(jié)點之間的轉(zhuǎn)移概率，R∈[0,1]_m×k中的元素代表轉(zhuǎn)移節(jié)點與吸收節(jié)點之間的轉(zhuǎn)移概率，O是一個k×m的零矩陣，k代表吸收節(jié)點的個數(shù)，m代表轉(zhuǎn)移節(jié)點的個數(shù)。其中，Q＝D₁^-1W，R＝D₂^-1A，矩陣W是稀疏2-環(huán)圖模型G＝(V,E)的關(guān)聯(lián)矩陣，矩陣A是圖模型中所有節(jié)點與前景點之間的關(guān)聯(lián)矩陣，矩陣D₁是矩陣D'和矩陣D”之和，D'是圖模型的度矩陣，即表示圖模型中所有與i相連的點之間的權(quán)重之和，w_ij表示相連點之間的權(quán)重，表示關(guān)聯(lián)矩陣A＝(a_ij)_m*k的第i行的和，a_ij是節(jié)點與前景點之間的權(quán)重，矩陣D₂是矩陣D'和矩陣D”'之和，表示關(guān)聯(lián)矩陣A'＝(a′_ij)_m*k的第i行的和，矩陣A'是圖模型中所有節(jié)點與四個邊界點之間的關(guān)聯(lián)矩陣，a′_ij表示節(jié)點與邊界點之間的權(quán)重。

由概率轉(zhuǎn)移矩陣P，得到基本矩陣N，該矩陣N中的每個元素n_ij描述的是吸收馬爾可夫鏈的起始狀態(tài)s_i(轉(zhuǎn)移狀態(tài))，在被某個吸收狀態(tài)吸收之前經(jīng)歷過轉(zhuǎn)移狀態(tài)s_j的平均次數(shù)，基本矩陣N可表示為：

N＝(I-Q)^-1＝I+Q+Q²+… (3)

由式(3)，可以得到概率矩陣B＝NR，矩陣B中的元素b_ij表示圖像中的節(jié)點(超像素)與前景點的相似性。

為了找到與前景最相似的點，對于圖像中的每一個超像素點i，降序排列它被所有前景點j(j∈{1,2…k})吸收的概率值b_ij，即是：通過吸收馬爾可夫鏈的這個經(jīng)降序排列后概率來重新定義圖像上每個點的顯著性值，如式(4)所示，得到增強后的顯著圖，如圖2(d)：

其中，d的取值為所有前景點個數(shù)的0.4倍，這是因為考慮上節(jié)中用閾值進(jìn)行二值分割得到的顯著性區(qū)域要比真值大一些，故這里將d的取值略小點。

(4)顯著圖優(yōu)化步驟

該步驟在CIELab顏色空間中用K均值聚類方法將輸入圖像的節(jié)點(超像素點)分為K類。對每個類內(nèi)的節(jié)點n_i，其顯著性值按從大到小的策略，通過所在類內(nèi)的其他節(jié)點的顯著性值進(jìn)行優(yōu)化，效果如圖2(e)，優(yōu)化的表達(dá)式為：

其中，σ_X是在CIELab顏色空間中特征X每個顏色分量的方差之和，c_i和c_j分別代表超像素節(jié)點i和j在CIELab顏色空間的均值，T(n_i)是節(jié)點n_i優(yōu)化后的顯著性值，S(n_i)和S(n_j)分別表示節(jié)點n_i和n_j在上一步增強后的顯著性值，即優(yōu)化前的顯著性值，在文中，α值設(shè)為0.5，聚類K的值設(shè)為8。

為了更好地抑制圖像中背景噪點，用針對每個超像素的抑制函數(shù)來減少可能存在的背景區(qū)域，效果如圖2(f)，函數(shù)的定義如下：

其中，x代表超像素的顯著性值，θ代表一個閾值，控制要抑制的超像素的范圍，這里取值為0.6。

考慮到上述雖對前景進(jìn)行了增強和對背景進(jìn)行了抑制，但還存在一些復(fù)雜的紋理，不利于后續(xù)的圖像分割，本步驟接著應(yīng)用一個局部光滑濾波器，來有效光滑圖像中的顯著性區(qū)域，同時將圖像中的一些噪點過濾掉，效果如圖2(g)。

(5)果實圖像獲取步驟

該步驟是采用Otsu方法對優(yōu)化后顯著圖進(jìn)行自適應(yīng)閾值分割，再與原始圖像疊加，從而將獲得從背景中分割出來的果實目標(biāo)，效果如圖2(h)。

以上實施方式僅用于說明本發(fā)明的技術(shù)方案，而并非對本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化，因此所有等同的技術(shù)方案也屬于本發(fā)明保護(hù)的范疇。