專利名稱:遠(yuǎn)距離障礙的自適應(yīng)檢測方法
技術(shù)領(lǐng)域:
本發(fā)明涉及的是一種機(jī)器人技術(shù)領(lǐng)域的檢測方法,具體是一種遠(yuǎn)距離障礙的自適應(yīng)檢測方法。
背景技術(shù):
障礙檢測是室外非結(jié)構(gòu)化環(huán)境下移動(dòng)機(jī)器人視覺導(dǎo)航中需要解決的關(guān)鍵問題,是后續(xù)路徑規(guī)劃和動(dòng)作執(zhí)行的先決條件。當(dāng)前由于低成本、遠(yuǎn)距離障礙檢測手段的缺失,絕大多數(shù)障礙檢測方法為基于立體視覺或激光雷達(dá)的近距離障礙檢測方法。然而,這種障礙感知的近視特性將直接或者間接導(dǎo)致機(jī)器人產(chǎn)生低效的路徑規(guī)劃結(jié)果甚至導(dǎo)航任務(wù)的失敗。
近年來,隨著人工智能等學(xué)科的發(fā)展和機(jī)器人自學(xué)習(xí)能力在機(jī)器人領(lǐng)域得到更大程度的重視,基于外觀特征的、由近及遠(yuǎn)的遠(yuǎn)距離障礙檢測方法逐漸成為通用解決方案。這類方法是一種在線自監(jiān)督學(xué)習(xí)方法。其同時(shí)采集近距離的外觀特征和立體信息作為“外觀特征-地形類別”分類器模型的訓(xùn)練樣本,然后將遠(yuǎn)距離場景的外觀特征輸入到該模型實(shí)現(xiàn)遠(yuǎn)距離障礙的檢測。典型案例有R.Manduchi選取歸一化RGB作為分類特征,并對(duì)同一地形類別的樣本采用高斯模型建模。通過立體視覺獲取的地形類別實(shí)現(xiàn)模型參數(shù)的訓(xùn)練,樣本的最終類別取概率最大的地形類別。Ibrahim Halatci選取RGB顏色分量及小波分維作為分類特征。首先以特征為單位建立低層混合高斯分類模型,再結(jié)合已知的傳感模型,利用貝葉斯公式將每個(gè)低層分類器模型表達(dá)式轉(zhuǎn)換成關(guān)于地形類別的后驗(yàn)概率,對(duì)同一地形類別屬下的各特征后驗(yàn)概率進(jìn)行笛卡爾乘積獲取每個(gè)地形類別的高層分類模型。
在上述障礙檢測方案中,場景外觀特征的合理選擇直接決定了機(jī)器人的遠(yuǎn)距離障礙識(shí)別能力?,F(xiàn)有的機(jī)器人視覺導(dǎo)航系統(tǒng)中基本采用事先根據(jù)經(jīng)驗(yàn)或者隨機(jī)挑選的特征算子,然而基于這種特征選擇策略的障礙檢測方法難以適應(yīng)室外場景不斷變化的場景幾何、天氣條件等因素,從而導(dǎo)致遠(yuǎn)距離障礙檢測不準(zhǔn)確,影響導(dǎo)航任務(wù)的執(zhí)行效率。如上述的兩個(gè)應(yīng)用,若遇上霧霾天氣,由于霧霾天氣會(huì)使視覺獲取的物體顏色隨著物體與視覺傳感器的距離變化發(fā)生不同的變化,這種變化會(huì)極大地降低分類性能。另外,光照的變化同樣也會(huì)影響視覺傳感器獲取的顏色和紋理特征。因此采用事先根據(jù)經(jīng)驗(yàn)或者隨機(jī)挑選的特征算子都只是在一定靜態(tài)環(huán)境條件下適用,具有相當(dāng)?shù)木窒扌浴?br>
經(jīng)對(duì)現(xiàn)有文獻(xiàn)檢索發(fā)現(xiàn),Ayse Naz Erkan1等人在2007年11月的IEEE國際智能機(jī)器人與系統(tǒng)會(huì)議上發(fā)表了題為《非結(jié)構(gòu)化地形場景中的大范圍自適應(yīng)視覺》的文章(文章英文名Adaptive Long Range Vision in Unstructured Terrain,會(huì)議英文名IEEE InternationalConference on Intelligent Robots and Systems),該文章公開了一種野外非結(jié)構(gòu)化環(huán)境中機(jī)器人視覺導(dǎo)航的遠(yuǎn)距離障礙檢測方法。該方法采用離線訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,并利用Logistics回歸方法對(duì)遠(yuǎn)距離場景區(qū)域進(jìn)行在線學(xué)習(xí)和分類。圖像金字塔方法在一定程度上緩解了不同區(qū)域的距離和尺度效應(yīng)。然而該方法依賴于大量的樣本數(shù)據(jù),樣本數(shù)據(jù)的選取會(huì)對(duì)分類效果產(chǎn)生顯著影響,并且提取的特征維數(shù)過高,增加計(jì)算復(fù)雜度,且缺少對(duì)特征貢獻(xiàn)度的討論。此外,該方法并沒有對(duì)系統(tǒng)如何自適應(yīng)地選擇適合當(dāng)前場景障礙檢測的最優(yōu)特征進(jìn)行研究,因此還難以達(dá)到室外非結(jié)構(gòu)化環(huán)境下移動(dòng)機(jī)器人視覺導(dǎo)航的以下要求 1、根據(jù)場景實(shí)時(shí)變化自動(dòng)地選擇當(dāng)前場景最適合的分類特征,實(shí)現(xiàn)障礙檢測主導(dǎo)特征的自適應(yīng)在線提煉; 2、基于主導(dǎo)特征和近距離場景的視覺監(jiān)督信息實(shí)現(xiàn)障礙分類檢測模型參數(shù)的自適應(yīng)學(xué)習(xí),簡化分類器模型; 3、障礙檢測結(jié)果體現(xiàn)對(duì)障礙多模態(tài)分布和高維特征非線性結(jié)構(gòu)的高度自適應(yīng)性; 4、障礙檢測結(jié)果避免由隨機(jī)特征重疊導(dǎo)致的類別歧義性; 5、快速適應(yīng)場景變化,提高障礙檢測的準(zhǔn)確性和穩(wěn)定性。
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的上述不足,提出一種遠(yuǎn)距離障礙的自適應(yīng)檢測方法,通過對(duì)場景分類特征的自適應(yīng)精簡和自適應(yīng)分類器的訓(xùn)練,實(shí)現(xiàn)了基于立體視覺的在線、由近及遠(yuǎn)的遠(yuǎn)距離障礙自適應(yīng)檢測方法。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的,本發(fā)明包括步驟如下 第一步,由立體相機(jī)自動(dòng)采集同一場景的同一時(shí)間、不同范圍的兩幅原始圖像,對(duì)兩幅原始圖像中每個(gè)像素進(jìn)行立體匹配得到視差圖,同時(shí)對(duì)其中一幅原始圖像進(jìn)行降采樣和高斯平滑濾波的預(yù)處理,得到預(yù)處理后的圖像。
第二步,將預(yù)處理后的圖像劃分為遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域,并分別對(duì)遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域進(jìn)行超像素分割處理,得到遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域的超像素集合。
所述的超像素分割處理,具體是計(jì)算區(qū)域內(nèi)相鄰像素的特征距離,將特征距離小于距離閾值的兩像素歸入同一超像素,最后將包含像素個(gè)數(shù)小于或者等于像素個(gè)數(shù)閾值的超像素歸入鄰近的包含像素個(gè)數(shù)大于像素個(gè)數(shù)閾值的超像素,從而將遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域分別劃分為若干超像素,每個(gè)超像素由若干相連的像素組成。
第三步,分別對(duì)遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域的超像素進(jìn)行高維外觀特征提取,得到遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域中每個(gè)超像素的高維外觀特征向量。
所述的高維外觀特征提取包括顏色特征提取和紋理特征提取,其中顏色特征提取是將超像素的RGB(紅綠藍(lán))空間轉(zhuǎn)換為HSL(色調(diào)、飽和度、亮度)空間、Lab空間、c空間、l空間以及m空間;紋理特征提取是由Gabor函數(shù)對(duì)原始圖像進(jìn)行卷積得到的。
第四步,對(duì)第一步得到的視差圖進(jìn)行地平面擬合處理,得到近距離區(qū)域場景中每個(gè)像素所屬的地形類別,將超像素所包含像素的地形類別進(jìn)行統(tǒng)計(jì),類別數(shù)最大的那個(gè)地形類別作為超像素的地形類別。
所述的地平面擬合處理,具體指在第一步得到的視差圖中擬合地平面,得到近距離區(qū)域場景中每個(gè)像素的高程值H,判斷每個(gè)像素高程值H與高程預(yù)定閾值Hthreshold的相對(duì)大小,當(dāng)H<Hthreshold時(shí),則判斷該像素地形類別為自由空間;當(dāng)H≥Hthreshold時(shí),則判斷該像素地形類別為障礙空間,從而得到近距離區(qū)域場景中每個(gè)像素所屬的地形類別。
第五步,對(duì)近距離場景超像素的地形類別進(jìn)行有監(jiān)督局部線性嵌入處理,得到近距離場景超像素的低維主導(dǎo)特征。
所述的有監(jiān)督局部線性嵌入處理,具體是 1)、得到近距離場景每兩個(gè)超像素間的高維外觀特征向量間的歐式距離,將其中距離每個(gè)超像素最近的p個(gè)其它超像素作為該超像素的鄰域; 2)、得到每兩個(gè)超像素間的線性重構(gòu)系數(shù),這些線性重構(gòu)系數(shù)構(gòu)成該超像素的線性重構(gòu)矩陣W,進(jìn)而由M=(I-W)T(I-W)得到特征矩陣M; 所述的線性重構(gòu)系數(shù),具體是
其中
xk、xl、xm都是xi的鄰域,wij是第i個(gè)超像素和第j個(gè)超像素間的線性重構(gòu)系數(shù),xk、xl、xm、xi分別是第k個(gè)超像素的高維外觀特征、第1個(gè)超像素的高維外觀特征、第m個(gè)超像素的高維外觀特征和第i個(gè)超像素的高維外觀特征。
3)、提取特征矩陣M的特征值和特征向量,其中除最小的特征值外的特征值所對(duì)應(yīng)的特征向量就是該近距離場景超像素的低維主導(dǎo)特征。
第六步,對(duì)近距離場景超像素的低維主導(dǎo)特征進(jìn)行加權(quán)和處理,得到遠(yuǎn)距離場景超像素的低維主導(dǎo)特征。
所述的加權(quán)和處理,具體是 1)、得到遠(yuǎn)距離場景超像素與近距離場景超像素之間的高維外觀特征向量間的歐式距離,將其中距離每個(gè)遠(yuǎn)距離場景超像素最近的q個(gè)近距離場景超像素作為該超像素的鄰域; 2)、得到每個(gè)遠(yuǎn)距離場景超像素與其鄰域的近距離場景超像素間的線性重構(gòu)系數(shù), 3)、將每個(gè)遠(yuǎn)距離場景超像素與其鄰域的近距離場景超像素間的線性重構(gòu)系數(shù)與對(duì)應(yīng)的近距離場景超像素的低維主導(dǎo)特征向量進(jìn)行加權(quán)求和,從而得到遠(yuǎn)距離場景中該超像素的低維主導(dǎo)特征。
第七步,對(duì)近距離場景區(qū)域超像素的地形類別和低維主導(dǎo)特征進(jìn)行Adaboost分類器訓(xùn)練,得到Adaboost分類器。
所述的Adaboost分類器訓(xùn)練,具體是將近距離場景區(qū)域超像素的低維主導(dǎo)特征的每一維都訓(xùn)練成一個(gè)弱分類器,并利用訓(xùn)練過程中所得到的加權(quán)系數(shù)將弱分類器輸出進(jìn)行組合,作為Adaboost分類器。
第八步,將遠(yuǎn)距離場景區(qū)域超像素的低維主導(dǎo)特征輸入至Adaboost分類器,當(dāng)Adaboost分類器輸出為1時(shí),則當(dāng)前場景為障礙;否則當(dāng)前場景為地面。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是障礙檢測過程能夠根據(jù)場景實(shí)時(shí)變化自動(dòng)地選擇當(dāng)前場景最適合的主導(dǎo)特征,實(shí)現(xiàn)障礙檢測特征的自適應(yīng)提煉;障礙檢測過程能夠基于主導(dǎo)特征和近距離場景的視覺監(jiān)督信息實(shí)現(xiàn)障礙分類檢測模型的參數(shù)自適應(yīng)學(xué)習(xí),簡化分類器模型;由于SLLE實(shí)現(xiàn)了高維特征樣本非線性結(jié)構(gòu)的近似和保持,因此可以同時(shí)減少障礙多模態(tài)分布及由隨機(jī)特征重疊導(dǎo)致的類別歧義對(duì)檢測結(jié)果的影響;基于主導(dǎo)特征的障礙檢測方法能夠快速適應(yīng)場景變化,提高障礙檢測的準(zhǔn)確性和穩(wěn)定性。
圖1是實(shí)施例的檢測流程示意框圖。
圖2是實(shí)施例中的原圖與分割處理后得到的超像素組合圖; 其中(a)為一室外導(dǎo)航場景原圖,(b)為該圖分割處理后得到的超像素組合圖。
圖3是實(shí)施例若干場景分類結(jié)果對(duì)比示意圖; 其中(a)、(d)和(g)分別為三幅場景原圖,(b)、(e)和(h)分別為(a)、(d)和(g)的人工標(biāo)記示意圖,而(c)、(f)和(i)則分別為(a)、(d)和(g)的遠(yuǎn)距離障礙檢測結(jié)果示意圖。
圖4是采用不同檢測方法得到的檢測誤差對(duì)比示意圖; 其中Best-K Ensemble方法為美國科羅拉多大學(xué)實(shí)驗(yàn)的最好結(jié)果;SMINE為美國科羅拉多大學(xué)實(shí)驗(yàn)的基準(zhǔn)檢測方法;Adbst(SLLE)方法為實(shí)施例方法;Adbst為未進(jìn)行降維,直接對(duì)原數(shù)據(jù)采用Adaboost方法的檢測結(jié)果;1-NN為最近鄰檢測方法;而1-NN(SLLE)在1-NN基礎(chǔ)上融合了在線主導(dǎo)特征提取策略。
具體實(shí)施例方式 以下結(jié)合附圖對(duì)本發(fā)明的方法進(jìn)一步描述,本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施,給出了詳細(xì)的實(shí)施方式和具體的操作過程,但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
實(shí)施例 如圖1所示,本實(shí)施例包括圖像采集和預(yù)處理、場景圖像分割、高維外觀特征提取、近距離場景地形類別判定、近距離場景的低維主導(dǎo)特征、遠(yuǎn)距離場景的低維主導(dǎo)特征、分類器訓(xùn)練及遠(yuǎn)距離場景地形類別判定,最終得到障礙檢測結(jié)果。
下面具體進(jìn)行說明 (1)圖像采集和預(yù)處理使用Bumblebee2立體相機(jī)自動(dòng)采集同一場景的同一時(shí)間、不同范圍的兩幅原始圖像,對(duì)兩幅圖像進(jìn)行每個(gè)像素的立體匹配得到視差圖,視差圖中的每個(gè)像素值表征了該像素點(diǎn)離相機(jī)中心的距離。同時(shí)將其中一幅原始圖像保存到內(nèi)存,并進(jìn)行降采樣和高斯平滑濾波的預(yù)處理,得到預(yù)處理后的圖像。
(2)場景圖像分割將預(yù)處理后的圖像劃分為遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域,并分別對(duì)遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域進(jìn)行超像素分割處理,得到遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域的超像素集合,每個(gè)超像素由若干相互連接的像素組成。
所述的超像素分割處理,具體是計(jì)算區(qū)域內(nèi)相鄰像素的特征距離,將特征距離小于距離閾值的兩像素歸入同一超像素,最后將包含像素個(gè)數(shù)小于或者等于像素個(gè)數(shù)閾值的超像素歸入鄰近的包含像素個(gè)數(shù)大于像素個(gè)數(shù)閾值的超像素,從而將遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域分別劃分為若干超像素,每個(gè)超像素由若干相連的像素組成。
圖2(a)是一幅預(yù)處理后的室外導(dǎo)航場景圖像,分辨率為640×480;圖2(b)是經(jīng)超像素分割處理后得到的圖像,其中距離閾值取為50,像素個(gè)數(shù)閾值取為40。
(3)高維外觀特征提取分別對(duì)遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域的超像素進(jìn)行高維外觀特征提取,得到遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域中每個(gè)超像素的高維外觀特征向量。
所述的高維外觀特征提取包括顏色特征提取和紋理特征提取,其中顏色特征提取是將超像素的RGB空間轉(zhuǎn)換為HSL空間、Lab空間、c空間、l空間以及m空間;紋理特征提取是由Gabor函數(shù)對(duì)原始圖像進(jìn)行卷積得到的。
所述的HSL空間,具體是 記maxcolor=max(r,g,b),mincolor=min(r,g,b),則 當(dāng)maxcolor=mincolor時(shí),則H=S=0; 當(dāng)maxcolor≠mincolor時(shí),進(jìn)入下述判斷 當(dāng)L<0.5時(shí),則 當(dāng)L≥0.5時(shí),則 當(dāng)R=maxcolor時(shí),則 當(dāng)G=maxcolor時(shí),則 當(dāng)B=maxcolor時(shí),則 所述的Lab空間,具體是 記v_R=R/255,v_G=G/255,v_B=B/255, 當(dāng)v_R>0.04045時(shí),則 否則v_R=v_R/12.92×100; 當(dāng)v_G>0.04045時(shí),則 否則v_G=v-G/12.92×100; 當(dāng)v_B>0.04045時(shí),則 否則v_B=v_B/12.92×100; X=var_R×0.4124+var_G×0.3576+var_B×0.1805, Y=var_R×0.2126+var_G×0.7152+var_B×0.0722, Z=var_R×0.0193+var_G×0.1192+var_B×0.9505, v_X=X/95.047,v_Y=Y(jié)/100,v_Z=Z/108.883, 當(dāng)v_X>0.008856時(shí),則v_X=(v_X)1/3,否則v_X=7.787×v_X+16/116, 當(dāng)v_Y>0.008856時(shí),則v_Y=(v_Y)1/3,否則v_Y=7.787×v_Y+16/116, 當(dāng)v_Z>0.008856時(shí),則v_Z=(v_Z)1/3,否則v_Z=7.787×v_Z+16/116, L=116×v_Y-16,a=500×(v_X-v_Y),b=500×(v_Y-v_Z)。
所述的c空間,具體是 所述的l空間,具體是 所述的m空間,具體是 其中x1和x2為相鄰像素。
本實(shí)施例將每個(gè)顏色通道柱狀分布圖等分為5個(gè)區(qū)間,因此顏色特征共有90維。
所述的紋理特征,具體是 Wmn(x,y)=∫I(x,y)g(x-ξ,y-η)dξdη, 其中I(x,y)=R(x,y)×0.3+G(x,y)×0.59+B(x,y)×0.11,
Wmn(x,y)為紋理特征,x,y為圖像中像素的橫坐標(biāo)與縱坐標(biāo),I(x,y)為圖像像素的灰度值,g(x,y)是Gabor函數(shù),s為濾波器的尺度,θ為濾波器的選擇方向,k為濾波器的中心頻率。
本實(shí)施例中分別取s=1,2,3,
一共12個(gè)Gabor濾波器,因此Gabor濾波器輸出特征共12維。
本實(shí)施例中高維外觀特征總共有90+12=102維。
(4)近距離場景地形類別判定對(duì)(1)得到的視差圖進(jìn)行地平面擬合處理,得到近距離區(qū)域場景中每個(gè)像素所屬的地形類別,從而得到近距離場景超像素的標(biāo)記集合;將超像素所包含像素的地形類別進(jìn)行統(tǒng)計(jì),類別數(shù)最大的那個(gè)地形類別作為超像素的地形類別。
所述的地平面擬合處理,具體指在第一步得到的視差圖中擬合地平面,得到近距離區(qū)域場景中每個(gè)像素的高程值H,判斷每個(gè)像素高程值H與高程預(yù)定閾值Hthreshold的相對(duì)大小,當(dāng)H<Hthreshold時(shí),則判斷該像素地形類別為自由空間;當(dāng)H≥Hthreshold時(shí),則判斷該像素地形類別為障礙空間,從而得到近距離區(qū)域場景中每個(gè)像素所屬的地形類別。
本實(shí)施例中取Hthreshold=1.8。
(5)近距離場景的低維主導(dǎo)特征對(duì)近距離場景超像素的地形類別進(jìn)行有監(jiān)督局部線性嵌入處理,得到近距離場景超像素的低維主導(dǎo)特征。
所述的低維主導(dǎo)特征是指融合了地形類別信息、且利用了“有監(jiān)督局部線性嵌入法”進(jìn)行降維后的低維空間中的超像素特征,有別于原始圖像中提取的高維外觀特征。
記近距離場景超像素的高維外觀特征為
Sn為近距離場景超像素集合,xi為從第i個(gè)超像素中提取的外觀特征,近距離場景超像素的標(biāo)記集合為
lk為第k個(gè)近距離場景超像素的地形類別。
所述的有監(jiān)督局部線性嵌入處理,具體是 a、計(jì)算每兩個(gè)超像素間的歐式距離 屬于同一地形類別的超像素間的歐式距離dij=‖xj-xi‖; 分屬不同地形類別的超像素間的歐式距離dij=‖xj-xi‖+αε,其中α為調(diào)距幅度參數(shù),
α為
區(qū)間內(nèi)的數(shù),本實(shí)施例中取α=0.7。
由上述歐式距離信息得到距離第i個(gè)超像素xi的K個(gè)最近鄰點(diǎn)組成超像素xi的鄰域點(diǎn)集
Ni為xi的鄰域點(diǎn)的集合,本實(shí)施例鄰域點(diǎn)數(shù)K=20。
b、對(duì)每個(gè)超像素xi,由其鄰域關(guān)系,計(jì)算線性重構(gòu)系數(shù)wij,當(dāng)超像素xj為超像素xi的鄰域點(diǎn)(j∈Ni)時(shí),則
其中
xk、xl、xm都是xi的鄰域點(diǎn);當(dāng)超像素xj為超像素xi的非鄰域點(diǎn)
時(shí),則wij=0。線性重構(gòu)系數(shù)反映了每個(gè)超像素與其鄰域點(diǎn)之間的局部線性構(gòu)成關(guān)系,所有超像素的線性重構(gòu)系數(shù)組成線性重構(gòu)矩陣W。
c、設(shè)特征矩陣M=(I-W)T(I-W),其中I為單位矩陣,對(duì)特征矩陣M進(jìn)行特征分析,對(duì)M的所有特征值按照數(shù)值大小從小到大進(jìn)行排序編號(hào),取所有特征值中第2小到第d+1小個(gè)特征值λi,i=2,…,d+1,特征值λi對(duì)應(yīng)的特征向量vi=[vi1 vi2…viC]T就是近距離場景的第i個(gè)主導(dǎo)特征,C為近距離場景超像素總個(gè)數(shù),則近距離場景低維主導(dǎo)特征集為 所述的d的值決定分類效果,本實(shí)例中當(dāng)d=13時(shí),分類效果最佳,也就是主導(dǎo)特征共13維。
(6)遠(yuǎn)距離場景的低維主導(dǎo)特征對(duì)近距離場景超像素的低維主導(dǎo)特征進(jìn)行加權(quán)和處理,得到遠(yuǎn)距離場景超像素的低維主導(dǎo)特征。
所述的加權(quán)處理,具體是設(shè)遠(yuǎn)距離場景超像素的高維外觀特征為
Sf為遠(yuǎn)距離場景超像素的集合,x′i為從第i個(gè)遠(yuǎn)距離場景超像素中提取的高維外觀特征。對(duì)于每個(gè)x′i,i∈Sf,計(jì)算其與近距離場景超像素高維外觀特征之間的歐氏距離,找出12個(gè)最近鄰點(diǎn)組成的鄰域點(diǎn)集P′i,使用(5)中b的方法獲取這12個(gè)近鄰點(diǎn)關(guān)于x′i的線性重構(gòu)系數(shù)w′ij,j∈Pi,則該點(diǎn)的主導(dǎo)特征
其中y′j為其近距離超像素鄰域點(diǎn)的低維主導(dǎo)特征,則遠(yuǎn)距離場景的低維主導(dǎo)特征集為
(7)分類器訓(xùn)練對(duì)近距離場景區(qū)域超像素的地形類別和低維主導(dǎo)特征進(jìn)行Adaboost分類器訓(xùn)練,得到Adaboost分類器。
所述的Adaboost分類器訓(xùn)練,具體是針對(duì)近距離場景區(qū)域超像素低維主導(dǎo)特征的每一維,均獨(dú)立訓(xùn)練一個(gè)弱分類器,并利用訓(xùn)練過程中所得到的加權(quán)系數(shù)將弱分類器輸出進(jìn)行組合,作為Adaboost分類器。
本實(shí)施例中每幀圖像的訓(xùn)練樣本平均為170個(gè),其中障礙為62項(xiàng),平面為108項(xiàng),障礙的訓(xùn)練系數(shù)是
平面的訓(xùn)練系數(shù)是
訓(xùn)練迭代次數(shù)為30。
(8)遠(yuǎn)距離場景地形類別判定將遠(yuǎn)距離場景區(qū)域超像素的低維主導(dǎo)特征輸入至Adaboost分類器,當(dāng)Adaboost分類器輸出為1時(shí),則當(dāng)前場景為障礙;否則當(dāng)前場景為地面。
圖3(a)、圖3(d)、圖3(g)分別為三幅場景原圖,圖3(b)、圖3(e)、圖3(h)分別為圖3(a)、圖3(d)、圖3(g)的人工標(biāo)記示意圖,而圖3(c)、圖3(f)、圖3(i)則分別為圖3(a)、圖3(d)、圖3(g)的遠(yuǎn)距離障礙檢測結(jié)果示意圖。圖3(c)、圖3(f)和圖3(i)中的白色為障礙空間,黑色為自由空間。
圖4為不同檢測方法對(duì)同一數(shù)據(jù)集的檢測誤差比較,其中數(shù)據(jù)集來自美國科羅拉多大學(xué)的室外機(jī)器人導(dǎo)航實(shí)驗(yàn),Best-K Ensemble方法為美國科羅拉多大學(xué)實(shí)驗(yàn)的最好結(jié)果;SMINE為美國科羅拉多大學(xué)實(shí)驗(yàn)的基準(zhǔn)檢測方法;Adbst(SLLE)方法為實(shí)施例方法;Adbst為未進(jìn)行降維,直接對(duì)原數(shù)據(jù)采用Adaboost方法的檢測結(jié)果;1-NN為最近鄰檢測方法;而1-NN(SLLE)在1-NN基礎(chǔ)上融合了在線主導(dǎo)特征提取策略。從圖4中可以看出,本實(shí)施例的檢測方法比Best-KEnsemble方法的RMSE誤差下降了0.046(0.01的RMSE誤差開始有統(tǒng)計(jì)意義)。
權(quán)利要求
1.一種遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征在于,包括以下步驟
第一步,由立體相機(jī)自動(dòng)采集同一場景的同一時(shí)間、不同范圍的兩幅原始圖像,對(duì)兩幅原始圖像中每個(gè)像素進(jìn)行立體匹配得到視差圖,同時(shí)對(duì)其中一幅原始圖像進(jìn)行降采樣和高斯平滑濾波的預(yù)處理,得到預(yù)處理后的圖像;
第二步,將預(yù)處理后的圖像劃分為遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域,并分別對(duì)遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域進(jìn)行超像素分割處理,得到遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域的超像素集合;
第三步,分別對(duì)遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域的超像素進(jìn)行高維外觀特征提取,得到遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域中每個(gè)超像素的高維外觀特征向量;
第四步,對(duì)第一步得到的視差圖進(jìn)行地平面擬合處理,得到近距離區(qū)域場景中每個(gè)像素所屬的地形類別,將超像素所包含像素的地形類別進(jìn)行統(tǒng)計(jì),類別數(shù)最大的那個(gè)地形類別作為超像素的地形類別;
第五步,對(duì)近距離場景超像素的地形類別進(jìn)行有監(jiān)督局部線性嵌入處理,得到近距離場景超像素的低維主導(dǎo)特征;
第六步,對(duì)近距離場景超像素的低維主導(dǎo)特征進(jìn)行加權(quán)和處理,得到遠(yuǎn)距離場景超像素的低維主導(dǎo)特征;
第七步,對(duì)近距離場景區(qū)域超像素的地形類別和低維主導(dǎo)特征進(jìn)行Adaboost分類器訓(xùn)練,得到Adaboost分類器;
第八步,將遠(yuǎn)距離場景區(qū)域超像素的低維主導(dǎo)特征輸入至Adaboost分類器,當(dāng)Adaboost分類器輸出為1時(shí),則當(dāng)前場景為障礙;否則當(dāng)前場景為地面。
2.根據(jù)權(quán)利要求要求1所述的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征是,第二步中所述的超像素分割處理,具體是計(jì)算區(qū)域內(nèi)相鄰像素的特征距離,將特征距離小于距離閾值的兩像素歸入同一超像素,最后將包含像素個(gè)數(shù)小于或者等于像素個(gè)數(shù)閾值的超像素歸入鄰近的包含像素個(gè)數(shù)大于像素個(gè)數(shù)閾值的超像素,從而將遠(yuǎn)距離場景區(qū)域和近距離場景區(qū)域分別劃分為若干超像素,每個(gè)超像素由若干相連的像素組成。
3.根據(jù)權(quán)利要求要求1所述的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征是,第三步中所述的高維外觀特征提取包括顏色特征提取和紋理特征提取,其中顏色特征提取是將超像素的RGB空間轉(zhuǎn)換為HSL空間、Lab空間、c空間、l空間以及m空間;紋理特征提取是由Gabor函數(shù)對(duì)原始圖像進(jìn)行卷積得到的。
4.根據(jù)權(quán)利要求要求1所述的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征是,第四步中所述的地平面擬合處理,具體指在第一步得到的視差圖中擬合地平面,得到近距離區(qū)域場景中每個(gè)像素的高程值H,判斷每個(gè)像素高程值H與高程預(yù)定閾值Hthreshold的相對(duì)大小,當(dāng)H<Hthreshold時(shí),則判斷該像素地形類別為自由空間;當(dāng)H≥Hthreshold時(shí),則判斷該像素地形類別為障礙空間,從而得到近距離區(qū)域場景中每個(gè)像素所屬的地形類別。
5.根據(jù)權(quán)利要求要求1所述的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征是,第五步中所述的有監(jiān)督局部線性嵌入處理,具體是
1)、得到近距離場景每兩個(gè)超像素間的高維外觀特征向量間的歐式距離,將其中距離每個(gè)超像素最近的p個(gè)其它超像素作為該超像素的鄰域;
2)、得到每兩個(gè)超像素間的線性重構(gòu)系數(shù)wij,這些線性重構(gòu)系數(shù)構(gòu)成該超像素的線性重構(gòu)矩陣W,進(jìn)而由M=(I-W)T(I-W)得到特征矩陣M;
3)、提取特征矩陣M的特征值和特征向量,其中除最小的特征值外的特征值所對(duì)應(yīng)的特征向量就是該近距離場景超像素的低維主導(dǎo)特征。
6.根據(jù)權(quán)利要求要求5所述的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征是,所述的線性重構(gòu)系數(shù),具體是
其中
xk、xl、xm都是xi的鄰域,wij是第i個(gè)超像素和第j個(gè)超像素間的線性重構(gòu)系數(shù),xk、xl、xm、xi分別是第k個(gè)超像素的高維外觀特征、第1個(gè)超像素的高維外觀特征、第m個(gè)超像素的高維外觀特征和第i個(gè)超像素的高維外觀特征。
7.根據(jù)權(quán)利要求要求1所述的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征是,第六步中所述的加權(quán)和處理,具體是
1)、得到遠(yuǎn)距離場景超像素與近距離場景超像素之間的高維外觀特征向量間的歐式距離,將其中距離每個(gè)遠(yuǎn)距離場景超像素最近的q個(gè)近距離場景超像素作為該超像素的鄰域;
2)、得到每個(gè)遠(yuǎn)距離場景超像素與其鄰域的近距離場景超像素間的線性重構(gòu)系數(shù),
3)、將每個(gè)遠(yuǎn)距離場景超像素與其鄰域的近距離場景超像素間的線性重構(gòu)系數(shù)與對(duì)應(yīng)的近距離場景超像素的低維主導(dǎo)特征向量進(jìn)行加權(quán)求和,從而得到遠(yuǎn)距離場景中該超像素的低維主導(dǎo)特征。
8.根據(jù)權(quán)利要求要求1所述的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,其特征是,第七步中所述的Adaboost分類器訓(xùn)練,具體是將近距離場景區(qū)域超像素的低維主導(dǎo)特征的每一維都訓(xùn)練成一個(gè)弱分類器,并利用訓(xùn)練過程中所得到的加權(quán)系數(shù)將弱分類器輸出進(jìn)行組合,作為Adaboost分類器。
全文摘要
一種機(jī)器人技術(shù)領(lǐng)域的遠(yuǎn)距離障礙的自適應(yīng)檢測方法,包括以下步驟采集圖像并進(jìn)行預(yù)處理;劃分區(qū)域并進(jìn)行超像素分割處理;進(jìn)行高維外觀特征提??;得到近距離場景區(qū)域每個(gè)超像素的地形類別;得到近距離場景超像素的低維主導(dǎo)特征;得到遠(yuǎn)距離場景超像素的低維主導(dǎo)特征;進(jìn)行Adaboost分類器訓(xùn)練;將遠(yuǎn)距離場景區(qū)域超像素的低維主導(dǎo)特征輸入至Adaboost分類器,當(dāng)Adaboost分類器輸出為1時(shí),則當(dāng)前場景為障礙;否則當(dāng)前場景為地面。本發(fā)明可實(shí)現(xiàn)障礙檢測特征的自適應(yīng)提煉,簡化分類器模型,可以同時(shí)減少障礙多模態(tài)分布及由隨機(jī)特征重疊導(dǎo)致的類別歧義對(duì)檢測結(jié)果的影響,且提高障礙檢測的準(zhǔn)確性和穩(wěn)定性。
文檔編號(hào)G06K9/66GK101813475SQ20101015474
公開日2010年8月25日 申請日期2010年4月24日 優(yōu)先權(quán)日2010年4月24日
發(fā)明者劉成良, 屠珺, 苑進(jìn), 王明軍 申請人:上海交通大學(xué)