1.一種基于三維姿態(tài)估計(jì)的昆蟲(chóng)識(shí)別裝置,其特征在于,包括:
三維姿態(tài)信息獲取模塊,用于獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息,所述三維姿態(tài)信息包括昆蟲(chóng)翅膀旋轉(zhuǎn)角度以及軀干變形信息;
昆蟲(chóng)特征提取模塊,用于獲取待識(shí)別昆蟲(chóng)的特征信息,所述特征信息包括形態(tài)特征、顏色特征和紋理特征;
昆蟲(chóng)類型識(shí)別模塊,用于根據(jù)待識(shí)別昆蟲(chóng)的三維姿態(tài)信息以及特性信息,利用預(yù)先構(gòu)建的基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型,對(duì)所述待識(shí)別昆蟲(chóng)進(jìn)行識(shí)別,獲取所述待識(shí)別昆蟲(chóng)的類型識(shí)別結(jié)果。
2.根據(jù)權(quán)利要求1所述的裝置,其特征在于,所述三維姿態(tài)信息獲取模塊采用昆蟲(chóng)圖像采集裝置獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息;
其中,所述昆蟲(chóng)圖像采集裝置包括:昆蟲(chóng)扎取單元和基于立體視覺(jué)的圖像采集單元;
其中,所述昆蟲(chóng)扎取單元包括:底座、擺臂運(yùn)動(dòng)模塊、水平運(yùn)動(dòng)模塊、旋轉(zhuǎn)運(yùn)動(dòng)模塊和扎蟲(chóng)模塊;
所述擺臂運(yùn)動(dòng)模塊,固定在所述底座上,包括:第三電機(jī)、行星齒輪減速機(jī)、旋轉(zhuǎn)軸和支架,所述支架包括絲桿和螺母套;所述行星齒輪減速機(jī)與所述旋轉(zhuǎn)軸連接,所述第三電機(jī)用于驅(qū)動(dòng)所述行星齒輪減速機(jī)轉(zhuǎn)動(dòng),由旋轉(zhuǎn)軸帶動(dòng)所述扎蟲(chóng)模塊做擺臂運(yùn)動(dòng);
所述水平運(yùn)動(dòng)模塊,包括:依次連接的第二電機(jī)、傳動(dòng)軸、第一滾珠絲桿組件和伸縮臂;所述傳動(dòng)軸通過(guò)螺母套固定于所述支架上,所述第二電機(jī)用于帶動(dòng)所述傳動(dòng)軸,所述傳動(dòng)軸用于驅(qū)動(dòng)所述第一滾珠絲桿組件,所述第一滾珠絲桿組件用于帶動(dòng)所述伸縮臂進(jìn)行運(yùn)動(dòng)以實(shí)現(xiàn)所述扎蟲(chóng)模塊的水平運(yùn)動(dòng);
所述旋轉(zhuǎn)運(yùn)動(dòng)模塊,包括:第四電機(jī)、同步帶、同步輪和法蘭盤;所述第四電機(jī)通過(guò)所述同步帶帶動(dòng)所述同步輪轉(zhuǎn)動(dòng),所述法蘭盤與所述同步輪連接,所述法蘭盤與所述扎蟲(chóng)模塊連接,用于帶動(dòng)所述扎蟲(chóng)模塊進(jìn)行轉(zhuǎn)動(dòng);
所述扎蟲(chóng)模塊,包括:針筒、第五電機(jī)、第二滾珠絲桿組件、推桿、彈簧、針桿、針固定槽和扎蟲(chóng)針;所述第五電機(jī)與所述第二滾珠絲桿組件連接,所述第二滾珠絲桿組件與所述推桿連接,所述彈簧位于所述推桿與所述針桿之間,所述針固定槽位于所述針桿末端,用于固定所述扎蟲(chóng)針,所述第五電機(jī)用于驅(qū)動(dòng)扎蟲(chóng)針進(jìn)行上下運(yùn)動(dòng)以實(shí)現(xiàn)不用高度昆蟲(chóng)的扎取和脫落;
其中,所述基于立體視覺(jué)的圖像采集單元包括:云臺(tái)、光源、半圓形支架以及位于所述半圓形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圓形支架的斜上方位置、第二CCD位于所述半圓形支架的水平方向位置、所述第三CCD位于所述半圓形支架的斜下方位置;所述云臺(tái)與所述半圓形支架連接,用于固定所述第一CCD、第二CCD和第三CCD。
3.根據(jù)權(quán)利要求2所述的裝置,其特征在于,所述三維姿態(tài)信息獲取模塊,具體用于:
選取能夠代表昆蟲(chóng)姿態(tài)信息的部位,包括昆蟲(chóng)的翅膀和昆蟲(chóng)的軀干,昆蟲(chóng)的翅膀姿態(tài)特征包括肩角、頂角、臀角,昆蟲(chóng)的軀干姿態(tài)特征包括頭、腹部末端、軀干骨架;通過(guò)選取昆蟲(chóng)前后翅膀的肩角、頂角、臀角,頭、腹部末端、軀干骨架這些有代表性的部位,并判斷這些部位所處的空間位置以及特征點(diǎn)所組成的面,即可分析出昆蟲(chóng)翅膀的旋轉(zhuǎn)角度以及軀干變形信息;
以及,采用昆蟲(chóng)圖像采集裝置獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息:
對(duì)第一CCD、第二CCD、第三CCD進(jìn)行標(biāo)定;
通過(guò)基于立體視覺(jué)的圖像采集單元獲取背景圖像、待識(shí)別昆蟲(chóng)的圖像;
將待識(shí)別昆蟲(chóng)的圖像進(jìn)行壓縮、裁剪、去噪的圖像預(yù)處理過(guò)程,得到預(yù)處理后的圖像;
將預(yù)處理后的圖像轉(zhuǎn)化成為HSV顏色空間圖像;
選擇H顏色分量圖像,將昆蟲(chóng)圖像與背景圖像進(jìn)行差分,進(jìn)行背景去噪;
基于邊緣檢測(cè)、孔洞填充、去噪進(jìn)行昆蟲(chóng)分割;
將第一CCD、第三CCD所獲取的圖像進(jìn)行比較,以昆蟲(chóng)胸部有無(wú)足的特征進(jìn)行蟲(chóng)體正反面的確定,選擇正面圖像、第二CCD獲取的圖像進(jìn)行姿態(tài)信息的獲取;若因姿態(tài)變化沒(méi)有正面圖像,則選擇第一CCD或第三CCD所獲取的圖像與第二CCD獲取的圖像進(jìn)行處理;
應(yīng)用角點(diǎn)探測(cè)、邊緣曲率極值點(diǎn)探測(cè)進(jìn)行軀干、翅膀特征點(diǎn)的搜索,應(yīng)用特征點(diǎn)之間相對(duì)位置的關(guān)系進(jìn)行軀干頭、腹部末端特征點(diǎn)以及翅膀特征點(diǎn)的定位;
通過(guò)圖像細(xì)化處理提取昆蟲(chóng)由頭、胸、腹組成的軀干骨架,通過(guò)曲線擬合獲取軀干變形信息;
基于極線約束實(shí)現(xiàn)特征點(diǎn)的立體匹配,計(jì)算特征點(diǎn)的三維空間位置信息,與預(yù)設(shè)標(biāo)準(zhǔn)姿態(tài)蟲(chóng)體進(jìn)行比較,獲得昆蟲(chóng)翅膀旋轉(zhuǎn)角度、軀干變形的三維姿態(tài)信息。
4.根據(jù)權(quán)利要求3所述的裝置,其特征在于,所述昆蟲(chóng)特征提取模塊,具體用于:
基于待識(shí)別昆蟲(chóng)正面和/或反面的二維圖像執(zhí)行如下過(guò)程:
對(duì)所述二維圖像進(jìn)行壓縮、裁剪、去噪的圖像預(yù)處理過(guò)程,得到預(yù)處理后的圖像;
將預(yù)處理后的圖像轉(zhuǎn)化成為HSV顏色空間圖像;
將預(yù)處理后的圖像轉(zhuǎn)化成為灰度圖像;
選擇H顏色分量圖像,將昆蟲(chóng)圖像與背景圖像進(jìn)行差分,進(jìn)行背景去噪;
基于邊緣檢測(cè)、孔洞填充、去噪進(jìn)行昆蟲(chóng)分割,得到分割圖像;
基于分割圖像提取昆蟲(chóng)形狀特征;
將分割圖像與HSV顏色空間圖像相結(jié)合提取相應(yīng)顏色特征;
將分割圖像與灰度圖像相結(jié)合提取紋理特征。
5.根據(jù)權(quán)利要求4所述的裝置,其特征在于,所述昆蟲(chóng)類型識(shí)別模塊,具體用于:
構(gòu)建基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型;
以及,將待識(shí)別昆蟲(chóng)的三維姿態(tài)信息以及特性信息輸入所述昆蟲(chóng)識(shí)別模型并接收所述昆蟲(chóng)識(shí)別模型輸出的昆蟲(chóng)識(shí)別結(jié)果,實(shí)現(xiàn)基于三維姿態(tài)估計(jì)的昆蟲(chóng)識(shí)別;
其中,構(gòu)建基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型,包括:
基于所述昆蟲(chóng)圖像采集裝置獲取多姿態(tài)昆蟲(chóng)建模樣本圖像,通過(guò)圖像處理提取建模樣本昆蟲(chóng)的三維姿態(tài)信息和特征信息,并將并所提取的信息作為輸入因子,將昆蟲(chóng)種類作為輸出因子,對(duì)昆蟲(chóng)識(shí)別模型進(jìn)行訓(xùn)練,構(gòu)建基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型;
其中,所述三維姿態(tài)信息包括昆蟲(chóng)翅膀旋轉(zhuǎn)角度以及軀干變形信息;所述特征信息包括形態(tài)特征、顏色特征和紋理特征。
6.一種基于三維姿態(tài)估計(jì)的昆蟲(chóng)識(shí)別方法,其特征在于,包括:
獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息,所述三維姿態(tài)信息包括昆蟲(chóng)翅膀旋轉(zhuǎn)角度以及軀干變形信息;
獲取待識(shí)別昆蟲(chóng)的特征信息,所述特征信息包括形態(tài)特征、顏色特征和紋理特征;
根據(jù)待識(shí)別昆蟲(chóng)的三維姿態(tài)信息以及特性信息,利用預(yù)先構(gòu)建的基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型對(duì)所述待識(shí)別昆蟲(chóng)進(jìn)行識(shí)別,獲取所述待識(shí)別昆蟲(chóng)的類型識(shí)別結(jié)果。
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息,具體包括:
采用昆蟲(chóng)圖像采集裝置獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息;
其中,所述昆蟲(chóng)圖像采集裝置包括:昆蟲(chóng)扎取單元和基于立體視覺(jué)的圖像采集單元;
其中,所述昆蟲(chóng)扎取單元包括:底座、擺臂運(yùn)動(dòng)模塊、水平運(yùn)動(dòng)模塊、旋轉(zhuǎn)運(yùn)動(dòng)模塊和扎蟲(chóng)模塊;
所述擺臂運(yùn)動(dòng)模塊,固定在所述底座上,包括:第三電機(jī)、行星齒輪減速機(jī)、旋轉(zhuǎn)軸和支架,所述支架包括絲桿和螺母套;所述行星齒輪減速機(jī)與所述旋轉(zhuǎn)軸連接,所述第三電機(jī)用于驅(qū)動(dòng)所述行星齒輪減速機(jī)轉(zhuǎn)動(dòng),由旋轉(zhuǎn)軸帶動(dòng)所述扎蟲(chóng)模塊做擺臂運(yùn)動(dòng);
所述水平運(yùn)動(dòng)模塊,包括:依次連接的第二電機(jī)、傳動(dòng)軸、第一滾珠絲桿組件和伸縮臂;所述傳動(dòng)軸通過(guò)螺母套固定于所述支架上,所述第二電機(jī)用于帶動(dòng)所述傳動(dòng)軸,所述傳動(dòng)軸用于驅(qū)動(dòng)所述第一滾珠絲桿組件,所述第一滾珠絲桿組件用于帶動(dòng)所述伸縮臂進(jìn)行運(yùn)動(dòng)以實(shí)現(xiàn)所述扎蟲(chóng)模塊的水平運(yùn)動(dòng);
所述旋轉(zhuǎn)運(yùn)動(dòng)模塊,包括:第四電機(jī)、同步帶、同步輪和法蘭盤;所述第四電機(jī)通過(guò)所述同步帶帶動(dòng)所述同步輪轉(zhuǎn)動(dòng),所述法蘭盤與所述同步輪連接,所述法蘭盤與所述扎蟲(chóng)模塊連接,用于帶動(dòng)所述扎蟲(chóng)模塊進(jìn)行轉(zhuǎn)動(dòng);
所述扎蟲(chóng)模塊,包括:針筒、第五電機(jī)、第二滾珠絲桿組件、推桿、彈簧、針桿、針固定槽和扎蟲(chóng)針;所述第五電機(jī)與所述第二滾珠絲桿組件連接,所述第二滾珠絲桿組件與所述推桿連接,所述彈簧位于所述推桿與所述針桿之間,所述針固定槽位于所述針桿末端,用于固定所述扎蟲(chóng)針,所述第五電機(jī)用于驅(qū)動(dòng)扎蟲(chóng)針進(jìn)行上下運(yùn)動(dòng)以實(shí)現(xiàn)不用高度昆蟲(chóng)的扎取和脫落;
其中,所述基于立體視覺(jué)的圖像采集單元包括:云臺(tái)、光源、半圓形支架以及位于所述半圓形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圓形支架的斜上方位置、第二CCD位于所述半圓形支架的水平方向位置、所述第三CCD位于所述半圓形支架的斜下方位置;所述云臺(tái)與所述半圓形支架連接,用于固定所述第一CCD、第二CCD和第三CCD。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,采用昆蟲(chóng)圖像采集裝置獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息,具體包括:
選取能夠代表昆蟲(chóng)姿態(tài)信息的部位,包括昆蟲(chóng)的翅膀和昆蟲(chóng)的軀干,昆蟲(chóng)的翅膀姿態(tài)特征包括肩角、頂角、臀角,昆蟲(chóng)的軀干姿態(tài)特征包括頭、腹部末端、軀干骨架;通過(guò)選取昆蟲(chóng)前后翅膀的肩角、頂角、臀角,頭、腹部末端、軀干骨架這些有代表性的部位,并判斷這些部位所處的空間位置以及特征點(diǎn)所組成的面,即可分析出昆蟲(chóng)翅膀的旋轉(zhuǎn)角度以及軀干變形信息;
以及,采用昆蟲(chóng)圖像采集裝置獲取待識(shí)別昆蟲(chóng)的三維姿態(tài)信息,具體包括:
對(duì)第一CCD、第二CCD、第三CCD進(jìn)行標(biāo)定;
通過(guò)基于立體視覺(jué)的圖像采集單元獲取背景圖像、待識(shí)別昆蟲(chóng)的圖像;
將待識(shí)別昆蟲(chóng)的圖像進(jìn)行壓縮、裁剪、去噪的圖像預(yù)處理過(guò)程,得到預(yù)處理后的圖像;
將預(yù)處理后的圖像轉(zhuǎn)化成為HSV顏色空間圖像;
選擇H顏色分量圖像,將昆蟲(chóng)圖像與背景圖像進(jìn)行差分,進(jìn)行背景去噪;
基于邊緣檢測(cè)、孔洞填充、去噪進(jìn)行昆蟲(chóng)分割;
將第一CCD、第三CCD所獲取的圖像進(jìn)行比較,以昆蟲(chóng)胸部有無(wú)足的特征進(jìn)行蟲(chóng)體正反面的確定,選擇正面圖像、第二CCD獲取的圖像進(jìn)行姿態(tài)信息的獲??;若因姿態(tài)變化沒(méi)有正面圖像,則選擇第一CCD或第三CCD所獲取的圖像與第二CCD獲取的圖像進(jìn)行處理;
應(yīng)用角點(diǎn)探測(cè)、邊緣曲率極值點(diǎn)探測(cè)進(jìn)行軀干、翅膀特征點(diǎn)的搜索,應(yīng)用特征點(diǎn)之間相對(duì)位置的關(guān)系進(jìn)行軀干頭、腹部末端特征點(diǎn)以及翅膀特征點(diǎn)的定位;
通過(guò)圖像細(xì)化處理提取昆蟲(chóng)由頭、胸、腹組成的軀干骨架,通過(guò)曲線擬合獲取軀干變形信息;
基于極線約束實(shí)現(xiàn)特征點(diǎn)的立體匹配,計(jì)算特征點(diǎn)的三維空間位置信息,與預(yù)設(shè)標(biāo)準(zhǔn)姿態(tài)蟲(chóng)體進(jìn)行比較,獲得昆蟲(chóng)翅膀旋轉(zhuǎn)角度、軀干變形的三維姿態(tài)信息。
9.根據(jù)權(quán)利要求8所述的方法,其特征在于,獲取待識(shí)別昆蟲(chóng)的特征信息,具體包括:
基于待識(shí)別昆蟲(chóng)正面和/或反面的二維圖像執(zhí)行如下過(guò)程:
對(duì)所述二維圖像進(jìn)行壓縮、裁剪、去噪的圖像預(yù)處理過(guò)程,得到預(yù)處理后的圖像;
將預(yù)處理后的圖像轉(zhuǎn)化成為HSV顏色空間圖像;
將預(yù)處理后的圖像轉(zhuǎn)化成為灰度圖像;
選擇H顏色分量圖像,將昆蟲(chóng)圖像與背景圖像進(jìn)行差分,進(jìn)行背景去噪;
基于邊緣檢測(cè)、孔洞填充、去噪進(jìn)行昆蟲(chóng)分割,得到分割圖像;
基于分割圖像提取昆蟲(chóng)形狀特征;
將分割圖像與HSV顏色空間圖像相結(jié)合提取相應(yīng)顏色特征;
將分割圖像與灰度圖像相結(jié)合提取紋理特征。
10.根據(jù)權(quán)利要求9所述的方法,其特征在于,根據(jù)待識(shí)別昆蟲(chóng)的三維姿態(tài)信息以及特性信息,利用預(yù)先構(gòu)建的基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型對(duì)所述待識(shí)別昆蟲(chóng)進(jìn)行識(shí)別,獲取所述待識(shí)別昆蟲(chóng)的類型識(shí)別結(jié)果,具體包括:
構(gòu)建基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型;
以及,將待識(shí)別昆蟲(chóng)的三維姿態(tài)信息以及特性信息輸入所述昆蟲(chóng)識(shí)別模型并接收所述昆蟲(chóng)識(shí)別模型輸出的昆蟲(chóng)識(shí)別結(jié)果,實(shí)現(xiàn)基于三維姿態(tài)估計(jì)的昆蟲(chóng)識(shí)別;
其中,構(gòu)建基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型,包括:
基于所述昆蟲(chóng)圖像采集裝置獲取多姿態(tài)昆蟲(chóng)建模樣本圖像,通過(guò)圖像處理提取建模樣本昆蟲(chóng)的三維姿態(tài)信息和特征信息,并將并所提取的信息作為輸入因子,將昆蟲(chóng)種類作為輸出因子,對(duì)昆蟲(chóng)識(shí)別模型進(jìn)行訓(xùn)練,構(gòu)建基于支持向量機(jī)SVM的昆蟲(chóng)識(shí)別模型;
其中,所述三維姿態(tài)信息包括昆蟲(chóng)翅膀旋轉(zhuǎn)角度以及軀干變形信息;所述特征信息包括形態(tài)特征、顏色特征和紋理特征。