專利名稱：基于全景立體視覺的捕撈對象的識別和空間定位裝置及方法
技術領域：
本發(fā)明屬于全景立體視覺技術、捕撈機器人技術、數(shù)字圖像處理技術和模式識別技術在海底生物自動化捕撈方面的應用，尤其適用于捕撈機器人的自動捕撈作業(yè)。
背景技術：
深海生物捕撈，即對深海生物進行捕撈，把生物從深海捕獲出水進行科學研究或者其他商業(yè)用途。目前通常采用一種拖網(wǎng)捕獲技術，它是一種利用船舶航行的拖拽式捕撈方式。底拖網(wǎng)是一種用于對深海底棲生物等小型生物進行捕獲技術。這種底拖網(wǎng)技術對生態(tài)系統(tǒng)造成了災難性傷害，珊瑚、海綿、魚類和其它動物都將因此受到捕殺。同時眾多海洋生物的棲息地一海山等水下生態(tài)系統(tǒng)也遭到了嚴重的破壞。這種捕撈方式對海洋生態(tài)系統(tǒng)造成了無法彌補的損失。由于拖網(wǎng)技術很難對生物進行有針對性的捕獲，往往造成不分青紅皂白的“濫殺無辜”，成功率低且浪費資源。聯(lián)合國海洋署已經(jīng)起草相關公約將禁止這種損害海洋生態(tài)系統(tǒng)的捕撈方式。實現(xiàn)精準化、自動化的深海生物捕撈，捕撈對象的識別與定位是實現(xiàn)捕撈自動化的第一步?？紤]到捕撈對象的生長環(huán)境、空間位置和分布狀態(tài)等要素，采用三維視覺進行捕撈對象的檢測是一種非常有前途的解決方案。所謂三維視覺信息包括從攝像機到捕撈對象之間的距離、捕撈對象的大小和形狀等。對于捕撈機器人視覺系統(tǒng)而言，不僅要探測到捕撈對象的存在，還要計算出捕撈對象的空間坐標。顏色、大小和形狀是反映捕撈對象的重要視覺特征，是基于機器視覺的捕撈對象的識別、分類的重要依據(jù)。每一種捕撈對象都有其特有的顏色、大小和形狀特征，這些視覺信息是識別捕撈對象的重要屬性特征；同時每一種捕撈對象在其不同的生長期和不同的品質(zhì)上，其顏色、大小和形狀均有較大的差別，這些差別是基于機器視覺的分類中各種判定指標和閾值取值的根據(jù)。在捕撈對象顏色測量中，應選用一定的顏色模型來對捕撈對象表面的顏色特征進行研究。通過該研究建立多種各具特色的顏色模型，在機器視覺研究中，常用的RGB和HIS顏色模型，HIS顏色模型的描述更接近人的視覺對顏色的感知方式，它包含色相、飽和度和亮度三要素。根據(jù)對顏色的研究結果，結合有關評級標準，就可選定區(qū)別不同色度等級的色相閾值，計算出此值下的累計頻度值，就可完成顏色分級。機器視覺的作用是從三維環(huán)境圖像中獲得所需的信息并構造出觀察對象的明確而有意義的描述。視覺包括三個過程:圖像增強、特征提取和圖像理解。由視覺傳感器獲取數(shù)字圖像，經(jīng)圖像增強后提取顏色、形狀和紋理特征參數(shù)對棉花進行分類、識別和描述。目前獲取捕撈對象的三維坐標的定位方法主要有下面4種類型:1)多目立體視覺:融合多個攝像機觀察到的目標特征，重構這些特征的三維原像，并計算出目標的空間坐標；2)時間差法:利用一臺攝像機的多幅連續(xù)圖像序列實現(xiàn)“從運動得到結構”，由圖像匹配估計匹配點的三維坐標；3)結構光法:選擇激光、微波或超聲波等光源，采用光柵法、移動投光法獲取距離圖像和反射圖像，經(jīng)聯(lián)合分析測出物體的形狀和空間分布；4)傳感器融合:由視覺傳感器獲取原始平面圖像，計算其形心坐標，再利用測距傳感器測量目標的深度信息。就上述4種定位方式來說，立體視覺具有投資小、能與捕撈機器人的自動導航共用一套立體視覺系統(tǒng)、能與前期捕撈對象的識別和分類等處理共用一種視頻源，因此是一種首選的解決方案。立體視覺系統(tǒng)一般可分為圖像采集、攝像系統(tǒng)標定、特征選擇與提取、立體匹配、深度確定和內(nèi)插6個步驟。雙目立體視覺運用兩個相同的攝像機對同一景物從不同位置成像，獲得景物的立體圖像對，通過各種算法匹配出相應像點，從而計算出視差，然后采用基于三角測量的方法恢復深度信息。 目前的立體視覺系統(tǒng)，利用立體攝像機獲取不同距離的捕撈對象的立體圖像對，通過對圖像進行灰度圖像處理，將彩色圖像轉換為灰度圖像.然后根據(jù)灰度圖像對中像素點的相關性進行立體匹配，計算像素點的位置信息而獲得一幅深度圖像。最后對照捕撈對象在深度圖像中的位置，獲取捕撈對象的三維位置信息。但是目前的立體視覺系統(tǒng)在海底生物捕撈的實際應用中還存在著不少問題，其主要問題在于:立體成像范圍有限，由于捕撈機器人行走在海底捕撈作物環(huán)境中，捕撈對象的生長區(qū)域是開放式的、隨機的、不規(guī)則的和全方位的，因此，需要轉動立體視覺系統(tǒng)來獲取周邊的捕撈對象視頻信息；其次，立體成像攝像機標定、特征提取和立體圖像匹配方面在實際應用上仍然存在著一些難以解決的問題。另外由于固定的焦距只能在一定景深范圍內(nèi)清晰拍攝圖像，因而，它限制了在某些方面的應用。此外，還存在著以下不足之處:1)由于標定技術不夠完善，立體視覺測量系統(tǒng)在捕撈機器人運動中其攝像機的內(nèi)外參數(shù)變化是不可避免的，因而限制了許多應用；2)在各種shape from X過程中，涉及多次坐標的轉換，造成計算量過大，難以進行實時處理，限制了對捕撈對象的實時識別等應用；3)雙目視覺的對應點匹配歧異性大，造成了匹配的誤差，影響了匹配精度。立體匹配屬于典型的視覺“病態(tài)”計算問題，目前的技術還很難對圖像進行無歧義高準確率的立體匹配。近年發(fā)展起來的全方位視覺傳感器，以下簡稱0DVS，為實時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360度)，能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時，ODVS在場景中的安放位置更加自由，為感知捕撈機器人自身周圍狀態(tài)提供了一種新的重要手段；0DVS技術是以人為中心觀察的圖像獲取技術，能使人產(chǎn)生身臨其境的沉浸感，將ODVS技術應用于捕撈機器人的導航、捕撈對象的識別、分類和定位，就相當給予了捕撈機器人具備了以捕撈機器人為中心觀察的圖像獲取技術，特別的是單視點的全景成像鏡面的設計為構建捕撈機器人的雙目立體全景獲取技術提供了一個良好的技術基礎。

發(fā)明內(nèi)容
為了克服已有的海底生物捕撈機器人的視覺系統(tǒng)難以同時完成自主導航、海底生物的識別、分類和空間定位等不足，本發(fā)明提供一種既能用于捕撈機器人的自主導航，又能用于海底生物的識別、分類和空間定位的基于全景立體視覺的捕撈對象的識別和空間定位
裝置
本發(fā)明解決其技術問題所采用的技術方案是:
一種基于全景立體視覺的捕撈對象的識別和空間定位裝置，包括雙目立體全景視覺傳感器，用于對捕撈對象的識別、分類和空間定位進行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進行連接；所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數(shù)的固定單視點的全方位視覺裝置，全方位視覺裝置簡稱0DVS，兩臺ODVS按照全方位的極線平面要求以背靠背的垂直連接固定，并保證兩個ODVS的主軸在同一直線上；所述的微處理器包括:視頻圖像讀取單元，用于讀取兩個ODVS的視頻圖像，并保存在指定的存儲設備中，其輸出與捕撈對象識別模塊連接；捕撈對象識別模塊，用于根據(jù)捕撈對象的顏色和外形特征對捕撈機器人周圍的全景圖中的捕撈對象進行識別，其輸出與捕撈對象點匹配單元相連接；ODVS標定單元，首先通過標定來確定構成雙目立體ODVS的兩個ODVS的內(nèi)部和外部參數(shù)，然后對雙目立體ODVS進行極線校正處理，最后將ODVS的標定結果和極線校正后的結果存放在ODVS內(nèi)外部參數(shù)庫中；比較標準特征參數(shù)抽取模塊，用 于從全景視頻圖像中抽取出捕撈對象的顏色和外形特征，并將這些特征值存放在捕撈對象的特征庫中；捕撈對象點匹配單元，用于找出同一時刻兩個不同視點的圖像中同一捕撈對象的中心點對應的兩個像點，其輸出與空間信息計算單元連接；空間信息計算單元，用于根據(jù)ODVS的標定結果以及捕撈對象點的匹配結果計算空間上的捕撈對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角，其輸出與仿生機器手空間位置計算單元連接；仿生機器手空間位置計算單元，用于計算仿生機器手的捕撈端的空間位置，其輸出控制仿生機器手的動作，完成捕撈任務。進一步，所述的捕撈對象識別模塊中，通過被捕撈對象的顏色特征進行識別，利用被捕撈對象的顏色色差信息進行圖像識別，針對每種不同的捕撈對象通過實驗研究，將能對某種捕撈對象進行有效識別的特征值寫入到各種不同的捕撈對象的分類標準指標庫以及捕撈對象的特征庫中，每一種捕撈對象在各種不同的捕撈對象的分類標準指標庫以及捕撈對象的特征庫中都有其相對應的顏色或者外形特征的描述，所述的捕撈對象識別模塊根據(jù)某個規(guī)定的捕撈對象的描述從ODVS獲取的全景圖像中檢索出相似的對象，以實現(xiàn)捕撈對象識別的目的。所述的空間信息計算單元，依據(jù)所述的捕撈對象識別模塊所得到的識別結果，通過全景立體ODVS所獲得的立體全景視頻圖像，從上ODVS圖像中所識別出的捕撈對象通過物點的匹配找到下ODVS圖像中的對應點，然后計算空間上的捕撈對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角；兩個ODVS的入射角，SP Φ1和Φ2和基線距AB的長度，就能計算出物點離視點中心的距離；基線距AB的長度d在設計雙目立體全方位視覺傳感器的結構時已經(jīng)確定，公式
(7)為ODVS的入射角的計算方法，公式中的各參數(shù)是通過ODVS的標定來確定的；
權利要求
1.一種基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:包括雙目立體全景視覺傳感器和用于對捕撈對象的識別和空間定位進行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器連接； 所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數(shù)的無死角的固定單視點的全方位視覺裝置，以下簡稱ODVS，兩臺ODVS按照全方位的極線平面要求以背靠背的方式結合在一起，且兩個ODVS的主軸在同一直線上； 所述的微處理器包括: 視頻圖像讀取單元，用于讀取兩個ODVS的視頻圖像，并保存在指定的存儲設備中，其輸出與捕撈對象識別模塊連接； 捕撈對象識別模塊，用于根據(jù)捕撈對象的顏色和外形特征對捕撈機器人周圍的全景圖中的捕撈對象進行識別，其輸出與捕撈對象點匹配單元相連接； ODVS標定單元，首先 通過標定來確定構成雙目立體ODVS的兩個ODVS的內(nèi)部和外部參數(shù)，然后對雙目立體ODVS進行極線校正處理，最后將ODVS的標定結果和極線校正后的結果存放在ODVS內(nèi)外部參數(shù)庫中； 比較標準特征參數(shù)抽取模塊，用于從全景視頻圖像中抽取出捕撈對象的顏色和外形特征，并將這些特征值存放在捕撈對象的特征庫中； 捕撈對象點匹配單元，用于找出同一時刻兩個不同視點的圖像中同一捕撈對象的中心點對應的兩個像點，其輸出與空間信息計算單元連接； 空間信息計算單元，用于根據(jù)ODVS的標定結果以及捕撈對象點的匹配結果計算空間上的捕撈對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角，其輸出與仿生機器手空間位置計算單元連接； 仿生機器手空間位置計算單元，用于計算仿生機器手的捕撈端的空間位置，其輸出控制仿生機器手的動作，完成捕撈任務。
2.如權利要求1所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:所述的ODVS標定單元，首先通過標定來確定構成雙目立體ODVS的兩個ODVS的內(nèi)部和外部參數(shù)，然后對雙目立體ODVS進行極線校正處理，最后將ODVS的標定結果和極線校正后的結果存放在ODVS內(nèi)外部參數(shù)庫中。
3.如權利要求1或2所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:所述的捕撈對象點匹配單元，用于找出同一時刻兩個不同視點的圖像中同一捕撈對象的中心點對應的兩個像點，其輸出與空間信息計算單元連接； 空間上的同一捕撈對象點必定落在校正后的極線平面上，在結構上滿足極線約束條件后，空間物點二維平面檢索問題就簡化為一維檢索問題，從而為在兩個全景圖上點與點之間的快速匹配提供了基礎；從緯度角度考慮，如果所設計的ODVS的入射角與成像平面上的像素點滿足某種函數(shù)關系，所組合后的兩個ODVS入射角之間又是可以方便計算的，又可以將一維檢索問題再簡化為在一條線上的某個區(qū)間內(nèi)檢索對應點的問題；如公式(5)所示，180° ( Φ 1+Φ2 ( 2Φι βχ(5) 式中:Φ I為下ODVS上的成像物點的入射角，Φ2為上ODVS上的成像物點的入射角，(tmax為ODVS的成像物點的最大入射角，即仰角，在本發(fā)明中為120° ； 進一步，采用歸一化相關匹配算法來對上下兩個全景圖中的特征點進行匹配；該算法基于匹配特征點在相鄰的窗體區(qū)域內(nèi)具有相同灰度值原理，計算方法由公式(6)所示，
4.如權利要求1或2所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:所述的空間信息計算單元，依據(jù)所述的捕撈對象識別模塊所得到的識別結果，通過全景立體ODVS所獲得的立體全景視頻圖像，從上ODVS圖像中所識別出的捕撈對象通過物點的匹配找到下OD V S圖像中的對應點，然后計算空間上的捕撈對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角； 所述的空間信息計算單元，依據(jù)所述的捕撈對象識別模塊所得到的識別結果，通過全景立體ODVS所獲得的立體全景視頻圖像，在所述的捕撈對象點匹配單元中從上ODVS圖像中所識別出的捕撈對象通過物點的匹配找到下ODVS圖像中的對應點，然后計算空間上的捕撈對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角； 兩個上下ODVS的入射角，S卩Φ1和Φ2和基線距AB的長度，就能計算出物點離視點中心的距離；基線距AB的長度dc在設計全景立體ODVS的結構時已經(jīng)確定，公式(7)為ODVS的入射角的計算方法，公式中的各參數(shù)是通過ODVS的標定結果來確定的，也就是從所述的ODVS內(nèi)外部參數(shù)庫中讀取的；
5.如權利要求1或2所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:所述的空間信息計算單元，得到捕撈對象的中心點P在高斯坐標系中的方位角βρ、入射角Φρ和捕撈中心點的距離rp，根據(jù)高斯坐標系與笛卡爾坐標系的轉換關系，可以將捕撈對象的中心點P用笛卡爾坐標系表達，如公式(9)所示，
6.如權利要求1或2所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:所述的仿生機器手空間位置計算單元，用于計算仿生機器手的捕撈端的空間位置；由于本發(fā)明中共有四 個仿生機器手，這里將所述的雙目立體ODVS的中點作為視覺坐標系的原點，并建立XV、YV和Zv構成的三維全景視覺坐標系，并用四個象限來劃分四個仿生機器手的工作范圍，al、a2、a3和a4, al為前左仿生機器手的工作范圍，a2為前右仿生機器手的工作范圍，a3為后右仿生機器手的工作范圍，a4為后左仿生機器手的工作范圍；將各仿生機器手的固定點作為各仿生機器手的坐標原點，并分別建立前左仿生機器手Xal、Yal、zal，前右仿生機器手Xa2、Ya2> Za2,后右仿生機器手Xa3、Ya3> Za3,后左仿生機器手Xa4、Ya4> Za4等構成的三維仿生機器手運動坐標系；由于雙目立體ODVS和仿生機器手均固定在捕撈機器人的行走部分的上面，因此，用公式(10)建立三維全景視覺坐標系和三維各捕撈仿生機器手運動坐標系的幾何關系；
7.如權利要求1或2所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:所述的仿生機器手空間位置計算單元，根據(jù)在所述的空間信息計算單元中計算得到的捕撈對象的中心點P所處的象限，確定由哪個捕撈仿生機器手進行捕撈，然后根據(jù)公式(10)計算得到該仿生機器手與捕撈對象的中心點P的位置關系，最后驅動捕撈模塊進行捕撈動作。
8.如權利要求1或2所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數(shù)的無死角的固定單視點的0DVS，在ODVS的折反射鏡面設計上通過增大視覺垂直范圍來擴大兩個合成的ODVS視覺重疊區(qū)域來獲得較大的雙目立體視覺范圍，并使雙目立體ODVS具有同時知覺、融合力和立體感；組合時將上下兩個ODVS的單視點固定在同一軸線上；考慮到所述的雙目立體全景視覺傳感器將在深海工作，需要具有較大的抗壓強度，在結構上球面式的設計具有良好的抗壓能力。
9.如權利要求1或2所述的基于全景立體視覺的捕撈對象的識別和空間定位裝置，其特征在于:執(zhí)行捕撈動作的是由仿生機器手來實現(xiàn)的，仿生機器手具有兩種功能，一種是完成捕撈機器人的行走，另一種是完成捕撈動作；本發(fā)明中一共有四個仿生機器手，分別固定在捕撈機器人本體的收集艙兩側前后，非常類似于海龜?shù)乃闹?，由人工肌肉制成；仿生機器手的外形呈管三自由度肌肉狀，管內(nèi)分隔成三個互成120°的扇形柱狀空腔，通過分別控制三個空腔的水壓力來實現(xiàn)沿中心軸Z方向的伸縮及任意一個方向的彎曲，實現(xiàn)三個自由度的控制；在捕撈機器人行走時，所述的仿生機器手支撐著所述的捕撈機器人本體；在所述的捕撈機器人進行捕撈時，仿生機器手的前端對準捕撈對象實現(xiàn)對準捕撈對象吸入捕撈；在仿生機器手中設置有捕撈管道，當仿生機器手的前端對準捕撈對象時所述的捕撈管道中產(chǎn)生脈沖式負壓，將捕撈對象吸入到捕撈管道中，然后隨著捕撈管道進入到捕撈艙內(nèi)。
10.一種基于全景立體視覺的捕撈對象的識別和空間定位方法，其特征在于:在對捕撈對象的識別前，首先需要建立一個各種不同的捕撈對象的特征庫，同時也需要完成全景立體ODVS的內(nèi)外參數(shù)設定、標定和極線校正的預備工作，設定、標定和極線校正的參數(shù)均保存在ODVS內(nèi)外部參數(shù)庫中，以便下一次使用捕撈機器人時調(diào)用；接著，進入捕撈對象的識別和空間定位處理主要流程如下； 步驟I):通過視頻圖像讀取單元讀取兩個相同成像參數(shù)的ODVS的兩幅全景視頻圖像； 步驟2):根據(jù)保存在存儲單元中的設定、標定和極線校正的參數(shù)對兩幅全景視頻圖像進行處理； 步驟3):根據(jù)保存在捕撈對象的特征庫中的捕撈對象的特征參數(shù)對上ODVS所獲取的全景圖像展開圖進行檢索和識別，得到在上ODVS所獲取的全景圖像中的捕撈對象中心點； 步驟4):根據(jù)在步驟3)中得到的在上ODVS所獲取的全景圖像中的捕撈對象中心點對下ODVS所獲取的全景圖像展開圖進行匹配計算，得到在下ODVS所獲取的全景圖像中的相應匹配點； 步驟5):根據(jù)在步驟3)中得到的在上ODVS所獲取的全景圖像中的捕撈對象中心點以及在步驟4)得到的在下ODVS所獲取的全景圖像中的相應匹配點進行捕撈對象空間信息的計算，得到捕撈對象的中心點到全景立體ODVS中心點的距離、方位角以及入射角；然后根據(jù)高斯坐標系和笛卡爾坐標系之間的轉換關系，將捕撈對象的中心點用笛卡爾坐標系進行表達； 步驟6):根據(jù)在步驟5)計算得到的捕撈對象的中心點位置確定由哪一個仿生機器手進行捕撈，然后將捕撈對象的中心點位置到全景立體ODVS中心點的坐標值映射到仿生機器手的坐標系中，最后根據(jù)在所確定的進行捕撈動作的仿生機器手的坐標系中的坐標值控制該捕撈仿生機器手的動作； 步驟7):控制該仿生機 器手將捕撈對象吸入到捕撈機器人的收集艙中；跳轉到步驟2)。
全文摘要
一種基于全景立體視覺的捕撈對象的識別和空間定位裝置，包括全景立體視覺傳感器，用于對捕撈對象的識別和空間定位進行分析處理的微處理器，全景立體視覺傳感器由兩臺具有相同參數(shù)的固定單視點的無死角全方位視覺傳感器構成，并按照全方位的極線平面要求以垂直背靠背方式連接固定。以及一種基于全景立體視覺的捕撈對象的識別和空間定位方法。本發(fā)明采用一臺全景立體視覺傳感器解決了深海捕撈對象的識別和空間定位的圖像獲取問題，同時還能為捕撈機器人導航提供全景立體視覺，具有特征點立體匹配計算量少、空間定位高等優(yōu)點。
文檔編號G06T7/00GK103226693SQ201310093260
公開日2013年7月31日 申請日期2013年3月21日 優(yōu)先權日2013年3月21日
發(fā)明者湯一平, 俞立, 孫明軒, 倪洪杰, 余世明 申請人:浙江工業(yè)大學