本發(fā)明涉及機器視覺以及機器人控制領域，具體地，涉及基于虛擬樣本深度學習的機器人目標識別和位姿重構方法。

背景技術：

目前工業(yè)機器人的視覺感知主要通過目標工件某些特定平面上的關鍵輪廓特征進行目標位姿重構和操作路徑規(guī)劃，其缺點包括：物體視角偏差過大時，會出現特征遮擋、匹配困難的問題；軟件柔性不足，對于不同的操作目標，需要預先定義不同的輪廓特征及相應的位姿反求公式。

經檢索：王中任等在《基于CAD模型的隨機工件視覺識別和定位方法》中提出采用CAD模型進行模板訓練，然后采用模板輪廓和目標輪廓相似度度量，識別出與圖像中目標相似度高的模板；然后，采用非線性優(yōu)化算法進行多次增強魯棒性的迭代，使得模板輪廓(線框模型)與目標輪廓實現最優(yōu)匹配，以獲得目標的姿態(tài)信息。

但是，上述方法不具有視角選擇的主動性，如果當前相機姿態(tài)對應目標圖像的輪廓信息比較少，則難以實現精準匹配；且傳統(tǒng)的模板匹配方法無法適應實際工業(yè)場景中復雜背景引入的輪廓噪聲，且模板搜索和非線性優(yōu)化過程會占用大量的時間，無法滿足工業(yè)控制的實時性要求。

技術實現要素：

針對現有技術中的缺陷，本發(fā)明的目的是提供一種基于虛擬樣本深度學習的機器人目標識別和位姿重構方法。

根據本發(fā)明提供的基于虛擬樣本深度學習的機器人目標識別和位姿重構方法，包括如下步驟：

目標區(qū)域檢測步驟：采用CNN區(qū)域探測器提取操作目標在相機圖像中的區(qū)域，初步確定操作目標與機器人末端相機的相對位置；

相對姿態(tài)估計步驟：采用CNN姿態(tài)分類器估計機器人末端相機當前視角與精確位姿求解最佳視角的觀測角偏差；

主動視角變換步驟：采用多次觀測視角矯正的方法控制機器人運動，使得末端相機轉移到精確位姿求解最佳視角；

精確位姿求解步驟：采用最佳視角下的輪廓特征的虛實匹配、位姿反求，實現目標位姿的精確計算。

優(yōu)選地，所述CNN區(qū)域探測器是指：使用基于CAD模型多視角虛擬相機的渲染圖像自動生成的方法構造用于深度學習訓練的樣本；將成像系統(tǒng)視野內的完整圖像作為輸入，經過深度卷積神經網絡進行端到端的特征挖掘和區(qū)域檢測，輸出為目標在圖像中的區(qū)域。

優(yōu)選地，所述基于CAD模型多視角虛擬相機的渲染圖像自動生成的方法是指：采用圖像渲染的方法逼近真實場景的照明、背景影響因素，并加入部分真實場景的相機圖像進行樣本改良的方法。

優(yōu)選地，所述CNN姿態(tài)分類器是指：使用基于CAD模型多視角虛擬相機的輪廓圖像自動生成的方法構造用于深度學習訓練的樣本；將成像系統(tǒng)視野內的輪廓圖像作為輸入，經過深度卷積神經網絡進行端到端的特征挖掘和特征分類，輸出為目標的當前觀測視角。

優(yōu)選地，所述基于CAD模型的多視角虛擬相機是指：采用以CAD模型為原點，以精確位姿求解最佳視角為徑向方向的球坐標系，按照一系列等間距的方位角、仰角生成樣本標簽，并讓相機繞當前球徑翻滾，生成不同方位角、仰角、翻滾角下的虛擬相機。

優(yōu)選地，所述基于CAD模型多視角虛擬相機的輪廓圖像自動生成的方法是指：采用每個輪廓圖像的虛擬相機方位角和仰角作為樣本標簽，同時的同一樣本標簽下的方位角、仰角允許在設定范圍內隨機變動，以擴充樣本豐富性。

優(yōu)選地，精確位姿求解最佳視角是指：通過輪廓特征的虛實匹配、位姿反求獲取目標位姿的觀測視角，具有輪廓特征豐富、輪廓辨識性強等特點。

優(yōu)選地，所述相對姿態(tài)估計是指：將三維姿態(tài)估計簡化成二維連續(xù)觀測視角，包括方位角θ和仰角的離散化分類問題，即將

離散化為其中表示方位角為θ_i，仰角為的樣本標簽，i表示第i個方位角，j表示第j個仰角；R表示[0,2π]連續(xù)實數；

觀測視角的離散化分類采用的姿態(tài)分類器，以深度卷積神經網絡為基本結構，以基于CAD模型的多視角輪廓圖像為主要訓練樣本，以離散化觀測視角，即方位角θ_i和仰角為樣本標簽，以當前樣本最可能的觀測視角類別為分類器輸出。

優(yōu)選地，主動視角變換是指：在每一次視角變換前，按照所估計的當前觀測視角沿著距離精確位姿求解最佳視角的球面最短路徑進行路徑規(guī)劃；變換過程中每一次視角變換的步長為沿著規(guī)劃路徑前進至下一個離散化觀測視角，通過小步長多次迭代、反復矯正的方法確保視角變換過程中的運動誤差不會使目標脫出視野。

優(yōu)選地，通過位姿反求得到精確位姿求解最佳視角對應的CAD模型信息，自動求出所匹配特征的實際相對空間關系并用于PNP問題求解；輪廓特征的虛實匹配采用輪廓方位特征，所述輪廓方位特征包括：直線輪廓交點或者延長線交點、直線輪廓夾角。

與現有技術相比，本發(fā)明具有如下的有益效果：

本發(fā)明公開的基于虛擬樣本深度學習的機器人目標識別和位姿重構方法，通過基于CAD模型的多視角輪廓圖像自動生成的方法解決了深度卷積神經網絡的海量樣本需求問題；通過主動視角變換解決了輪廓匹配視角偏差過大時導致的特征遮擋、匹配困難的問題，通過目標區(qū)域檢測、相對姿態(tài)估計、主動視角變換、精確位姿求解等步驟的分解提升了機器人視覺感知的主動性和目標位姿重構的算法柔性。

附圖說明

通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯：

圖1為基于CAD模型多視角虛擬相機的圖像自動生成的方法示意圖；

圖2為主動視角變換的路徑規(guī)劃示意圖；

圖3為最佳視角下的虛實輪廓匹配過程示意圖。

具體實施方式

下面結合具體實施例對本發(fā)明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變化和改進。這些都屬于本發(fā)明的保護范圍。

根據本發(fā)明提供的基于虛擬樣本深度學習的機器人目標識別和位姿重構方法，包括如下步驟：

目標區(qū)域檢測步驟：采用CNN區(qū)域探測器提取操作目標在相機圖像中的區(qū)域，以初步確定該目標與機器人末端相機的相對位置；

相對姿態(tài)估計步驟：采用CNN姿態(tài)分類器估計機器人末端相機當前視角與精確位姿求解最佳視角的觀測角偏差；

主動視角變換步驟：采用多次觀測視角矯正的方法控制機器人運動，使得末端相機轉移到精確位姿求解最佳視角；

精確位姿求解步驟：采用最佳視角下的輪廓特征的虛實匹配、位姿反求，實現目標位姿的精確計算。

所述CNN區(qū)域探測器是指：使用基于CAD模型多視角虛擬相機渲染圖像自動生成的方法構造用于深度學習訓練的樣本；將成像系統(tǒng)視野內的完整圖像作為輸入，經過深度卷積神經網絡進行端到端的特征挖掘和區(qū)域檢測，輸出為目標在圖像中的區(qū)域。

所述基于CAD模型的多視角虛擬相機輪廓或渲染圖像自動生成的方法是指：每個樣本標簽下的方位角(θ_i)、仰角允許在一定范圍內隨機變動，以生成更加豐富的樣本。

所述CNN姿態(tài)分類器是指：使用基于CAD模型多視角虛擬相機輪廓圖像自動生成的方法構造用于深度學習訓練的樣本；將成像系統(tǒng)視野內的輪廓圖像作為輸入，經過深度卷積神經網絡進行端到端的特征挖掘和特征分類，輸出為目標的當前觀測視角。

所述基于CAD模型的多視角虛擬相機渲染圖像自動生成的方法是指：采用圖像渲染的方法逼近真實場景的照明、背景等影響因素，并加入部分真實場景的相機圖像進行樣本改良，以提高樣本的有效性。

所述基于CAD模型的多視角虛擬相機是指：采用以CAD模型為原點，以精確位姿求解最佳視角為徑向方向的球坐標系，按照一系列等間距的方位角(θ_i)、仰角生成樣本標簽并讓相機在繞當前球徑翻滾，生成不同翻滾角(γ_k)下的虛擬相機。

所述精確位姿求解最佳視角是指：能夠通過該視角下輪廓特征的虛實匹配、位姿反求等步驟，高精度獲取目標位姿的觀測視角，該視角應具備輪廓特征豐富、輪廓辨識性強等特點。

所述相對姿態(tài)估計是指：將三維姿態(tài)估計簡化成二維連續(xù)觀測視角(方位角θ和仰角)的離散化分類問題，即將

離散化為

觀測視角的離散化分類采用的姿態(tài)分類器，以深度卷積神經網絡為基本結構，以基于CAD模型的多視角輪廓圖像為主要訓練樣本，以離散化觀測視角(方位角θ_i和仰角)為樣本標簽，以當前樣本最可能的觀測視角類別c_s為分類器輸出。

所述主動視角變換是指：在每一次視角變換前，按照所估計的當前觀測視角(方位角θ_i和仰角)沿著距離精確位姿求解最佳視角的球面最短路徑進行路徑規(guī)劃；變換過程中每一次視角變換的步長為沿著規(guī)劃路徑前進至下一個離散化觀測視角，通過小步長多次迭代、反復矯正的方法確保視角變換過程中的運動誤差不會使目標脫出視野。

所述精確位姿求解是指：通過其位姿反求通過精確位姿求解最佳視角對應的CAD模型信息，自動求出所匹配特征的實際相對空間關系并用于PNP問題求解。

所述特征匹配采用直線輪廓(延長線)交點、直線輪廓夾角等輪廓方位特征，以避免由輪廓提取參數導致的邊界、端點不確定引入誤差。

下面結合具體實施例對本發(fā)明的技術方案做更加詳細的說明。

機器人視覺感知系統(tǒng)由眼在手上六自由度機械臂，視覺控制器，運動控制器，一臺RGB-D相機構成。視覺控制器為科學計算處理器，配置有高性能GPU，以支持深度神經網絡的前向傳播性能與訓練效率；配置有高速圖像接口，以支持高速工業(yè)相機的實施圖像采集；

所述運動控制器為六自由度機械臂的運動控制器，支持機器多軸運動插補、正向/逆向運動求解、實時通訊控制等功能；

所述RGB-D相機固定在機械臂末端關節(jié)，具有較高的圖像采集幀頻，用于采集目標物體和周圍場景的三維視覺信息，能夠滿足一定精度的圖像深度信息獲取需求。

具體地，基于虛擬樣本深度學習的機器人目標識別和位姿重構方法實施方式如下：

步驟100：視覺系統(tǒng)標定，包括步驟110和120；

步驟110：借助標定板，通過多視角圖像中角點的幾何關系，標定攝像頭的內參；

步驟120：借助標定板，通過機械臂末端關節(jié)運動參數和多視角圖像角點坐標變換的關系，標定相機物理坐標系和機械臂末端物理坐標系間的齊次變換。

步驟200：借助CAD工具，進行基于深度卷積神經網絡的區(qū)域檢測器和姿態(tài)分類器的樣本生成，包括步驟210、211、212和213：

步驟210：設定虛擬相機內參、與物體距離為R，觀測視角球坐標系的方位角θ離散分區(qū)數m、仰角離散分區(qū)數n；R一般大于目標物體的外接球半徑的5倍以上；

步驟211：導入物體及周圍環(huán)境的三維模型，將虛擬相機設置在210各分區(qū)的離散化觀測視角，并設置繞相機光軸(球徑)旋轉，在光軸間隔γ獲取虛擬相機渲染圖像作為當前觀測視角下的樣本。

通常設置觀測視角都屬于樣本標簽，并通過對觀測視角下的圖像在允許變動范圍內渲染并抽樣進行樣本擴充和豐富；其中：ε表示方位角變動范圍，η表示仰角變動范圍，θ_i表示方位角離散化節(jié)點，表示仰角離散化節(jié)點；

步驟212：使用步驟211中的樣本，固定目標物體所在區(qū)域，作為區(qū)域檢測器的訓練樣本，使用區(qū)域卷積神經網絡訓練得到區(qū)域檢測器。

步驟213：將步驟211中的虛擬相機圖像的渲染圖像進行輪廓提取，并以輪廓圖像作為訓練樣本輸入到深度神經網絡模型中進行訓練，各樣本的類別標簽為該類對應的觀測視角訓練收斂后得到姿態(tài)分類器。

步驟300：使用基于多視角圖像的路徑規(guī)劃方法進行主動視角變換，包括步驟310、320、330和340：

步驟310：使用區(qū)域檢測器進行區(qū)域定位，確定目標物體的區(qū)域，并通過RGB-D相機獲取深度信息。

步驟320：使用姿態(tài)分類器進行物體的端到面的姿態(tài)估計，通過觀測視角估計得到距離最佳視角的姿態(tài)偏差信息；

步驟330：構造路徑規(guī)劃模型，優(yōu)選的，采用沿著距離精確位姿求解最佳視角的球面最短路，前進至下一個離散化觀測視角，并通過小步長多次迭代、反復矯正的方法確保視角變換過程中的運動誤差不會使目標脫出視野；

步驟340：循環(huán)310到330，直至末端相機和目標之間的實際觀測視角為最佳視角，或者接近最佳視角。

步驟400：采用最佳視角下的輪廓特征的虛實匹配、位姿反求，實現目標位姿的精確計算，包括步驟410,、420,、430

步驟410：在最佳視角下，采集目標圖像，通過直線、圓弧等特征擬合提取矢量化輪廓；

步驟420：采用特征匹配算法對矢量化輪廓進行匹配，并對輪廓方位特征進行計算，如直線輪廓交點或者延長線交點、直線輪廓夾角等；

步驟430：通過精確位姿求解最佳視角對應的CAD模型信息，自動求出所匹配特征的實際相對空間關系進行PNP問題構造和求解，以獲取目標的位姿信息。

以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述特定實施方式，本領域技術人員可以在權利要求的范圍內做出各種變化或修改，這并不影響本發(fā)明的實質內容。在不沖突的情況下，本申請的實施例和實施例中的特征可以任意相互組合。