本發(fā)明涉及一種靈巧手位姿檢測系統(tǒng)。具體地，是一種基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)。

背景技術(shù)：

1、機器人靈巧手，具身機器人與環(huán)境交互的末端執(zhí)行器，是人形機器人的重要部件，屬于深度仿生、柔性感知、微機電系統(tǒng)、高性能材料等前沿技術(shù)的交叉領(lǐng)域，是實現(xiàn)智能機器人技術(shù)變革躍遷的關(guān)鍵突破口。靈巧手以人手的結(jié)構(gòu)和功能為模仿對象，在機器人與環(huán)境的交互中起著關(guān)鍵作用。機器人靈巧手從結(jié)構(gòu)和功能上參考人手，能夠靈活操作對象，實現(xiàn)對物體的靈活抓取，滿足多種工作需求。多指靈巧手最普遍的手指數(shù)目為3-5個，各手指具有3個關(guān)節(jié)，手指關(guān)節(jié)的運動副都是采用轉(zhuǎn)動副。

2、靈巧性、抓取能力、可靠性是衡量靈巧手性能的三大要素，應(yīng)用場景各有側(cè)重。

3、靈巧手的靈巧性，主要由靈巧手的自由度和執(zhí)行器數(shù)目共同決定，自由度數(shù)目越高則意味著靈巧手能實現(xiàn)更多樣的抓取動作?，F(xiàn)有靈巧手方案主要實現(xiàn)的是各手指關(guān)節(jié)的旋轉(zhuǎn)自由度和拇指向內(nèi)閉合的自由度，執(zhí)行器數(shù)目決定能獨立控制的自由度數(shù)目的多少。

4、靈巧手的可靠性，是指靈巧手在長時間運作和在各種條件下的性能穩(wěn)定性和故障率特性，也是靈巧手各機構(gòu)裝置綜合性能的體現(xiàn)。以目前大多數(shù)使用的繩驅(qū)方式為例，其在大負(fù)載下的功能實現(xiàn)和使用壽命都和實踐的人手有很大的差距，若實現(xiàn)高可靠性需要使用更多的執(zhí)行器或更為復(fù)雜的傳感方案。

5、但是，如何評估靈巧手的性能優(yōu)劣，目前國內(nèi)外并沒有標(biāo)準(zhǔn)規(guī)范，更沒有滿足靈巧手性能檢測的技術(shù)手段與設(shè)備。其中，每個手指指尖的三維位置與姿態(tài)的實時同步檢測，是最大的技術(shù)難點。。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有機器人靈巧手行業(yè)缺少符合要求的指尖三維位姿檢測手段的現(xiàn)狀，提出一種基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)。該檢測系統(tǒng)采用兩個相機和一個數(shù)字光柵投影儀實現(xiàn)雙目立體結(jié)構(gòu)光測量，投影儀居中，兩個相機分列左右。投影儀向靈巧手連續(xù)投射一幅具有相移的多色編碼圖案，左右兩個相機同步獲取靈巧手區(qū)域圖像。采用rgb分量分離和多步相移法，獲取靈巧手上各點的圖像像素坐標(biāo)。根據(jù)結(jié)構(gòu)光三角測量原理實現(xiàn)像素-高度映射，得到個點的空間三維坐標(biāo)值。采用圖像閾值與三維模型融合分類方法，對各個手指進行分割，提取每個手指的三位輪廓。采用數(shù)據(jù)擬合方法提取每個手指指尖的三維輪廓模型，通過計算獲得每個指尖的三維位置及其姿態(tài)信息。最后，對左右兩個相機圖像獲得的每個指尖的三維位置及其姿態(tài)信息進行融合，得到最終的每個指尖的三維位置及其姿態(tài)信息，實現(xiàn)靈巧手的靈活性與穩(wěn)定性檢測。由于可以拍攝一幅圖像，即可獲得多幅相移圖像，實現(xiàn)目標(biāo)三維檢測，因而具有速度快、分辨率高、穩(wěn)定性強的突出優(yōu)勢。

2、本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

3、本發(fā)明的基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)的特殊之處在于，所述的檢測系統(tǒng)包括檢測器和控制器兩個部分，二者通過電纜相連，所述的檢測器含有相機、鏡頭、投影儀、濾光片、同步器幾個部分，其中：

4、所述的相機為工業(yè)級彩色面陣相機，共有兩個，分別位于檢測器內(nèi)部的左右兩側(cè)，具有外觸發(fā)功能，負(fù)責(zé)獲取視場內(nèi)的彩色圖像；

5、所述的鏡頭為工業(yè)級鏡頭，共有兩個，分布安裝于左右兩個相機之上，負(fù)責(zé)將視場圖像成像到相機的像面之上；

6、所述的投影儀為工業(yè)級數(shù)字光柵投影儀，可以投射一幅多種顏色的相移編碼圖案，每一種顏色對應(yīng)一種相移，以便實現(xiàn)結(jié)構(gòu)光三維檢測；

7、所述的濾光片為多帶通濾光片，通帶的數(shù)量與投影儀投射的相移編碼圖案的顏色一致，每個通帶的中心波長與投影儀投射的相移編碼圖案顏色中心波長一致，以便濾除環(huán)境光干擾，對檢測器起到保護、密封、防塵、防水的作用；

8、所述的同步器為純邏輯電路，同步觸發(fā)左右兩個相機捕獲圖像，減小同步誤差；

9、所述的控制器為高性能一體式工控機，具有觸摸屏，向投影儀發(fā)送多種顏色的相移編碼圖案信息，并同步讀取左右兩個相機的圖像數(shù)據(jù)，通過rgb分量分離與數(shù)據(jù)處理分別得到所有手指的三維輪廓與姿態(tài)信息，最后，對左右兩個相機圖像獲得的每個指尖的三維位置及其姿態(tài)信息進行融合，得到最終的每個指尖的三維位置及其姿態(tài)信息。

10、本發(fā)明的基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)的工作過程如下：首先，在控制器的控制下，投影儀向靈巧手所在的區(qū)域投射一幅多種顏色的相移編碼圖案。然后，控制器控制同步器同時觸發(fā)左右兩個相機，同步將視場圖像傳送至控制器。此后，控制器通過rgb分量分離和結(jié)構(gòu)光相移輪廓原理，分別得到所有手指的三維輪廓與姿態(tài)信息。最后，對左右兩個相機圖像獲得的每個指尖的三維位置及其姿態(tài)信息進行融合，得到最終的每個指尖的三維位置及其姿態(tài)信息。

11、本發(fā)明的基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)的特殊之處還在于，所述的濾光片為多帶通濾光片，通帶的數(shù)量與投影儀投射的相移編碼圖案的顏色一致，每個通帶的中心波長與投影儀投射的相移編碼圖案顏色中心波長一致，以便濾除環(huán)境光干擾，對檢測器起到保護、密封、防塵、防水的作用。

12、本發(fā)明提出一種基于上述的基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)的靈巧手指尖三維位姿檢測方法，具體如下：

13、（1）在控制器的控制下，投影儀向靈巧手所在區(qū)域投射一幅多種顏色的相移編碼圖案，每一種顏色對應(yīng)一種相移；

14、（2）控制器控制同步器同時觸發(fā)左右兩個鏡頭，同步將視場圖像成像到兩個相機的像面之上，并將圖像傳送至控制器；

15、（3）控制器分別提取左右兩個相機捕獲的圖像，提取rgb分量數(shù)據(jù)，獲得多福相移編碼圖案的圖像；

16、（4）控制器采用多步相移法，獲取靈巧手上各特征點的圖像像素坐標(biāo)；

17、（5）控制器根據(jù)結(jié)構(gòu)光三角測量原理實現(xiàn)像素-高度映射，得到每個點的空間三維坐標(biāo)值；

18、（6）控制器采用圖像閾值與三維模型融合分類方法，對各個手指進行分割，提取每個手指的三位輪廓；

19、（7）控制器采用數(shù)據(jù)擬合方法提取每個手指指尖的三維輪廓模型，通過計算獲得每個指尖的三維位置及其姿態(tài)信息；

20、（8）對左右兩個相機圖像獲得的每個指尖的三維位置及其姿態(tài)信息進行平均處理，得到最終的每個指尖的三維位置及其姿態(tài)信息。

技術(shù)特征：

1.一種基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)的特殊之處在于，所述的檢測系統(tǒng)包括檢測器和控制器兩個部分，二者通過電纜相連，所述的檢測器含有相機、鏡頭、投影儀、濾光片、同步器幾個部分，其中：

2.根據(jù)權(quán)利要求1所述的基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)，其特征還在于：所述的濾光片為多帶通濾光片，通帶的數(shù)量與投影儀投射的相移編碼圖案的顏色一致，每個通帶的中心波長與投影儀投射的相移編碼圖案顏色中心波長一致。

3.本發(fā)明提出一種基于上述的基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)的檢測方法，具體如下：

技術(shù)總結(jié)
本發(fā)明公開一種基于數(shù)字光柵投影的靈巧手三維位姿檢測系統(tǒng)。投影儀向靈巧手連續(xù)投射一幅具有相移的多色編碼圖案，左右兩個相機同步獲取靈巧手區(qū)域圖像。采用RGB分量分離和多步相移法，獲取靈巧手上各點的圖像像素坐標(biāo)。根據(jù)結(jié)構(gòu)光三角測量原理實現(xiàn)像素?高度映射，得到個點的空間三維坐標(biāo)值。采用圖像閾值與三維模型融合分類方法，對各個手指進行分割，提取每個手指的三位輪廓。采用數(shù)據(jù)擬合方法提取每個手指指尖的三維輪廓模型，通過計算獲得每個指尖的三維位置及其姿態(tài)信息。最后，對左右兩個相機圖像獲得的每個指尖的三維位置及其姿態(tài)信息進行融合，得到最終的每個指尖的三維位置及其姿態(tài)信息，實現(xiàn)靈巧手的靈活性與穩(wěn)定性檢測。

技術(shù)研發(fā)人員：趙輝
受保護的技術(shù)使用者：上海釗晟傳感技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9