本發(fā)明涉及機(jī)器人觸覺(jué)感知，尤其涉及一種基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法、系統(tǒng)、終端及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、機(jī)器人的觸覺(jué)感知能力在機(jī)器抓取、操作以及人機(jī)交互中起著非常重要的作用。根據(jù)人體指尖的結(jié)構(gòu)、材料屬性、功能等方面特征的指導(dǎo)，結(jié)合不同傳感原理，設(shè)計(jì)擬人化的觸覺(jué)手指，能夠使機(jī)器人具有敏感度高的觸覺(jué)感知能力。在機(jī)器人觸覺(jué)感知過(guò)程中，包含形狀、力、紋理等多種不同的屬性，對(duì)于多種屬性的觸覺(jué)識(shí)別，在機(jī)器觸覺(jué)感知方面具有重要作用，它對(duì)于觸覺(jué)傳感具有高要求。

2、目前，有很多種傳感原理能夠?qū)崿F(xiàn)觸覺(jué)信號(hào)的獲取，主要包括壓電式、光學(xué)式等，而單一類(lèi)型傳感器受限于各自原理，存在著有限的應(yīng)用場(chǎng)景?；趦煞N及兩種以上的傳感原理，能夠發(fā)揮不同傳感原理的優(yōu)勢(shì)，實(shí)現(xiàn)不同傳感模態(tài)之間的優(yōu)勢(shì)互補(bǔ)。相比于其它傳感器原理，光學(xué)式傳感結(jié)構(gòu)簡(jiǎn)單緊湊，空間分辨率高，對(duì)于靜態(tài)按壓和低頻接觸具有高的敏感度，還能夠用與磁共振成像技術(shù)共用于外科手術(shù)機(jī)器人的觸覺(jué)傳感。然而，基于相機(jī)的光學(xué)式傳感器，也叫做視觸覺(jué)傳感器，它的時(shí)間響應(yīng)速度取決于相機(jī)幀速，這又進(jìn)一步限制了傳感器的尺寸，在觸覺(jué)手指尺度上，時(shí)間分辨率低。而壓電傳感器的一個(gè)突出優(yōu)點(diǎn)是無(wú)需電源，同時(shí)具有靈敏度高、可靠性高、動(dòng)態(tài)響應(yīng)快等特點(diǎn)，其1hz-1khz的寬響應(yīng)范圍可以用于振動(dòng)測(cè)量，然而由于靜態(tài)力持續(xù)作用時(shí)電壓會(huì)不斷降低，壓電傳感器不適合靜態(tài)力的測(cè)量，同時(shí)其空間分辨率低，溫度穩(wěn)定性差。

3、當(dāng)前基于視觸覺(jué)傳感方法中，存在時(shí)間響應(yīng)速度受限于幀速的問(wèn)題，在壓電式傳感方法中，存在空間分辨率有限、靜態(tài)響應(yīng)差等問(wèn)題，并且現(xiàn)有的多模態(tài)觸覺(jué)傳感器缺少數(shù)據(jù)融合的過(guò)程，例如，壓電傳感器陣列獲取到的振動(dòng)頻率信息未與視觸覺(jué)所獲得的信息進(jìn)行融合，導(dǎo)致沒(méi)有解析一定空間分辨率下的局部區(qū)域頻率信息。

4、因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，旨在解決現(xiàn)有技術(shù)的單一傳感器存在時(shí)間響應(yīng)速度受限于幀速，及空間分辨率有限、靜態(tài)響應(yīng)差，而多模態(tài)觸覺(jué)傳感器缺少數(shù)據(jù)融合的過(guò)程的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法及系統(tǒng)，所述基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法包括如下步驟：

3、獲取所述仿生觸覺(jué)手指產(chǎn)生的電荷信號(hào)，對(duì)所述電荷信號(hào)進(jìn)行預(yù)處理，得到壓電數(shù)字信號(hào)；

4、獲取所述仿生觸覺(jué)手指拍攝的圖像序列，對(duì)所述圖像序列進(jìn)行信號(hào)處理，得到視觸覺(jué)信號(hào)；

5、對(duì)所述壓電數(shù)字信號(hào)和所述視觸覺(jué)信號(hào)進(jìn)行融合處理，得到時(shí)空觸覺(jué)信號(hào)，對(duì)所述時(shí)空觸覺(jué)信號(hào)分別進(jìn)行表面三維重建和頻譜分析，得到多模態(tài)觸覺(jué)信息。

6、可選地，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，其中，所述獲取所述仿生觸覺(jué)手指產(chǎn)生的電荷信號(hào)，對(duì)所述電荷信號(hào)進(jìn)行預(yù)處理，得到壓電數(shù)字信號(hào)，具體包括：

7、當(dāng)檢測(cè)到所述仿生觸覺(jué)手指受到外界刺激產(chǎn)生電荷信號(hào)時(shí)，獲取感知區(qū)域的電荷信號(hào)，對(duì)所述電荷信號(hào)進(jìn)行信號(hào)放大，得到目標(biāo)電荷信號(hào)，并對(duì)所述目標(biāo)電荷信號(hào)進(jìn)行轉(zhuǎn)換處理，得到電壓信號(hào)；

8、對(duì)所述電壓信號(hào)進(jìn)行濾波處理，得到目標(biāo)電壓信號(hào)，并對(duì)所述目標(biāo)電壓信號(hào)進(jìn)行數(shù)字轉(zhuǎn)化，得到壓電數(shù)字信號(hào)。

9、可選地，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，其中，所述獲取所述仿生觸覺(jué)手指拍攝的圖像序列，對(duì)所述圖像序列進(jìn)行信號(hào)處理，得到視觸覺(jué)信號(hào)，具體包括：

10、當(dāng)檢測(cè)到所述仿生觸覺(jué)手指受到外界刺激，且拍攝到對(duì)應(yīng)標(biāo)記點(diǎn)的圖像序列時(shí)，獲取感知區(qū)域的圖像序列，并對(duì)所述圖像序列進(jìn)行分離處理，得到壓電薄膜圖像和標(biāo)記點(diǎn)圖像；

11、根據(jù)壓電薄膜面積和排布的相對(duì)關(guān)系對(duì)所述壓電薄膜圖像進(jìn)行區(qū)分處理，得到對(duì)應(yīng)的空間位置信息，并根據(jù)所述空間位置信息和所述圖像序列得到第一圖像序列信息；

12、根據(jù)所述標(biāo)記點(diǎn)圖像記錄每個(gè)標(biāo)記點(diǎn)的位置信息，根據(jù)所有所述位置信息和所述圖像序列得到第二圖像序列信息，并根據(jù)所述第一圖像序列信息和所述第二圖像序列信息構(gòu)建對(duì)應(yīng)的視觸覺(jué)信號(hào)。

13、可選地，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，其中，所述對(duì)所述壓電數(shù)字信號(hào)和所述視觸覺(jué)信號(hào)進(jìn)行融合處理，得到時(shí)空觸覺(jué)信號(hào)，具體包括：

14、對(duì)所述第一圖像序列信息和所述第二圖像序列信息進(jìn)行信息比較，得到所述感知區(qū)域的空間坐標(biāo)信息；

15、將所述壓電數(shù)字信號(hào)的時(shí)間起點(diǎn)與所述視觸覺(jué)信號(hào)的時(shí)間起點(diǎn)進(jìn)行對(duì)齊處理，得到所述感知區(qū)域的時(shí)序信號(hào)；

16、根據(jù)所述空間坐標(biāo)信息和所述時(shí)序信號(hào)得到時(shí)空觸覺(jué)信號(hào)。

17、可選地，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，其中，所述時(shí)空觸覺(jué)信號(hào)包括觸覺(jué)空間信號(hào)和觸覺(jué)時(shí)序信號(hào)；

18、所述對(duì)所述時(shí)空觸覺(jué)信號(hào)分別進(jìn)行表面三維重建和頻譜分析，得到多模態(tài)觸覺(jué)信息，具體包括：

19、對(duì)所述觸覺(jué)空間信號(hào)對(duì)感知區(qū)域進(jìn)行表面三維重建，得到三維重建結(jié)果；

20、設(shè)定目標(biāo)時(shí)間間隔，根據(jù)所述目標(biāo)時(shí)間間隔對(duì)所述觸覺(jué)時(shí)序信號(hào)進(jìn)行頻譜轉(zhuǎn)換，得到振動(dòng)主頻率信息；

21、根據(jù)所述三維重建結(jié)果和所述振動(dòng)主頻率信息得到多模態(tài)觸覺(jué)信息。

22、可選地，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，其中，所述觸覺(jué)空間信號(hào)的類(lèi)型包括單鏡面反射和多鏡面反射；

23、所述對(duì)所述觸覺(jué)空間信號(hào)對(duì)感知區(qū)域進(jìn)行表面三維重建，得到三維重建結(jié)果，具體包括：

24、若所述觸覺(jué)空間信號(hào)的類(lèi)型為單鏡面反射，則通過(guò)預(yù)設(shè)方式對(duì)所述感知區(qū)域的二維坐標(biāo)進(jìn)行三維重建，得到三維重建結(jié)果，其中，所述預(yù)設(shè)方式包括坐標(biāo)點(diǎn)梯度積分和標(biāo)記點(diǎn)面積縮放比例；

25、若所述觸覺(jué)空間信號(hào)的類(lèi)型為多鏡面反射，則構(gòu)建虛擬雙目視覺(jué)系統(tǒng)，通過(guò)所述虛擬雙目視覺(jué)系統(tǒng)計(jì)算所述感知區(qū)域的每個(gè)位置的三維坐標(biāo)，并對(duì)所有三維坐標(biāo)進(jìn)行插值處理，得到三維重建結(jié)果。

26、可選地，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，其中，所述根據(jù)所述空間坐標(biāo)信息和所述時(shí)序信號(hào)得到時(shí)空觸覺(jué)信號(hào)，之后還包括：

27、根據(jù)所述空間坐標(biāo)信息和所述時(shí)序信號(hào)對(duì)所述感知區(qū)域的目標(biāo)信息進(jìn)行識(shí)別感知，得到感知結(jié)果，其中，所述目標(biāo)信息包括形狀信息、紋理信息、靜態(tài)力信息和動(dòng)態(tài)力信息。

28、可選地，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法，其中，所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知系統(tǒng)包括：仿生觸覺(jué)手指、信號(hào)處理模塊和融合分析模塊；

29、所述仿生觸覺(jué)手指包括仿生指紋模塊、壓電傳感模塊、視觸覺(jué)傳感模塊和壓電信號(hào)調(diào)制電路模塊；

30、所述仿生指紋模塊，用于與物體進(jìn)行接觸；

31、所述壓電傳感模塊，用于當(dāng)所述仿生指紋模塊接觸所述物體時(shí)，產(chǎn)生對(duì)應(yīng)的電荷信號(hào)；

32、所述視觸覺(jué)傳感模塊，用于當(dāng)所述仿生指紋模塊接觸所述物體時(shí)，拍攝對(duì)應(yīng)的圖像序列；

33、壓電信號(hào)調(diào)制電路模塊，用于對(duì)所述電荷信號(hào)進(jìn)行預(yù)處理，得到壓電數(shù)字信號(hào)；

34、信號(hào)處理模塊，用于對(duì)所述圖像序列進(jìn)行信號(hào)處理，得到視觸覺(jué)信號(hào)；

35、融合分析模塊，用于對(duì)所述壓電數(shù)字信號(hào)和所述視觸覺(jué)信號(hào)進(jìn)行融合處理，得到時(shí)空觸覺(jué)信號(hào)，對(duì)所述時(shí)空觸覺(jué)信號(hào)分別進(jìn)行表面三維重建和頻譜分析，得到多模態(tài)觸覺(jué)信息。

36、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種終端，其中，所述終端包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知程序，所述基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法的步驟。

37、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知程序，所述基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于仿生觸覺(jué)手指的多模態(tài)仿生觸覺(jué)感知方法的步驟。

38、本發(fā)明中，獲取所述仿生觸覺(jué)手指產(chǎn)生的電荷信號(hào)，對(duì)所述電荷信號(hào)進(jìn)行預(yù)處理，得到壓電數(shù)字信號(hào)；獲取所述仿生觸覺(jué)手指拍攝的圖像序列，對(duì)所述圖像序列進(jìn)行信號(hào)處理，得到視觸覺(jué)信號(hào)；對(duì)所述壓電數(shù)字信號(hào)和所述視觸覺(jué)信號(hào)進(jìn)行融合處理，得到時(shí)空觸覺(jué)信號(hào)，對(duì)所述時(shí)空觸覺(jué)信號(hào)分別進(jìn)行表面三維重建和頻譜分析，得到多模態(tài)觸覺(jué)信息。本發(fā)明基于手指仿生特征，集成壓電傳感器和視觸覺(jué)傳感器，設(shè)計(jì)仿生觸覺(jué)手指，在時(shí)間和空間維度上進(jìn)行了數(shù)據(jù)融合，實(shí)現(xiàn)多模態(tài)觸覺(jué)感知能力，通過(guò)結(jié)構(gòu)仿生和功能仿生，機(jī)器人觸覺(jué)在空間敏感度、時(shí)間敏感度、靜態(tài)力與動(dòng)態(tài)力感知等方面具有較好的綜合表現(xiàn)，從而使得機(jī)器人觸覺(jué)獲得不同時(shí)空下不同振動(dòng)刺激的識(shí)別和定位能力。