本發(fā)明涉及人機交互領(lǐng)域，尤其涉及一種基于觸控傳感器圖像的三維相對觸摸力估計和人機交互方法。

背景技術(shù)：

1、隨著智能電子設(shè)備性能的提升和生產(chǎn)工藝的進步，觸控輸入設(shè)備已經(jīng)被廣泛運用于各類消費電子產(chǎn)品，例如筆記本電腦、智能手機、智能手表和虛擬現(xiàn)實(virtualreality，vr)設(shè)備等。傳統(tǒng)的觸控輸入設(shè)備通過低分辨率的電容圖像來確定手指與傳感器的接觸點，根據(jù)接觸點位置的變化來移動光標(biāo)或識別手勢操作。然而，由于手指表面易發(fā)生形變，導(dǎo)致與傳感器接觸面積變化較大，這會導(dǎo)致接觸點位置判斷存在誤差，從而降低手指觸控的準(zhǔn)確性。此外，為了考慮以上產(chǎn)品的易用性，觸控輸入設(shè)備通常設(shè)計成較小的面積，這導(dǎo)致用戶需多次在傳感器上滑動手指，才能將光標(biāo)或畫面移動到特定位置，進而降低了操作效率。同時，傳統(tǒng)的觸控輸入設(shè)備生成的電容圖像分辨率較低，包含的信息有限，通常僅用于確定接觸點位置坐標(biāo)，這極大地限制了交互方式的多樣性。

2、某些手機內(nèi)置了壓力敏感的傳感器，用于測量法向的壓力。還有研究者提出在手機側(cè)面安裝壓力敏感的傳感器，測量水平方向的力。但是這些方案增加了硬件成本，還增加了手機的尺寸，為手機的硬件設(shè)計也帶來了挑戰(zhàn)。

3、有研究者提出利用觸控圖像測量力，但是此類方法只使用了單幅觸控圖像進行壓力估計，由于不同用戶、不同手指的大小、形狀不同，導(dǎo)致該方法估計力時誤差大、魯棒性差，無法用來進行連續(xù)交互操作。另外，現(xiàn)有方法僅僅估計垂直于平面的法向力，只能提供一個操作維度，對現(xiàn)有觸控交互方式的效率提升有限。此外，現(xiàn)有的方法沒有解決新手勢與傳統(tǒng)交互手勢的兼容性，不能準(zhǔn)確區(qū)分多種手勢。

4、因此，仍然有待開發(fā)更加準(zhǔn)確的基于觸控的力測量技術(shù)和交互技術(shù)。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

2、為此，本發(fā)明的第一個目的在于提出一種基于觸控傳感器圖像的三維相對觸摸力估計和人機交互方法，以使基于觸控的力測量更加準(zhǔn)確，進而提高人機交互的準(zhǔn)確性。

3、本發(fā)明的第二個目的在于提出一種基于觸控傳感器圖像的三維相對觸摸力估計和人機交互系統(tǒng)。

4、本發(fā)明的第三個目的在于提出一種電子設(shè)備。

5、本發(fā)明的第四個目的在于提出一種計算機可讀存儲介質(zhì)。

6、為達上述目的，本發(fā)明第一方面提出了一種基于觸控傳感器圖像的三維相對觸摸力估計和人機交互方法，包括：

7、實時獲取連續(xù)的觸控傳感器圖像；

8、每次從所述連續(xù)的觸控傳感器圖像選擇相鄰多幀觸控傳感器圖像進行對齊，然后輸入訓(xùn)練好的三維相對觸摸力估計模型輸出與每次相鄰多幀觸控傳感器圖像對應(yīng)的三維相對觸摸力估計值，其中三維相對觸摸力是三維觸摸力的變化量，三維觸摸力包括垂直于觸控傳感器表面的壓力、平行于觸控傳感器表面的橫向力和縱向力；

9、基于設(shè)定時間段內(nèi)得到的所述三維相對觸摸力估計值按預(yù)設(shè)交互方式執(zhí)行動作。

10、在本發(fā)明的第一方面的方法中，所述每次從所述連續(xù)的觸控傳感器圖像選擇相鄰多幀觸控傳感器圖像進行對齊，包括：每次從所述連續(xù)的觸控傳感器圖像選擇相鄰多幀觸控傳感器圖像，分別計算所述相鄰多幀觸控傳感器圖像的手指區(qū)域的中心點，并根據(jù)手指區(qū)域的中心點將所述相鄰多幀觸控傳感器圖像進行對齊。

11、在本發(fā)明的第一方面的方法中，所述根據(jù)手指區(qū)域的中心點將所述相鄰多幀觸控傳感器圖像進行對齊，包括：若所述相鄰多幀觸控傳感器圖像中各幀觸控傳感器圖像均有一個手指區(qū)域的中心點，則基于該一個手指區(qū)域的中心點將所述相鄰多幀觸控傳感器圖像對齊；若所述相鄰多幀觸控傳感器圖像中各幀觸控傳感器圖像均有多個手指區(qū)域，則每次對齊處理針對一個目標(biāo)手指，基于各幀觸控傳感器圖像中所述目標(biāo)手指的手指區(qū)域的中心點將所述相鄰多幀觸控傳感器圖像對齊。

12、在本發(fā)明的第一方面的方法中，所述三維相對觸摸力估計模型包括力度估計模塊和多個特征提取模塊，特征提取模塊的個數(shù)與所述相鄰多幀觸控傳感器圖像的幀數(shù)相等，每個特征提取模塊的輸入為所述相鄰多幀觸控傳感器圖像中的一幀觸控傳感器圖像，所有特征提取模塊的輸出為力度估計模塊的輸入。

13、在本發(fā)明的第一方面的方法中，所述三維相對觸摸力估計模型基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建得到。

14、在本發(fā)明的第一方面的方法中，所述預(yù)設(shè)交互方式包括多種場景信號和多種交互模式的第一映射關(guān)系，其中多種交互模式包括離散模式和連續(xù)模式，當(dāng)交互模式為離散模式時，所述預(yù)設(shè)交互方式還包括多種操作意圖信號與多種功能的第二映射關(guān)系，當(dāng)交互模式為連續(xù)模式時，所述預(yù)設(shè)交互方式還包括三維相對觸摸力估計值與多種功能的第三映射關(guān)系。

15、在本發(fā)明的第一方面的方法中，所述基于設(shè)定時間段內(nèi)得到的所述三維相對觸摸力估計值按預(yù)設(shè)交互方式執(zhí)行動作，包括：基于檢測到的當(dāng)前場景信號和對應(yīng)的所述預(yù)設(shè)交互方式確定當(dāng)前交互模式；若所述當(dāng)前交互模式為離散模式，則基于設(shè)定時間段內(nèi)得到的所述三維相對觸摸力估計值確定當(dāng)前操作意圖信號；基于當(dāng)前操作意圖信號和對應(yīng)的所述預(yù)設(shè)交互方式的第二映射關(guān)系確定所需功能；按所述所需功能執(zhí)行動作。

16、為達上述目的，本發(fā)明第二方面提出了一種基于觸控傳感器圖像的三維相對觸摸力估計和人機交互系統(tǒng)，包括：

17、觸控傳感器圖像采集模塊，用于實時獲取連續(xù)的觸控傳感器圖像；

18、三維相對觸摸力估計模塊，用于每次從所述連續(xù)的觸控傳感器圖像選擇相鄰多幀觸控傳感器圖像進行對齊，然后輸入訓(xùn)練好的三維相對觸摸力估計模型輸出與每次相鄰多幀觸控傳感器圖像對應(yīng)的三維相對觸摸力估計值，其中三維相對觸摸力是三維觸摸力的變化量，三維觸摸力包括垂直于觸控傳感器表面的壓力、平行于觸控傳感器表面的橫向力和縱向力；

19、交互控制模塊，用于基于設(shè)定時間段內(nèi)得到的所述三維相對觸摸力估計值按預(yù)設(shè)交互方式執(zhí)行動作。

20、為達上述目的，本發(fā)明第三方面提出了一種電子設(shè)備，包括：處理器，以及與所述處理器通信連接的存儲器；所述存儲器存儲計算機執(zhí)行指令；所述處理器執(zhí)行所述存儲器存儲的計算機執(zhí)行指令，以實現(xiàn)本發(fā)明第一方面提出的方法。

21、為達上述目的，本發(fā)明第四方面提出了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，所述計算機執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)本發(fā)明第一方面提出的方法。

22、本發(fā)明提供的基于觸控傳感器圖像的三維相對觸摸力估計和人機交互方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，通過實時獲取連續(xù)的觸控傳感器圖像；每次從連續(xù)的觸控傳感器圖像選擇相鄰多幀觸控傳感器圖像進行對齊，然后輸入訓(xùn)練好的三維相對觸摸力估計模型輸出與每次相鄰多幀觸控傳感器圖像對應(yīng)的三維相對觸摸力估計值，其中三維相對觸摸力是三維觸摸力的變化量，三維觸摸力包括垂直于觸控傳感器表面的壓力、平行于觸控傳感器表面的橫向力和縱向力；基于設(shè)定時間段內(nèi)得到的三維相對觸摸力估計值按預(yù)設(shè)交互方式執(zhí)行動作。在這種情況下，綜合考慮垂直于觸控傳感器表面的壓力、平行于觸控傳感器表面的橫向力和縱向力，利用相鄰多幀觸控傳感器圖像估算三維相對觸摸力，從而使得基于觸控的力測量更加準(zhǔn)確，另外還基于設(shè)定時間段內(nèi)得到的三維相對觸摸力估計值按預(yù)設(shè)交互方式執(zhí)行動作，充分利用了三維接觸力，提高了人機交互的準(zhǔn)確性。

23、本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。