本公開涉及識別由手持控制器上的手指手勢提供的輸入，并且更具體地涉及使用從與手持控制器相關(guān)聯(lián)的多個傳感器和部件收集的多模態(tài)數(shù)據(jù)來驗證經(jīng)由手指手勢提供的輸入。

背景技術(shù)：

1、隨著不同裝置上可供用戶使用的交互式應(yīng)用程序和視頻游戲的數(shù)量不斷增加，準(zhǔn)確檢測經(jīng)由不同裝置提供的輸入變得尤為重要。例如，必須適當(dāng)識別和正確解釋用戶使用手持控制器提供的視頻游戲的輸入，以便準(zhǔn)確影響視頻游戲的游戲狀態(tài)。僅依賴單一數(shù)據(jù)模式(例如，跟蹤手指手勢的圖像)可能會導(dǎo)致視頻游戲中的錯誤結(jié)果。

2、正是在此背景下提出了本公開的實施方案。

技術(shù)實現(xiàn)思路

1、本公開的實現(xiàn)方式涉及用于提供多模態(tài)手指跟蹤以檢測和驗證輸入裝置(諸如手持控制器)上提供的手指手勢的系統(tǒng)和方法。多模態(tài)手指跟蹤和驗證確保適當(dāng)識別和正確解釋手指手勢，從而減少僅依賴單一跟蹤模式而導(dǎo)致的錯誤。使用與手持控制器(以下簡稱為“控制器”)相關(guān)聯(lián)的多個傳感器和部件捕獲的多種數(shù)據(jù)模態(tài)來生成和訓(xùn)練自定義手指跟蹤模型(例如，組合模型(ensemble?model))，以提高檢測和解釋手指手勢的準(zhǔn)確性。

2、檢測輸入的傳統(tǒng)方式依賴于單一數(shù)據(jù)源模型。例如，傳統(tǒng)方式依賴于通用相機(即，單一數(shù)據(jù)源)來檢測和跟蹤控制器上用戶的手指。使用單一源的跟蹤準(zhǔn)確性不太可靠且易于出錯，從而導(dǎo)致交互式應(yīng)用程序處的結(jié)果不盡如人意。為了克服傳統(tǒng)方式的缺點，從與控制器相關(guān)聯(lián)的多個傳感器和部件收集多模態(tài)數(shù)據(jù)，所述多個傳感器和部件用于提供輸入并用于驗證控制器處的手指手勢檢測。所收集的多模態(tài)數(shù)據(jù)用于生成和訓(xùn)練多模態(tài)數(shù)據(jù)模型，所述多模態(tài)數(shù)據(jù)模型然后用于正確解釋手指手勢。由于使用多種數(shù)據(jù)模式來生成和訓(xùn)練模型，因此多模態(tài)數(shù)據(jù)模型在本文中也稱為“組合模型”。根據(jù)針對不同手指手勢定義的訓(xùn)練規(guī)則，使用隨著時間推移收集的額外多模態(tài)數(shù)據(jù)，對組合模型進行不斷訓(xùn)練。從組合模型中選擇一個輸出并使用該輸出來確認(rèn)/驗證在控制器處檢測到的手指手勢。手指手勢可以對應(yīng)于按下真實按鈕或按下控制器上定義的虛擬按鈕或控制器上設(shè)置的觸摸屏界面上提供的輸入，并且輸出被識別為與手指手勢的正確解釋相對應(yīng)。虛擬按鈕可以在沒有真實按鈕的控制器的任何表面上識別，并且虛擬按鈕上的手指手勢可以定義為單擊或雙擊或按壓或在特定方向上滑動等。

3、該模型通過以下方式并入了多模態(tài)手指跟蹤技術(shù)：在生成和訓(xùn)練組合模型時，考慮了數(shù)個模型部件，如使用來自圖像捕獲裝置的圖像饋送進行手指跟蹤、來自設(shè)置在控制器中的imu傳感器的慣性測量單元(imu)數(shù)據(jù)、來自設(shè)置在用戶所在環(huán)境中的無線裝置的無線信號、來自各種傳感器(諸如距離/接近傳感器、壓力傳感器等)的數(shù)據(jù)。組合模型通過使用來自多于一種模式的數(shù)據(jù)跟蹤和驗證手指手勢，來幫助準(zhǔn)確檢測在控制器處提供的手指手勢。

4、在一個實現(xiàn)方式中，公開了一種用于驗證在控制器處提供的輸入的方法。所述方法包括檢測由用戶在控制器的表面上提供的手指手勢。所述手指手勢用于定義由用戶選擇用于交互的交互式應(yīng)用程序的輸入。通過使用與控制器相關(guān)聯(lián)的多個傳感器和部件跟蹤控制器上的手指手勢來收集多模態(tài)數(shù)據(jù)。使用從多個傳感器和部件接收的多模態(tài)數(shù)據(jù)生成組合模型。使用隨著時間推移收集的額外多模態(tài)數(shù)據(jù)對組合模型進行不斷訓(xùn)練以生成不同的輸出，其中訓(xùn)練是根據(jù)針對不同手指手勢定義的訓(xùn)練規(guī)則。使用機器學(xué)習(xí)算法來生成并訓(xùn)練組合模型以定義不同的輸出。針對手指手勢識別來自組合模型的輸出。從組合模型識別的輸出被解釋為定義交互式應(yīng)用程序的輸入。

5、在替代的實現(xiàn)方式中，公開了一種用于定義交互式應(yīng)用程序的輸入的方法。所述方法包括接收由用戶在控制器的表面上提供的手指手勢。所述手指手勢用于定義由用戶選擇用于交互的交互式應(yīng)用程序的輸入。從與控制器相關(guān)聯(lián)的多個傳感器和部件接收捕獲控制器上的手指手勢的屬性的多模態(tài)數(shù)據(jù)。向與由多個傳感器和部件捕獲的多模態(tài)數(shù)據(jù)中所包括的每個模式相對應(yīng)的模態(tài)數(shù)據(jù)分配權(quán)重。為每個模式分配的權(quán)重指示使用每個模式的模態(tài)數(shù)據(jù)準(zhǔn)確預(yù)測手指手勢?；诜峙浣o每個模式的權(quán)重來處理手指手勢和多模態(tài)數(shù)據(jù)，以識別與在控制器處檢測到的手指手勢相對應(yīng)的交互式應(yīng)用程序的輸入。

6、通過以下結(jié)合附圖進行的以舉例方式說明本公開原理的詳細(xì)描述，本公開的其他方面和優(yōu)點將變得顯而易見。

技術(shù)特征：

1.一種用于驗證在控制器處提供的輸入的方法，其包括：

2.如權(quán)利要求1所述的方法，其中識別所述輸出包括：

3.如權(quán)利要求2所述的方法，其中分配給由所述多個傳感器和部件中的每個傳感器捕獲的所述模態(tài)數(shù)據(jù)的所述權(quán)重大于分配給由所述多個傳感器和部件中的每個部件捕獲的所述模態(tài)數(shù)據(jù)的所述權(quán)重，并且

4.如權(quán)利要求2所述的方法，其中針對所述多模態(tài)數(shù)據(jù)中所包括的不同模式捕獲的所述模態(tài)數(shù)據(jù)被分配相同的權(quán)重。

5.如權(quán)利要求2所述的方法，其中針對所述多模態(tài)數(shù)據(jù)中所包括的每個模式捕獲的所述模態(tài)數(shù)據(jù)被分配不同的權(quán)重。

6.如權(quán)利要求1所述的方法，其中根據(jù)針對所述不同手指手勢定義的訓(xùn)練規(guī)則來訓(xùn)練所述組合模型，其中所述訓(xùn)練規(guī)則是基于手指解剖結(jié)構(gòu)、手指相對于所述控制器上的輸入控件的位置以及所述用戶的控制器握持風(fēng)格定義的。

7.如權(quán)利要求1所述的方法，其中所述多模態(tài)數(shù)據(jù)包括從所述多個傳感器和部件收集的視頻數(shù)據(jù)、音頻數(shù)據(jù)、圖像數(shù)據(jù)、傳感器數(shù)據(jù)和無線信號，并且

8.如權(quán)利要求1所述的方法，其中所述多個傳感器包括慣性測量單元(imu)傳感器、或壓力傳感器、或接近傳感器、或距離傳感器、或電容傳感器中的任一者或其組合，并且

9.如權(quán)利要求1所述的方法，其中所述多模態(tài)數(shù)據(jù)包括wifi信號，所述wifi信號包括由所述一個或多個無線通信裝置捕獲的前向信號和反射信號，所述前向信號和所述反射信號被解釋為定義所述用戶的身體部位的快照，當(dāng)所述用戶提供所述手指手勢時，所述身體部位的快照用于重建所述用戶的一個或多個手指的移動。

10.如權(quán)利要求1所述的方法，其中所述多個傳感器和部件包括圖像捕獲裝置，

11.如權(quán)利要求10所述的方法，其中所述圖像捕獲裝置是集成在移動計算裝置中的相機，或網(wǎng)絡(luò)相機，或游戲控制臺的圖像捕獲裝置，或計算裝置的圖像捕獲裝置或頭戴式顯示器的相機，其中所述圖像捕獲裝置通信地耦合到所述控制器。

12.如權(quán)利要求11所述的方法，其中當(dāng)所述圖像捕獲裝置是所述移動計算裝置的所述相機時，所述移動計算裝置被布置在耦合到所述控制器的保持結(jié)構(gòu)上，所述保持結(jié)構(gòu)包括電機，所述電機被配置為接收和保持所述移動計算裝置并動態(tài)地調(diào)整所述相機的角度以與校準(zhǔn)的角度對齊，從而使得能夠在所述用戶執(zhí)行手指手勢時捕獲由所述用戶的所述手指握住的不同位置的圖像，并且

13.如權(quán)利要求1所述的方法，其中所述多個傳感器和部件包括一個或多個慣性測量單元傳感器(imu)，所述imu被配置為檢測所述用戶在所述控制器的所述表面上的手指手勢并生成imu信號，并且

14.如權(quán)利要求1所述的方法，其中所述多個傳感器和部件包括嵌入在所述控制器內(nèi)或耦合到所述控制器的傳聲器陣列，

15.一種用于定義交互式應(yīng)用程序的輸入的方法，其包括：

16.如權(quán)利要求15所述的方法，其中處理所述手指手勢和所述多模態(tài)數(shù)據(jù)包括：

17.如權(quán)利要求16所述的方法，其中所述訓(xùn)練規(guī)則是基于手指解剖結(jié)構(gòu)、手指相對于所述控制器上的輸入控件的位置以及所述用戶的控制器握持風(fēng)格來定義的。

18.如權(quán)利要求15所述的方法，其中所述處理所述手指手勢包括使用分配給所述多模態(tài)數(shù)據(jù)中所包括的每個模式的所述模態(tài)數(shù)據(jù)的所述權(quán)重來計算所述多模態(tài)數(shù)據(jù)的累積權(quán)重，所述累積權(quán)重用于識別所述交互式應(yīng)用程序的所述輸入。

19.如權(quán)利要求15所述的方法，其中所述多個傳感器包括慣性測量單元(imu)傳感器、或距離傳感器、或壓力傳感器、或接近傳感器、或電容傳感器中的任一者或其組合，

20.如權(quán)利要求15所述的方法，其中所述多模態(tài)數(shù)據(jù)包括由所述多個傳感器捕獲的第一組所述模態(tài)數(shù)據(jù)和由所述多個部件捕獲的第二組所述模態(tài)數(shù)據(jù)，并且

技術(shù)總結(jié)
提供了用于驗證在控制器處提供的輸入的方法和系統(tǒng)，包括檢測所述控制器的表面上的手指手勢。響應(yīng)于檢測到手指手勢，從跟蹤手指手勢的多個傳感器和部件收集多模態(tài)數(shù)據(jù)。多模態(tài)數(shù)據(jù)用于使用機器學(xué)習(xí)算法生成組合模型。根據(jù)針對不同手指手勢定義的訓(xùn)練規(guī)則來訓(xùn)練組合模型。針對手指手勢識別來自組合模型的輸出。輸出被解釋為定義被選擇用于交互的交互式應(yīng)用程序的輸入。

技術(shù)研發(fā)人員：J·A·帕拉西奧斯,C·R·桑達(dá)拉姆,M·安東尼,M·哈迪斯蒂,S·班薩爾
受保護的技術(shù)使用者：索尼互動娛樂股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6