本技術(shù)涉及擴展現(xiàn)實,尤其涉及一種信息交互方法、裝置、頭戴式顯示器、穿戴設(shè)備及介質(zhì)。
背景技術(shù):
1、隨著智能化技術(shù)的不斷進(jìn)步,擴展現(xiàn)實(extended?reality,xr)技術(shù)在各個領(lǐng)域的應(yīng)用也愈加廣泛和深入。xr技術(shù)有望在娛樂、教育、醫(yī)療、建筑等領(lǐng)域發(fā)揮更大作用,改變?nèi)藗兊纳詈凸ぷ鞣绞健?/p>
2、基于xr技術(shù)的可穿戴設(shè)備一般包括頭戴式顯示器和手柄,頭戴式顯示器為用戶提供可視化的虛擬內(nèi)容,手柄可以為頭戴式顯示器提供穩(wěn)定和高效的輸入,還可以為用戶提供和虛擬內(nèi)容交互時的觸覺反饋,因此,頭戴式顯示器與手柄之間的穩(wěn)定通信,以及手柄和頭戴式顯示器的精準(zhǔn)定位非常重要。
3、相關(guān)技術(shù)中,可以采用超聲波或陀螺儀,對手柄和頭戴式顯示器的空間位姿進(jìn)行定位和追蹤,并基于手柄和頭戴式顯示器的空間位姿為用戶提供虛擬內(nèi)容,但是存在位姿定位精度不高的問題,影響用戶的虛擬交互體驗。
技術(shù)實現(xiàn)思路
1、本技術(shù)提供一種信息交互方法、裝置、頭戴式顯示器、穿戴設(shè)備及介質(zhì),用于解決現(xiàn)有技術(shù)中位姿定位精度不高的問題。
2、根據(jù)本技術(shù)的一個方面,提供了一種信息交互方法,應(yīng)用于智能穿戴設(shè)備的頭戴式顯示器,該智能穿戴設(shè)備還包括配置有多個發(fā)光器件的手柄,頭戴式顯示器配置有圖像采集器,上述方法包括:
3、基于初始曝光模式采集第一曝光圖像信息,并獲取頭戴式顯示器的第一空間位移信息;根據(jù)第一曝光圖像信息和第一空間位移信息,確定頭戴式顯示器的頭顯位姿;其中,多個發(fā)光器件在初始曝光模式下保持初始亮度;
4、當(dāng)確定圖像采集器的曝光信號,向手柄發(fā)送曝光信號,以控制手柄的多個發(fā)光器件在目標(biāo)曝光時長內(nèi)切換為目標(biāo)亮度;其中,目標(biāo)亮度大于初始亮度;初始曝光模式的曝光時長大于目標(biāo)曝光時長;
5、在目標(biāo)曝光時長內(nèi),基于目標(biāo)曝光模式采集第二曝光圖像信息,并獲取手柄的第二空間位移信息;基于第二曝光圖像信息和第二空間位移信息,確定手柄的手柄位姿;
6、基于頭顯位姿和手柄位姿,確定頭戴式顯示器所輸出的虛擬交互內(nèi)容。
7、在一個可能的實現(xiàn)方式中,上述確定圖像采集器的曝光信號,包括:
8、每隔預(yù)設(shè)時間間隔,確定圖像采集器的曝光信號;其中,預(yù)設(shè)時間間隔是基于目標(biāo)曝光模式的幀率確定的。
9、在又一個可能的實現(xiàn)方式中,上述確定圖像采集器的曝光信號,包括:
10、基于圖像采集器的曝光狀態(tài)確定曝光信號;其中,曝光信號的發(fā)送時間前置于目標(biāo)曝光模式的啟動時間。
11、在又一個可能的實現(xiàn)方式中,上述基于目標(biāo)曝光模式采集第二曝光圖像信息之后,包括:
12、將第二曝光圖像信息存儲到預(yù)設(shè)的曝光圖像信息集合中;
13、在基于第二曝光圖像信息和第二空間位移信息,確定手柄的手柄位姿之前,方法還包括:
14、從曝光圖像信息集合中,提取第二曝光圖像信息。
15、在另一個可能的實現(xiàn)方式中,上述第二曝光圖像信息被賦予有曝光標(biāo)簽;
16、從曝光圖像信息集合中,提取第二曝光圖像信息,包括:
17、根據(jù)曝光標(biāo)簽,從曝光圖像信息集合中篩選得到第二曝光圖像信息。
18、在另一個可能的實現(xiàn)方式中,上述從曝光圖像信息集合中,提取第二曝光圖像信息,包括:
19、針對曝光圖像信息集合中的每一曝光圖像信息,采樣得到每個曝光圖像信息的多個像素點;
20、基于多個像素點的灰度值,確定每一曝光圖像信息的亮度;
21、當(dāng)亮度小于預(yù)設(shè)亮度閾值,將亮度對應(yīng)的曝光圖像信息確定為第二曝光圖像信息。
22、在另一個可能的實現(xiàn)方式中,上述基于第二曝光圖像信息和第二空間位移信息,確定手柄的手柄位姿,包括:
23、根據(jù)第二曝光圖像信息和第二空間位移信息進(jìn)行位姿預(yù)測,得到初始位姿信息;
24、獲取頭戴式顯示器的第一空間位移信息;
25、基于第一空間位移信息對初始位移信息進(jìn)行矯正,得到手柄的手柄位姿。
26、在另一個可能的實現(xiàn)方式中,上述根據(jù)第二曝光圖像信息和第二空間位移信息進(jìn)行位姿預(yù)測,得到初始位姿信息,包括:
27、確定第二曝光圖像信息中的至少兩個發(fā)光器件的相對位置信息;
28、基于相對位置信息確定至少兩個發(fā)光器件的編號;
29、根據(jù)至少兩個發(fā)光器件的編號和第二空間位移信息進(jìn)行位姿預(yù)測,得到初始位姿信息。
30、根據(jù)本技術(shù)實施例的另一個方面,提供了一種信息交互裝置,應(yīng)用于智能穿戴設(shè)備的頭戴式顯示器,智能穿戴設(shè)備還包括配置有多個發(fā)光器件的手柄,頭戴式顯示器配置有圖像采集器,該裝置包括:
31、第一確定模塊,用于基于初始曝光模式采集第一曝光圖像信息,并獲取頭戴式顯示器的第一空間位移信息;根據(jù)第一曝光圖像信息和第一空間位移信息,確定頭戴式顯示器的頭顯位姿;其中,多個發(fā)光器件在初始曝光模式下保持初始亮度;
32、切換模塊,用于當(dāng)確定圖像采集器的曝光信號,向手柄發(fā)送曝光信號,以控制手柄的多個發(fā)光器件在目標(biāo)曝光時長內(nèi)切換為目標(biāo)亮度;其中,目標(biāo)亮度大于初始亮度;初始曝光模式的曝光時長大于目標(biāo)曝光時長;
33、第二確定模塊,用于在目標(biāo)曝光時長內(nèi),基于目標(biāo)曝光模式采集第二曝光圖像信息,并獲取手柄的第二空間位移信息;基于第二曝光圖像信息和第二空間位移信息,確定手柄的手柄位姿;
34、交互模塊,用于基于頭顯位姿和手柄位姿,確定頭戴式顯示器所輸出的虛擬交互內(nèi)容。
35、根據(jù)本技術(shù)的另一個方面,提供了一種頭戴式顯示器,該頭戴式顯示器包括:存儲器、處理器及存儲在存儲器上的計算機程序,上述處理器執(zhí)行計算機程序以實現(xiàn)本技術(shù)第一方面所示方法的步驟。
36、根據(jù)本技術(shù)的另一個方面,提供了一種穿戴設(shè)備,包括手柄和本技術(shù)第三方面所示的頭戴式顯示器,其中,該手柄用于配合頭戴式顯示器執(zhí)行本技術(shù)第一方面所示方法的步驟。
37、根據(jù)本技術(shù)的再一個方面,提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)本技術(shù)第一方面所示方法的步驟。
38、根據(jù)本技術(shù)的再一個方面,提供了一種計算機程序產(chǎn)品,包括計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)本技術(shù)第一方面所示方法的步驟。
39、本技術(shù)提供的技術(shù)方案帶來的有益效果是:
40、本技術(shù)提供的信息交互方法、裝置、頭戴式顯示器、穿戴設(shè)備及介質(zhì),可以通過初始曝光模式采集第一曝光圖像信息,并獲取頭戴式顯示器的第一空間位移信息;根據(jù)第一曝光圖像信息和第一空間位移信息,確定頭戴式顯示器的頭顯位姿;當(dāng)確定圖像采集器的曝光信號,向手柄發(fā)送曝光信號,以控制手柄的多個發(fā)光器件在目標(biāo)曝光時長內(nèi)切換為目標(biāo)亮度;在目標(biāo)曝光時長內(nèi),基于目標(biāo)曝光模式采集第二曝光圖像信息,并獲取手柄的第二空間位移信息;基于第二曝光圖像信息和第二空間位移信息,確定手柄的手柄位姿,并基于頭顯位姿和手柄位姿,確定頭戴式顯示器所輸出的虛擬交互內(nèi)容。本技術(shù)中的目標(biāo)亮度大于初始亮度,目標(biāo)曝光時長可以為微秒級,遠(yuǎn)低于初始曝光模式的曝光時長,可以通過初始曝光模式和目標(biāo)曝光模式交替進(jìn)行圖像采集:一方面,可以在目標(biāo)曝光模式下針對多個目標(biāo)亮度的發(fā)光器件進(jìn)行圖像采集,由于目標(biāo)曝光時長可以為微秒級,在目標(biāo)曝光模式下可以濾除環(huán)境中的干擾雜光,能更加精準(zhǔn)的定位手柄的位姿;另一方面,保持多個發(fā)光器件在初始曝光模式下的初始亮度狀態(tài),對周邊環(huán)境進(jìn)行圖像采集,在降低了發(fā)光器件能耗的前提下,避免了手柄被擋住時的誤識別,提高了頭戴式顯示器的頭顯位姿信息的精度。
41、與此同時,本技術(shù)通過精準(zhǔn)地定位所得到的手柄位姿和頭顯位姿,可以使得頭戴式顯示器所輸出的虛擬交互內(nèi)容更加貼合用戶的觀感,提升了用戶的虛擬交互體驗。同時,本技術(shù)中的目標(biāo)曝光時長短,可以減少發(fā)光器件因高亮狀態(tài)而引起的發(fā)熱,進(jìn)一步提升用戶體驗。