本發(fā)明涉及虛擬現(xiàn)實(shí)，尤其涉及一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法及系統(tǒng)。

背景技術(shù)：

1、隨著科技的發(fā)展，虛擬現(xiàn)實(shí)(vr)技術(shù)逐漸應(yīng)用于認(rèn)知功能訓(xùn)練領(lǐng)域中。但是，目前的虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)主要依賴單一的刺激方式，單一的刺激方式無(wú)法充分刺激大腦的認(rèn)知潛能，刺激效果較差，導(dǎo)致認(rèn)知訓(xùn)練效果也較差。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施方式旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。為此，本申請(qǐng)實(shí)施方式的目的在于提出一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法、系統(tǒng)、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

2、本申請(qǐng)實(shí)施方式提供一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法，所述方法包括：基于目標(biāo)認(rèn)知訓(xùn)練任務(wù)，確定與所述目標(biāo)認(rèn)知訓(xùn)練任務(wù)匹配的虛擬現(xiàn)實(shí)環(huán)境；確定與所述虛擬現(xiàn)實(shí)環(huán)境對(duì)應(yīng)的場(chǎng)景感官刺激信息，其中，所述場(chǎng)景感官刺激信息包括場(chǎng)景視覺(jué)信息和場(chǎng)景聽(tīng)覺(jué)信息中的至少之一；確定與所述目標(biāo)認(rèn)知訓(xùn)練任務(wù)對(duì)應(yīng)的輔助感官刺激信息，其中，所述輔助感官刺激信息包括目標(biāo)頻率光信號(hào)信息和目標(biāo)模式聲信號(hào)信息中的至少之一；將所述場(chǎng)景感官刺激信息和所述輔助感官刺激信息進(jìn)行協(xié)同配合，并結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境進(jìn)行輸出，得到虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式，以便訓(xùn)練人員基于所述虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式進(jìn)行認(rèn)知訓(xùn)練。

3、示例性地，所述目標(biāo)頻率光信號(hào)信息的頻率處于30hz-100hz的范圍之內(nèi)，所述目標(biāo)模式聲信號(hào)信息的模式包括雙耳差拍聲模式。

4、示例性地，所述將所述場(chǎng)景感官刺激信息和所述輔助感官刺激信息進(jìn)行協(xié)同配合，并結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境進(jìn)行輸出，包括：在訓(xùn)練的過(guò)程中，結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境輸出所述場(chǎng)景感官刺激信息；在訓(xùn)練之前和/或訓(xùn)練的過(guò)程中，結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境輸出所述輔助感官刺激信息。

5、示例性地，所述輔助感官刺激信息還包括力觸覺(jué)反饋信號(hào)信息。

6、示例性地，所述在訓(xùn)練之前和/或訓(xùn)練的過(guò)程中，結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境輸出所述輔助感官刺激信息，包括：在訓(xùn)練之前和/或訓(xùn)練的過(guò)程中，結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境輸出所述目標(biāo)頻率光信號(hào)信息和所述目標(biāo)模式聲信號(hào)信息中的至少之一，以便對(duì)所述訓(xùn)練人員的特定腦區(qū)進(jìn)行誘發(fā)刺激；在訓(xùn)練的過(guò)程中，結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境輸出所述力觸覺(jué)反饋信號(hào)信息，其中，所述力觸覺(jué)反饋信號(hào)信息用于在特定訓(xùn)練時(shí)機(jī)對(duì)所述訓(xùn)練人員的特定腦區(qū)進(jìn)行誘發(fā)刺激和/或用于模擬在所述虛擬現(xiàn)實(shí)環(huán)境中的交互信息。

7、示例性地，所述方法還包括：采集訓(xùn)練人員在基于所述虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式進(jìn)行認(rèn)知訓(xùn)練過(guò)程中的生理數(shù)據(jù)和行為數(shù)據(jù)；基于所述生理數(shù)據(jù)和所述行為數(shù)據(jù)，調(diào)整所述輔助感官刺激信息；將所述場(chǎng)景感官刺激信息和調(diào)整后的輔助感官刺激信息進(jìn)行協(xié)同配合，并結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境進(jìn)行輸出，得到調(diào)整后的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式，以便訓(xùn)練人員基于調(diào)整后的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式進(jìn)行認(rèn)知訓(xùn)練。

8、本申請(qǐng)另一實(shí)施方式提供一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練系統(tǒng)，所述系統(tǒng)包括：虛擬現(xiàn)實(shí)顯示單元，用于提供虛擬現(xiàn)實(shí)環(huán)境，以及輸出與所述虛擬現(xiàn)實(shí)環(huán)境對(duì)應(yīng)的場(chǎng)景感官刺激信息，其中，所述場(chǎng)景感官刺激信息包括場(chǎng)景視覺(jué)信息和場(chǎng)景聽(tīng)覺(jué)信息中的至少之一；輔助感官刺激單元，包括光刺激單元和音頻刺激單元中的至少之一，所述光刺激單元用于輸出目標(biāo)頻率光信號(hào)信息，所述音頻刺激單元用于輸出目標(biāo)模式聲信號(hào)信息；數(shù)據(jù)處理單元，與所述虛擬現(xiàn)實(shí)顯示單元和所述輔助感官單元進(jìn)行數(shù)據(jù)交互，所述數(shù)據(jù)處理單元用于執(zhí)行上述的基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法。

9、示例性地，所述輔助感官刺激單元還包括觸覺(jué)反饋單元，用于輸出力觸覺(jué)反饋信號(hào)信息。

10、本申請(qǐng)另一實(shí)施方式提供一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練裝置，所述裝置包括：第一確定模塊，用于基于目標(biāo)認(rèn)知訓(xùn)練任務(wù)，確定與所述目標(biāo)認(rèn)知訓(xùn)練任務(wù)匹配的虛擬現(xiàn)實(shí)環(huán)境；第二確定模塊，用于確定與所述虛擬現(xiàn)實(shí)環(huán)境對(duì)應(yīng)的場(chǎng)景感官刺激信息，其中，所述場(chǎng)景感官刺激信息包括場(chǎng)景視覺(jué)信息和場(chǎng)景聽(tīng)覺(jué)信息中的至少之一；第三確定模塊，用于確定與所述目標(biāo)認(rèn)知訓(xùn)練任務(wù)對(duì)應(yīng)的輔助感官刺激信息，其中，所述輔助感官刺激信息包括目標(biāo)頻率光信號(hào)信息和目標(biāo)模式聲信號(hào)信息中的至少之一；輸出模塊，用于將所述場(chǎng)景感官刺激信息和所述輔助感官刺激信息進(jìn)行協(xié)同配合，并結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境進(jìn)行輸出，得到虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式，以便訓(xùn)練人員基于所述虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式進(jìn)行認(rèn)知訓(xùn)練。

11、本申請(qǐng)另一實(shí)施方式提供一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一項(xiàng)實(shí)施方式所述的方法的步驟。

12、本申請(qǐng)另一實(shí)施方式提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)實(shí)施方式所述的方法的步驟。

13、本申請(qǐng)另一實(shí)施方式提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品中包括指令，所述指令被計(jì)算機(jī)設(shè)備的處理器執(zhí)行時(shí)，使得所述計(jì)算機(jī)設(shè)備能夠執(zhí)行上述任一項(xiàng)實(shí)施方式所述的方法的步驟。

14、上述實(shí)施方式中，通過(guò)基于目標(biāo)認(rèn)知訓(xùn)練任務(wù)，確定與所述目標(biāo)認(rèn)知訓(xùn)練任務(wù)匹配的虛擬現(xiàn)實(shí)環(huán)境；確定與所述虛擬現(xiàn)實(shí)環(huán)境對(duì)應(yīng)的場(chǎng)景感官刺激信息，其中，所述場(chǎng)景感官刺激信息包括場(chǎng)景視覺(jué)信息和場(chǎng)景聽(tīng)覺(jué)信息中的至少之一；確定與所述目標(biāo)認(rèn)知訓(xùn)練任務(wù)對(duì)應(yīng)的輔助感官刺激信息，其中，所述輔助感官刺激信息包括目標(biāo)頻率光信號(hào)信息和目標(biāo)模式聲信號(hào)信息中的至少之一；將所述場(chǎng)景感官刺激信息和所述輔助感官刺激信息進(jìn)行協(xié)同配合，并結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境進(jìn)行輸出，得到虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式，以便訓(xùn)練人員基于所述虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式進(jìn)行認(rèn)知訓(xùn)練。本發(fā)明的基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法能夠在虛擬現(xiàn)實(shí)系統(tǒng)中基于多感官信息進(jìn)行協(xié)同訓(xùn)練，以增強(qiáng)訓(xùn)練人員的認(rèn)知功能和感知能力，提高認(rèn)知訓(xùn)練的效果。

技術(shù)特征：

1.一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)頻率光信號(hào)信息的頻率處于30hz-100hz的范圍之內(nèi)，所述目標(biāo)模式聲信號(hào)信息的模式包括雙耳差拍聲模式。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述場(chǎng)景感官刺激信息和所述輔助感官刺激信息進(jìn)行協(xié)同配合，并結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境進(jìn)行輸出，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述輔助感官刺激信息還包括力觸覺(jué)反饋信號(hào)信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述在訓(xùn)練之前和/或訓(xùn)練的過(guò)程中，結(jié)合所述虛擬現(xiàn)實(shí)環(huán)境輸出所述輔助感官刺激信息，包括：

6.根據(jù)權(quán)利要求1-5中任意一項(xiàng)所述的方法，其特征在于，所述方法還包括：

7.一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練系統(tǒng)，其特征在于，所述系統(tǒng)包括：

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述輔助感官刺激單元還包括觸覺(jué)反饋單元，用于輸出力觸覺(jué)反饋信號(hào)信息。

9.一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練裝置，其特征在于，所述裝置包括：

10.一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1-6中任一項(xiàng)所述的方法的步驟。

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法及系統(tǒng)。基于多感官信息協(xié)同的虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練方法包括：基于目標(biāo)認(rèn)知訓(xùn)練任務(wù)，確定與目標(biāo)認(rèn)知訓(xùn)練任務(wù)匹配的虛擬現(xiàn)實(shí)環(huán)境；確定與虛擬現(xiàn)實(shí)環(huán)境對(duì)應(yīng)的場(chǎng)景感官刺激信息，其中，場(chǎng)景感官刺激信息包括場(chǎng)景視覺(jué)信息和場(chǎng)景聽(tīng)覺(jué)信息中的至少之一；確定與目標(biāo)認(rèn)知訓(xùn)練任務(wù)對(duì)應(yīng)的輔助感官刺激信息，其中，輔助感官刺激信息包括目標(biāo)頻率光信號(hào)信息和目標(biāo)模式聲信號(hào)信息中的至少之一；將場(chǎng)景感官刺激信息和輔助感官刺激信息進(jìn)行協(xié)同配合，并結(jié)合虛擬現(xiàn)實(shí)環(huán)境進(jìn)行輸出，得到虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式，以便訓(xùn)練人員基于虛擬現(xiàn)實(shí)認(rèn)知訓(xùn)練模式進(jìn)行認(rèn)知訓(xùn)練。

技術(shù)研發(fā)人員：請(qǐng)求不公布姓名,請(qǐng)求不公布姓名,請(qǐng)求不公布姓名,請(qǐng)求不公布姓名
受保護(hù)的技術(shù)使用者：北京津發(fā)科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2