本發(fā)明涉及教學(xué)系統(tǒng)領(lǐng)域，具體涉及一種個(gè)性化外語(yǔ)口語(yǔ)學(xué)習(xí)系統(tǒng)。

背景技術(shù)：

現(xiàn)有的口語(yǔ)學(xué)習(xí)軟件或系統(tǒng)，僅為設(shè)定好的順序和內(nèi)容進(jìn)行習(xí)題的訓(xùn)練，用戶的自由選擇和個(gè)性化匹配較差，無(wú)法根據(jù)用戶的口語(yǔ)學(xué)習(xí)需求和口語(yǔ)學(xué)習(xí)狀態(tài)進(jìn)行個(gè)性化調(diào)整，人性化程度低，且口語(yǔ)學(xué)習(xí)效果有限。

技術(shù)實(shí)現(xiàn)要素：

為解決上述問題，本發(fā)明提供了一種個(gè)性化外語(yǔ)口語(yǔ)學(xué)習(xí)系統(tǒng)，在學(xué)習(xí)的過程中，可以通過三維模擬教學(xué)模塊進(jìn)行各種動(dòng)態(tài)的人物、場(chǎng)景的建立，學(xué)生可以參與到整個(gè)模擬過程中與人物進(jìn)行對(duì)話或動(dòng)作交流，大大提高了學(xué)生學(xué)習(xí)興趣；模擬訓(xùn)練項(xiàng)目都是隨機(jī)的，學(xué)生無(wú)法通過死記硬背的形式進(jìn)行項(xiàng)目的解答，推動(dòng)了學(xué)生進(jìn)行項(xiàng)目知識(shí)點(diǎn)的真正的理解需求，提高了學(xué)習(xí)的效率；每個(gè)學(xué)生采用不同的測(cè)控試題進(jìn)行訓(xùn)練，真正意義上實(shí)現(xiàn)了因材施教，針對(duì)性強(qiáng)；實(shí)現(xiàn)了用戶發(fā)音情況的檢測(cè)分析，并根據(jù)不同的用戶進(jìn)行針對(duì)性培訓(xùn)方案的輸出，大大提高了學(xué)習(xí)效率。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

一種個(gè)性化外語(yǔ)口語(yǔ)學(xué)習(xí)系統(tǒng)，包括

人機(jī)操作模塊，用于用戶注冊(cè)、登錄，還用于進(jìn)行各種控制命令以及其它數(shù)據(jù)的輸入，并用于識(shí)別輸入的語(yǔ)種，進(jìn)行語(yǔ)種資料系統(tǒng)權(quán)限材料的開放；

視頻采集模塊，用于通過視頻采集裝置進(jìn)行正在進(jìn)行教學(xué)的教師或交互學(xué)習(xí)的學(xué)生的動(dòng)作視頻的采集，并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊；還用于通過攝像頭進(jìn)行學(xué)習(xí)者口型以及舌頭位置圖像的采集，并將所采集到的圖像發(fā)送到數(shù)據(jù)處理模塊；

音頻采集模塊，用于通過麥克風(fēng)進(jìn)行正在教學(xué)的教師或交互學(xué)習(xí)的學(xué)生的音頻的采集，并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊；

數(shù)據(jù)處理模塊，用于通過kinect深度傳感器進(jìn)行骨骼信息獲取，還用于消除所獲得骨骼信息的抖動(dòng)和噪聲干擾，并計(jì)算獲取所有骨骼對(duì)的角度旋轉(zhuǎn)移動(dòng)SO3矩陣信息；并將所獲取的SO3矩陣信息發(fā)送到動(dòng)作識(shí)別模塊；還用于對(duì)音頻采集模塊所發(fā)送的音頻數(shù)據(jù)進(jìn)行消噪處理，并識(shí)別所接收到的音頻數(shù)據(jù)內(nèi)的音頻控制命令，將識(shí)別結(jié)果發(fā)送到中央處理器；

發(fā)音標(biāo)準(zhǔn)評(píng)估模塊，用于根據(jù)數(shù)據(jù)處理模塊發(fā)送的人體深度信息與標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)內(nèi)的人體深度信息進(jìn)行對(duì)比，進(jìn)行發(fā)音情況的評(píng)估，如果差距小于某個(gè)門限，則認(rèn)為發(fā)音標(biāo)準(zhǔn)，否則認(rèn)為不標(biāo)準(zhǔn)；

口型標(biāo)準(zhǔn)評(píng)估模塊，用于將計(jì)算所得的骨骼對(duì)的角度旋轉(zhuǎn)移動(dòng)SO3矩陣信息與口型標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)內(nèi)錄制的標(biāo)準(zhǔn)口型姿態(tài)信息進(jìn)行對(duì)比，如果差距小于某個(gè)門限，則認(rèn)為口型標(biāo)準(zhǔn)，否則認(rèn)為不標(biāo)準(zhǔn)；

發(fā)音輔助指導(dǎo)模塊，用于根據(jù)發(fā)音標(biāo)準(zhǔn)評(píng)估模塊、口型標(biāo)準(zhǔn)評(píng)估模塊的評(píng)估結(jié)果輸出正確的口型以及舌頭位置數(shù)據(jù)到顯示屏進(jìn)行顯示；

培訓(xùn)方案生成模塊，用于通過人工專家根據(jù)綜合評(píng)估模塊的評(píng)估結(jié)果進(jìn)行培訓(xùn)方案的輸出，并將輸出的培訓(xùn)方案發(fā)送到對(duì)應(yīng)的賬戶；

動(dòng)作命令識(shí)別模塊，用于將所獲取的的SO3矩陣信息與動(dòng)作控制命令數(shù)據(jù)庫(kù)內(nèi)的SO3矩陣信息進(jìn)行比較，并將相似度最高的控制命令輸出至中央處理器；

中央處理器，用于接收人機(jī)操作模塊、數(shù)據(jù)處理模塊以及動(dòng)作命令識(shí)別模塊輸入的控制命令，并按照預(yù)設(shè)的算法將這些控制命令發(fā)送到指定的模塊；用于根據(jù)人機(jī)操作模塊輸入的數(shù)據(jù)調(diào)用命令在數(shù)據(jù)庫(kù)內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)發(fā)送到顯示屏或指定的移動(dòng)終端進(jìn)行顯示；還用于用戶注冊(cè)、權(quán)限管理以及密碼修改；

三維互動(dòng)教學(xué)模塊，包括空氣屏幕生成系統(tǒng)、若干組3D投影儀、音頻播放模塊和素材數(shù)據(jù)庫(kù)，用于根據(jù)中央處理器發(fā)送的控制命令從素材數(shù)據(jù)庫(kù)內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)建立各種場(chǎng)景、動(dòng)態(tài)三維模型、互動(dòng)三維模型；

每日任務(wù)完成情況匯總評(píng)估模塊，用于匯總并儲(chǔ)存學(xué)生在學(xué)習(xí)過程每日任務(wù)的完成情況，并根據(jù)預(yù)設(shè)的算法對(duì)接收到的數(shù)據(jù)進(jìn)行評(píng)估，將評(píng)估結(jié)果發(fā)送到人工專家解答模塊；

模擬訓(xùn)練模塊，用于根據(jù)預(yù)設(shè)的模擬難度在模擬訓(xùn)練模型數(shù)據(jù)庫(kù)隨機(jī)選取一定數(shù)量的試題進(jìn)行模擬訓(xùn)練，并完成模擬訓(xùn)練結(jié)果的評(píng)估，將評(píng)估的結(jié)果發(fā)送到中央處理器，發(fā)送到顯示屏進(jìn)行顯示；

疑難問題匯總模塊，用于匯總并儲(chǔ)存學(xué)生在學(xué)習(xí)過程中遇到的疑難問題，并將這些數(shù)據(jù)按其發(fā)送的學(xué)生賬戶標(biāo)記后發(fā)送到人工專家解答模塊；

人工專家模塊，用于進(jìn)行疑難問題匯總模塊內(nèi)的疑難問題的解答，并將解答后的數(shù)據(jù)發(fā)送到指定的賬號(hào)，還用于根據(jù)學(xué)生的疑難問題、興趣闖關(guān)模塊以及每日任務(wù)完成的情況進(jìn)行每日任務(wù)的發(fā)送；

課件共享模塊，用于教師將上課的課件上傳，從而實(shí)現(xiàn)學(xué)生、教師的課件的共享。

優(yōu)選地，還包括一顯示屏，用于進(jìn)行教學(xué)視頻、教學(xué)音頻、教學(xué)文本以及教學(xué)圖片的播放，內(nèi)設(shè)轉(zhuǎn)換模塊，可以根據(jù)需要將教學(xué)音頻轉(zhuǎn)換成文字播放，也可以根據(jù)需要將教學(xué)文本轉(zhuǎn)換成音頻播放；還用于顯示人機(jī)操作模塊輸入的各種數(shù)據(jù)以及整個(gè)使用過程中需要顯示的數(shù)據(jù)。

優(yōu)選地，所述人機(jī)操作模塊包括圖片輸入模塊、語(yǔ)音輸入模塊和文字輸入模塊；語(yǔ)音輸入模塊采用麥克風(fēng)，文字輸入模塊采用手寫板和鍵盤，圖片輸入模塊采用掃描儀、攝像頭或USB接口導(dǎo)入。

優(yōu)選地，所述學(xué)生通過移動(dòng)終端或指定的APP進(jìn)行數(shù)據(jù)的上傳和下載。

優(yōu)選地，所述素材數(shù)據(jù)庫(kù)內(nèi)儲(chǔ)存有各種與外語(yǔ)口語(yǔ)訓(xùn)練相關(guān)的構(gòu)造模型、文字、音頻和視頻數(shù)據(jù)。

優(yōu)選地，所述素材數(shù)據(jù)庫(kù)、動(dòng)作控制命令數(shù)據(jù)庫(kù)均連接有一數(shù)據(jù)更新模塊，用于進(jìn)行各數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)的實(shí)時(shí)更新。

優(yōu)選地，所述視頻采集裝置為包括一底座，底座下端設(shè)有帶制動(dòng)裝置的萬(wàn)向輪，上端通過電動(dòng)伸縮桿安裝有一個(gè)球體裝置上，球體裝置上設(shè)有N個(gè)魚障礙物頭。

優(yōu)選地，所述N至少為四個(gè)，所述魚障礙物頭拍攝的視頻數(shù)據(jù)的水平角度為360°/N的水平角度，所述魚障礙物頭拍攝的視頻數(shù)據(jù)的垂直角度為360°/N的垂直角度；魚障礙物頭采用焦距短、前鏡片直徑小且呈拋物面狀凸出的超廣角鏡頭。

優(yōu)選地，所述萬(wàn)向輪通過無(wú)線連接有遙控器。

本發(fā)明具有以下有益效果：

在學(xué)習(xí)的過程中，可以通過三維模擬教學(xué)模塊進(jìn)行各種動(dòng)態(tài)的人物、場(chǎng)景的建立，學(xué)生可以參與到整個(gè)模擬過程中與人物進(jìn)行對(duì)話或動(dòng)作交流，大大提高了學(xué)生學(xué)習(xí)興趣；模擬訓(xùn)練項(xiàng)目都是隨機(jī)的，學(xué)生無(wú)法通過死記硬背的形式進(jìn)行項(xiàng)目的解答，推動(dòng)了學(xué)生進(jìn)行項(xiàng)目知識(shí)點(diǎn)的真正的理解需求，提高了學(xué)習(xí)的效率；每個(gè)學(xué)生采用不同的測(cè)控試題進(jìn)行訓(xùn)練，真正意義上實(shí)現(xiàn)了因材施教，針對(duì)性強(qiáng)；實(shí)現(xiàn)了用戶發(fā)音情況的檢測(cè)分析，并根據(jù)不同的用戶進(jìn)行針對(duì)性培訓(xùn)方案的輸出，大大提高了學(xué)習(xí)效率；自帶疑難問題匯總和解答功能，一方面實(shí)現(xiàn)了師資力量的共享，另一方面也推動(dòng)了學(xué)生的學(xué)習(xí)。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例一種個(gè)性化外語(yǔ)口語(yǔ)學(xué)習(xí)系統(tǒng)的系統(tǒng)框圖。

具體實(shí)施方式

為了使本發(fā)明的目的及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1所示，本發(fā)明實(shí)施例提供了一種個(gè)性化外語(yǔ)口語(yǔ)學(xué)習(xí)系統(tǒng)，包括

人機(jī)操作模塊，用于用戶注冊(cè)、登錄，還用于進(jìn)行各種控制命令以及其它數(shù)據(jù)的輸入，并用于識(shí)別輸入的語(yǔ)種，進(jìn)行語(yǔ)種資料系統(tǒng)權(quán)限材料的開放；

視頻采集模塊，用于通過視頻采集裝置進(jìn)行正在進(jìn)行教學(xué)的教師或交互學(xué)習(xí)的學(xué)生的動(dòng)作視頻的采集，并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊；還用于通過攝像頭進(jìn)行學(xué)習(xí)者口型以及舌頭位置圖像的采集，并將所采集到的圖像發(fā)送到數(shù)據(jù)處理模塊；

音頻采集模塊，用于通過麥克風(fēng)進(jìn)行正在教學(xué)的教師或交互學(xué)習(xí)的學(xué)生的音頻的采集，并通過數(shù)據(jù)傳輸模塊發(fā)送到數(shù)據(jù)處理模塊；

數(shù)據(jù)處理模塊，用于通過kinect深度傳感器進(jìn)行骨骼信息獲取，還用于消除所獲得骨骼信息的抖動(dòng)和噪聲干擾，并計(jì)算獲取所有骨骼對(duì)的角度旋轉(zhuǎn)移動(dòng)SO3矩陣信息；并將所獲取的SO3矩陣信息發(fā)送到動(dòng)作識(shí)別模塊；還用于對(duì)音頻采集模塊所發(fā)送的音頻數(shù)據(jù)進(jìn)行消噪處理，并識(shí)別所接收到的音頻數(shù)據(jù)內(nèi)的音頻控制命令，將識(shí)別結(jié)果發(fā)送到中央處理器；

發(fā)音標(biāo)準(zhǔn)評(píng)估模塊，用于根據(jù)數(shù)據(jù)處理模塊發(fā)送的人體深度信息與標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)內(nèi)的人體深度信息進(jìn)行對(duì)比，進(jìn)行發(fā)音情況的評(píng)估，如果差距小于某個(gè)門限，則認(rèn)為發(fā)音標(biāo)準(zhǔn)，否則認(rèn)為不標(biāo)準(zhǔn)；

口型標(biāo)準(zhǔn)評(píng)估模塊，用于將計(jì)算所得的骨骼對(duì)的角度旋轉(zhuǎn)移動(dòng)SO3矩陣信息與口型標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)內(nèi)錄制的標(biāo)準(zhǔn)口型姿態(tài)信息進(jìn)行對(duì)比，如果差距小于某個(gè)門限，則認(rèn)為口型標(biāo)準(zhǔn)，否則認(rèn)為不標(biāo)準(zhǔn)；

發(fā)音輔助指導(dǎo)模塊，用于根據(jù)發(fā)音標(biāo)準(zhǔn)評(píng)估模塊、口型標(biāo)準(zhǔn)評(píng)估模塊的評(píng)估結(jié)果輸出正確的口型以及舌頭位置數(shù)據(jù)到顯示屏進(jìn)行顯示；

培訓(xùn)方案生成模塊，用于通過人工專家根據(jù)綜合評(píng)估模塊的評(píng)估結(jié)果進(jìn)行培訓(xùn)方案的輸出，并將輸出的培訓(xùn)方案發(fā)送到對(duì)應(yīng)的賬戶；

動(dòng)作命令識(shí)別模塊，用于將所獲取的的SO3矩陣信息與動(dòng)作控制命令數(shù)據(jù)庫(kù)內(nèi)的SO3矩陣信息進(jìn)行比較，并將相似度最高的控制命令輸出至中央處理器；

中央處理器，用于接收人機(jī)操作模塊、數(shù)據(jù)處理模塊以及動(dòng)作命令識(shí)別模塊輸入的控制命令，并按照預(yù)設(shè)的算法將這些控制命令發(fā)送到指定的模塊；用于根據(jù)人機(jī)操作模塊輸入的數(shù)據(jù)調(diào)用命令在數(shù)據(jù)庫(kù)內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)發(fā)送到顯示屏或指定的移動(dòng)終端進(jìn)行顯示；還用于用戶注冊(cè)、權(quán)限管理以及密碼修改；

三維互動(dòng)教學(xué)模塊，包括空氣屏幕生成系統(tǒng)、若干組3D投影儀、音頻播放模塊和素材數(shù)據(jù)庫(kù)，用于根據(jù)中央處理器發(fā)送的控制命令從素材數(shù)據(jù)庫(kù)內(nèi)調(diào)用相應(yīng)的數(shù)據(jù)建立各種場(chǎng)景、動(dòng)態(tài)三維模型、互動(dòng)三維模型；

每日任務(wù)完成情況匯總評(píng)估模塊，用于匯總并儲(chǔ)存學(xué)生在學(xué)習(xí)過程每日任務(wù)的完成情況，并根據(jù)預(yù)設(shè)的算法對(duì)接收到的數(shù)據(jù)進(jìn)行評(píng)估，將評(píng)估結(jié)果發(fā)送到人工專家解答模塊；

模擬訓(xùn)練模塊，用于根據(jù)預(yù)設(shè)的模擬難度在模擬訓(xùn)練模型數(shù)據(jù)庫(kù)隨機(jī)選取一定數(shù)量的試題進(jìn)行模擬訓(xùn)練，并完成模擬訓(xùn)練結(jié)果的評(píng)估，將評(píng)估的結(jié)果發(fā)送到中央處理器，發(fā)送到顯示屏進(jìn)行顯示；

疑難問題匯總模塊，用于匯總并儲(chǔ)存學(xué)生在學(xué)習(xí)過程中遇到的疑難問題，并將這些數(shù)據(jù)按其發(fā)送的學(xué)生賬戶標(biāo)記后發(fā)送到人工專家解答模塊；

人工專家模塊，用于進(jìn)行疑難問題匯總模塊內(nèi)的疑難問題的解答，并將解答后的數(shù)據(jù)發(fā)送到指定的賬號(hào)，還用于根據(jù)學(xué)生的疑難問題、興趣闖關(guān)模塊以及每日任務(wù)完成的情況進(jìn)行每日任務(wù)的發(fā)送；

課件共享模塊，用于教師將上課的課件上傳，從而實(shí)現(xiàn)學(xué)生、教師的課件的共享。

還包括一顯示屏，用于進(jìn)行教學(xué)視頻、教學(xué)音頻、教學(xué)文本以及教學(xué)圖片的播放，內(nèi)設(shè)轉(zhuǎn)換模塊，可以根據(jù)需要將教學(xué)音頻轉(zhuǎn)換成文字播放，也可以根據(jù)需要將教學(xué)文本轉(zhuǎn)換成音頻播放；還用于顯示人機(jī)操作模塊輸入的各種數(shù)據(jù)以及整個(gè)使用過程中需要顯示的數(shù)據(jù)。

所述人機(jī)操作模塊包括圖片輸入模塊、語(yǔ)音輸入模塊和文字輸入模塊；語(yǔ)音輸入模塊采用麥克風(fēng)，文字輸入模塊采用手寫板和鍵盤，圖片輸入模塊采用掃描儀、攝像頭或USB接口導(dǎo)入。

所述學(xué)生通過移動(dòng)終端或指定的APP進(jìn)行數(shù)據(jù)的上傳和下載。

所述素材數(shù)據(jù)庫(kù)內(nèi)儲(chǔ)存有各種與外語(yǔ)口語(yǔ)訓(xùn)練相關(guān)的構(gòu)造模型、文字、音頻和視頻數(shù)據(jù)。

所述素材數(shù)據(jù)庫(kù)、動(dòng)作控制命令數(shù)據(jù)庫(kù)均連接有一數(shù)據(jù)更新模塊，用于進(jìn)行各數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)的實(shí)時(shí)更新。

所述視頻采集裝置為包括一底座，底座下端設(shè)有帶制動(dòng)裝置的萬(wàn)向輪，上端通過電動(dòng)伸縮桿安裝有一個(gè)球體裝置上，球體裝置上設(shè)有N個(gè)魚障礙物頭。

所述N至少為四個(gè)，所述魚障礙物頭拍攝的視頻數(shù)據(jù)的水平角度為360°/N的水平角度，所述魚障礙物頭拍攝的視頻數(shù)據(jù)的垂直角度為360°/N的垂直角度；魚障礙物頭采用焦距短、前鏡片直徑小且呈拋物面狀凸出的超廣角鏡頭。

優(yōu)選地，所述萬(wàn)向輪通過無(wú)線連接有遙控器

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。