基于多模態(tài)人機交互技術(shù)的教學(xué)輔助系統(tǒng)的制作方法
【專利摘要】基于多模態(tài)人機交互技術(shù)的教學(xué)輔助系統(tǒng)，它包括情景教室，所述情景教室內(nèi)設(shè)置有立體投影儀、音頻采集裝置、音頻播放裝置、視頻采集裝置及主機，所述主機分別與立體投影儀、音頻采集裝置、音頻播放裝置、視頻采集裝置連接。本發(fā)明通過捕捉操作者發(fā)出的語言以及肢體語言進行分析，然后再由視頻集音頻來反映出操作者的操作意愿，整個交互過程生動逼真，從而大大提高學(xué)生的學(xué)習(xí)興趣，提高了教學(xué)質(zhì)量。
【專利說明】所屬【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及教學(xué)輔助【技術(shù)領(lǐng)域】，尤其涉及一種基于多模態(tài)人機交互技術(shù)的教學(xué)輔 助系統(tǒng)。 基于多模態(tài)人機交互技術(shù)的教學(xué)輔助系統(tǒng)

【背景技術(shù)】
[0002] 現(xiàn)階段教師們的教學(xué)課件仍然是以課本教材為主，但是隨著時代的進步，教學(xué)知 識量越來越大，簡單的教材已經(jīng)無法承載，而且僅僅以文字以及簡單的二維圖形已經(jīng)很難 詮釋所學(xué)的知識點，從而造成教學(xué)質(zhì)量得不到提升。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供了一種通過音頻、視頻兩種方式來進行人機交互的教學(xué)輔助系統(tǒng)。
[0004] 為了解決【背景技術(shù)】所存在的問題，本發(fā)明是采用以下技術(shù)方案：它包括情景教室， 所述情景教室內(nèi)設(shè)置有立體投影儀、音頻采集裝置、音頻播放裝置、視頻采集裝置及主機， 所述主機分別與立體投影儀、音頻采集裝置、音頻播放裝置、視頻采集裝置連接。
[0005] 所述主機包括中央處理器、信息采集模塊、信息處理集模塊、數(shù)據(jù)發(fā)布模塊，所述 音頻采集裝置、視頻采集裝置與信息采集模塊連接，信息采集模塊與信息處理集模塊連接， 信息處理集模塊與中央處理器連接，中央處理器與數(shù)據(jù)發(fā)布模塊連接，數(shù)據(jù)發(fā)布模塊再與 立體投影儀、音頻播放裝置連接。
[0006] 所述立體投影儀最少設(shè)置有四個，分別安裝在情景教室的四角的上方。
[0007] 所述音頻播放裝置最少設(shè)置有兩個，分別安裝在情景教室任一對角線的兩個角 上。
[0008] 所述音頻采集裝置和視頻采集裝置設(shè)置在人機交互操作位置處。
[0009] 本發(fā)明通過捕捉操作者發(fā)出的語言以及肢體語言進行分析，然后再由視頻集音頻 來反映出操作者的操作意愿，整個交互過程生動逼真，從而大大提高學(xué)生的學(xué)習(xí)興趣，提高 了教學(xué)質(zhì)量。

【專利附圖】

【附圖說明】
[0010] 圖1為本發(fā)明的結(jié)構(gòu)示意圖；
[0011] 圖2為本發(fā)明的示意框圖。
[0012] 實施方式
[0013] 參見圖1-2,本發(fā)明它包括情景教室1，所述情景教室1內(nèi)設(shè)置有立體投影儀2、音 頻采集裝置3、音頻播放裝置4、視頻采集裝置5及主機6,所述主機6分別與立體投影儀2、 音頻采集裝置3、音頻播放裝置4、視頻采集裝置5連接，所述立體投影儀2最少設(shè)置有四 個，分別安裝在情景教室1的四角的上方，音頻播放裝置4最少設(shè)置有兩個，分別安裝在情 景教室1任一對角線的兩個角上，所述音頻采集裝置3和視頻采集裝置5設(shè)置在人機交互 操作位置處，所述主機包括中央處理器、信息采集模塊、信息處理集模塊、數(shù)據(jù)發(fā)布模塊，所 述音頻采集裝置、視頻采集裝置與信息采集模塊連接，信息采集模塊與信息處理模塊連接， 信息處理模塊與中央處理器連接，中央處理器與數(shù)據(jù)發(fā)布模塊連接，數(shù)據(jù)發(fā)布模塊再與立 體投影儀、音頻播放裝置連接。
[0014] 當(dāng)需要進行人機交互時，音頻采集裝置、視頻采集裝置將人物發(fā)出的語言以及肢 體語言采集后傳送給信息處理集模塊，信息處理集模塊將信息處理保存到中央處理器中， 數(shù)據(jù)發(fā)布模塊然后從中央處理器中獲取出對應(yīng)的數(shù)據(jù)經(jīng)立體投影儀、音頻播放裝置在情景 教室內(nèi)播放，如操作者說打開某實驗，則立體投影儀就會將數(shù)據(jù)庫中某實驗的相關(guān)設(shè)備在 情景教室內(nèi)投影出來，操作者可用語言或肢體語言來操作某儀器，在某一操作會有相應(yīng)聲 音發(fā)出時，音頻播放裝置就會發(fā)出相應(yīng)聲響，使操作者如同在現(xiàn)實中操作一般，從而增加學(xué) 生學(xué)習(xí)興趣，提高教學(xué)質(zhì)量。
【權(quán)利要求】
1. 基于多模態(tài)人機交互技術(shù)的教學(xué)輔助系統(tǒng)，其特征在于：它包括情景教室，所述情 景教室內(nèi)設(shè)置有立體投影儀、音頻采集裝置、音頻播放裝置、視頻采集裝置及主機，所述主 機分別與立體投影儀、音頻采集裝置、音頻播放裝置、視頻采集裝置連接。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述主機包括中央處理器、信息采集模 塊、信息處理集模塊、數(shù)據(jù)發(fā)布模塊，所述音頻采集裝置、視頻采集裝置與信息采集模塊連 接，信息采集模塊與信息處理集模塊連接，信息處理集模塊與中央處理器連接，中央處理器 與數(shù)據(jù)發(fā)布模塊連接，數(shù)據(jù)發(fā)布模塊再與立體投影儀、音頻播放裝置連接。
3. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述立體投影儀最少設(shè)置有四個，分別安 裝在情景教室的四角的上方。
4. 根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述音頻播放裝置最少設(shè)置有兩個，分別 安裝在情景教室任一對角線的兩個角上。
5. 根據(jù)權(quán)利要求3或4所述的系統(tǒng)，其特征在于，所述音頻采集裝置和視頻采集裝置設(shè) 置在人機交互操作位置處。
【文檔編號】G09B5/06GK104064064SQ201410282736
【公開日】2014年9月24日 申請日期:2014年6月14日 優(yōu)先權(quán)日:2014年6月14日
【發(fā)明者】劉國強, 張長瑞, 彭杰, 趙珍輝 申請人:合肥迅大信息技術(shù)有限公司