一種基于娛樂交互的ar趣味學(xué)習(xí)系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)及方法，包括：至少一個(gè)實(shí)體書頁，攝像裝置，顯示裝置和程序運(yùn)行裝置；使用圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像數(shù)據(jù)；導(dǎo)入圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像后的數(shù)據(jù)，程序開發(fā)綁定圖像ID與相應(yīng)的三維模型和音頻信息；啟動(dòng)趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序，打開攝像裝置，實(shí)時(shí)采集真實(shí)世界實(shí)體書頁圖像，渲染顯示真實(shí)世界的視頻圖像；識(shí)別模塊識(shí)別圖實(shí)體書頁的標(biāo)識(shí)信息；追蹤模塊實(shí)時(shí)計(jì)算出實(shí)體書頁的空間位置信息，完成增強(qiáng)現(xiàn)實(shí)的體驗(yàn)。本發(fā)明通過上述原理及方法，解決現(xiàn)在教育互動(dòng)程序和裝置的低趣味性問題和互動(dòng)體驗(yàn)單一問題，操作簡單，成本低，非常適用兒童的多媒體互動(dòng)教學(xué)。
【專利說明】
-種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及多媒體互動(dòng)教學(xué)系統(tǒng)技術(shù)領(lǐng)域，具體地，設(shè)及一種基于娛樂交互的AR 趣味學(xué)習(xí)系統(tǒng)及方法。
【背景技術(shù)】
[0002] 增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡稱AR)是一種現(xiàn)實(shí)信息與虛擬信息相疊加的技 術(shù)。提前利用計(jì)算機(jī)技術(shù)疊加虛擬信息到現(xiàn)實(shí)世界某個(gè)空間位置中，用戶便能夠看到現(xiàn)實(shí) 世界上運(yùn)個(gè)空間位置疊加的虛擬信息，虛擬信息與現(xiàn)實(shí)信息相互補(bǔ)充增強(qiáng)用戶對(duì)事物的理 解。增強(qiáng)現(xiàn)實(shí)利用計(jì)算機(jī)圖形技術(shù)生成真實(shí)環(huán)境中不存在的虛擬信息;通過計(jì)算機(jī)視覺技 術(shù)和傳感技術(shù)，將運(yùn)些虛擬信息實(shí)時(shí)顯示在真實(shí)世界的某個(gè)空間位置處，并與真實(shí)世界融 為一體。虛擬信息與真實(shí)世界重新組成擁有逼真的視覺、聽覺、觸覺的環(huán)境，實(shí)現(xiàn)用戶與環(huán) 境的自然交互。目前市場上主流的基于實(shí)體書頁的多媒體互動(dòng)教學(xué)系統(tǒng)包括:點(diǎn)讀機(jī)、點(diǎn)讀 筆、電子書、早教機(jī)和PC端/移動(dòng)端應(yīng)用程序?，F(xiàn)有多媒體互動(dòng)系統(tǒng)有如下缺點(diǎn)：
[0003] 1、點(diǎn)讀機(jī)、點(diǎn)讀筆、電子書側(cè)重于語音朗讀，沒能結(jié)合生動(dòng)的圖像，互動(dòng)體驗(yàn)單一 片面，不能激發(fā)用戶興趣；
[0004] 2、早教機(jī)、PC端/移動(dòng)端應(yīng)用程序只能展示二維的圖像信息，并且交互性弱，用戶 只能單方面的觀看；
[0005] 3、高互動(dòng)性的多媒體互動(dòng)教學(xué)系統(tǒng)使用復(fù)雜，費(fèi)用成本高；
[0006] 目前，文字與圖像結(jié)合已經(jīng)是主流的學(xué)習(xí)理解事物方式，但是圖像僅僅是停留在 二維平面上，趣味性W及互動(dòng)體驗(yàn)較差。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明克服了現(xiàn)有技術(shù)的不足，提供一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)及方 法，解決現(xiàn)在教育互動(dòng)程序和裝置的低趣味性問題和互動(dòng)體驗(yàn)單一問題，并且此發(fā)明系統(tǒng) 操作簡單，成本低，將一些呆板的抽象的二維圖像轉(zhuǎn)變?yōu)?維信息，非常適用兒童的多媒體 互動(dòng)教學(xué)，與現(xiàn)在高互動(dòng)性的多媒體互動(dòng)教學(xué)系統(tǒng)相比具有極大的優(yōu)勢。
[000引本發(fā)明解決上述問題所采用的技術(shù)方案是:一種基于增強(qiáng)現(xiàn)實(shí)的趣味學(xué)習(xí)系統(tǒng)， 包括：
[0009] 至少一個(gè)實(shí)體書頁，每個(gè)實(shí)體書頁對(duì)應(yīng)一個(gè)標(biāo)識(shí)信息，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)一個(gè)或 多個(gè)=維模型W及一個(gè)或多個(gè)音頻信息；
[0010] 攝像裝置，用于采集實(shí)體書頁的圖像數(shù)據(jù)W及實(shí)時(shí)采集實(shí)體書頁的視頻畫面，然 后將圖像信息W及視頻畫面提供給程序運(yùn)行裝置；
[0011] 顯示裝置，用于顯示攝像裝置采集到的實(shí)時(shí)視頻畫面W及顯示程序運(yùn)行裝置計(jì)算 產(chǎn)生的一個(gè)或多個(gè)=維圖像；
[0012] 程序運(yùn)行裝置，用于當(dāng)用戶將所述實(shí)體書頁置于攝像裝置的采集范圍時(shí)，及時(shí)獲 取實(shí)體書頁的空間位置，并將標(biāo)識(shí)信息對(duì)應(yīng)的=維模型綁定到實(shí)體書頁的空間位置對(duì)應(yīng)某 個(gè)預(yù)置的位置處，處理并分析來自攝像裝置采集后傳輸過來的圖像數(shù)據(jù)，識(shí)別出實(shí)體書頁 對(duì)應(yīng)的標(biāo)識(shí)信息，并分析出標(biāo)識(shí)信息對(duì)應(yīng)的=維模型和音頻信息，將標(biāo)識(shí)信息對(duì)應(yīng)的=維 模型擅染顯示出來疊加在實(shí)時(shí)視頻畫面中，實(shí)現(xiàn)擅染顯示攝像裝置實(shí)時(shí)采集的實(shí)時(shí)視頻畫 面和音頻信息。
[0013] 本發(fā)明實(shí)現(xiàn)了互動(dòng)體驗(yàn)上的重大突破，主要體現(xiàn)在=個(gè)方面，一是將傳統(tǒng)二維圖 像轉(zhuǎn)化為=維；二是用戶能與=維信息進(jìn)行人機(jī)交互;=是虛擬的=維信息將會(huì)與現(xiàn)實(shí)世 界進(jìn)行完美的融合，用戶能觀察虛擬信息在現(xiàn)實(shí)世界的呈現(xiàn)狀態(tài)，再次提升教學(xué)的互動(dòng)性。 另外，該系統(tǒng)也無需額外引入額外的服務(wù)器來存儲(chǔ)圖像信息，只需采用程序運(yùn)行裝置即可 實(shí)現(xiàn)，大大降低了成本，該系統(tǒng)操作方式與現(xiàn)有的點(diǎn)讀機(jī)、早教機(jī)等的操作方式相似，操作 簡單方便，但是又能呈現(xiàn)生動(dòng)的畫面，吸引小朋友的注意力，從而提高小朋友的學(xué)習(xí)興趣， 本系統(tǒng)同時(shí)將一些呆板的抽象的二維圖像轉(zhuǎn)變?yōu)?維信息，尤其適用兒童的多媒體互動(dòng)教 學(xué)。本發(fā)明解決現(xiàn)在教育互動(dòng)程序和裝置的低趣味性問題和互動(dòng)體驗(yàn)單一問題，并且此發(fā) 明系統(tǒng)操作簡單，成本低，與現(xiàn)在高互動(dòng)性的多媒體互動(dòng)教學(xué)系統(tǒng)相比具有極大的優(yōu)勢。
[0014] 進(jìn)一步的，所述程序運(yùn)行裝置包括：
[0015] 識(shí)別模塊，用于當(dāng)用戶將所述實(shí)體書頁置于攝像裝置的采集范圍時(shí)，識(shí)別模塊處 理并分析來自攝像裝置采集后傳輸過來的圖像數(shù)據(jù)，識(shí)別出實(shí)體書頁對(duì)應(yīng)的標(biāo)識(shí)信息，并 分析出標(biāo)識(shí)信息對(duì)應(yīng)的=維模型和音頻信息，依次經(jīng)過圖像特征點(diǎn)的提取、特征點(diǎn)篩選、特 征點(diǎn)描述和圖像匹配實(shí)現(xiàn)圖像處理與識(shí)別匹配；
[0016] =維擅染模塊，用于擅染顯示攝像裝置采集的實(shí)時(shí)視頻畫面，并且將標(biāo)識(shí)信息對(duì) 應(yīng)的=維模型擅染顯示出來疊加在實(shí)時(shí)視頻畫面中；
[0017] 音頻擅染模塊，用于擅染出標(biāo)識(shí)信息對(duì)應(yīng)的音頻信息；
[0018] 追蹤模塊，用于及時(shí)獲取實(shí)體書頁的空間位置，并將標(biāo)識(shí)信息對(duì)應(yīng)的=維模型綁 定到實(shí)體書頁的空間位置對(duì)應(yīng)某個(gè)預(yù)置的位置處。
[0019] 本方案識(shí)別模塊中圖像處理與識(shí)別匹配經(jīng)過了圖像特征點(diǎn)提取、特征點(diǎn)篩選、特 征點(diǎn)描述和圖像匹配等多個(gè)步驟的相互作用與制約，避免出現(xiàn)當(dāng)設(shè)置的n個(gè)連續(xù)的像素點(diǎn) 小于12時(shí)，對(duì)于采集圖像上的角點(diǎn)，不能使用快速算法來過濾非角點(diǎn)，檢測出來的角點(diǎn)不是 最優(yōu)的，角點(diǎn)分析的結(jié)果被丟棄，多個(gè)特征點(diǎn)容易擠在一起的缺陷，通過該識(shí)別模塊采集到 的圖像信息更加的準(zhǔn)確清晰，更利于后期識(shí)別和清晰成像。
[0020] 優(yōu)選的，所述=維擅染模塊包括模型預(yù)處理模塊和擅染模塊，模型預(yù)處理模炔基 于Autodesk FBX SDK解析FBX模型文件，舍棄移動(dòng)端不支持的模型特性，導(dǎo)出模型中間文 件，模型中間文件交由擅染模塊讀取。
[0021] 優(yōu)選的，所述識(shí)別模塊包括圖像識(shí)別預(yù)處理單元和移動(dòng)端識(shí)別模塊，圖像識(shí)別預(yù) 處理單元處理實(shí)體書頁圖像信息，得到實(shí)體書頁的標(biāo)識(shí)信息，識(shí)別模塊接受攝像裝置實(shí)時(shí) 采集的實(shí)體書頁圖像信息，得到圖像的標(biāo)識(shí)信息，從而得到標(biāo)識(shí)信息對(duì)應(yīng)的一個(gè)或多個(gè)= 維模型W及一個(gè)或多個(gè)音頻信息，最終交給=維擅染模塊和音頻擅染模塊擅染。
[0022] 優(yōu)選的，所述識(shí)別模塊實(shí)時(shí)處理攝像裝置采集的實(shí)體書籍的圖像，包含圖像的尺 寸處理和灰度處理，提取特征點(diǎn)與記錄圖像特征點(diǎn)的描述文件對(duì)比得出攝像裝置采集的實(shí) 體書頁圖像ID，從而得到實(shí)體書頁對(duì)應(yīng)的=維模型數(shù)據(jù)和音頻數(shù)據(jù)。尺寸處理可W讓圖像 按照既定的尺寸顯示，灰度的處理則可W讓色彩更逼真，顏色細(xì)節(jié)更到位，通過灰度和尺寸 的處理，保證了最后顯示的=維圖像更加的形象生動(dòng)。
[0023] 優(yōu)選的，顯示裝置中顯示的一個(gè)或多個(gè)S維圖像采用S維軟件制作，導(dǎo)出FBX格式 文件，交由3D擅染引擎預(yù)處理為模型中間文件后顯示。顯示裝置中顯示的一個(gè)或多個(gè)=維 圖像采用S維軟件制作，導(dǎo)出FBX格式文件，交由3D擅染引擎預(yù)處理為模型中間文件后顯 示。S維圖像模型采用3DS MAX、Maya、Blender等S維建模軟件制作，制作導(dǎo)出FBX格式文 件，=維圖像模型能夠提高教學(xué)事物的直觀性，激發(fā)受教者興趣。并且該=維圖像模型基于 Autodesk FBX SDK解析FBX模型文件，舍棄移動(dòng)端不支持的模型特性，導(dǎo)出模型中間文件， 模型中間文件交由擅染模塊讀取。其中的擅染模炔基于化engl ES 2.0開發(fā)，讀取模型中間 文件后利用化engl API交給底層操作系統(tǒng)執(zhí)行擅染并顯示。模型中間文件采用二進(jìn)制方式 儲(chǔ)存，保證數(shù)據(jù)的安全性。
[0024] 優(yōu)選的，一種基于增強(qiáng)現(xiàn)實(shí)的趣味學(xué)習(xí)方法，包括如下步驟：
[0025] 步驟A)使用圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像數(shù)據(jù)，得到圖像數(shù)據(jù)的標(biāo)識(shí) 信息，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)了一個(gè)圖像的ID，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)一個(gè)或多個(gè)=維模型W及一 個(gè)或多個(gè)音頻信息；
[0026] 步驟B)導(dǎo)入圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像后的數(shù)據(jù)，程序開發(fā)綁定圖 像ID與相應(yīng)的=維模型和音頻信息，并且規(guī)定好=維模型與實(shí)體書頁圖像的空間相對(duì)位置 與大小、姿態(tài)W及交互方式；
[0027] 步驟C)啟動(dòng)趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序，打開攝像裝置，實(shí)時(shí)采集真實(shí)世界 實(shí)體書頁圖像，擅染顯示真實(shí)世界的視頻圖像；
[0028] 步驟D)當(dāng)用戶放置實(shí)體書頁到攝像裝置的采集范圍內(nèi)，識(shí)別模塊識(shí)別圖實(shí)體書頁 的標(biāo)識(shí)信息，判定實(shí)體書頁的圖像ID，并分析出擅染圖像ID對(duì)應(yīng)的=維模型和音頻；
[0029] 步驟E)在步驟D)的基礎(chǔ)上，追蹤模塊實(shí)時(shí)計(jì)算出實(shí)體書頁的空間位置信息，并綁 定=維模型數(shù)據(jù)在實(shí)體書頁的空間位置處，最終，趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序?qū)?維 模型實(shí)時(shí)擅染在實(shí)體書頁的空間位置處并擅染出對(duì)應(yīng)音頻，完成增強(qiáng)現(xiàn)實(shí)的體驗(yàn)。
[0030] 在此交互系統(tǒng)下，程序能夠把二維平面上的圖像轉(zhuǎn)化為=維信息，再輔助于人機(jī) 交互方式，寓教于樂，帶來新一代的互動(dòng)學(xué)習(xí)方式，該方法得到的=維圖像形象生動(dòng)、成本 低，克服了現(xiàn)有多媒體互動(dòng)教學(xué)系統(tǒng)要么只側(cè)重于語音朗讀，沒能結(jié)合生動(dòng)的圖像，互動(dòng)體 驗(yàn)單一片面，不能激發(fā)用戶興趣;要么只能展示二維的圖像信息，并且交互性弱，用戶只能 單方面的觀看;要么就是系統(tǒng)復(fù)查，費(fèi)用成本高等各種缺陷。
[0031 ]綜上，本發(fā)明的有益效果是：
[0032] 1、本發(fā)明解決現(xiàn)在教育互動(dòng)程序和裝置的低趣味性問題和互動(dòng)體驗(yàn)單一問題，并 且此發(fā)明系統(tǒng)操作簡單，成本低，操作簡單方便，但是又能呈現(xiàn)生動(dòng)的畫面，吸引小朋友的 注意力，從而提高小朋友的學(xué)習(xí)興趣，本系統(tǒng)同時(shí)將一些呆板的抽象的二維圖像轉(zhuǎn)變?yōu)? 維信息，尤其適用兒童的多媒體互動(dòng)教學(xué)，與現(xiàn)在高互動(dòng)性的多媒體互動(dòng)教學(xué)系統(tǒng)相比具 有極大的優(yōu)勢。
[0033] 2、本方案識(shí)別模塊中圖像處理與識(shí)別匹配經(jīng)過了圖像特征點(diǎn)提取、特征點(diǎn)篩選、 特征點(diǎn)描述和圖像匹配等多個(gè)步驟的相互作用與制約，避免出現(xiàn)當(dāng)設(shè)置的n個(gè)連續(xù)的像素 點(diǎn)小于12時(shí)，對(duì)于采集圖像上的角點(diǎn)，不能使用快速算法來過濾非角點(diǎn)，檢測出來的角點(diǎn) 不是最優(yōu)的，角點(diǎn)分析的結(jié)果被丟棄，多個(gè)特征點(diǎn)容易擠在一起的缺陷，通過該識(shí)別模塊采 集到的圖像信息更加的準(zhǔn)確清晰，更利于后期識(shí)別和清晰成像。
【附圖說明】
[0034] 圖1是本發(fā)明的原理框圖；
[0035] 圖2是本發(fā)明中識(shí)別模塊的處理流程圖；
[0036] 圖3是本發(fā)明的識(shí)別模塊中圖像處理與識(shí)別匹配的處理流程圖；
[0037] 圖4圖像特征點(diǎn)提取的參考圖。
【具體實(shí)施方式】
[0038] 下面結(jié)合實(shí)施例及附圖，對(duì)本發(fā)明作進(jìn)一步地的詳細(xì)說明，但本發(fā)明的實(shí)施方式 不限于此。
[0039] 實(shí)施例1:
[0040] 如圖1-3所示，本發(fā)明包括一種基于增強(qiáng)現(xiàn)實(shí)的趣味學(xué)習(xí)系統(tǒng)，包括：
[0041] 至少一個(gè)實(shí)體書頁，每個(gè)實(shí)體書頁對(duì)應(yīng)一個(gè)標(biāo)識(shí)信息，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)一個(gè)或 多個(gè)=維模型W及一個(gè)或多個(gè)音頻信息;實(shí)體書頁包括但不限于教學(xué)書籍、識(shí)字卡片、識(shí)物 卡片、教學(xué)用具;并且標(biāo)識(shí)信息也是由圖像識(shí)別預(yù)處理程序1311處理教學(xué)書籍、識(shí)字卡片、 識(shí)物卡片、教學(xué)用具上的圖案得到的。
[0042] 攝像裝置，用于采集實(shí)體書頁的圖像數(shù)據(jù)W及實(shí)時(shí)采集實(shí)體書頁的視頻畫面，然 后將圖像信息W及視頻畫面提供給程序運(yùn)行裝置;攝像裝置上的攝像頭可W由普通攝像頭 構(gòu)成，也可W由普通攝像頭和紅外深度攝像頭構(gòu)成。紅外深度攝像頭捕捉真實(shí)世界的深度 空間信息，用于完成人機(jī)自然交互。人機(jī)自然交互包括但不限于手勢識(shí)別、動(dòng)作捕捉、人臉 識(shí)別，運(yùn)些都可W作為本發(fā)明的教學(xué)=維互動(dòng)方式。
[0043] 顯示裝置，用于顯示攝像裝置采集到的實(shí)時(shí)視頻畫面W及顯示程序運(yùn)行裝置計(jì)算 產(chǎn)生的一個(gè)或多個(gè)=維圖像;一個(gè)或多個(gè)=維圖像要疊加到真實(shí)世界環(huán)境中的實(shí)時(shí)視頻畫 面上。
[0044] 程序運(yùn)行裝置，用于當(dāng)用戶將所述實(shí)體書頁置于攝像裝置的采集范圍時(shí)，及時(shí)獲 取實(shí)體書頁的空間位置，并將標(biāo)識(shí)信息對(duì)應(yīng)的=維模型綁定到實(shí)體書頁的空間位置對(duì)應(yīng)某 個(gè)預(yù)置的位置處，處理并分析來自攝像裝置采集后傳輸過來的圖像數(shù)據(jù)，識(shí)別出實(shí)體書頁 對(duì)應(yīng)的標(biāo)識(shí)信息，并分析出標(biāo)識(shí)信息對(duì)應(yīng)的=維模型和音頻信息，將標(biāo)識(shí)信息對(duì)應(yīng)的=維 模型擅染顯示出來疊加在實(shí)時(shí)視頻畫面中，實(shí)現(xiàn)擅染顯示攝像裝置實(shí)時(shí)采集的實(shí)時(shí)視頻畫 面和音頻信息。
[0045] 該趣味學(xué)習(xí)系統(tǒng)采用Amlroid和IOS操作系統(tǒng)。在使用時(shí)，用戶提供教學(xué)書籍、識(shí) 字卡片、識(shí)物卡片、教學(xué)用具上的圖案的圖像文件，然后使用圖像識(shí)別預(yù)處理程序處理運(yùn)些 圖像，最終處理為記錄圖像特征點(diǎn)的描述文件，每個(gè)描述文件也記錄了標(biāo)識(shí)信息與所處理 圖像的ID的對(duì)應(yīng)關(guān)系。
[0046] 程序開發(fā)導(dǎo)入記錄圖像特征點(diǎn)的描述文件，然后綁定圖像ID與相應(yīng)的=維模型和 音頻信息，并且規(guī)定好=維模型與實(shí)體書頁圖像的空間相對(duì)位置與大小、姿態(tài)W及交互方 式。
[0047] 啟動(dòng)趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序，打開攝像裝置，實(shí)時(shí)采集真實(shí)世界圖像即 實(shí)體書頁的圖像數(shù)據(jù)W及實(shí)時(shí)采集實(shí)體書頁的視頻畫面，擅染顯示真實(shí)世界的視頻圖像。
[0048] 當(dāng)用戶放置實(shí)體書頁到攝像裝置的采集范圍內(nèi)，識(shí)別模塊識(shí)別圖實(shí)體書頁的標(biāo)識(shí) 信息，匹配實(shí)時(shí)圖像的特征點(diǎn)與描述文件中的特征點(diǎn)，分析出實(shí)體書頁的圖像ID，從而分析 出擅染圖像ID對(duì)應(yīng)的=維模型和音頻。
[0049] 當(dāng)用戶放置實(shí)體書頁到攝像裝置的采集范圍內(nèi)，追蹤模塊實(shí)時(shí)計(jì)算出實(shí)體書頁的 空間位置信息，并綁定=維模型數(shù)據(jù)在實(shí)體書頁的空間位置處，最終，趣味學(xué)習(xí)系統(tǒng)的移動(dòng) 端應(yīng)用程序?qū)?維模型實(shí)時(shí)擅染在實(shí)體書頁的空間位置處，完成增強(qiáng)現(xiàn)實(shí)的體驗(yàn)。
[0050] 本發(fā)明實(shí)現(xiàn)了互動(dòng)體驗(yàn)上的重大突破，主要體現(xiàn)在=個(gè)方面，一是將傳統(tǒng)二維圖 像轉(zhuǎn)化為=維；二是用戶能與=維信息進(jìn)行人機(jī)交互;=是虛擬的=維信息將會(huì)與現(xiàn)實(shí)世 界進(jìn)行完美的融合，用戶能觀察虛擬信息在現(xiàn)實(shí)世界的呈現(xiàn)狀態(tài)，再次提升教學(xué)的互動(dòng)性。 另外，該系統(tǒng)也無需額外引入額外的服務(wù)器來存儲(chǔ)圖像信息，只需采用程序運(yùn)行裝置即可 實(shí)現(xiàn)，大大降低了成本，該系統(tǒng)操作方式與現(xiàn)有的點(diǎn)讀機(jī)、早教機(jī)等的操作方式相似，操作 簡單方便，但是又能呈現(xiàn)生動(dòng)的畫面，吸引小朋友的注意力，從而提高小朋友的學(xué)習(xí)興趣， 本系統(tǒng)同時(shí)將一些呆板的抽象的二維圖像轉(zhuǎn)變?yōu)?維信息，尤其適用兒童的多媒體互動(dòng)教 學(xué)。本發(fā)明解決現(xiàn)在教育互動(dòng)程序和裝置的低趣味性問題和互動(dòng)體驗(yàn)單一問題，并且此發(fā) 明系統(tǒng)操作簡單，成本低，與現(xiàn)在高互動(dòng)性的多媒體互動(dòng)教學(xué)系統(tǒng)相比具有極大的優(yōu)勢。 [0化1]實(shí)施例2:
[0052] 本實(shí)施例在實(shí)施例1的基礎(chǔ)上優(yōu)選如下:程序運(yùn)行裝置包括：
[0053] 識(shí)別模塊，用于當(dāng)用戶將所述實(shí)體書頁置于攝像裝置的采集范圍時(shí)，識(shí)別模塊處 理并分析來自攝像裝置采集后傳輸過來的圖像數(shù)據(jù)，識(shí)別出實(shí)體書頁對(duì)應(yīng)的標(biāo)識(shí)信息，并 分析出標(biāo)識(shí)信息對(duì)應(yīng)的=維模型和音頻信息，依次經(jīng)過圖像特征點(diǎn)的提取、特征點(diǎn)篩選、特 征點(diǎn)描述和圖像匹配實(shí)現(xiàn)圖像處理與識(shí)別匹配;識(shí)別模塊要識(shí)別實(shí)體書頁并分析出對(duì)應(yīng)的 S維模型和音頻信息，需要如圖2的步驟：
[0054] S301用戶制作實(shí)體書頁圖像文件，包括但不限于教學(xué)書籍、識(shí)字卡片、識(shí)物卡片的 印刷圖像文件和教學(xué)用具的拍攝照片文件。
[0055] S302利用圖像識(shí)別預(yù)處理程序?qū)?shí)體書頁圖像標(biāo)識(shí)信息(特征點(diǎn)）的提取與篩選， 最終處理為記錄圖像特征點(diǎn)的描述文件，此描述文件記錄圖像標(biāo)識(shí)信息與圖像ID的一一對(duì) 應(yīng)關(guān)系。
[0056] S303將=維模型、音頻與圖像ID對(duì)應(yīng)，并確定好=維模型與此ID圖像的空間位置 關(guān)系。
[0057] S304識(shí)別模塊實(shí)時(shí)處理攝像裝置采集的實(shí)體書籍的圖像，包含圖像的尺寸處理和 灰度處理;提取的特征點(diǎn)與記錄圖像特征點(diǎn)的描述文件對(duì)比得出攝像裝置采集的實(shí)體書 頁圖像ID，從而得到實(shí)體書頁對(duì)應(yīng)的=維模型數(shù)據(jù)和音頻數(shù)據(jù)。
[0058] 識(shí)別模塊中圖像處理與識(shí)別匹配，需要如圖3的步驟:包括如下步驟：
[0059] 步驟S401圖像特征點(diǎn)的提取，該步驟又包括如下步驟：
[0060] 步驟1從圖片中選取一個(gè)像素 P，下面我們將判斷它是否是一個(gè)特征點(diǎn)，我們首先 把它的亮度值設(shè)為Ip;
[0061 ]步驟2設(shè)定一個(gè)合適的闊值t;
[0062]步驟3考慮W該像素點(diǎn)為中屯、的一個(gè)半徑等于3像素的離散化的化esenham圓，運(yùn) 個(gè)圓的邊界上有16個(gè)像素(如圖I所示）；
[0063] 步驟4如果在運(yùn)個(gè)大小為16個(gè)像素的圓上有n個(gè)連續(xù)的像素點(diǎn)，它們的像素值要么 都比1口4大，要么都比Ip-t小，那么它就是一個(gè)角點(diǎn)。（如圖4中的白色虛線所示Kn的值為 9。圖4是圖像特征點(diǎn)提取的一個(gè)參考圖。
[0064] 步驟S402特征點(diǎn)篩選，該步驟包括如下步驟：
[0065] 步驟A)首先選取你進(jìn)行特征點(diǎn)提取的應(yīng)用場景下很多張的測試圖片；
[0066] 步驟B)提取測試圖片上的特征點(diǎn)；
[0067] 步驟C)對(duì)于每個(gè)特征點(diǎn)，我們把它鄰域圓上的16個(gè)點(diǎn)存儲(chǔ)下來保存在一個(gè)vector 內(nèi)，處理所有步驟B)中得到的特征點(diǎn)，并把它們存儲(chǔ)在P中；
[0068] 步驟D)對(duì)于圖像上的點(diǎn)P，它周圍鄰域圓上位置為x，xG{l…16^，義￡{1-，16}的 點(diǎn)表示為可W用下面的判斷公式將該點(diǎn)分為3類：
[0069]
[0070] 步驟E)設(shè)P為訓(xùn)練圖像集中所有像素點(diǎn)的集合，我們?nèi)我?6個(gè)位置中的一個(gè)位置 X，可W把集合P分為S個(gè)部分PcUPs和化，其中Pd的定義如下，Ps和化的定義與其類似：
[0071] Pb={pGP:S 阿=M
[0072] 換句話說，對(duì)于任意給定的位置X，它都可W把所有圖像中的點(diǎn)分為=類，第一類 Pd包括了所有位置X處的像素在闊值t下暗于中屯、像素，第二類Ps包括了所有位置X處的像 素在闊值t下近似于中屯、像素，Pb包括了所有位置X處的像素在闊值t下亮于中屯、像素。
[0073] 定義一個(gè)新的布爾變量邱，如果P是一個(gè)角點(diǎn)，那些Kp為真，否則為假。
[0074] 使用ID3算法(決策樹分類器)來查詢每一個(gè)子集。
[0075] 遞歸計(jì)算所有的子集直到Kp的賭為0。
[0076] 被創(chuàng)建的決策樹就用于其他圖片的特征點(diǎn)檢測與篩選。該設(shè)置解決了圖像特征點(diǎn) 提取中當(dāng)我們設(shè)置n<12時(shí)就不能使用快速算法來過濾非角點(diǎn)的點(diǎn);檢測出來的角點(diǎn)不是最 優(yōu)的，運(yùn)是因?yàn)樗男嗜Q于問題的排序與角點(diǎn)的分布;對(duì)于角點(diǎn)分析的結(jié)果被丟棄的 缺陷。
[0077] 本放方法中使用Non-Max ima 1 Suppr e S S i on解決，有如下步驟：
[0078] 為每一個(gè)檢測到的特征點(diǎn)計(jì)算它的響應(yīng)大小V。運(yùn)里V定義為點(diǎn)P和它周圍16個(gè)像 素點(diǎn)的絕對(duì)偏差的和。
[0079] 考慮兩個(gè)相鄰的特征點(diǎn)，并比較它們的V值。
[0080] V值較低的點(diǎn)將會(huì)被刪除。解決了圖像特征點(diǎn)提取中多個(gè)特征點(diǎn)容易擠在一起。 步驟S403特征點(diǎn)描述，該步驟包括有如下步驟：
[0081] 步驟11對(duì)于任何一個(gè)特征點(diǎn)，可W用一個(gè)長度為n的二值碼串來描述，運(yùn)個(gè)二值串 是由特征點(diǎn)周圍化個(gè)點(diǎn)對(duì)生成的，現(xiàn)在我們將運(yùn)化個(gè)點(diǎn)組成一個(gè)矩陣S
[0082]
[0083]步驟22使用鄰域方向0和對(duì)應(yīng)的旋轉(zhuǎn)矩陣R0，構(gòu)建S的一個(gè)校正版本S0
[0084] Se = ReS
[0085] 其中
[0086]
[0087] 0為特征點(diǎn)的方向；
[0088] 我們可W把角度離散化，即把360度分為12份，每一份是30度，然后我們對(duì)運(yùn)個(gè)12 個(gè)角度分別求得一個(gè)S0，運(yùn)樣我們就創(chuàng)建了一個(gè)查找表，對(duì)于每一個(gè)0，我們只需查表即可 快速得到它的點(diǎn)對(duì)的集合S0，最后通過特征點(diǎn)的方向來描述特征點(diǎn)；
[0089] 步驟S404圖像匹配，采用FLAr^N算法完成兩幅圖像的特征點(diǎn)匹配。
[0090] 追蹤模塊，用于實(shí)時(shí)獲取實(shí)體書頁的空間位置，并將標(biāo)識(shí)信息對(duì)應(yīng)的=維模型綁 定到實(shí)體書頁的空間位置對(duì)應(yīng)某個(gè)預(yù)置的位置處，當(dāng)用戶在真實(shí)世界中移動(dòng)實(shí)體書頁時(shí)， 攝像裝置提供實(shí)時(shí)視頻源提供給追蹤模塊，用于實(shí)時(shí)計(jì)算實(shí)體書頁在真實(shí)世界的空間方 位，與之綁定的S維模型數(shù)據(jù)隨之顯示在當(dāng)前實(shí)體書頁的空間方位處。
[0091] =維擅染模塊，用于擅染顯示攝像裝置采集的實(shí)時(shí)視頻畫面，并且將標(biāo)識(shí)信息對(duì) 應(yīng)的=維模型擅染顯示出來疊加在實(shí)時(shí)視頻畫面中；
[0092] 音頻擅染模塊，用于擅染出標(biāo)識(shí)信息對(duì)應(yīng)的音頻信息；
[0093] 追蹤模塊，用于及時(shí)獲取實(shí)體書頁的空間位置，并將標(biāo)識(shí)信息對(duì)應(yīng)的=維模型綁 定到實(shí)體書頁的空間位置對(duì)應(yīng)某個(gè)預(yù)置的位置處。通過程序運(yùn)行裝置上各個(gè)模塊的分工合 作，實(shí)現(xiàn)將傳統(tǒng)的二維圖像轉(zhuǎn)化為=維圖像，且該過程操作簡單、方便，成本低、圖像生動(dòng)、 寓教于樂非常適合于兒童的多媒體互動(dòng)教學(xué)。
[0094] 角點(diǎn)即圖像上的極值點(diǎn)，即在圖像上特別突出的點(diǎn)，本方案識(shí)別模塊中圖像處理 與識(shí)別匹配經(jīng)過了圖像特征點(diǎn)提取、特征點(diǎn)篩選、特征點(diǎn)描述和圖像匹配等多個(gè)步驟的相 互作用與制約，避免出現(xiàn)當(dāng)設(shè)置的n個(gè)連續(xù)的像素點(diǎn)小于12時(shí)，對(duì)于采集圖像上的角點(diǎn)，不 能使用快速算法來過濾非角點(diǎn)，檢測出來的角點(diǎn)不是最優(yōu)的，角點(diǎn)分析的結(jié)果被丟棄，多個(gè) 特征點(diǎn)容易擠在一起的缺陷，通過該識(shí)別模塊采集到的圖像信息更加的準(zhǔn)確清晰，更利于 后期識(shí)別和清晰成像。
[0095] 實(shí)施例3:
[0096] 本實(shí)施例在上述實(shí)施例的基礎(chǔ)上優(yōu)選如下維擅染模塊包括模型預(yù)處理模塊和 擅染模塊，模型預(yù)處理模炔基于Autodesk FBX SDK解析FBX模型文件，舍棄移動(dòng)端不支持的 模型特性，導(dǎo)出模型中間文件，模型中間文件交由擅染模塊讀取。
[0097] 識(shí)別模塊包括圖像識(shí)別預(yù)處理單元和移動(dòng)端識(shí)別模塊，圖像識(shí)別預(yù)處理單元處理 實(shí)體書頁圖像信息，得到實(shí)體書頁的標(biāo)識(shí)信息，識(shí)別模塊接受攝像裝置實(shí)時(shí)采集的實(shí)體書 頁圖像信息，得到圖像的標(biāo)識(shí)信息，從而得到標(biāo)識(shí)信息對(duì)應(yīng)的一個(gè)或多個(gè)S維模型W及一 個(gè)或多個(gè)音頻信息，最終交給=維擅染模塊和音頻擅染模塊擅染。
[0098] 識(shí)別模塊實(shí)時(shí)處理攝像裝置采集的實(shí)體書籍的圖像，包含圖像的尺寸處理和灰度 處理，提取特征點(diǎn)與記錄圖像特征點(diǎn)的描述文件對(duì)比得出攝像裝置采集的實(shí)體書頁圖像 ID，從而得到實(shí)體書頁對(duì)應(yīng)的=維模型數(shù)據(jù)和音頻數(shù)據(jù)。尺寸處理可W讓圖像按照既定的 尺寸顯示，灰度的處理則可W讓色彩更逼真，顏色細(xì)節(jié)更到位，通過灰度和尺寸的處理，保 證了最后顯示的=維圖像更加的形象生動(dòng)。
[0099] 顯示裝置中顯示的一個(gè)或多個(gè)S維圖像采用S維軟件制作，導(dǎo)出FBX格式文件，交 由3D擅染引擎預(yù)處理為模型中間文件后顯示。S維圖像模型采用3DS MAX、Maya、Blender等 S維建模軟件制作，制作導(dǎo)出FBX格式文件，S維圖像模型能夠提高教學(xué)事物的直觀性，激 發(fā)受教者興趣。并且該S維圖像模型基于Autodesk FBX SDK解析FBX模型文件，舍棄移動(dòng)端 不支持的模型特性，導(dǎo)出模型中間文件，模型中間文件交由擅染模塊讀取。其中的擅染模塊 基于化engl ES 2.0開發(fā)，讀取模型中間文件后利用化engl API交給底層操作系統(tǒng)執(zhí)行擅 染并顯示。模型中間文件采用二進(jìn)制方式儲(chǔ)存，保證數(shù)據(jù)的安全性。
[0100] 實(shí)施例4:
[0101] 本實(shí)施例在上述實(shí)施例的基礎(chǔ)上采用一種基于增強(qiáng)現(xiàn)實(shí)的趣味學(xué)習(xí)方法，包括如 下步驟：
[0102] 步驟A)使用圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像數(shù)據(jù)，得到圖像數(shù)據(jù)的標(biāo)識(shí) 信息，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)了一個(gè)圖像的ID，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)一個(gè)或多個(gè)=維模型W及一 個(gè)或多個(gè)音頻信息；
[0103] 步驟B)導(dǎo)入圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像后的數(shù)據(jù)，程序開發(fā)綁定圖 像ID與相應(yīng)的=維模型和音頻信息，并且規(guī)定好=維模型與實(shí)體書頁圖像的空間相對(duì)位置 與大小、姿態(tài)W及交互方式；
[0104] 步驟C)啟動(dòng)趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序，打開攝像裝置，實(shí)時(shí)采集真實(shí)世界 實(shí)體書頁圖像，擅染顯示真實(shí)世界的視頻圖像；
[0105] 步驟D)當(dāng)用戶放置實(shí)體書頁到攝像裝置的采集范圍內(nèi)，識(shí)別模塊識(shí)別圖實(shí)體書頁 的標(biāo)識(shí)信息，判定實(shí)體書頁的圖像ID，并分析出擅染圖像ID對(duì)應(yīng)的=維模型和音頻；
[0106] 步驟E)在步驟D)的基礎(chǔ)上，追蹤模塊實(shí)時(shí)計(jì)算出實(shí)體書頁的空間位置信息，并綁 定=維模型數(shù)據(jù)在實(shí)體書頁的空間位置處，最終，趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序?qū)?維 模型實(shí)時(shí)擅染在實(shí)體書頁的空間位置處并擅染出對(duì)應(yīng)音頻，完成增強(qiáng)現(xiàn)實(shí)的體驗(yàn)。
[0107] 用戶通過移動(dòng)端安裝并啟動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用，然后即可獲得增強(qiáng)現(xiàn)實(shí)應(yīng)用，啟動(dòng)增 強(qiáng)現(xiàn)實(shí)應(yīng)用后，設(shè)備的攝像頭將會(huì)啟動(dòng)，開始捕捉攝像頭畫面下真實(shí)世界的環(huán)境，通過顯示 裝置的屏幕實(shí)時(shí)呈現(xiàn)攝像頭捕捉的真實(shí)世界畫面。此時(shí)用戶將實(shí)體書頁至于攝像裝置掃描 范圍內(nèi)，
[0108] 攝像裝置傳給系統(tǒng)識(shí)別模塊視頻流(現(xiàn)實(shí)世界的每一帖圖像），識(shí)別模塊處理分析 匹配視頻流中的圖像畫面，分析出實(shí)體書頁對(duì)應(yīng)的圖像ID;系統(tǒng)分析圖像對(duì)應(yīng)的=維模型 信息和音頻信息，并實(shí)時(shí)追蹤實(shí)體書頁的空間位置，將=維信息和真實(shí)世界進(jìn)行疊加，并且 用戶可W同虛擬信息交互，實(shí)時(shí)追蹤實(shí)體書頁的空間位置并把=維模型也放置于實(shí)體書頁 的預(yù)制相對(duì)空間位置處，完成增強(qiáng)現(xiàn)實(shí)體驗(yàn)與學(xué)習(xí)；最后退出增強(qiáng)現(xiàn)實(shí)應(yīng)用。
[0109] 在此交互系統(tǒng)下，程序能夠把二維平面上的圖像轉(zhuǎn)化為=維信息，再輔助于人機(jī) 交互方式，寓教于樂，帶來新一代的互動(dòng)學(xué)習(xí)方式，該方法得到的=維圖像形象生動(dòng)、成本 低，克服了現(xiàn)有多媒體互動(dòng)教學(xué)系統(tǒng)要么只側(cè)重于語音朗讀，沒能結(jié)合生動(dòng)的圖像，互動(dòng)體 驗(yàn)單一片面，不能激發(fā)用戶興趣;要么只能展示二維的圖像信息，并且交互性弱，用戶只能 單方面的觀看;要么就是系統(tǒng)復(fù)查，費(fèi)用成本高等各種缺陷。
[0110] W上所述，僅是本發(fā)明的較佳實(shí)施例，并非對(duì)本發(fā)明做任何形式上的限制，凡是依 據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)W上實(shí)施例所作的任何簡單修改、等同變化，均落入本發(fā)明的保護(hù)
【主權(quán)項(xiàng)】
1. 一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)，其特征在于，包括： 至少一個(gè)實(shí)體書頁，每個(gè)實(shí)體書頁對(duì)應(yīng)一個(gè)標(biāo)識(shí)信息，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)一個(gè)或多個(gè) 三維模型以及一個(gè)或多個(gè)音頻信息； 攝像裝置，用于采集實(shí)體書頁的圖像數(shù)據(jù)以及實(shí)時(shí)采集實(shí)體書頁的視頻畫面，然后將 圖像信息以及視頻畫面提供給程序運(yùn)行裝置； 顯示裝置，用于顯示攝像裝置采集到的實(shí)時(shí)視頻畫面以及顯示程序運(yùn)行裝置計(jì)算產(chǎn)生 的一個(gè)或多個(gè)三維圖像； 程序運(yùn)行裝置，用于當(dāng)用戶將所述實(shí)體書頁置于攝像裝置的采集范圍時(shí)，及時(shí)獲取實(shí) 體書頁的空間位置，并將標(biāo)識(shí)信息對(duì)應(yīng)的三維模型綁定到實(shí)體書頁的空間位置對(duì)應(yīng)某個(gè)預(yù) 置的位置處，處理并分析來自攝像裝置采集后傳輸過來的圖像數(shù)據(jù)，識(shí)別出實(shí)體書頁對(duì)應(yīng) 的標(biāo)識(shí)信息，并分析出標(biāo)識(shí)信息對(duì)應(yīng)的三維模型和音頻信息，將標(biāo)識(shí)信息對(duì)應(yīng)的三維模型 渲染顯示出來疊加在實(shí)時(shí)視頻畫面中，實(shí)現(xiàn)渲染顯示攝像裝置實(shí)時(shí)采集的實(shí)時(shí)視頻畫面和 音頻信息。2. 根據(jù)權(quán)利要求1所述的一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)，其特征在于，所述程序 運(yùn)行裝置包括： 識(shí)別模塊，用于當(dāng)用戶將所述實(shí)體書頁置于攝像裝置的采集范圍時(shí)，識(shí)別模塊處理并 分析來自攝像裝置采集后傳輸過來的圖像數(shù)據(jù)，識(shí)別出實(shí)體書頁對(duì)應(yīng)的標(biāo)識(shí)信息，并分析 出標(biāo)識(shí)信息對(duì)應(yīng)的三維模型和音頻信息，依次經(jīng)過圖像特征點(diǎn)的提取、特征點(diǎn)篩選、特征點(diǎn) 描述和圖像匹配實(shí)現(xiàn)圖像處理與識(shí)別匹配； 三維渲染模塊，用于渲染顯示攝像裝置采集的實(shí)時(shí)視頻畫面，并且將標(biāo)識(shí)信息對(duì)應(yīng)的 三維模型渲染顯示出來疊加在實(shí)時(shí)視頻畫面中； 音頻渲染模塊，用于渲染出標(biāo)識(shí)信息對(duì)應(yīng)的音頻信息； 追蹤模塊，用于及時(shí)獲取實(shí)體書頁的空間位置，并將標(biāo)識(shí)信息對(duì)應(yīng)的三維模型綁定到 實(shí)體書頁的空間位置對(duì)應(yīng)某個(gè)預(yù)置的位置處。3. 根據(jù)權(quán)利要求2所述的一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)，其特征在于，所述三維 渲染模塊包括模型預(yù)處理模塊和渲染模塊，模型預(yù)處理模炔基于Autodesk FBX SDK解析 FBX模型文件，舍棄移動(dòng)端不支持的模型特性，導(dǎo)出模型中間文件，模型中間文件交由渲染 模塊讀取。4. 根據(jù)權(quán)利要求2所述的一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)，其特征在于，所述識(shí)別 模塊包括圖像識(shí)別預(yù)處理單元和移動(dòng)端識(shí)別模塊，圖像識(shí)別預(yù)處理單元處理實(shí)體書頁圖像 信息，得到實(shí)體書頁的標(biāo)識(shí)信息，移動(dòng)端識(shí)別模塊接受攝像裝置實(shí)時(shí)采集的實(shí)體書頁圖像 信息，得到圖像的標(biāo)識(shí)信息，從而得到標(biāo)識(shí)信息對(duì)應(yīng)的一個(gè)或多個(gè)三維模型以及一個(gè)或多 個(gè)音頻信息，最終交給三維渲染模塊和音頻渲染模塊渲染。5. 根據(jù)權(quán)利要求2或4所述的一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)，其特征在于，所述 識(shí)別模塊實(shí)時(shí)處理攝像裝置采集的實(shí)體書籍的圖像，包含圖像的尺寸處理和灰度處理，提 取特征點(diǎn)與記錄圖像特征點(diǎn)的描述文件對(duì)比得出攝像裝置采集的實(shí)體書頁圖像ID，從而得 到實(shí)體書頁對(duì)應(yīng)的三維模型數(shù)據(jù)和音頻數(shù)據(jù)。6. 根據(jù)權(quán)利要求1所述的一種基于娛樂交互的AR趣味學(xué)習(xí)系統(tǒng)，其特征在于，顯示裝置 中顯示的一個(gè)或多個(gè)三維圖像采用三維軟件制作，導(dǎo)出FBX格式文件，交由3D渲染引擎預(yù)處 理為模型中間文件后顯示。7. -種基于娛樂交互的AR趣味學(xué)習(xí)方法，其特征在于，包括如下步驟： 步驟A)使用圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像數(shù)據(jù)，得到圖像數(shù)據(jù)的標(biāo)識(shí)信 息，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)了一個(gè)圖像的ID，每個(gè)標(biāo)識(shí)信息對(duì)應(yīng)一個(gè)或多個(gè)三維模型以及一個(gè) 或多個(gè)音頻信息； 步驟B)導(dǎo)入圖像識(shí)別預(yù)處理單元處理實(shí)體書頁的圖像后的數(shù)據(jù)，程序開發(fā)綁定圖像 ID與相應(yīng)的三維模型和音頻信息，并且規(guī)定好三維模型與實(shí)體書頁圖像的空間相對(duì)位置與 大小、姿態(tài)以及交互方式； 步驟C)啟動(dòng)趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序，打開攝像裝置，實(shí)時(shí)采集真實(shí)世界實(shí)體 書頁圖像，渲染顯示真實(shí)世界的視頻圖像； 步驟D)當(dāng)用戶放置實(shí)體書頁到攝像裝置的采集范圍內(nèi)，識(shí)別模塊識(shí)別圖實(shí)體書頁的 標(biāo)識(shí)信息，判定實(shí)體書頁的圖像ID，并分析出渲染圖像ID對(duì)應(yīng)的三維模型和音頻； 步驟E)在步驟D)的基礎(chǔ)上，追蹤模塊實(shí)時(shí)計(jì)算出實(shí)體書頁的空間位置信息，并綁定三 維模型數(shù)據(jù)在實(shí)體書頁的空間位置處，最終，趣味學(xué)習(xí)系統(tǒng)的移動(dòng)端應(yīng)用程序?qū)⑷S模型 實(shí)時(shí)渲染在實(shí)體書頁的空間位置處并渲染出對(duì)應(yīng)音頻，完成增強(qiáng)現(xiàn)實(shí)的體驗(yàn)。
【文檔編號(hào)】G06T19/00GK106023692SQ201610322477
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月13日
【發(fā)明人】黃旋輝
【申請(qǐng)人】廣東博士早教科技有限公司