一種音像同步顯示方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語言數(shù)據(jù)處理方法技術(shù)領(lǐng)域，具體涉及一種音像同步顯示方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著現(xiàn)代科技的發(fā)展，人們越來越重視感官感受，對虛擬對象的準(zhǔn)確度、便捷度、仿真度以及互動性也有了越來越高的要求。單純固定的圖像演示或視頻演示已經(jīng)不能滿足體驗(yàn)者的感官需求，現(xiàn)代體驗(yàn)中更需要文字、聲音、圖像結(jié)合的全方位展示。現(xiàn)有技術(shù)中的聲像同步方法多是利用視頻處理技術(shù)，將文字嵌入視頻流中，根據(jù)音頻中每個文字的播放時間段來逐步顯示文字。例如，申請?zhí)枮?1^200510130405.8、21^200610027001.0和ZL201210078552.5的中國專利申請所公布的文字音頻同步方法，均是應(yīng)用于音頻視頻后期同聲字幕制作，所用方法為使音頻碼對應(yīng)時間數(shù)據(jù)來達(dá)到音頻流和時間同步的效果，這種同步方法僅適用于音頻或視頻制作。但對于本身含有文字的展示對象而言，上述方法制作的虛擬對象無法清晰的演示出展示對象的內(nèi)容細(xì)節(jié)，更無法達(dá)到將內(nèi)容細(xì)節(jié)和聲音圖像同步逐字顯示的效果，鑲嵌在虛擬圖像旁邊的文字也無法代替圖像真實(shí)有效的模仿展示對象。且通過上述方法制作的虛擬產(chǎn)品還是只停留在二維的平面制作上，不能體現(xiàn)出展示對象的立體感，感官體驗(yàn)較差?，F(xiàn)有技術(shù)中的文字聲音同步方法還存在很多不足。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于提供一種音像同步顯示方法及系統(tǒng)，以解決的現(xiàn)有技術(shù)的問題:現(xiàn)有技術(shù)中無法實(shí)現(xiàn)將虛擬對象上包含文字內(nèi)容和其聲音、圖像同步逐字顯示的功能。
[0004]為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供的技術(shù)方案如下:
[0005]—種音像同步顯示方法，包括以下步驟:
[0006]步驟一，讀取文本文件，將所述文本文件中每個文字生成文字貼圖；
[0007]步驟二，將所述文字貼圖嵌入材質(zhì)貼圖；
[0008]步驟三，依據(jù)所述文本文件生成音頻文件，逐字截取每個文字播放時間pt;
[0009]步驟四，通過所述播放時間pt生成時間貼圖；
[0010]步驟五，所述時間貼圖遮罩所述文字貼圖；
[0011]步驟六，播放所述音頻文件時，調(diào)整所述時間貼圖遮罩的所述文字貼圖的渲染顏色值，使所述文字貼圖顯像在所述材質(zhì)貼圖上。
[0012]進(jìn)一步地，所述時間貼圖為漸變色塊，所述色塊的顏色由所述播放時間pt的長度決定。
[0013]進(jìn)一步地，所述步驟三中，通過所述音頻文件中每個文字讀取的起始時間St和截止時間et，截取出每個文字的所述播放時間Pt。
[0014]進(jìn)一步地，通過音頻文件的音波變化自動獲取所述起始時間st和所述截止時間et或手動設(shè)定所述起始時間st和所述截止時間et。
[0015]進(jìn)一步地，所述材質(zhì)貼圖嵌有所述文本文件中的文字。
[0016]進(jìn)一步地，所述文字貼圖嵌入所述材質(zhì)貼圖的位置對應(yīng)所述材質(zhì)貼圖中的相同文字。
[0017]進(jìn)一步地，所述音像同步顯示方法還包括以下步驟:
[0018]步驟七，所述播放時間pt與所述文本文件中每個文字建立對應(yīng)關(guān)系；
[0019]步驟八，根據(jù)所述對應(yīng)關(guān)系獲取輸入的檢索文字的播放時間，當(dāng)其與所述時間貼圖中包含所述播放時間Pt相同時，渲染所述時間貼圖遮罩的所述文字貼圖的顏色值，使所述文字貼圖顯像在所述材質(zhì)貼圖上。
[0020]進(jìn)一步地，設(shè)定所述文本文件中相同的文字的多段所述播放時間pt合并，建立多個時間數(shù)據(jù)對應(yīng)一個文字的關(guān)系。
[0021]進(jìn)一步地，輸入檢索的文字為單個文字或詞或句。
[0022]進(jìn)一步地，掃描三維對象的圖像并采集其包含的文字信息，將所述文字信息生成文本文件。
[0023]進(jìn)一步地，所述三維對象的圖像信息生成材質(zhì)貼圖。
[0024]—種使用所述音像同步方法的音像同步系統(tǒng)，包括
[0025]文本處理模塊，用于將文本文件中的文字轉(zhuǎn)建立文字貼圖；
[0026]音頻處理模塊，用于截取音頻文件中每個文字的播放時間pt，并依據(jù)所述播放時間Pt建立時間貼圖；
[0027]圖像處理模塊，用于將所述文字貼圖嵌入材質(zhì)貼圖，將所述時間貼圖遮罩所述文字貼圖；
[0028]顯示處理模塊，用于在播放音頻文件時，實(shí)時調(diào)整所述文字貼圖的渲染顏色值。
[0029]進(jìn)一步地，所述音像同步系統(tǒng)還包括檢索處理模塊，用于建立并存儲所述播放時間Pt和所述文本文檔中的每個文字的對應(yīng)關(guān)系。
[0030]進(jìn)一步地，顯示處理模塊，用于在輸入檢索文字時，根據(jù)所述檢索文字的播放時間與所述時間貼圖中包含的所述播放時間Pt的比對，判斷是否渲染所述文字貼圖的顏色值。
[0031]進(jìn)一步地，所述音像同步系統(tǒng)還包括采集模塊，用于根據(jù)顯示對象的圖像建立所述材質(zhì)貼圖。
[0032]進(jìn)一步地，所述音頻處理模塊包括自動處理模塊和手動處理模塊。
[0033]本發(fā)明的音像同步顯示方法及系統(tǒng)，將文本文件轉(zhuǎn)化成文字貼圖，將音頻文件的播放時間轉(zhuǎn)化為時間貼圖，并將其依附于材質(zhì)貼圖表面;當(dāng)音頻文件被播放時，本發(fā)明通過將當(dāng)前音頻的播放時間值匹配到時間貼圖同步渲染其遮罩的文字貼圖，使文字貼圖顯像，以實(shí)現(xiàn)將虛擬對象中包含的文字信息與其文字錄音及整體圖像同步顯示的目的。體驗(yàn)者在對含有文字信息的展示對象進(jìn)行參觀交互時，不僅可以看圖聽音，還可以本發(fā)明的輔助下，快速準(zhǔn)確地定位每個播放文字在圖像中的位置;并且能夠根據(jù)體驗(yàn)者的要求快速檢索出展示對象中包含的制定文字。為對展示對象表面文字信息的實(shí)時檢索與辨識提供了很大便利。本發(fā)明能夠廣泛應(yīng)用于文物、教育、科研行業(yè)。
【附圖說明】
[0034]圖1是本發(fā)明的音像同步顯示方法的流程圖；
[0035]圖2是本發(fā)明的音像同步顯示方法的多層貼圖的流程圖；
[0036]圖3是本發(fā)明的音像同步顯示系統(tǒng)的框圖。
【具體實(shí)施方式】
[0037]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明做進(jìn)一步說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0038]本發(fā)明的目的在于提供一種音像同步顯示方法及系統(tǒng)，能夠在圖像和音頻播放時，在圖像中相應(yīng)的文字位置上層同步突顯出播放的文字，便于體驗(yàn)者方便快捷的閱覽展示對象，不會因?yàn)樽灾髯R別圖像困難而影響體驗(yàn)感受，也大大增加展示對象的真實(shí)度。
[0039]實(shí)施例1
[0040]參照圖1、圖2所示，為實(shí)現(xiàn)將虛擬對象中包含的文字信息與其文字錄音及整體圖像同步顯示的目的，本發(fā)明提供的一種音像同步顯示方法，包括:
[0041]步驟I，讀取文本文件，將所述文本文件中每個文字生成文字貼圖，其分為:
[0042]步驟10，根據(jù)三維掃描儀采集的含有文字信息的展示對象的三維數(shù)據(jù)，建立所述展示對象的三維圖像，
[0043]步驟11，將所述展示對象包含的文字信息單獨(dú)記錄生成文本文件，
[0044]步驟12，根據(jù)所述文本文件將所述展示對象包含的每個文字生成文字貼圖；
[0045]步驟2，將所述文字貼圖嵌入材質(zhì)貼圖，其分為:
[0046]步驟20，依據(jù)所述三維圖像建立材質(zhì)貼圖，
[0047]步驟21，獲取所述材質(zhì)貼圖上所述每個文字所占的面積，設(shè)定與所述文字對應(yīng)的文字貼圖的面積與所述文字的面積相同，
[0048]步驟22，將所述文字貼圖嵌入到所述材質(zhì)貼圖的對應(yīng)位置，即所述文字貼圖覆蓋在所述材質(zhì)貼圖的相同文字上；
[0049]步驟3，根據(jù)所述文本文件生成音頻文件，逐字截取每個文字播放時間pt，其分為:
[0050]步驟30，根據(jù)文本文件錄制音頻文件，
[0051 ]步驟31，獲取所述音頻文件中每個文字讀取的起始時間st和截止時間et;獲取方式可以為手動設(shè)定所述起始時間st和所述截止時間et、也可以通過音頻波紋變化自動截取所述起始時間st和所述結(jié)束時間et，然后再根據(jù)所述起始時間st和所述結(jié)束時間et計(jì)算每個文字的所述播放時間Pt，
[0052]步驟4，通過所述播放時間pt生成時間貼圖，其分為:
[0053]步驟40，讀取所述播放時間pt，并以其時間數(shù)據(jù)為參考生成漸變色塊圖像;根據(jù)所述時間數(shù)據(jù)的長短設(shè)定所述色塊的顏色，所述時間數(shù)據(jù)越大、所述色塊的漸變層越多，
[0054]步驟41，依據(jù)所述色塊建立時間貼圖；
[0055]步驟5，所述時間貼圖遮罩所述文字貼圖，其分為:
[0056]步驟50，獲取所述文字貼圖的面積，設(shè)定與所述文字貼圖對應(yīng)的時間貼圖的面積與其面積相同，
[0057]步驟51，設(shè)置所述時間貼圖遮罩對應(yīng)的所述文字貼圖，
[0058]步驟6，播放所述音頻文件時，調(diào)整所述時間貼圖遮罩的所述文字貼圖的渲染顏色值，使所述文字貼圖顯像在所述材質(zhì)貼圖上，其分為:
[0059]步驟60，播放所述音頻文件，調(diào)取所述播放時間Pt數(shù)據(jù)，
[0060]步驟61，根據(jù)所述播放時間pt的數(shù)值變化來調(diào)整其所遮罩的所述文字貼圖的渲染顏色值，
[0061]步驟62，所述文本貼圖根據(jù)其所述顏色值，設(shè)定顯像在所述材質(zhì)貼圖上或隱藏在所述材質(zhì)貼圖上。
[0062]如需進(jìn)一步實(shí)現(xiàn)快速準(zhǔn)確檢索查詢每個播放文字在圖像中位置的功能，本發(fā)明的音像同步顯示方法還需包括:
[0063]步驟7，所述播放時間pt與所述文本文件中每個文字建立對應(yīng)關(guān)系，其分為:
[0064]步驟70，獲取所述播放時間pt，
[0065]步驟71，所述文本文檔中的文字和所述播放時間pt建立一對一對應(yīng)關(guān)系，步驟72，整合相同文字的對應(yīng)關(guān)系，將所述對應(yīng)關(guān)系中的多段所述播放時間Pt設(shè)定集合對應(yīng)一個文字。
[0066]步驟8，根據(jù)所述對應(yīng)關(guān)系獲取輸入的檢索文字的播放時間，當(dāng)其與所述時間貼圖中包含所述播放時間Pt相同時，渲染所述時間貼圖遮罩的所述文字貼圖的顏色值，使所述文字貼圖顯像在所述材質(zhì)貼圖上，其分為:
[0067]步驟80，在檢索欄輸入需要檢索的文字字符，
[0068]步驟81，根據(jù)所述文字和所述對應(yīng)關(guān)系獲取該文字的播放時間，
[0069]步驟82，提取所述時間貼圖中包含的所述播放時間Pt，將其與步驟81中的所述播放時間比較，如時間數(shù)值相同，則判斷渲染所述時間貼圖遮罩的所述文字貼圖的顏色值，否則提取下一所述時間貼圖繼續(xù)比較，
[0070]步驟82，設(shè)定被渲染的文字貼圖顯像在所述材質(zhì)貼圖上。