一種視頻中音頻的變換方法及裝置制造方法
【專(zhuān)利摘要】本發(fā)明披露了一種視頻中音頻的變換方法，包括步驟：獲取字幕，所述字幕與視頻對(duì)應(yīng)；識(shí)別字幕信息中與預(yù)設(shè)字段列表中字段相匹配的字段，以這些字段為第一字段，以第一字段在視頻中出現(xiàn)的時(shí)間位置為第一位置，以第一位置的音頻為第一音頻；以預(yù)設(shè)方案變換所述第一音頻。并且發(fā)明人還同時(shí)提供了一種實(shí)現(xiàn)上述方法的視頻中音頻的變換裝置。上述技術(shù)方案能有效地從字幕中提取需要重點(diǎn)學(xué)習(xí)的字段并以視聽(tīng)效果強(qiáng)調(diào)標(biāo)記，寓教于樂(lè)地有效提升用戶(hù)的學(xué)習(xí)效率以及記憶效果。
【專(zhuān)利說(shuō)明】一種視頻中音頻的變換方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體處理領(lǐng)域，特別涉及一種視頻中音頻的變換方法及裝置。
【背景技術(shù)】
[0002]隨著文化生活的日益豐富和對(duì)外交流需求的日趨擴(kuò)大，越來(lái)越多的外語(yǔ)學(xué)習(xí)者選擇通過(guò)觀(guān)看外語(yǔ)紀(jì)錄片、電視劇、電影等方式擴(kuò)充詞匯量、提升外語(yǔ)能力。事實(shí)上，在日常休閑過(guò)程中潛移默化地接觸外語(yǔ)詞匯的確能夠更有效地幫助記憶，提升學(xué)習(xí)效率，并且與一定語(yǔ)境和視聽(tīng)效果結(jié)合的記憶將給學(xué)習(xí)者留下更深刻的印象。然而，目前利用休閑娛樂(lè)性質(zhì)的多媒體資料進(jìn)行外語(yǔ)學(xué)習(xí)的方式多存在于學(xué)習(xí)者自行選擇的方式中，并沒(méi)有一種技術(shù)能對(duì)休閑娛樂(lè)性質(zhì)的多媒體資料中的語(yǔ)音內(nèi)容與學(xué)習(xí)者所需的外語(yǔ)知識(shí)資料庫(kù)建立系統(tǒng)聯(lián)系從而達(dá)到更有目的性和針對(duì)性的學(xué)習(xí)效果，也無(wú)法有效利用多媒體媒介的特性對(duì)某一知識(shí)點(diǎn)進(jìn)行視聽(tīng)有機(jī)結(jié)合的學(xué)習(xí)。

【發(fā)明內(nèi)容】

[0003]為此，需要提供一種視頻中音頻的變換方法及其裝置。
[0004]為實(shí)現(xiàn)上述目的，發(fā)明人提供了一種一種視頻中音頻的變換方法，包括步驟:
[0005]獲取字幕，所述字幕與視頻對(duì)應(yīng)；
[0006]識(shí)別字幕信息中與預(yù)設(shè)字段列表中字段相匹配的字段，以這些字段為第一字段，以第一字段在視頻中出現(xiàn)的時(shí)間位置為第一位置，以第一位置的音頻為第一音頻；
[0007]以預(yù)設(shè)方案變換所述第一音頻。
[0008]進(jìn)一步地，所述的視頻中音頻的變換方法中，在步驟“以預(yù)設(shè)方案變換所述第一音頻”后還包括步驟:
[0009]以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像。
[0010]進(jìn)一步地，所述的視頻中音頻的變換方法中，所述獲取字幕步驟具體包括:
[0011]獲取文本格式的字幕，或
[0012]獲取圖片格式的字幕，辨別和提取所述圖片中的文字信息。
[0013]進(jìn)一步地，所述的視頻中音頻的變換方法中，步驟“以預(yù)設(shè)方案變換所述第一音頻”具體包括:
[0014]以第二音頻替換第一音頻，所述第二音頻為對(duì)應(yīng)于第一字段的音頻；或
[0015]以第三音頻替換第一音頻，所述第三音頻為經(jīng)處理的第一音頻與第二音頻的疊加音頻。
[0016]進(jìn)一步地，所述的視頻中音頻的變換方法中，步驟“以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像”具體包括:
[0017]在所述單幀圖像或多幀圖像的預(yù)設(shè)位置添加對(duì)應(yīng)于第一字段的文字信息；或
[0018]以預(yù)設(shè)方案變化或替換所述單幀圖像或多幀圖像中的字幕中對(duì)應(yīng)于第一字段的文字。[0019]此外，發(fā)明人還提供了一種視頻中音頻的變換裝置，包括字幕獲取單元、字段識(shí)別單元和音頻變換單元；
[0020]所述字幕獲取單元用于獲取字幕，所述字幕與視頻對(duì)應(yīng)；
[0021]所述字段識(shí)別單元用于識(shí)別字幕信息中與預(yù)設(shè)字段列表中字段相匹配的字段，以這些字段為第一字段，以第一字段在視頻中出現(xiàn)的時(shí)間位置為第一位置，以第一位置的音頻為第一音頻；
[0022]所述音頻變換單元用于以預(yù)設(shè)方案變換所述第一音頻。
[0023]進(jìn)一步地,所述的視頻中音頻的變換裝置,還包括視頻變換單元；
[0024]所述視頻變換單元用于以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像。
[0025]進(jìn)一步地，所述的視頻中音頻的變換裝置中，字幕獲取單元獲取字幕具體包括:
[0026]獲取文本格式的字幕，或
[0027]獲取圖片格式的字幕，辨別和提取所述圖片中的文字信息。
[0028]進(jìn)一步地，所述的視頻中音頻的變換裝置中，音頻變換單元以預(yù)設(shè)方案變換所述第一音頻具體包括:
[0029]以第二音頻替換第一音頻，所述第二音頻為對(duì)應(yīng)于第一字段的音頻；或
[0030]以第三音頻替換第一音頻，所述第三音頻為經(jīng)處理的第一音頻與第二音頻的疊加音頻。
[0031]進(jìn)一步地，所述的視頻中音頻的變換裝置中，視頻變換單元以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像具體包括:
[0032]在所述單幀圖像或多幀圖像的預(yù)設(shè)位置添加對(duì)應(yīng)于第一字段的文字信息；或
[0033]以預(yù)設(shè)方案變化或替換所述單幀圖像或多幀圖像中的字幕中對(duì)應(yīng)于第一字段的文字。
[0034]區(qū)別于現(xiàn)有技術(shù)，上述技術(shù)方案能有效地從字幕中提取需要重點(diǎn)學(xué)習(xí)的字段并以視聽(tīng)效果強(qiáng)調(diào)標(biāo)記，寓教于樂(lè)地有效提升用戶(hù)的學(xué)習(xí)效率以及記憶效果。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0035]圖1為本發(fā)明一實(shí)施方式所述視頻中音頻的變換方法的流程圖；
[0036]圖2為本發(fā)明另一實(shí)施方式所述視頻中音頻的變換裝置的功能模塊示意圖。
[0037]附圖標(biāo)記說(shuō)明:
[0038]1-字幕獲取單元
[0039]2-字段識(shí)別單元
[0040]3-音頻變換單元
[0041]4-視頻變換單元
[0042]5-存儲(chǔ)單元
[0043]6-判斷單元
【具體實(shí)施方式】
[0044]為詳細(xì)說(shuō)明技術(shù)方案的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，以下結(jié)合具體實(shí)施例并配合附圖詳予說(shuō)明。[0045]請(qǐng)參閱圖1，為本發(fā)明一實(shí)施方式所述視頻中音頻的變換方法的流程圖。所述方法包括步驟:
[0046]S1、獲取字幕，所述字幕與視頻對(duì)應(yīng)；
[0047]S2、識(shí)別字幕信息中與預(yù)設(shè)字段列表中字段相匹配的字段，以這些字段為第一字段，以第一字段在視頻中出現(xiàn)的時(shí)間位置為第一位置，以第一位置的音頻為第一音頻；
[0048]S3、以預(yù)設(shè)方案變換所述第一音頻；
[0049]S4、以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像。
[0050]進(jìn)一步地，步驟SI所述的獲取字幕具體包括獲取文本格式的字幕，或獲取圖片格式的字幕，辨別和提取所述圖片中的文字信息。
[0051]具體地，獲取字幕的方式可以是獲取該視頻的圖片格式字幕或文本格式字幕，首先獲取視頻文件對(duì)應(yīng)的路徑，并在統(tǒng)一路徑下按擴(kuò)展名搜索字幕文件，文本格式字幕文件的擴(kuò)展名通常是 ass (Advanced Substation Alpha)、srt (Sub Rip Text)等；而圖片格式字幕常見(jiàn)由字幕圖片文件(如.sub文檔)和字幕索引文件(如.idx文檔)組成，一個(gè).sub文檔可同時(shí)包含多語(yǔ)言字幕，由.1dx文檔進(jìn)行調(diào)用。對(duì)圖片格式字幕，可以按一定的轉(zhuǎn)換方法(如光學(xué)字符識(shí)別OCR法，或直接調(diào)用Subrip、Vobsub, SubToSrt等字幕格式轉(zhuǎn)換軟件)將其轉(zhuǎn)換為文本格式字幕，并按照字幕的掛載形式進(jìn)行轉(zhuǎn)換:若字幕是以外掛或內(nèi)掛形式掛載則直接獲取并轉(zhuǎn)換為文本格式字幕；若字幕是以?xún)?nèi)嵌形式掛載，則從相應(yīng)的視頻幀的圖片文件中以光學(xué)文字識(shí)別(OCR)算法獲取字幕中的文字。優(yōu)選的處理方式為:獲取當(dāng)前幀圖像，以該圖像下方高度10%，寬度100%矩形內(nèi)截取粗定位圖像，對(duì)該粗定位圖像進(jìn)行光學(xué)字符識(shí)別(OCR)處理獲取文本信息。
[0052]更進(jìn)一步地，由于字幕所在圖像像素通常是不變的，可以基于此特性更精確地獲得文本所在位置，其方法為，獲取連續(xù)N幀圖像(本例中N = 5)，對(duì)每幀圖像獲取粗定位圖像，對(duì)N幀粗定位圖像的對(duì)應(yīng)像素點(diǎn)進(jìn)行比較，如果其BGR三通道灰度值之差在一定范圍R(本例為10)之內(nèi)，則標(biāo)記不定點(diǎn)，截取包含所有不動(dòng)點(diǎn)的最小外接矩形內(nèi)的圖像，并以光學(xué)字符識(shí)別(OCR)算法獲取文本。
[0053]在某些實(shí)施例中，獲取字幕的方式還可以是分析音頻并分離背景音效與人聲，從獲取的人聲中通過(guò)語(yǔ)音識(shí)別技術(shù)確定與人聲相對(duì)應(yīng)的文字及其于視頻中的位置信息。
[0054]步驟S2中所述的字段可以是單詞、詞組、短語(yǔ)或句子；所述預(yù)設(shè)字段列表可以是預(yù)設(shè)的詞匯庫(kù)如大學(xué)英語(yǔ)四級(jí)詞庫(kù)、大學(xué)英語(yǔ)六級(jí)詞庫(kù)、托福(TOEFL)考試詞庫(kù)、雅思(IELTS)考試詞庫(kù)等詞庫(kù)中的字段的英文或中文形式字段；可以是大學(xué)日語(yǔ)四級(jí)詞庫(kù)、大學(xué)日語(yǔ)六級(jí)詞庫(kù)、日語(yǔ)等級(jí)考試(JLPT)N1-N5各等級(jí)詞庫(kù)等詞匯庫(kù)中的字段的日文或中文形式字段，以及其他多種外語(yǔ)的教科書(shū)大綱詞匯庫(kù)、考試大綱詞匯庫(kù)、雙語(yǔ)或多語(yǔ)種字典等詞庫(kù)的字段。同時(shí)，預(yù)設(shè)字段列表還可以是用戶(hù)自定義詞庫(kù)，其中內(nèi)容由用戶(hù)根據(jù)自己學(xué)習(xí)進(jìn)度和掌握程度自行添加。
[0055]步驟S3中，以預(yù)設(shè)方案變換所述第一音頻具體包括:
[0056]以第二音頻替換第一音頻，所述第二音頻為對(duì)應(yīng)于第一字段的音頻；或
[0057]以第三音頻替換第一音頻，所述第三音頻為經(jīng)處理的第一音頻與第二音頻的疊加音頻。
[0058]具體地，例如視頻中人聲臺(tái)詞為“I suspect a diaphragmatic rupture.”,其對(duì)應(yīng)的雙語(yǔ)字幕為“I suspect a diaphragmatic rupture.我懷疑是橫隔膜破裂”,經(jīng)步驟S2的識(shí)別，確定“橫膈膜破裂”(diaphragmatic rupture)這一詞組為預(yù)設(shè)字段列表中的內(nèi)容即第一字段，并且原音頻流中“diaphragmatic rupture”的英文人聲音頻為第一音頻；則在本步驟中，用“橫膈膜破裂”的中文人聲音頻作為第二音頻，替換原音頻流中的第一音頻。
[0059]又例如，視頻中出現(xiàn)字幕“電擊受傷可能導(dǎo)致腹腔組織受損The electricalinjury may have caused intra-abdominal tissue damage”,經(jīng)步驟 S2 的識(shí)別，確定“電擊傷”(electrical injury)這一詞組為預(yù)設(shè)字段列表中的內(nèi)容即第一字段，視頻中出現(xiàn)本字幕的時(shí)間位置為第一位置；但經(jīng)檢測(cè)和判斷，原視頻中此第一位置處的音頻流中不存在對(duì)應(yīng)于本句的人聲，則用“電擊傷”中文人聲音頻或“electrical injury”英文人聲音頻作為第二音頻替換原音頻流中的第一音頻。進(jìn)一步地，如果視頻中原音頻流中不存在對(duì)應(yīng)于字幕的人聲，但經(jīng)檢測(cè)和判斷確定第一位置存在音樂(lè)等背景音效，則也可以該第一位置處的音頻流作為第一音頻，與第二音頻疊加后生成第三音頻，并以第三音頻替換第一音頻；或者更進(jìn)一步地，對(duì)音樂(lè)等背景音效衰減處理后與第二音頻疊加生成第三音頻，并以第三音頻替換第一音頻。
[0060]又例如，視頻中出現(xiàn)字幕“他需要持續(xù)的心臟重癥監(jiān)護(hù)He needs sustainedcardiac 1.C.U.”經(jīng)步驟S2的識(shí)別，確定“持續(xù)的”(sustained) —詞為預(yù)設(shè)字段列表中的內(nèi)容即第一字段，視頻中出現(xiàn)本字幕的時(shí)間位置為第一位置；但經(jīng)檢測(cè)和判斷，原視頻中此第一位置處的音頻流為另一人聲“He，s gonna die if we don’t do anything.”(如果我們什么都不做，他會(huì)死的)，也就是說(shuō)經(jīng)判別發(fā)現(xiàn)此處的人聲與字幕不對(duì)應(yīng)，則處理方法可以是依然用“sustained”英文人聲作為第二音頻或用“持續(xù)的”中文人聲作為第二音頻替換第一位置處的第一音頻，也可以是不做任何替換處理，以免音頻替換對(duì)視頻觀(guān)看造成娛樂(lè)效果或理解方面的影響。
[0061]也就是說(shuō)，在步驟S3中的替換步驟之前還包括一判斷步驟:分析并判斷第一音頻是否與第一字段存在對(duì)應(yīng)關(guān)系。并根據(jù)分析判斷所得結(jié)果，按預(yù)設(shè)方案變換所述音頻。
[0062]進(jìn)一步地，步驟S4中的“以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像”具體包括:
[0063]在所述單幀圖像或多幀圖像的預(yù)設(shè)位置添加對(duì)應(yīng)于第一字段的文字信息；或以預(yù)設(shè)方案變化或替換所述單幀圖像或多幀圖像中的字幕中對(duì)應(yīng)于第一字段的文字。
[0064]所述“對(duì)應(yīng)于第一字段的文字信息”可以是預(yù)設(shè)字段列表中有關(guān)第一字段的字段、解釋、音標(biāo)或例句。例如，經(jīng)過(guò)步驟S3中用“橫膈膜破裂”的中文人聲音頻作為第二音頻，替換原音頻流中的第一音頻之后，在視頻第一位置的單幀圖像或多幀圖像上的預(yù)設(shè)位置如視頻底部添加字樣“橫膈膜破裂diaphragmatic rupture”,或檢測(cè)原字幕中對(duì)應(yīng)于第一字段的部分是否有雙語(yǔ)字幕，若有雙語(yǔ)字幕則將其中對(duì)應(yīng)于第一字段的部分以高亮提示或用彩色文字替換原字幕中對(duì)應(yīng)文字；若原字幕中僅有第一字段的中文或英文字幕，則將其對(duì)應(yīng)的英文或中文文字標(biāo)記于該字幕上方或下方。
[0065]本步驟的作用是通過(guò)視覺(jué)效果對(duì)第一字段進(jìn)行加強(qiáng)提示，與聲效相結(jié)合，進(jìn)一步增強(qiáng)用戶(hù)對(duì)待掌握詞匯的印象。
[0066]請(qǐng)參閱圖2，為本發(fā)明另一實(shí)施方式所述視頻中音頻的變換裝置的功能模塊示意圖。所述裝置包括字幕獲取單元1、字段識(shí)別單元2和音頻變換單元3 ；[0067]所述字幕獲取單元I用于獲取字幕，所述字幕與視頻對(duì)應(yīng)；
[0068]所述字段識(shí)別單元2用于識(shí)別字幕信息中與預(yù)設(shè)字段列表中字段相匹配的字段，以這些字段為第一字段，以第一字段在視頻中出現(xiàn)的時(shí)間位置為第一位置，以第一位置的音頻為第一音頻；
[0069]所述音頻變換單元3用于以預(yù)設(shè)方案變換所述第一音頻。
[0070]進(jìn)一步地，所述裝置還包括視頻變換單元4，用于以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像。
[0071]進(jìn)一步地,字幕獲取單元I獲取字幕具體包括獲取文本格式的字幕,或獲取圖片格式的字幕，辨別和提取所述圖片中的文字信息。
[0072]具體地，字幕獲取單元I獲取字幕的方式可以是獲取該視頻的圖片格式字幕或文本格式字幕，字幕獲取單元I首先獲取視頻文件對(duì)應(yīng)的路徑，并在統(tǒng)一路徑下按擴(kuò)展名搜索字幕文件，將其存儲(chǔ)于存儲(chǔ)單元5并待后續(xù)處理調(diào)用。文本格式字幕文件的擴(kuò)展名通常是 ass (Advanced Substation Alpha)、srt (Sub Rip Text)等；而圖片格式字幕常見(jiàn)由字幕圖片文件(如.sub文檔)和字幕索引文件(如.1dx文檔)組成，一個(gè).sub文檔可同時(shí)包含多語(yǔ)言字幕，由.1dx文檔進(jìn)行調(diào)用。對(duì)圖片格式字幕，可以按一定的轉(zhuǎn)換算法(如光學(xué)字符識(shí)別OCR法，或直接調(diào)用Subrip、V0bsub、SubT0Srt等字幕格式轉(zhuǎn)換軟件)將其轉(zhuǎn)換為文本格式字幕，并按照字幕的掛載形式進(jìn)行轉(zhuǎn)換:若字幕是以外掛或內(nèi)掛形式掛載則直接獲取并轉(zhuǎn)換為文本格式字幕；若字幕是以?xún)?nèi)嵌形式掛載，則從相應(yīng)的視頻幀的圖片文件中以光學(xué)文字識(shí)別(OCR)算法獲取字幕中的文字。此處字幕獲取單元I優(yōu)選的工作方式為:獲取當(dāng)前幀圖像，以該圖像下方高度10%，寬度100%矩形內(nèi)截取粗定位圖像，對(duì)該粗定位圖像進(jìn)行光學(xué)字符識(shí)別(OCR)處理獲取文本信息。
[0073]更進(jìn)一步地，由于字幕所在圖像像素通常是不變的，字幕獲取單元I可以基于此特性更精確地獲得文本所在位置，具體方式為，獲取連續(xù)N幀圖像(本例中N = 5)，對(duì)每幀圖像獲取粗定位圖像，對(duì)N幀粗定位圖像的對(duì)應(yīng)像素點(diǎn)進(jìn)行比較，如果其BGR三通道灰度值之差在一定范圍R(本例為10)之內(nèi)，則標(biāo)記不定點(diǎn),截取包含所有不動(dòng)點(diǎn)的最小外接矩形內(nèi)的圖像，并以光學(xué)字符識(shí)別(OCR)算法獲取文本。
[0074]在某些實(shí)施例中，字幕獲取單元I獲取字幕的方式還可以是分析音頻并分離背景音效與人聲，從獲取的人聲中通過(guò)語(yǔ)音識(shí)別技術(shù)確定與人聲相對(duì)應(yīng)的文字及其于視頻中的位置信息。
[0075]進(jìn)一步地，字段識(shí)別單元2所識(shí)別的字段可以是單詞、詞組、短語(yǔ)或句子；預(yù)設(shè)字段列表存儲(chǔ)于存儲(chǔ)單元5 ;所述預(yù)設(shè)字段列表可以是預(yù)設(shè)的詞匯庫(kù)如大學(xué)英語(yǔ)四級(jí)詞庫(kù)、大學(xué)英語(yǔ)六級(jí)詞庫(kù)、托福(TOEFL)考試詞庫(kù)、雅思(IELTS)考試詞庫(kù)等詞庫(kù)中的字段的英文或中文形式字段；可以是大學(xué)日語(yǔ)四級(jí)詞庫(kù)、大學(xué)日語(yǔ)六級(jí)詞庫(kù)、日語(yǔ)等級(jí)考試(JLPT)N1-N5各等級(jí)詞庫(kù)等詞匯庫(kù)中的字段的日文或中文形式字段，以及其他多種外語(yǔ)的教科書(shū)大綱詞匯庫(kù)、考試大綱詞匯庫(kù)、雙語(yǔ)或多語(yǔ)種字典等詞庫(kù)的字段。同時(shí)，預(yù)設(shè)字段列表還可以是用戶(hù)自定義詞庫(kù)，其中內(nèi)容由用戶(hù)根據(jù)自己學(xué)習(xí)進(jìn)度和掌握程度自行添加。
[0076]進(jìn)一步地，音頻變換單元3以預(yù)設(shè)方案變換所述第一音頻具體包括:
[0077]以第二音頻替換第一音頻，所述第二音頻為對(duì)應(yīng)于第一字段的音頻；或
[0078]以第三音頻替換第一音頻，所述第三音頻為經(jīng)處理的第一音頻與第二音頻的疊加音頻。
[0079]具體地，例如視頻中人聲臺(tái)詞為“I suspect a diaphragmatic rupture.”,其對(duì)應(yīng)的雙語(yǔ)字幕為“I suspect a diaphragmatic rupture.我懷疑是橫隔膜破裂”,經(jīng)字段識(shí)別單元2的識(shí)別,確定“橫膈膜破裂”(diaphragmatic rupture)這一詞組為預(yù)設(shè)字段列表中的內(nèi)容即第一字段，并且原音頻流中“diaphragmaticrupture”的英文人聲音頻為第一音頻；則此處音頻變換單元3用“橫膈膜破裂”的中文人聲音頻作為第二音頻，替換原音頻流中的第一音頻。
[0080]又例如，視頻中出現(xiàn)字幕“電擊受傷可能導(dǎo)致腹腔組織受損The electricalinjury may have caused intra-abdominal tissue damage，，，經(jīng)字段識(shí)別單兀 2 的識(shí)別，石角定“電擊傷”(electrical injury)這一詞組為預(yù)設(shè)字段列表中的內(nèi)容即第一字段，視頻中出現(xiàn)本字幕的時(shí)間位置為第一位置；但經(jīng)檢測(cè)和判斷，原視頻中此第一位置處的音頻流中不存在對(duì)應(yīng)于本句的人聲，則用“電擊傷”中文人聲音頻或“electrical injury”英文人聲音頻作為第二音頻替換原音頻流中的第一音頻。進(jìn)一步地，如果視頻中原音頻流中不存在對(duì)應(yīng)于字幕的人聲，但經(jīng)檢測(cè)和判斷確定第一位置存在音樂(lè)等背景音效，則也可以該第一位置處的音頻流作為第一音頻，與第二音頻疊加后生成第三音頻，并以第三音頻替換第一音頻；或者更進(jìn)一步地，對(duì)音樂(lè)等背景音效衰減處理后與第二音頻疊加生成第三音頻，并以第三音頻替換第一音頻。
[0081]又例如，視頻中出現(xiàn)字幕“他需要持續(xù)的心臟重癥監(jiān)護(hù)He needs sustainedcardiac 1.C.U.”經(jīng)字段識(shí)別單元2的識(shí)別，確定“持續(xù)的” (sustained) —詞為預(yù)設(shè)字段列表中的內(nèi)容即第一字段，視頻中出現(xiàn)本字幕的時(shí)間位置為第一位置；但經(jīng)檢測(cè)和判斷，原視頻中此第一位置處的音頻流為另一人聲“He’s gonna die if we don’t do anything.”(如果我們什么都不做，他會(huì)死的)，也就是說(shuō)經(jīng)判別發(fā)現(xiàn)此處的人聲與字幕不對(duì)應(yīng)，則處理方法可以是依然用“sustained”英文人聲作為第二音頻或用“持續(xù)的”中文人聲作為第二音頻替換第一位置處的第一音頻，也可以是不做任何替換處理，以免音頻替換對(duì)視頻觀(guān)看造成娛樂(lè)效果或理解方面的影響。
[0082]也就是說(shuō)，在音頻變換單元3進(jìn)行音頻變換之前還包括一判斷單元6所進(jìn)行的判斷工作:分析并判斷第一音頻是否與第一字段存在對(duì)應(yīng)關(guān)系。音頻變換單元3根據(jù)分析判斷所得結(jié)果，按預(yù)設(shè)方案變換所述音頻。
[0083]進(jìn)一步地，視頻變換單元4 “以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像”具體包括:
[0084]在所述單幀圖像或多幀圖像的預(yù)設(shè)位置添加對(duì)應(yīng)于第一字段的文字信息；或以預(yù)設(shè)方案變化或替換所述單幀圖像或多幀圖像中的字幕中對(duì)應(yīng)于第一字段的文字。
[0085]所述“對(duì)應(yīng)于第一字段的文字信息”可以是預(yù)設(shè)字段列表中有關(guān)第一字段的字段、解釋、音標(biāo)或例句。例如，經(jīng)過(guò)音頻替換單元3用“橫膈膜破裂”的中文人聲音頻作為第二音頻，替換原音頻流中的第一音頻之后，視頻變換單元4在視頻第一位置的單幀圖像或多中貞圖像上的預(yù)設(shè)位置如視頻底部添加字樣“橫膈膜破裂diaphragmatic rupture”,或檢測(cè)原字幕中對(duì)應(yīng)于第一字段的部分是否有雙語(yǔ)字幕，若有雙語(yǔ)字幕則將其中對(duì)應(yīng)于第一字段的部分以高亮提示或用彩色文字替換原字幕中對(duì)應(yīng)文字；若原字幕中僅有第一字段的中文或英文字幕，則將其對(duì)應(yīng)的英文或中文文字標(biāo)記于該字幕上方或下方。[0086]視頻變換單元4的作用是通過(guò)視覺(jué)效果對(duì)第一字段進(jìn)行加強(qiáng)提示，與聲效相結(jié)合，進(jìn)一步增強(qiáng)用戶(hù)對(duì)待掌握詞匯的印象。
[0087]上述實(shí)施例涉及的方法中的全部或部分步驟可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以存儲(chǔ)于計(jì)算機(jī)設(shè)備可讀取的存儲(chǔ)介質(zhì)中，用于執(zhí)行上述各實(shí)施例方法所述的全部或部分步驟。所述計(jì)算機(jī)設(shè)備，例如個(gè)人計(jì)算機(jī)、服務(wù)器、網(wǎng)絡(luò)設(shè)備、智能移動(dòng)終端、智能家居設(shè)備、穿戴式智能設(shè)備、車(chē)載智能設(shè)備等；所述的存儲(chǔ)介質(zhì)，例如:RAM、ROM、磁碟、磁帶、光盤(pán)、閃存、U盤(pán)、移動(dòng)硬盤(pán)、存儲(chǔ)卡、記憶棒、網(wǎng)絡(luò)服務(wù)器存儲(chǔ)、網(wǎng)絡(luò)云存儲(chǔ)等。
[0088]以上所述僅為本發(fā)明的實(shí)施例，并非因此限制本發(fā)明的專(zhuān)利保護(hù)范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的【技術(shù)領(lǐng)域】，均同理包括在本發(fā)明的專(zhuān)利保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種視頻中音頻的變換方法，包括步驟: 獲取字幕，所述字幕與視頻對(duì)應(yīng)； 識(shí)別字幕信息中與預(yù)設(shè)字段列表中字段相匹配的字段，以這些字段為第一字段，以第一字段在視頻中出現(xiàn)的時(shí)間位置為第一位置，以第一位置的音頻為第一音頻； 以預(yù)設(shè)方案變換所述第一音頻。
2.如權(quán)利要求1所述的視頻中音頻的變換方法中，在步驟“以預(yù)設(shè)方案變換所述第一音頻”后還包括步驟: 以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像。
3.如權(quán)利要求1或2所述的視頻中音頻的變換方法中，所述獲取字幕步驟具體包括: 獲取文本格式的字幕，或 獲取圖片格式的字幕，辨別和提取所述圖片中的文字信息。
4.如權(quán)利要求1或2所述的視頻中音頻的變換方法中，步驟“以預(yù)設(shè)方案變換所述第一音頻”具體包括: 以第二音頻替換第一音頻，所述第二音頻為對(duì)應(yīng)于第一字段的音頻；或 以第三音頻替換第一音頻，所述第三音頻為經(jīng)處理的第一音頻與第二音頻的疊加音頻。
5.如權(quán)利要求2所述的視頻中音頻的變換方法中，步驟“以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像”具體包括: 在所述單幀圖像或多幀圖像的預(yù)設(shè)位置添加對(duì)應(yīng)于第一字段的文字信息；或 以預(yù)設(shè)方案變化或替換所述單幀圖像或多幀圖像中的字幕中對(duì)應(yīng)于第一字段的文字。
6.一種視頻中音頻的變換裝置，包括字幕獲取單元、字段識(shí)別單元和音頻變換單元； 所述字幕獲取單元用于獲取字幕，所述字幕與視頻對(duì)應(yīng)； 所述字段識(shí)別單元用于識(shí)別字幕信息中與預(yù)設(shè)字段列表中字段相匹配的字段，以這些字段為第一字段，以第一字段在視頻中出現(xiàn)的時(shí)間位置為第一位置，以第一位置的音頻為第一音頻； 所述音頻變換單元用于以預(yù)設(shè)方案變換所述第一音頻。
7.如權(quán)利要求6所述的視頻中音頻的變換裝置，還包括視頻變換單元； 所述視頻變換單元用于以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像。
8.如權(quán)利要求6或7所述的視頻中音頻的變換裝置中，字幕獲取單元獲取字幕具體包括: 獲取文本格式的字幕，或 獲取圖片格式的字幕，辨別和提取所述圖片中的文字信息。
9.如權(quán)利要求6或7所述的視頻中音頻的變換裝置中，音頻變換單元以預(yù)設(shè)方案變換所述第一音頻具體包括: 以第二音頻替換第一音頻，所述第二音頻為對(duì)應(yīng)于第一字段的音頻；或 以第三音頻替換第一音頻，所述第三音頻為經(jīng)處理的第一音頻與第二音頻的疊加音頻。
10.如權(quán)利要求7所述的視頻中音頻的變換裝置中，視頻變換單元以預(yù)設(shè)方案變換視頻第一位置的單幀圖像或多幀圖像具體包括:在所述單幀圖像或多幀圖像的預(yù)設(shè)位置添加對(duì)應(yīng)于第一字段的文字信息；或以預(yù)設(shè)方案 變化或替換所述單幀圖像或多幀圖像中的字幕中對(duì)應(yīng)于第一字段的文字。
【文檔編號(hào)】H04N21/233GK103997657SQ201410248518
【公開(kāi)日】2014年8月20日 申請(qǐng)日期:2014年6月6日 優(yōu)先權(quán)日:2014年6月6日
【發(fā)明者】劉德建, 汪松, 關(guān)胤 申請(qǐng)人:福建天晴數(shù)碼有限公司