一種多媒體語(yǔ)音字幕生成的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于多媒體字幕領(lǐng)域，具體涉及一種多媒體語(yǔ)音字幕生成的系統(tǒng)和方法。
【背景技術(shù)】
[0002]影視節(jié)目上字幕是國(guó)家廣電總局的規(guī)定和硬性要求。多媒體中的音頻語(yǔ)音及時(shí)轉(zhuǎn)換成文字并生成字幕，目前是屬于速記和字幕員的任務(wù)。影視節(jié)目中的音頻語(yǔ)音生成字幕可分為兩類(lèi):
第一類(lèi):沒(méi)有撰寫(xiě)好的語(yǔ)音標(biāo)準(zhǔn)文檔(即臺(tái)詞)
這一類(lèi)影視節(jié)目的音頻語(yǔ)音字幕的生成包含兩方面的工作。首先把沒(méi)有語(yǔ)音標(biāo)準(zhǔn)文檔(即臺(tái)詞)的音頻語(yǔ)音轉(zhuǎn)換為文字，俗稱(chēng)“扒詞”。目前仍為人工鍵盤(pán)速記完成，電視臺(tái)和影視公司一般外包給速記公司完成。其次，根據(jù)“扒好的詞”，由字幕員應(yīng)用相應(yīng)的字幕軟件手工完成時(shí)間軸，俗稱(chēng)為“拍字幕”。這兩項(xiàng)工作對(duì)于影視公司來(lái)說(shuō)，是“煩人”的工作，且效率低，工序繁多。電視臺(tái)和影視公司為此要付出大量的人力和物力。
[0003]第二類(lèi):已經(jīng)具有撰寫(xiě)好的語(yǔ)音標(biāo)準(zhǔn)文檔(即臺(tái)詞)
這一類(lèi)影視作品的音視頻語(yǔ)音字幕的生成一般是植入“臺(tái)詞”后，通過(guò)拍字幕軟件手工完成時(shí)間軸和字幕后期。其中臺(tái)詞植入后的手工拍字幕仍要付出大量的人力物力。
[0004]在現(xiàn)有技術(shù)中(專(zhuān)利號(hào):201220227996.6 (已授權(quán))、專(zhuān)利申請(qǐng)?zhí)?01310148995.1(實(shí)質(zhì)審查中)、201510364419X)實(shí)現(xiàn)了精準(zhǔn)完成連續(xù)自然語(yǔ)音文本化，該技術(shù)很好的解決了影視字幕前期的“扒詞”的難題；在此基礎(chǔ)上，根據(jù)時(shí)間戳，進(jìn)一步實(shí)現(xiàn)了為影視字幕自動(dòng)生成SRT或可適用于Final Cut Pro (該軟件運(yùn)行于MAC OS)的XML文件，解決了影視字幕依靠手工“拍字幕”的難題。

【發(fā)明內(nèi)容】

[0005]為了解決上述問(wèn)題，本發(fā)明提供一種多媒體語(yǔ)音字幕生成系統(tǒng)，所述字幕生成系統(tǒng)包括控制模塊、字幕處理模塊、語(yǔ)音處理模塊、校對(duì)分段模塊和字幕輸出模塊，所述字幕處理模塊、語(yǔ)音處理模塊、校對(duì)分段模和字幕輸出模塊均連接在所述控制模塊上，所述控制模塊另一端連接云端服務(wù)器；
進(jìn)一步地，所述控制模塊包括音視頻獲取單元和存儲(chǔ)集成單元，所述音視頻獲取單元連接所述存儲(chǔ)集成單元，所述音視頻獲取單元輸出為獲取的要生成字幕的多媒體音視頻文件或音視頻流，所述存儲(chǔ)集成單元內(nèi)包括獲取的音視頻文件、執(zhí)行標(biāo)準(zhǔn)和系統(tǒng)所生成的文件；
進(jìn)一步地，所述字幕處理模塊包括字?jǐn)?shù)選擇單元、行數(shù)選擇單元和顯示標(biāo)準(zhǔn)生成單元，所述字?jǐn)?shù)選擇單元通過(guò)行數(shù)選擇單元連接所述顯示標(biāo)準(zhǔn)生成單元，所述字?jǐn)?shù)選擇單元和顯示標(biāo)準(zhǔn)生成單元另一端均連接所述控制模塊；
進(jìn)一步地，所述字?jǐn)?shù)選擇單元為控制模塊提供的影視節(jié)目有關(guān)規(guī)定或要求屏幕單行顯示的最多字?jǐn)?shù)，所述行數(shù)選擇單元為根據(jù)影視節(jié)目有關(guān)規(guī)定或要求所確定顯示行數(shù)，所述顯示標(biāo)準(zhǔn)生成模塊輸出為自動(dòng)進(jìn)行換行換幀顯示的顯示標(biāo)準(zhǔn)；
進(jìn)一步地，所述語(yǔ)音處理模塊包括音頻分析單元、音頻識(shí)別單元和音頻切分單元，所述音頻分析單元通過(guò)所述音頻識(shí)別單元連接所述音頻切分單元；
進(jìn)一步地，所述音頻分析單元輸出為音視頻文件分析出的獨(dú)立于視頻文件中的無(wú)語(yǔ)音段、音樂(lè)段和噪音段的字幕語(yǔ)音段，所述音頻識(shí)別單元包括無(wú)語(yǔ)音標(biāo)準(zhǔn)文檔模型和有語(yǔ)音標(biāo)準(zhǔn)文檔模型；
進(jìn)一步地，所述無(wú)語(yǔ)音標(biāo)準(zhǔn)文檔模型，音頻識(shí)別單元輸出為通過(guò)云端語(yǔ)音識(shí)別引擎轉(zhuǎn)化文本，完成“扒詞”工作的字幕語(yǔ)音段，所述有語(yǔ)音標(biāo)準(zhǔn)文檔模型輸出為包括字幕和語(yǔ)音的字蒂語(yǔ)首段；
進(jìn)一步地，所述云端語(yǔ)音識(shí)別引擎包括漢語(yǔ)語(yǔ)音分節(jié)處理模塊和漢語(yǔ)語(yǔ)音識(shí)別模塊；所述的漢語(yǔ)語(yǔ)音分節(jié)處理模塊將輸入的語(yǔ)音切分成小節(jié)，使得切分點(diǎn)在語(yǔ)音的停頓處或一句話(huà)完結(jié)處，所述切分點(diǎn)為語(yǔ)音能量的低點(diǎn)，漢語(yǔ)語(yǔ)音分節(jié)處理模塊輸出為針對(duì)輸入語(yǔ)音的分段時(shí)間信息；所述漢語(yǔ)語(yǔ)音識(shí)別模塊包括:漢語(yǔ)語(yǔ)音特征抽取單元、漢語(yǔ)語(yǔ)音到文字轉(zhuǎn)換識(shí)別單元、漢語(yǔ)語(yǔ)音文字關(guān)聯(lián)信息單元、漢語(yǔ)強(qiáng)制切分單元、漢語(yǔ)拼音標(biāo)注單元、漢語(yǔ)日常詞匯單元、漢語(yǔ)聲學(xué)模型單元、漢語(yǔ)語(yǔ)言模型單元及新詞自適應(yīng)識(shí)別單元；
進(jìn)一步地，所述音頻切分單元輸出為語(yǔ)音切分模型、斷句分行模型、顯示標(biāo)準(zhǔn)切分模型和語(yǔ)音字幕合成模型，所述語(yǔ)音切分模型將影視音頻語(yǔ)音，依語(yǔ)意自動(dòng)切分為分節(jié)語(yǔ)音片段，所述斷句分行模型將影視作品的標(biāo)準(zhǔn)文檔依語(yǔ)意斷句分行顯示，所述顯示標(biāo)準(zhǔn)切分模型由波形圖調(diào)整段句的切分，保證與顯示標(biāo)準(zhǔn)相同，所述語(yǔ)音字幕合成模型將分行顯示的顯示標(biāo)準(zhǔn)文件調(diào)入音頻片段進(jìn)行語(yǔ)音與字幕的合成；
進(jìn)一步地，所述校對(duì)分段模塊包括字幕校對(duì)單元和字幕分段單元，所述字幕校對(duì)單元連接所述字幕分段單元；
進(jìn)一步地，所述字幕校對(duì)單元包括語(yǔ)音波形校對(duì)模型，所述字幕語(yǔ)音波形校對(duì)模型對(duì)字幕再次復(fù)讀，根據(jù)復(fù)讀的語(yǔ)音波形圖進(jìn)行字幕與文字的校對(duì)，每一段對(duì)應(yīng)一個(gè)字幕行，所述字幕分段單元為根據(jù)復(fù)讀的語(yǔ)音波形圖調(diào)整時(shí)間戳對(duì)字幕文字根據(jù)語(yǔ)意進(jìn)行分段，對(duì)分段的字幕進(jìn)行分隔；
進(jìn)一步地，所述字幕輸出模塊包括三維一體生成單元、字幕效果編輯單元和字幕生成單元，所述字幕編輯效果單元兩端分別連接所述三維一體生成單元和字幕生成單元；
進(jìn)一步地，所述三維一體生成單元為校對(duì)無(wú)誤的字幕文稿、對(duì)應(yīng)的視頻語(yǔ)音和圖像三維一體生成文檔，輸出帶時(shí)間戳的字幕文檔，所述字幕文檔可以是但不限于是SRT或XML格式，所述字幕編輯效果單元將帶時(shí)間戳的字幕文檔輸入字幕效果編輯單元，繼續(xù)進(jìn)行字幕效果編輯，包括字體、字號(hào)的選擇和字幕動(dòng)態(tài)效果的編輯，實(shí)時(shí)編輯，實(shí)時(shí)顯示編輯效果，所述字幕生成單元將編輯好的字幕生成文檔輸入到所述控制模塊的存儲(chǔ)集成單元，自動(dòng)生成加載字幕的影視文件；
一種多媒體語(yǔ)音字幕生成方法，所述字幕生成方法包括以下步驟:
A、獲取已經(jīng)完成采集的音視頻文件或音視頻流；
B、字幕字?jǐn)?shù)、行數(shù)選擇與生成顯示標(biāo)準(zhǔn):選擇每幀字幕的行數(shù)和每行最大字?jǐn)?shù)；
C、將獲得音視頻流或音視頻文件進(jìn)行預(yù)處理:依語(yǔ)意切分音頻語(yǔ)音與空白段；
D、對(duì)于沒(méi)有語(yǔ)音標(biāo)準(zhǔn)文檔影視節(jié)目，依據(jù)云端服務(wù)器提供的語(yǔ)音識(shí)別引擎，按照語(yǔ)音識(shí)別方法完成“扒詞”；
E、對(duì)于有語(yǔ)音標(biāo)準(zhǔn)文檔的影視節(jié)目的字幕，將根據(jù)顯示標(biāo)準(zhǔn)和句意分行顯示文本文件；
F、依據(jù)語(yǔ)音波形圖調(diào)整時(shí)間戳，并對(duì)調(diào)整時(shí)間戳后的語(yǔ)音文本依據(jù)波形圖及回放的語(yǔ)音進(jìn)行修改；
G、選擇時(shí)間戳文檔的類(lèi)型:所述時(shí)間戳文檔的類(lèi)型包括SRT和XML格式或其他格式；
H、進(jìn)行字幕效果編輯；
1、生成字幕并輸出；
進(jìn)一步地，所述步驟C中，將獲得音視頻流或音視頻文件進(jìn)行預(yù)處理，對(duì)音視頻流或音視頻文件分析、判斷，依語(yǔ)意對(duì)音頻中的語(yǔ)音段按句進(jìn)行切分，并分離出音頻中的噪音段、音樂(lè)段和空白段，其中多人語(yǔ)音的疊加按噪音處理，然后對(duì)每一段的起始點(diǎn)和結(jié)束點(diǎn)進(jìn)行時(shí)間標(biāo)序，取得每一段的時(shí)間戳；
進(jìn)一步地，所述步驟E中，對(duì)于有語(yǔ)音標(biāo)準(zhǔn)文檔的影視節(jié)目的字幕，首先由音視頻流或音視頻文件中分離出音頻，然后對(duì)音頻語(yǔ)音，依語(yǔ)意自動(dòng)切分為分節(jié)語(yǔ)音片段，并分離出音頻中的噪音段、音樂(lè)段和空白段；再將影視作品的標(biāo)準(zhǔn)文檔依語(yǔ)意斷句分行顯示；接著將分行顯示的標(biāo)準(zhǔn)文本文件調(diào)入系統(tǒng)音頻片段文字顯示行，最后依據(jù)音頻波形圖，調(diào)整段句的切分，保證與顯示標(biāo)準(zhǔn)句數(shù)和行數(shù)相同；
進(jìn)一步地，所述步驟F中，依據(jù)語(yǔ)音波形圖調(diào)整時(shí)間戳為通過(guò)計(jì)算機(jī)程序切分所獲取時(shí)間戳的誤差，并對(duì)調(diào)整時(shí)間戳后的語(yǔ)音文本依據(jù)波形圖進(jìn)行修改，其修改方式包括:通過(guò)人工跟讀進(jìn)行再次語(yǔ)音識(shí)別、直接進(jìn)行再次語(yǔ)音識(shí)別及鍵盤(pán)修改；對(duì)上述修改后的語(yǔ)音文本進(jìn)行精準(zhǔn)校對(duì)，并對(duì)精準(zhǔn)校對(duì)后的語(yǔ)音文本，依語(yǔ)意分段處理。
[0006]本發(fā)明的有益效果:本發(fā)明解決了影視字幕依靠手工拍字幕局限性，帶來(lái)的有益效果如下:1、實(shí)時(shí)采集音視頻語(yǔ)音信息，信息采集不間斷，到毫秒級(jí)，采集率達(dá)到100%;信息丟失率為ο ;2、自動(dòng)化將多媒體中的音頻語(yǔ)音及時(shí)轉(zhuǎn)換成文字并生成字幕；3、無(wú)論音視頻文件是否具有語(yǔ)音標(biāo)準(zhǔn)文檔(即臺(tái)詞)，均可高效連續(xù)生成字幕；4、人性化的人機(jī)交互系統(tǒng)可根據(jù)實(shí)際情況選擇字幕樣式，包括每行字?jǐn)?shù)、行數(shù)和字體等；5、多次精準(zhǔn)校對(duì)使生成的字幕與視頻匹配率達(dá)100%。
【附圖說(shuō)明】
[0007]圖1為本發(fā)明字幕生成系統(tǒng)模塊圖；
圖2為本發(fā)明字幕生成方法流程圖；
圖3為本發(fā)明字幕生成方法步驟B細(xì)節(jié)流程圖；
圖4為本發(fā)明字幕生成方法步驟C細(xì)節(jié)流程圖；
圖5為本發(fā)明字幕生成方法步驟F細(xì)節(jié)