專利名稱：一種雙目立體字幕處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體顯示技術(shù)，具體的說(shuō)是涉及一種雙目立體字幕處理方法。
背景技術(shù)：
與二維視頻顯示相比，立體視頻顯示與人的視覺特征更加匹配，使得人們?cè)谟^看圖像時(shí)富有立體感和沉浸感。隨著立體顯示技術(shù)的發(fā)展，各國(guó)政府和企業(yè)紛紛投入巨資進(jìn)行立體電視的研究和開發(fā)。目前，立體電視已逐漸進(jìn)入家庭，成為下一代電視的發(fā)展方向。
雙眼在觀察物體時(shí)，物體在雙眼視網(wǎng)膜上的成像位置上略有差異，稱為雙目視差。 雙目視差經(jīng)過(guò)大腦視覺皮層的融合，增強(qiáng)人們對(duì)于現(xiàn)實(shí)世界的立體感知效果。雙目立體視頻利用人眼雙目視差特性，使用兩個(gè)攝像機(jī)從兩個(gè)不同視點(diǎn)(視點(diǎn)間距一般等于人的雙目間距)獲取同一景物的兩個(gè)圖像，然后再把兩個(gè)圖像分別呈現(xiàn)給人的左右眼，大腦通過(guò)處理左視和右視圖像間的間距，感知圖像內(nèi)景物的深度信息，使得欣賞到的圖像具有強(qiáng)烈的深度感和逼真感。
由于立體視頻的字幕處理和平面視頻字幕處理方法不同，現(xiàn)有的立體播放設(shè)備往往還不支持常見的字幕文件。針對(duì)雙目立體視頻的字幕處理方法，目前還沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。如果采用手動(dòng)方式往左右視頻序列中依次插入透明字幕圖片的方法進(jìn)行立體字幕的疊加，工作量非常巨大且深度感不易調(diào)整和測(cè)試。因此，在制作高質(zhì)量的雙目立體內(nèi)容過(guò)程中，如何對(duì)字幕信息進(jìn)行處理是立體內(nèi)容制作的一個(gè)研究熱點(diǎn)和難點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提出一種雙目立體字幕處理方法，用于常見雙目字體視頻的字幕生成和疊加，提高字幕顯示品質(zhì)，使觀看者在觀看立體視頻中擁有更好的字幕效果體驗(yàn)。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是一種雙目立體字幕處理方法，包括以下步驟 a.讀入雙目立體視頻內(nèi)容； b.獲取雙目立體視頻內(nèi)容中單路視頻的尺寸，確定立體字幕顯示區(qū)域，保證字幕信息能在該區(qū)域完全顯示； c.讀入字幕文件，獲得每一次字幕顯示的時(shí)間信息，將每次字幕顯示時(shí)左右眼首副圖像放入到緩沖區(qū)以待分析； d.對(duì)字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，獲得左右眼圖像的最大視差信息，確定插入立體字幕的視差數(shù)據(jù)； e.根據(jù)立體字幕的視差數(shù)據(jù)進(jìn)行字幕的疊加，將字幕壓縮到雙目立體視頻內(nèi)容之中； f.根據(jù)字幕文件中字幕顯示的時(shí)間區(qū)域持續(xù)插入立體字幕信息并與雙目立體視頻內(nèi)容一起進(jìn)行編碼，當(dāng)遇到新的字幕文件時(shí)，返回步驟C。
進(jìn)一步，步驟f還包括當(dāng)檢測(cè)到所有字幕信息顯示結(jié)束時(shí)，仍須對(duì)后續(xù)未編碼的雙目立體視頻內(nèi)容進(jìn)行編碼。
進(jìn)一步，所述雙目立體視頻內(nèi)容為雙目立體未壓縮的圖像序列。
進(jìn)一步，所述雙目立體視頻內(nèi)容為已經(jīng)壓縮過(guò)的雙目立體視頻，則步驟a還包括 對(duì)雙目立體視頻進(jìn)行解碼。
進(jìn)一步，步驟b中，在獲取雙目立體視頻內(nèi)容中單路視頻的尺寸過(guò)程中，須進(jìn)行左右路圖像的分離操作，對(duì)于水平或垂直方向有分辨率損失的圖像須進(jìn)行分辨率還原，得到單路信號(hào)的全分辨率圖像序列。
進(jìn)一步，步驟b中，所述立體字幕顯示區(qū)域?yàn)殡p目立體視頻內(nèi)容畫面的下方矩形區(qū)域。
進(jìn)一步，步驟d中，對(duì)字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，獲得左右眼圖像的最大視差信息的具體方法為假設(shè)該字幕顯示區(qū)域的水平像素寬度為M，則可將該區(qū)域分為 「Μ/Λη個(gè)NxN的子塊；假設(shè)左路圖像中的某個(gè)NxN塊的左上角像素點(diǎn)的坐標(biāo)為O^yi),經(jīng)過(guò)立體圖像像素匹配后，對(duì)應(yīng)右路圖像匹配塊的左上角像素點(diǎn)的坐標(biāo)為(x' i’y'」)，記d =Xi-X' i，如果d為正，則該子塊位于立體顯示屏外，如果d為負(fù)，則該子塊位于立體顯示屏內(nèi)； 依次對(duì)左路圖像字幕顯示區(qū)域各子塊進(jìn)行立體圖像匹配，記錄左路子塊及其右路匹配塊的左上角像素點(diǎn)的橫坐標(biāo)之差的最大值dmax，則有， 當(dāng)dmax > 0時(shí)，左右眼立體字幕的視差數(shù)據(jù)為 ds = (l+k)dmax，其中k的取值在0. 1 0. 2之間； 當(dāng)dmax彡0時(shí)，則立體字幕不會(huì)擋住原有立體視頻中的畫面信息，取ds > 0即可。
進(jìn)一步，步驟e中，根據(jù)立體字幕的視差數(shù)據(jù)進(jìn)行字幕疊加的具體方法是將雙目立體視頻內(nèi)容中的左路視頻圖像直接疊加字幕信息，右路視頻圖像中字幕信息水平偏移量為根據(jù)步驟d中計(jì)算的左右眼圖像的最大視差信息，將左右路字幕信息疊加到雙目立體視頻內(nèi)容中進(jìn)行編碼。
本發(fā)明的有益效果是通過(guò)對(duì)每次字幕顯示時(shí)左右眼首副圖像字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，得到字幕顯示區(qū)域左右眼圖像的視差信息。為盡可能避免字幕顯示區(qū)域中原有立體畫面擋住疊加的字幕信息，本方法自適應(yīng)判斷左右眼圖像的字幕信息視差， 使觀看者能在觀看雙目立體視頻內(nèi)容過(guò)程中獲得更好的立體字幕效果體驗(yàn)。


圖1為本發(fā)明的方法流程圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的描述。
本發(fā)明提出一種雙目立體字幕處理方法，用于常見雙目字體視頻的字幕生成和疊加，該方法通過(guò)對(duì)每次字幕顯示時(shí)左右眼首副圖像字幕顯示區(qū)域進(jìn)行立體圖像像素匹配， 得到字幕顯示區(qū)域左右眼圖像的視差信息。為盡可能避免字幕顯示區(qū)域中原有立體畫面擋住疊加的字幕信息，本方法自適應(yīng)判斷左右眼圖像的字幕信息視差，使觀看者能在觀看雙目立體視頻內(nèi)容過(guò)程中獲得更好的立體字幕效果體驗(yàn)。
如圖1所示，本發(fā)明的方案通過(guò)以下步驟來(lái)實(shí)現(xiàn) a.讀入雙目立體視頻內(nèi)容，可支持雙目立體視頻內(nèi)容和雙目立體的圖像序列，如果為雙目立體視頻內(nèi)容時(shí)需將該內(nèi)容重新解碼成圖像序列重新編碼，進(jìn)入步驟b ； b.獲取雙目立體視頻內(nèi)容中單路視頻的尺寸，確定雙目立體視頻內(nèi)容字幕顯示區(qū)域，保證字幕信息能在該區(qū)域完全顯示，進(jìn)入步驟C，由于雙目立體視頻內(nèi)容的格式較多，如左右格式(Side by Side)、上下格式(Top and Bottom)格式、幀封裝格式(Frame Packing)、幀序列格式(Frame Sequential)等，須進(jìn)行左右路圖像的分離操作，對(duì)于水平或垂直方向有分辨率損失的圖像須進(jìn)行分辨率還原，得到單路信號(hào)的全分辨率圖像序列； 在獲得雙目立體內(nèi)容中單路圖像的全分辨率圖像尺寸后，確定雙目立體視頻內(nèi)容字幕顯示區(qū)域。在字幕信息插入位置時(shí)，可將立體字幕信息插入到原有視頻畫面內(nèi)和畫面外兩種情形，其中將立體字幕信息插入到原有視頻畫面外時(shí)，往往需要對(duì)原有雙目立體內(nèi)容進(jìn)行黑邊處理，立體字幕信息不必直接疊加到原有立體視頻內(nèi)容之中，這種處理方法只需手動(dòng)設(shè)定左右路字幕的視差即可，而本發(fā)明主要考慮將字幕信息插入到原有視頻畫面內(nèi)的情形。常見二維視頻字幕信息通常位于視頻畫面下方區(qū)域，在雙目立體字幕處理時(shí)也可將字幕位置放在視頻畫面下方區(qū)域，確定矩形區(qū)域?yàn)榱Ⅲw字幕的顯示區(qū)域，該區(qū)域須保證立體字幕信息的完全顯示。
c.讀入二維視頻字幕文件，獲得每一次顯示字幕的時(shí)間信息，將每次字幕顯示時(shí)左右眼首副全分辨率圖像放入到緩沖區(qū)待下一步進(jìn)行立體圖像像素匹配分析，進(jìn)入步驟 d； d.對(duì)字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，獲得左右眼圖像的最大視差信息，確定插入立體字幕的視差數(shù)據(jù)，進(jìn)入步驟e ； 具體方法是假設(shè)左路圖像字幕顯示區(qū)域內(nèi)像素點(diǎn)C(k，1)的亮度為IJk，1)，對(duì)應(yīng)右路圖像該像素C (k，l)的亮度為Ir(k，l)。采用NxN子塊進(jìn)行像素匹配，采用平均絕對(duì)誤差MAD (Mean Absolute Deviation)準(zhǔn)則進(jìn)行匹配。其中，
權(quán)利要求
1.一種雙目立體字幕處理方法，其特征在于包括以下步驟a.讀入雙目立體視頻內(nèi)容；b.獲取雙目立體視頻內(nèi)容中單路視頻的尺寸，確定立體字幕顯示區(qū)域，保證字幕信息能在該區(qū)域完全顯示；c.讀入字幕文件，獲得每一次字幕顯示的時(shí)間信息，將每次字幕顯示時(shí)左右眼首副圖像放入到緩沖區(qū)以待分析；d.對(duì)字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，獲得左右眼圖像的最大視差信息，確定插入立體字幕的視差數(shù)據(jù)；e.讀入字幕文件，根據(jù)立體字幕的視差數(shù)據(jù)進(jìn)行字幕的疊加，將字幕壓縮到雙目立體視頻內(nèi)容之中；f.根據(jù)字幕文件中字幕顯示的時(shí)間區(qū)域持續(xù)插入立體字幕信息并與雙目立體視頻內(nèi)容一起進(jìn)行編碼，當(dāng)遇到新的字幕文件時(shí)，返回步驟C。
2.如權(quán)利要求1所述的一種雙目立體字幕處理方法，其特征在于步驟f還包括當(dāng)檢測(cè)到所有字幕信息顯示結(jié)束時(shí)，仍須對(duì)后續(xù)未編碼的雙目立體視頻內(nèi)容進(jìn)行編碼。
3.如權(quán)利要求1所述的一種雙目立體字幕處理方法，其特征在于所述雙目立體視頻內(nèi)容為雙目立體視頻內(nèi)容為雙目立體未壓縮的圖像序列。
4.如權(quán)利要求1所述的一種雙目立體字幕處理方法，其特征在于所述雙目立體視頻內(nèi)容為已經(jīng)壓縮過(guò)的雙目立體視頻，則步驟a還包括對(duì)雙目立體視頻進(jìn)行解碼。
5.如權(quán)利要求1-4任意一項(xiàng)所述的一種雙目立體字幕處理方法，其特征在于步驟b 中，在獲取雙目立體視頻內(nèi)容中單路視頻的尺寸過(guò)程中，須進(jìn)行左右路圖像的分離操作，對(duì)于水平或垂直方向有分辨率損失的圖像須進(jìn)行分辨率還原，得到單路信號(hào)的全分辨率圖像序列。
6.如權(quán)利要求5所述的一種雙目立體字幕處理方法，其特征在于步驟b中，所述立體字幕顯示區(qū)域?yàn)殡p目立體視頻內(nèi)容畫面的下方矩形區(qū)域。
7.如權(quán)利要求6所述的一種雙目立體字幕處理方法，其特征在于步驟d中，對(duì)字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，獲得左右眼圖像的最大視差信息的具體方法為假設(shè)該字幕顯示區(qū)域的水平像素寬度為M，則可將該區(qū)域分為「Μ/Λη個(gè)NxN的子塊；假設(shè)左路圖像中的某個(gè)NxN塊的左上角像素點(diǎn)的坐標(biāo)為(Xi，yi)，經(jīng)過(guò)立體圖像像素匹配后，對(duì)應(yīng)右路圖像匹配塊的左上角像素點(diǎn)的坐標(biāo)為(x' i，y'」)，記d = Xi-' i，如果d為正，則該子塊位于立體顯示屏外，如果d為負(fù)，則該子塊位于立體顯示屏內(nèi)；依次對(duì)左路圖像字幕顯示區(qū)域各子塊進(jìn)行立體圖像匹配，記錄左路子塊及其右路匹配塊的左上角像素點(diǎn)的橫坐標(biāo)之差的最大值dmax，則有，當(dāng)dmax > 0時(shí)，左右眼立體字幕的視差數(shù)據(jù)為ds = (1+k) dmax，其中k的取值在0. 1 0. 2之間；當(dāng)dmax ( 0時(shí)，則立體字幕不會(huì)擋住原有立體視頻中的畫面信息，取ds > 0即可。
8.如權(quán)利要求7所述的一種雙目立體字幕處理方法，其特征在于步驟e中，根據(jù)立體字幕的視差數(shù)據(jù)進(jìn)行字幕疊加的具體方法是將雙目立體視頻內(nèi)容中的左路視頻圖像直接疊加字幕信息，右路視頻圖像中字幕信息水平偏移量為根據(jù)步驟d中計(jì)算的左右眼圖像的最大視差信息，將左右路字幕信息疊加到雙目立體視頻內(nèi)容中進(jìn)行編碼。
全文摘要
本發(fā)明涉及立體顯示技術(shù)，其公開了一種雙目立體字幕處理方法，用于常見雙目字體視頻的字幕生成和疊加，其技術(shù)方案的要點(diǎn)可概括為該方法通過(guò)對(duì)每次字幕顯示時(shí)左右眼首副圖像字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，得到字幕顯示區(qū)域左右眼圖像的視差信息；為盡可能避免字幕顯示區(qū)域中原有立體畫面擋住疊加的字幕信息，本方法自適應(yīng)判斷左右眼圖像的字幕信息視差，使觀看者能在觀看雙目立體視頻過(guò)程中獲得更好的立體字幕效果體驗(yàn)，適用于3D立體顯示。
文檔編號(hào)H04N5/278GK102186023SQ20111010675
公開日2011年9月14日 申請(qǐng)日期2011年4月27日 優(yōu)先權(quán)日2011年4月27日
發(fā)明者曾超 申請(qǐng)人:四川長(zhǎng)虹電器股份有限公司