專利名稱：：基于hhi分層b幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻編碼
技術(shù)領(lǐng)域：
，特別涉及一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法。
背景技術(shù)：
：隨著多媒體技術(shù)的發(fā)展，人們不再滿足于僅僅是坐在電視機前觀看傳來的固定視角視頻節(jié)目，況且該視角也是由拍攝時的攝像機位置而非觀眾自己決定的。正是由于這種需求，加之數(shù)字多媒體技術(shù)的發(fā)展以及數(shù)字攝像機成本的大幅度降低，促使了FTV(FreeViewpointTelevision)和3DTV(3DimensionalTelevision)的出現(xiàn)。作為下一代的電視，它們致力于給用戶提供具有三維印象并且可交互的視聽體驗。理論上講，這兩者并沒有本質(zhì)的區(qū)別，只是偏重點有所不同，F(xiàn)TV著眼于交互性(interoperability),用戶可以選擇自己想要觀看的視角和距離；而3DTV旨在提供用戶三維的擬真體驗。三維印象的提供依賴于多攝像機陣列從不同角度對同一場景進行拍攝所獲得的時間上同步的多視點視頻序列，而攝像機陣列獲得的視頻數(shù)據(jù)量隨著攝像機的數(shù)目增加而呈線性增加，如何存儲和傳輸這些海量的視頻數(shù)據(jù)是研究者面臨的首要問題。作為FTV和3DTV系統(tǒng)中的重要環(huán)節(jié)，多視點視頻編碼(MVC，Multi-viewVideoCoding)應(yīng)運而生，并成為以上兩種應(yīng)用的關(guān)鍵技術(shù)。MPEG組織很早就注意到了該技術(shù)潛在的巨大前景，將其先后置于3DAV組織及JVT組織下進行探索，致力于實現(xiàn)MVC的標準化。MPEG框架下MVC的研究集中在三個方面預(yù)測結(jié)構(gòu)、預(yù)測工具和預(yù)處理工具，它們分別從不同的渠道提高多視點視頻的編碼效率。其中，MVC預(yù)測結(jié)構(gòu)的研究主要是通過設(shè)計視點間和時間方向的預(yù)測關(guān)系，有效去除多視點視頻信號的視點間和時間方向的冗余信息；編碼工具的研究主要從利用視點間相關(guān)性和補償視點間差異性兩個角度出發(fā)，研究一些新的編碼工具，以提高MVC的編碼效率；預(yù)處理工具主要包括高層語法的擴展研究，它是在H.264/AVC的框架下定義一些新的語法語義，以適應(yīng)和支持MVC的具體應(yīng)用。關(guān)于預(yù)測結(jié)構(gòu)的研究，其關(guān)鍵是在合理的計算復(fù)雜度和支持隨機訪問的前提下尋找一種有效的參考結(jié)構(gòu)，以最大限度地去除多視點視頻序列中時間方向和視點間的冗余，從而提高編碼效率。最直接的思路就是將各個視點的視頻序列單獨用現(xiàn)有的標準編碼，顯然，這不能有效的利用視點間的相關(guān)性。同一時刻各視點的幀間具有很高的相似性，各視點視頻序列中存在著明顯的數(shù)據(jù)冗余。相關(guān)實驗也證明，與傳統(tǒng)視頻編碼中利用運動估計和運動補償來消除時間方向上數(shù)據(jù)冗余類似，利用合理的視差估計與補償方法能有效地消除各視點的幀間數(shù)據(jù)冗余，得以有效地提高多視點視頻的壓縮性能。基于此，先后有GoGOP結(jié)構(gòu)、順序視點預(yù)測結(jié)構(gòu)及棋盤分解結(jié)構(gòu)被提出。綜合評估了兼容性，編碼性能和隨機訪問性能之后，由FraunhoferHHI(Heinrich-Hertz-Institute)提出的基于分層B幀的視點間預(yù)測和時域預(yù)測相結(jié)合的預(yù)測編碼結(jié)構(gòu)，獲得了較高的編碼效率，被JVT采納為JMVM的參考預(yù)測結(jié)構(gòu)。該方案是GoG0P結(jié)構(gòu)的一種，其特點在于它是對H.264/MPEG4AVC的直接擴展，并延用了分層的B幀結(jié)構(gòu)，此結(jié)構(gòu)的計算復(fù)雜度很高。于是，很多研究者致力于通過各種方式降低HHI分層B幀預(yù)測結(jié)構(gòu)的時間復(fù)雜度。時間方向的運動估計/補償和視點間的視差估計/補償是多視點視頻序列編碼中計算量最大的部分，其中視差估計/補償類似于之前各種標準中的運動估計/補償，只是其參考幀來自另外一個攝像機在同一時刻的圖像幀。目前，基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼方法，未考慮到由于攝像機的位置關(guān)系，待編碼圖像邊界的一些宏塊很可能在相鄰視點幀中找不找匹配，而對于上述找不到匹配的宏塊以相鄰視點幀作為參考進行幀間預(yù)測，造成編碼的時間復(fù)雜度額外提高。
發(fā)明內(nèi)容本發(fā)明的目的在于提供一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法，它能夠在不影響重構(gòu)圖像質(zhì)量的條件下，有效地降低視頻序列編碼的時間復(fù)雜度。為了達到上述目的，本發(fā)明采用以下技術(shù)方案予以實現(xiàn)。一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法，其特征在于，對于I視的非關(guān)鍵幀和P視的非關(guān)鍵幀，其參考幀選擇時間方向幀；P視的關(guān)鍵幀和B視的關(guān)鍵幀，其參考幀選擇同時刻的相鄰視點幀；對于B視的非關(guān)鍵幀，其中每個宏塊為16xl6像素，其參考幀選擇性包括:最近的前向時間方向幀、最近的后向時間方向幀、同時刻的前向相鄰視點幀、同時刻的后向相鄰視點幀；當待編碼幀中的每個宏塊確定參考幀時，首先，選擇前向時間方向幀和后向時間方向幀；然后，將前向相鄰視點幀和后向相鄰視點幀分別與待編碼幀進行相關(guān)性判斷后，其相關(guān)性強的相鄰視點幀作為參考幀；對于I視的非關(guān)鍵幀、B視和P視的全部幀，在確定幀間預(yù)測的宏塊分割模式時，對待編碼幀中的待編碼宏塊，先進行幀內(nèi)預(yù)測，得到最佳的幀內(nèi)預(yù)觀!)模式SesfM^ie—/"/ra，再進行16xl6，16x8，8xl6三種宏塊分割模式的幀間預(yù)測，得到幀間預(yù)測的最佳宏塊分割模式&WM^e_/w^;如果5eWiWb血—/w/ra=Intra—16x16并且5eWA/o&_Inter—16x16，貝lj蹈^過8x8，8x4，4x8，4x4四種宏塊分割模式的幀間預(yù)測；否則，進行8x8，8x4，4x8，4x4四種宏塊分割模式的幀間預(yù)測；其中，/欣"—16xl6表示幀內(nèi)16xl6預(yù)測模式，/"欣—16x16表示幀間16x16的宏塊分割模式。(1)、本發(fā)明的進一步特點在于-所述將前向相鄰視點幀和后向相鄰視點幀分別與待編碼幀進行相關(guān)性判斷后，其相關(guān)性強的相鄰視點幀作為參考幀，具體步驟如下首先，在B視的關(guān)鍵幀和非關(guān)鍵幀中定義邊界區(qū)域和中心區(qū)域；利用關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將前一關(guān)鍵幀與其前向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為^。一FMS;將后一關(guān)鍵幀與其前向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為iTn—F細；利用關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將前一關(guān)鍵幀與其后向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為^。一^M^;將后一關(guān)鍵幀與其后向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為;利用前一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的前向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為利用后一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的前向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為^^邊界區(qū)域FJn;SW邊界區(qū)域FJ0禾口5^邊界區(qū)域FJn的并集記為^^邊界區(qū)域F;利用前一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的后向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為^B—T。；利用后一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的后向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為^"邊界區(qū)域BJn;^C邊界區(qū)域BJO禾口S^邊界區(qū)域BJn的并集^己為^^邊界區(qū)域B;其次，設(shè)定相關(guān)性判斷閾值r」/^W;當7T?！狥M5〉r」/^W或iTn—FAffi〉r」/zmy/z時，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于^&^w時，將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀；當iT?！?ikffi>r—^es/z或ATn—Bil^〉r—決ms/z時，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于S^^,e時，將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀。(2)、本發(fā)明的更進一步特點在于所述相關(guān)性判斷閾值r—^^/z為0.5~0.7。所述中心區(qū)域，其邊界離幀左邊界的水平距離和離幀右邊界的水平距離分別為幀寬度的10%，離幀上邊界的垂直距離和離幀下邊界的垂直距離分別為幀高度的10%。所述邊界區(qū)域為左右邊帶、上下邊帶或由左右邊帶和上下邊帶組成的回字形區(qū)域，其中左右邊帶的寬度為幀寬度的1%~4%，上下邊帶的寬度為幀高度的1%~4%。從以上技術(shù)方案可以看出，本發(fā)明的技術(shù)方案具有以下有益效果(1)、傳統(tǒng)的幀間預(yù)測時，盲目地將相關(guān)性不強的相鄰視點幀也作為參考幀，徒然增加計算量；本發(fā)明對B視的非關(guān)鍵幀進行幀間預(yù)測時，只是增加很小的計算量，先判定每個宏塊是否需要選擇相鄰視點幀作為參考幀，摒棄了參考幀中相關(guān)性不強的相鄰視點幀，從而，在不影響重構(gòu)圖像質(zhì)量的條件下，有效地降低視頻序列編碼的時間復(fù)雜度。(2)、在所有幀進行幀間預(yù)測時，并不是每個宏塊都要將7種宏塊分割模式的編碼代價進行比較，而是選擇性地跳過8x8，8x4，4x8，4x4四種宏塊分割模式的幀間預(yù)測，進一步有效地降低視頻序列編碼的時間復(fù)雜度。(3)、本發(fā)明在編碼中沒有增加任何附加信息，無需對解碼端作任何修改，實施方便。圖l為多視點平行相機系統(tǒng)成像示意圖2為多視點視頻編解碼系統(tǒng)框圖3為分層B幀預(yù)測結(jié)構(gòu)示意圖4為分層B幀預(yù)測結(jié)構(gòu)時間層的示意圖5為多視點視頻編碼的空間-時間預(yù)測結(jié)構(gòu)示意圖6為G0P長度為12的3個視點空間-時間預(yù)測結(jié)構(gòu)示意圖7為宏塊在幀中位置的二維索引號表示示意圖；圖8為本發(fā)明的視頻編碼處理流程圖；圖9為幀中邊界區(qū)域和中心區(qū)域的劃分示意圖；圖IO為MVC的預(yù)測結(jié)構(gòu)圖。具體實施例方式參照圖l、圖2，多視點視頻編碼(Multi-viewVideoCoding,MVC)中，由具有N個攝像機C的多視點視頻采集系統(tǒng)從不同角度拍攝同一場景得到的一組視頻，即N路原始視點；即N路原始視點視頻經(jīng)過多視點視頻編解碼系統(tǒng)后得到N路恢復(fù)視點。多視點視頻編解碼系統(tǒng)中，發(fā)送端通過多視點視頻編碼器，在保證信息質(zhì)量和傳輸安全的情況下，編碼壓縮數(shù)據(jù)，傳輸?shù)浇邮斩撕?，由多視點視頻解碼器解碼。參照圖3，對于每個視點，在時間方向上采用HHI分層B幀預(yù)測結(jié)構(gòu)。分層B幀預(yù)測結(jié)構(gòu)每隔特定時間間隔插入一幅關(guān)鍵幀，兩個關(guān)鍵幀之間的幀稱為非關(guān)鍵幀。一個圖像組GOP是由一個關(guān)鍵幀和一組非關(guān)鍵幀組成的，它們的編碼順序與顯示順序不同，由幀間預(yù)測結(jié)構(gòu)決定。參照圖4，給出了HHI分層B幀預(yù)測結(jié)構(gòu)G0P內(nèi)部的預(yù)測關(guān)系，其中I、P或B后面緊跟的數(shù)字表示該幀所在的時間層。參照圖5，為典型的多視點視頻編碼的空間-時間預(yù)測結(jié)構(gòu)示意圖，其中每個視點G0P的長度為8，在實際中，每個視點G0P的長度為12或者15。將單視點中的G0P擴展為多視點中的GoG0P(GroupofG0P)，如圖5中虛框內(nèi)的部分。另外，為了方便描述，根據(jù)視點間的預(yù)測關(guān)系，將視點分為I視，B視和P視。對于I視，關(guān)鍵幀采用幀內(nèi)預(yù)測，非關(guān)鍵幀的參考幀選擇時間方向幀；對于B視，關(guān)鍵幀的參考幀選擇同時刻的相鄰視點幀，非關(guān)鍵幀的參考幀既選擇時間方向幀，也選擇同時刻的相鄰視點幀；對于P視，關(guān)鍵幀的參考幀選擇同時刻的相鄰視點幀，非關(guān)鍵幀的參考幀選擇時間方向幀。與單視點視頻編碼相比，多視點視頻編碼可以通過去除視點間的冗余來進一步提高壓縮效率。參照圖6，以G0P長度為12的三個視點預(yù)測結(jié)構(gòu)示意說明各幀的編碼順序。一個GoG0P中，各幀的編碼順序關(guān)系表現(xiàn)為(1)首先編碼視點VO的各幀，然后編碼視點V2的各幀，而后編碼視點V1的各幀；(2)對于每個單獨的視點，關(guān)鍵幀的編碼順序先于非關(guān)鍵幀。另外，還存在如下事實在一定的時間間隔內(nèi)，B視點中各時刻的幀Vl/Tn(0Sus12)和對應(yīng)時刻的相鄰視點幀之間的相關(guān)性很強。為了表示方便，對于幀V0/Tn，"/"前面的字母VO表示幀所在的視點，"/"后面的Tn表示幀所在的時刻。參照圖7，在編碼中，需要將各幀按照水平/垂直坐標劃分為許多宏塊，每個宏塊在幀中的位置用(/,刀表示，(")為宏塊的二維索引號?；诟鲙木幋a順序及上述事實，本發(fā)明著重改進B視的非關(guān)鍵幀的幀間預(yù)測編碼，能夠在不影響重構(gòu)圖像質(zhì)量的條件下，有效地降低視頻序列編碼的計算復(fù)雜度。對于B視的非關(guān)鍵幀，由于既可以利用時間相關(guān)性，也可以利用相鄰視點幀間的相關(guān)性進行幀間預(yù)測，本發(fā)明按照以下的方式進行處理如果相鄰視點幀間存在很強的相關(guān)性，除了以時間方向幀為參考，還以相鄰視點幀為參考進行幀間預(yù)測，能夠大大地提高編碼的性能；如果相鄰視點幀間的相關(guān)性弱，那么就只選擇時間方向的幀為參考，跳過以此相鄰視點幀為參考的幀間預(yù)測。在以宏塊為單位進行幀間預(yù)測時，本發(fā)明主要包括以下兩方面的工作(1)對于B視點的非關(guān)鍵幀，以宏塊為單位進行幀間預(yù)測時參考幀的選擇；(2)對于I視的非關(guān)鍵幀、B視和P視的全部幀，對幀間預(yù)測的宏塊分割模式進行有選擇性的取舍。參照圖8，說明本發(fā)明的具體編碼方法。對于I視的非關(guān)鍵幀和P視的非關(guān)鍵幀，其參考幀選擇時間方向幀；P視的關(guān)鍵幀和B視的關(guān)鍵幀，其參考幀選擇同時刻的相鄰視點幀；換言之，進行幀間預(yù)測時，為待編碼宏塊選擇參考幀的方法與MVC標準參考軟件中的方法相同。對于B視點的非關(guān)鍵幀，在進行幀間預(yù)測時，為待編碼宏塊選擇適當?shù)膮⒖紟?，其具體方法如下對于B視點的非關(guān)鍵幀，其中每個宏塊為16xl6像素，其參考幀選擇性包括最近的前向時間方向幀、最近的后向時間方向幀、同時刻的前向相鄰視點幀、同時刻的后向相鄰視點幀；當其待編碼幀中的每個宏塊確定參考幀時，首先，選擇前向時間方向幀和后向時間方向幀；然后，將上述兩個相鄰視點幀分別與待編碼幀進行相關(guān)性判斷后，其相關(guān)性強的相鄰視點幀作為參考幀；對于I視的非關(guān)鍵幀、B視和P視的全部幀，在確定幀間預(yù)測的宏塊分割模式時，對待編碼幀中的待編碼宏塊，先進行幀內(nèi)預(yù)測，得到最佳的幀內(nèi)預(yù)測模式萬eWM^fe—/"的，再進行16xl6，16x8，8xl6三種宏塊分割模式的幀間預(yù)測，得到幀間預(yù)測的最佳宏塊分割模式&WMfe—/"敏；如果5eWMo&—/"/ra=Intra—16x16并且^對^0&—/"^=Inter—16x16，貝U跳過8x8，8x4，4x8，4x4四種宏塊分割模式的幀間預(yù)測；否則，進行8x8，8x4，4x8，4x4四種宏塊分割模式的幀間預(yù)測；其中，—16xl6表示幀內(nèi)16xl6預(yù)測模式，Mw—16xl6表示幀間16xl6的宏塊分割模式。對于B視點的非關(guān)鍵幀，將兩個相鄰視點幀分別與待編碼幀進行相關(guān)性判斷后，其相關(guān)性強的相鄰視點幀作為參考幀，更具體步驟如下首先，在B視的關(guān)鍵幀和非關(guān)鍵幀中定義邊界區(qū)域和中心區(qū)域；利用關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將前一關(guān)鍵幀與其前向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為^?！狥M^;將后一關(guān)鍵幀與其前向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為U細；利用關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將前一關(guān)鍵幀與其后向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為A?！猑M^;將后一關(guān)鍵幀與其后向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為iTn_5MB;利用前一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的前向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為利用后一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的前向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為^C邊界區(qū)域FJn;6W邊界區(qū)域FJ0禾口S^邊界區(qū)域FJTn的并集"^己為^^邊界區(qū)域F;利用前一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的后向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為&&^B_TO;利用后一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的后向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為S"邊界區(qū)域BJn;5X邊界區(qū)域BJ0禾口S^邊界區(qū)域B—Tn的并集記為^W邊界區(qū)域B;其次，設(shè)定相關(guān)性判斷閾值r一決m^;其閾值r一Am^為0.5~0.7;當及t?！狥MB>r—欲m/2或iTn_i^ffi>r—由w/z時，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的前向相鄰視點幀增加為參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于&,,時，將待編碼幀的前向相鄰視點幀增加為參考幀；當it?！狟MB:^—決^y/z或iTn—>決my/時，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的后向相鄰視點幀增加為參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于&^^,時，將待編碼幀的后向相鄰視點幀增加為參考幀。參照圖9，為了便于度量相鄰視點幀間相關(guān)性的強弱，在一幀中定義了中心區(qū)域和邊界區(qū)域。其中，中心區(qū)域中的宏塊最有可能在相鄰幀里找到匹配塊。在實際中可選擇，中心區(qū)域離左邊界的水平距離和離右邊界的水平距離分別為幀寬度的10%，中心區(qū)域離上邊界的垂直距離和離下邊界的垂直距離分別為幀高度的10%。邊界區(qū)域中的宏塊相對于中心區(qū)域中的宏塊，在相鄰視點中找到匹配塊的可能性要小。在實際中可選擇邊界區(qū)域為左右邊帶、上下邊帶或由左右邊帶和上下邊帶組成的回字形區(qū)域，其中左右邊帶的寬度為幀寬度的1%~4%，上下邊帶的寬度為幀高度的1%~4%。為了使本發(fā)明的技術(shù)方案更加清楚，下面結(jié)合附圖及實施例對本發(fā)明作進一步的詳細說明。在本實施例中，采用8個攝像機左右排列，邊界區(qū)域的左右邊界選為4個宏塊的寬度，上下邊界取0;中心區(qū)域區(qū)域選擇參照圖9。參照圖10為MVC的預(yù)測結(jié)構(gòu)圖，從左至右表示為視點V^(0《"7)，每個視點的GOP長度為12。下面僅以8個視點中前3個視點為例進行說明，其余視點的處理與之類似。其中，7M0S^^12)表示幀在時間方向上所處的時刻。本實施例以宏塊為單位進行幀間預(yù)測，對于I視的非關(guān)鍵幀、P視的全部幀和B視的關(guān)鍵幀，其參考幀的選擇方法和MVC測試軟件中的方法相同；對于B視的非關(guān)鍵幀，首先為待編碼宏塊確定參考幀，其次確定幀間預(yù)測時宏塊的分割模式。本實施例的具體步驟如下(1)對B視的前一關(guān)鍵幀V1/T0以前向相鄰視點幀V0/T0為參考，并以宏塊單位進行幀間預(yù)測。當待編碼宏塊5(/，刀能夠在前向相鄰視點幀V0/T0中找到匹配塊時，如果該宏塊是在邊界區(qū)域，將該宏塊位置添加到集合&&T。中；如果該宏塊是在中心區(qū)域，將該宏塊位置添加到集合&^心,u。中。統(tǒng)計集合S"中心區(qū)域，中的宏塊個數(shù)C"/巾心區(qū)域，—M"/cMffi，并計算出占中心區(qū)域總宏塊個數(shù)0^帕區(qū)柳j?！猺。to/ikffi的比值iT0—,MB二C"Z中心區(qū)淑—to—Afa^^Affi/0^中心區(qū)域f—t0—7bto/Affi。(2)對B視的前一關(guān)鍵幀V1/T0以后向相鄰視點幀V2/T0為參考，并以宏塊單位進行幀間預(yù)測。當待編碼宏塊5(/，刀能夠在后向相鄰視點幀V2/T0中找到13匹配塊時，如果該宏塊是在邊界區(qū)域，將該宏塊位置添加到集合S^^,BTQ中；如果該宏塊是在中心區(qū)域，將該宏塊位置添加到集合&^心,u。中。統(tǒng)計集合5W巾心,e—TQ中的宏塊個數(shù)0^心,e—TQ_M"fcM/5，并計算出占中心區(qū)域總宏塊個數(shù)C"巾心區(qū)鄉(xiāng)T?！?bto/Affi的比值it。—5Affi-0^中心區(qū)域B—T?！狹a/c^M5/C"f中心區(qū)柳To—7bto/MB。(3)對B視的后一關(guān)鍵幀V1/T12以前向相鄰視點幀V0/T12為參考，并以宏塊單位進行幀間預(yù)測。當待編碼宏塊W^)能夠在前向相鄰視點幀V0/T12中找到匹配塊時，如果該宏塊是在邊界區(qū)域，將該宏塊位置添加到集合&^^^2中；如果該宏塊是在中心區(qū)域，將該宏塊位置添加到集合S"中心區(qū)域f;2中°SW邊界區(qū)域fj。禾QS"邊界區(qū)域pT12的并集記為S"邊界區(qū)域f。統(tǒng)計集合S"中心區(qū)掛—T12中的宏塊個數(shù)C"f巾心區(qū)淑—T12_M^M^，并計算出占中心區(qū)域總宏塊個數(shù)CW中心區(qū)域f;2_7bto/MS的比值iT12__Fi^5=C"f中心區(qū)域p—T12—A/ofcAA/B/0^中心區(qū)域f—t12一7bto/A/B。(4)對B視的后一關(guān)鍵幀V1/T12以后向相鄰視點幀V2/T12為參考，并以宏塊單位進行幀間預(yù)測。當待編碼宏塊^(/,y)能夠在后向相鄰視點幀V2/T12中找到匹配塊時，如果該宏塊是在邊界區(qū)域，將該宏塊位置添加到集合Swa,B_T12t;如果該宏塊是在中心區(qū)③，將該*±央位胃添加到集*S"中心區(qū)域bjh2中。Sef邊界區(qū)域B—T0禾口Sef邊界區(qū)域Bj2的并集記為S"邊界區(qū)域B。統(tǒng)計集合Se"EB_T12中的宏塊個數(shù)C"砵心g細一^—M"MM萬，并計算出占中心區(qū)域總宏塊個數(shù)C"r帕區(qū)細—T12—7bto/M5的比值及ti2—S^^^-C^中心區(qū)域b—n2—Afofc/;il/5/(3^中心區(qū)域b—t12一7bfa/Af丑。(5)設(shè)定相關(guān)性判斷閾值r—A;t^;本實施例中閾值^決m^為0.6。當Jt?！狥MB>r—決";y/z或7T12>r—^^/z時，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的前向相鄰視點幀增加為參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于&^，^時，將待編碼幀的前向相鄰視點幀增加為參考幀；當iT。—SMB〉r—A^y/z或iT12_5MS>rj/zm^時，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的后向相鄰視點幀增加為參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于&^皿，時，將待編碼幀的后向相鄰視點幀增加為參考幀。本發(fā)明的相關(guān)性判斷基于以下原理和經(jīng)驗。如果A?！狥MSS0.6，則認為前一關(guān)鍵幀V1/T0與前向相鄰視點幀V0/T0的相關(guān)性很弱；如果^12—FM萬S0.6，則認為后一關(guān)鍵幀V1/T12與前向相鄰視點幀V0/T12的相關(guān)性很弱；因為在一定的時間間隔內(nèi)，B視中各時刻的幀Vl/Tn,(0《r^l2)和同時刻的前向相鄰視點幀V0/Tn之間的相關(guān)性很相似，因此當iT?！狥M5S0.6且iT12—FMSS0.6時，則認為B視的非關(guān)鍵幀和同時刻的前向相鄰視點幀之間相關(guān)性很弱，參考幀不選擇前向相鄰視點幀。當A?！猧^l巡〉0.6或UMh0.6時，認為B視的非關(guān)鍵幀和同時刻的前向相鄰視點幀之間相關(guān)性較強，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于&^,^時，將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀。如果A?！?AffiS0.6，則認為前一關(guān)鍵幀V1/T0與后向相鄰視點幀V2/T0的相關(guān)性很弱；如果im^il^^0.6，則認為后一關(guān)鍵幀V1/T12與后向相鄰視點幀V2/T12的相關(guān)性很弱；因為在一定的時間間隔內(nèi)，B視中各時刻的幀Vl/Tn,(0SriS12)和同時刻的后向相鄰視點幀V2/Tn之間的相關(guān)性很相似，因此當iT?！猄M5S0.6且iTI2—20.6時，則認為B視的非關(guān)鍵幀和同時刻的后向相鄰視點幀之間相關(guān)性很弱，參考幀不選擇后向相鄰視點幀。當^?！猑M萬〉0.6或7Tn>0.6時，認為B視的非關(guān)鍵幀和同時刻的后向相鄰視點幀之間相關(guān)性較強，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的后向相鄰視點幀增加為待編碼宏塊的參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于S"，,B時，將待編碼幀的后向相鄰視點幀增加為待編碼宏塊的參考幀。(6)在以宏塊為單位進行幀間預(yù)測時，確定待編碼宏塊的參考幀后，接著要對待編碼宏塊的宏塊分割模式進行取舍。具體實現(xiàn)步驟為對當前編碼幀中的待編碼宏塊，先進行幀內(nèi)預(yù)測，得到最佳的幀內(nèi)預(yù)測模式SerfMoA—/n/m，再進行16x16，16x8，8xl6三種宏塊分割模式的幀伺預(yù)觀!j，得到幀間預(yù)領(lǐng)U的最佳宏塊分割模式5e對M^e一/w^;如果4x8，4x4四種宏塊分割模式的幀間預(yù)測；否則，進行8x8，8x4，4x8，4x4四種宏塊分割模式的幀間預(yù)測；其中，16xl6表示幀內(nèi)16xl6預(yù)測模式，—16xl6表示幀間16xl6的宏塊分害U模式。將16xl6，16x8，8xl6三禾中宏塊分割模式定義為宏塊的大尺寸分割模式；將8x8，8x4，4x8，4x4四種宏塊分割模式定義為宏塊的小尺寸分割模式。本實施例中，在對B的關(guān)鍵幀進行幀間預(yù)測時，判斷一個宏塊能否在其參考幀中找到匹配的具體方法是對于位置為(/,力的宏塊S，通過幀間預(yù)測后，得到了相應(yīng)的視差矢量(x,力和亮度分量Y的預(yù)測誤差U/,刀。其中，(/，/)表示宏塊的二維索引號(見圖7)，并且引入紋理描述算子其中，256二16X16表示一個宏塊包含的像素個數(shù)；！^/,v)表示宏塊5中像素(",力的亮度值。紋理描述算子rw表示一個宏塊內(nèi)各像素點亮度值的波動程度。如果_/)Srw或者％力(/,力^7V"/wW，位置為(Z,力的宏塊5能夠在參考幀中找到匹配；如果(,',力>rw且Z)(w)(/,力>7V^/2oW，位置為(/，刀的宏塊S不能在參考幀中找到匹配。其中，閾值77^^。似=256></7，256表示宏塊包含的像素個數(shù)，w表示宏塊中每個像素的亮度值與其預(yù)測值之差的絕對值的均值，這里"的取值為io。在本發(fā)明測試中，發(fā)明人使用以下的測試序列J狄o&r""，^//ra，，尸/,e"co2，&"，Re"a;使用同一臺計算機，在相同的測試環(huán)境下，分別將本發(fā)明的方法和HHI預(yù)測方案對上述的測試序列進行了測試。同時，發(fā)明人還選擇了其他多視點視頻編碼方法一和方法二作為參照，進行了比較。方法一是TUBerlin提出的MVC分級預(yù)測結(jié)構(gòu)的方法("CoreExperimentalonview-temporalpredictionstructures,，，IS0/IEC.—TTC1/SC29/WG11，MPEG2006/M13196，April2006)，方法二是霍俊彥提出的靈活MVC預(yù)測結(jié)構(gòu)的方法(霍俊彥，"提高多視點視頻編碼效率的技術(shù)研究，"西安電子科技大學(xué)博士論文，2008.4)。三種方法都是與HHI預(yù)測方案得到的測試結(jié)果進行比較,分別得到峰值信噪比(PSNR)，編碼的碼率(bitrate)以及編碼消耗的時間(time)三個方面的數(shù)據(jù)。A^M表示改進后的方法相對于HHI預(yù)測方案的PSNR的變化量，如果變化量小于O.05dB,在主觀視覺上幾乎看不出差別。A6浙她表示改進的方法相對于HHI預(yù)測方案的編碼碼率的變化百分比，M^表示改進的方法相對于HHI預(yù)測方案編碼所消耗的時間的變化百分比。比較結(jié)果見表l。表1.本發(fā)明方法和其他兩種方法的編碼性能比較<table>tableseeoriginaldocumentpage17</column></row><table>本發(fā)明方法-0.0090.53-41.16方法一-0.1964.47-26.74方法二-0.0140.31-6.01本發(fā)明方法+0.003-0.08-36.30平均值方法一-0.0671.81-31.24方法二-0.0130.32-21.18本發(fā)明方法-0.0040.10-35.31從表中可以看出對于方法一，MVC分級預(yù)測結(jié)構(gòu)對不同的測試序列都能夠有效地降低編碼的時間，但是Atomfe的差異比較大，如對于序列F/fl附^co2，AMrafe二-O.11%，而對于Re""，A6/,rafe二4.47%。對于方去二，對于不同的測試序列，得到的Art鵬差別很大，如對于序列^//脂附，編碼時間只降低了5.81%。本發(fā)明方法對于不同的測試序列，在AMm&很小的情況下，都能有效地降低編碼所消耗的時間。從平均值來看，本發(fā)明方法取得了很好的效果。18權(quán)利要求1、一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法，其特征在于，對于I視的非關(guān)鍵幀和P視的非關(guān)鍵幀，其參考幀選擇時間方向幀；P視的關(guān)鍵幀和B視的關(guān)鍵幀，其參考幀選擇同時刻的相鄰視點幀；對于B視的非關(guān)鍵幀，其中每個宏塊為16×16像素，其參考幀選擇性包括最近的前向時間方向幀、最近的后向時間方向幀、同時刻的前向相鄰視點幀、同時刻的后向相鄰視點幀；當待編碼幀中的每個宏塊確定參考幀時，首先，選擇前向時間方向幀和后向時間方向幀；然后，將前向相鄰視點幀和后向相鄰視點幀分別與待編碼幀進行相關(guān)性判斷后，其相關(guān)性強的相鄰視點幀作為參考幀；對于I視的非關(guān)鍵幀、B視和P視的全部幀，在確定幀間預(yù)測的宏塊分割模式時，對待編碼幀中的待編碼宏塊，先進行幀內(nèi)預(yù)測，得到最佳的幀內(nèi)預(yù)測模式BestMode_Intra，再進行16×16，16×8，8×16三種宏塊分割模式的幀間預(yù)測，得到幀間預(yù)測的最佳宏塊分割模式BestMode_Inter；如果BestMode_Intra＝Intra_16×16并且BestMode_Inter＝Inter_16×16，則跳過8×8，8×4，4×8，4×4四種宏塊分割模式的幀間預(yù)測；否則，進行8×8，8×4，4×8，4×4四種宏塊分割模式的幀間預(yù)測；其中，Intra_16×16表示幀內(nèi)16×16預(yù)測模式，Inter_16×16表示幀間16×16的宏塊分割模式。2、根據(jù)權(quán)利要求1所述的一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法，其特征在于，所述將前向相鄰視點幀和后向相鄰視點幀分別與待編碼幀進行相關(guān)性判斷后，其相關(guān)性強的相鄰視點幀作為參考幀，具體步驟如下首先，在B視的關(guān)鍵幀和非關(guān)鍵幀中定義邊界區(qū)域和中心區(qū)域；利用關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將前一關(guān)鍵幀與其前向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為A。一FMS;將后一關(guān)鍵幀與其前向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為iTn—F細；利用關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將前一關(guān)鍵幀與其后向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為A。—5ikffi;將后一關(guān)鍵幀與其后向相鄰視點幀相匹配的宏塊按照邊界區(qū)域和中心區(qū)域進行分類，計算中心區(qū)域相匹配的宏塊個數(shù)與中心區(qū)域宏塊總個數(shù)的比值，記為;利用前一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的前向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為S"a^F_T。；利用后一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的前向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為^^邊界區(qū)域FJTn;S^邊界區(qū)域FJT0禾口5^邊界區(qū)域FJn的并集^己為^^邊界區(qū)域F;利用前一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的后向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為&/B—T。；利用后一關(guān)鍵幀以宏塊為單位進行幀間預(yù)測的結(jié)果，將與關(guān)鍵幀的后向相鄰視點幀中的宏塊相匹配的關(guān)鍵幀中邊界區(qū)域的宏塊集合，記為Se^邊界區(qū)域B—Tn;^e,邊界區(qū)域BJO，卩S"邊界區(qū)域BJTnStl^^iSi^^^^邊界區(qū)域B;其次，設(shè)定相關(guān)性判斷閾值r—^^/z;giT。_FMS>r—^w/z或/Tn_i^ffi>r—f/ww/z時，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于S^^,p時，將待編碼幀的前向相鄰視點幀增加為待編碼宏塊的參考幀；當A。一5M5:^—^w^/2或i^—SMS〉r—AreA日寸，如果待編碼宏塊不屬于待編碼幀的邊界區(qū)域，直接將待編碼幀的后向相鄰視點幀增加為待編碼宏塊的參考幀；如果待編碼宏塊屬于待編碼幀的邊界區(qū)域，并且待編碼宏塊屬于&^，《8時，將待編碼幀的后向相鄰視點幀增加為待編碼宏塊的參考幀。3、根據(jù)權(quán)利要求2所述的一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法，其特征在于，所述相關(guān)性判斷閾值r—咖勵為0.5-0.7。4、根據(jù)權(quán)利要求2所述的一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法，其特征在于，所述中心區(qū)域，其邊界離幀左邊界的水平距離和離幀右邊界的水平距離分別為幀寬度的10%，離幀上邊界的垂直距離和離幀下邊界的垂直距離分別為幀高度的io%。5、根據(jù)權(quán)利要求2所述的一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法，其特征在于，所述邊界區(qū)域為左右邊帶、上下邊帶或由左右邊帶和上下邊帶組成的回字形區(qū)域，其中左右邊帶的寬度為幀寬度的1%~4%，上下邊帶的寬度為幀高度的1%~4%。全文摘要本發(fā)明涉及視頻編碼
技術(shù)領(lǐng)域：
，公開了一種基于HHI分層B幀預(yù)測結(jié)構(gòu)的多視點視頻編碼的改進方法。本發(fā)明針對幀間預(yù)測部分進行了改進，其他部分的處理方式同MVC參考軟件中的方法，包括如下兩個部分(1)B視中非關(guān)鍵幀的每個宏塊在進行幀間預(yù)測時，是否選擇相鄰視點幀作為其參考幀；(2)以宏塊為單位進行幀間預(yù)測時，判斷每個宏塊是否需要進行小尺寸分割模式的幀間預(yù)測。用本發(fā)明的方法可以為待編碼幀中的每個宏塊有效地選擇參考幀，并且對宏塊的分割模式進行了限定，減少了某些宏塊不必要的小尺寸分割模式幀間預(yù)測，大大降低了編碼的時間復(fù)雜度。文檔編號H04N7/36GK101511016SQ200910021528公開日2009年8月19日申請日期2009年3月13日優(yōu)先權(quán)日2009年3月13日發(fā)明者任斐斐,劉貴忠,娜張,凡趙申請人:西安交通大學(xué)