專利名稱：基于感興趣區(qū)域的低碼率空域增強層編解碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于可伸縮視頻編碼領(lǐng)域，特別針對安防監(jiān)控的特殊需求，是基于 當前可伸縮視頻編解碼技術(shù)之上的針對感興趣區(qū)域的空域增強層編解碼算 法。
背景技術(shù)：
隨著人們對安全需求的日益增加、安全防護的使用成本與其產(chǎn)生的效益 拉開距離，市場提出了行業(yè)、企業(yè)大范圍、遠距離監(jiān)控的需求，如銀行跨地 區(qū)聯(lián)網(wǎng)監(jiān)控、全國城市重點地區(qū)聯(lián)網(wǎng)監(jiān)控等。由于模擬監(jiān)控存在著使用范圍 小、信號易衰減等弊端，通過網(wǎng)絡(luò)將圖像進行遠程傳輸?shù)募斜O(jiān)控方式應(yīng)運 而生。
科技的飛速發(fā)展使得當今各種無線網(wǎng)絡(luò)日趨普遍，3G、 B3G移動通信在技 術(shù)上己經(jīng)成熟。高清晰、全嵌入式、支持各種無線、有線接入方式的移動無 線視頻監(jiān)控成為新一代的視頻監(jiān)控系統(tǒng)的發(fā)展方向。同時監(jiān)控終端的移動化、 小型化一直是視頻監(jiān)控用戶的追求。手機、PDA、便攜電腦等均往智能型終端 方向發(fā)展，成為重要的監(jiān)控終端載體。視頻監(jiān)控傳輸網(wǎng)絡(luò)的多樣性(例如寬 帶網(wǎng)、ADSU WiFi等)和客戶終端的顯示分辨率、計算能力等各種差異，對 視頻編碼提出了可分級碼流的切實要求。其中空域可分級能夠適應(yīng)各種不同 分辨率的監(jiān)控終端，是可分級碼流的必備性質(zhì)之一。
由于網(wǎng)絡(luò)帶寬具有不定性的特點，移動無線視頻監(jiān)控需要傳輸?shù)痛a率且 高品質(zhì)的視頻流；而且考慮到安防監(jiān)控的特殊性某些應(yīng)用中需要針對某個
區(qū)域進行特殊編碼。所以在空域分級編碼基礎(chǔ)上，結(jié)合感興趣區(qū)域編碼技術(shù)， 實現(xiàn)基于區(qū)域的低碼率空域增強層編碼算法是當前應(yīng)用領(lǐng)域迫切需要解決的
問題。感興趣區(qū)域的英文為Region Of Interest,可簡稱為ROI。
空間分辨率可調(diào)算法早在MPEG-2、 MPEG-4協(xié)議中就有實現(xiàn)，后來在SVC (Scalable Video Coding可伸縮視頻編碼)中得到了更深一層的發(fā)展。SVC 同時利用了單層分辨率視頻流的幀間冗余信息和多層分辨率視頻流的層間冗 余信息，與多碼流視頻編碼技術(shù)相比，很大程度上提高了視頻壓縮比。但是 編碼高分辨率的視頻所增加的碼率對于移動無線視頻監(jiān)控和帶寬不定的無線 網(wǎng)而言，所需要傳輸?shù)谋忍刎摀匀缓苤亍?br> SVC中運用了ESS技術(shù)(參見JulienReichel， H. S. ， Mathias Wien， /w'M 5bahyWe KzVe。 Ue〗 《in/oi"t KzVe。 T謂f 。/，/7^Ti/潛 77Z/-7 r6FGi7" J/eeti/7g 2006: Hangzhou， China.)，實現(xiàn)了不同分辨 率視頻流的內(nèi)容允許不完全一樣的功能低分辨率的視頻通過下采樣從高分 辨的視頻中獲得，其內(nèi)容可以和高分辨視頻完全相同或是其中的一部分。雖 然此技術(shù)減小了低分辨率的視頻碼流，實現(xiàn)了不同分辨率內(nèi)容相異的特點。 但是由于低分辨率的碼流本身所占的比特數(shù)相對高分辨率而言很少，所以并 沒有為窄帶網(wǎng)絡(luò)(或帶寬不定網(wǎng)絡(luò))減輕負擔，而且也沒有體現(xiàn)出安防監(jiān)控 中需要針對某區(qū)域特殊編碼的特點。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是針對空域增強層編碼需要傳輸大量比特的 問題，結(jié)合感興趣區(qū)域的編碼方法，提供基于感興趣區(qū)域的一種低碼率空域 增強層編碼方法，以減小空域增強層碼率，保證空域增強層感興趣區(qū)域視頻
信息的質(zhì)量。
本發(fā)明解決其技術(shù)問題采用的技術(shù)方案是從基本層載入感興趣區(qū)域信 息，并根據(jù)感興趣區(qū)域信息對增強層的原始輸入圖像進行剪切，對剪切后得 到的感興趣區(qū)域編碼。
而且，按幀編碼時，編每一幀包括以下步驟，
步驟一，首先從基本層載入該幀的感興趣區(qū)域信息，即感興趣區(qū)域的起始 宏塊號和終止宏塊號，由此判斷該幀中每個宏塊是否屬于感興趣區(qū)域范圍， 如果是則確定該宏塊屬于該幀的增強層編碼內(nèi)容；
步驟二，在編碼該幀的基本層后編碼該幀的增強層，首先判斷該幀每個 宏塊是否屬于步驟一中確定的增強層編碼內(nèi)容，若不屬于則跳過，若屬于則 編碼；
步驟三，該幀的感興趣區(qū)域信息寫入編碼輸出碼流，供解碼使用。
而且，在步驟二編碼過程中做層內(nèi)幀間預(yù)測時，其參考圖像是本層幀前重
構(gòu)的感興趣區(qū)域部分和對應(yīng)基本層重構(gòu)的上采樣后非感興趣區(qū)域部分相結(jié)合
的圖像。
而且，在步驟一中，通過感興趣區(qū)域信息確定空域增強層的編碼內(nèi)容具 體步驟是，
定義變量BeginRoi—mb和EndRoi—mb分別記載感興趣區(qū)域的起始宏塊號 和終止宏塊號；通過載入基本層的感興趣區(qū)域信息，初始化變量BeginRoijnb 和EndR0i_mb這兩個變量，并寫入圖像頭信息的碼流擴展位中。
而且，編碼該幀的增強層時，按照從上到下、從左到右的順序依此讀入該 幀的宏塊信息，依次判斷當前讀入宏塊是否屬于步驟一中確定的增強層編碼內(nèi)容感興趣區(qū)域內(nèi)的宏塊。
本發(fā)明還提供了相應(yīng)的基于感興趣區(qū)域的低碼率空域增強層解碼方法， 解碼增強層前先解基本層，得到低分辨率的完整圖像，再時根據(jù)用戶需要進 行增強層增強，
若用戶只需看高分辨率的感興趣區(qū)域圖像，對增強層直接解碼即可；若 用戶需要看高分辨率的全景時，則對增強層解碼，并將基本層的非感興趣區(qū) 域進行上采樣，與解碼后的增強層拼接成一副完整的高分辨圖像。
而且，解碼增強層編碼碼流的具體操作步驟為，
若用戶只看感興趣區(qū)域的高分辨率圖像，那么將基本層解碼圖像的緩存 隊列內(nèi)容寫入輸出碼流即可；若用戶需要看高分辨率的全景，那么在增強層 的解碼圖像放入輸出碼流之前，將解碼后的基本層上采樣，采樣得到的基本 層的非感興趣區(qū)域圖像放入基本層解碼并上采樣后的圖像緩存隊列中，并將 其與增強層圖像相融合，最后將成功合成的增強層圖像寫入增強層的輸出碼 流。
本發(fā)明實現(xiàn)了基于感興趣區(qū)域的低碼率空域增強層編碼的功能；保證空域 增強層感興趣區(qū)域視頻信息的質(zhì)量不變的同時，大大減小了空域增強層編碼 后傳輸?shù)谋忍財?shù)；與普通方法相比，在空域增強層碼率相同的情況下，感興 趣區(qū)域亮度分量的PSNR值提高1. 5-4db左右。


圖1是本發(fā)明的編碼原理示意圖。
圖2是本發(fā)明的解碼原理示意圖。
圖3是本發(fā)明實施例的編碼流程圖。
圖4是本發(fā)明實施例的解碼流程圖。
圖5是本發(fā)明的空域增強層感興趣區(qū)域的性能曲線圖。
具體實施例方式
本發(fā)明提供的是基于感興趣區(qū)域的低碼率空域增強層編碼方法，所述空 域增強層是基于可伸縮視頻編解碼標準的，本發(fā)明簡稱為增強層。這種方法 從基本層載入感興趣區(qū)域信息，并根據(jù)感興趣區(qū)域信息對增強層的原始輸入 圖像進行剪切，對剪切后得到的感興趣區(qū)域編碼。針對安防監(jiān)控的特殊需求， 本發(fā)明從增強層提取感興趣區(qū)域進行編碼，而忽略其它非關(guān)鍵區(qū)域的圖像， 從而減小空域增強層碼率，保證空域增強層感興趣區(qū)域視頻信息的質(zhì)量。那 么結(jié)合現(xiàn)有技術(shù)的普通編碼方式，完整的圖像編碼過程原理參見附圖1:輸入 圖像，分別進行基本層編碼和增強層編碼，基本層按普通方式編碼，增強層 經(jīng)剪切出感興趣區(qū)域后進行編碼，基本層編碼和增強層的感興趣區(qū)域編碼之 間具有層間預(yù)測機制?；緦泳幋a結(jié)果和增強層的感興趣區(qū)域編碼結(jié)果共同 構(gòu)成即將傳輸?shù)膲嚎s碼流。
在視頻編解碼技術(shù)領(lǐng)域中，圖像信息總是由很多幀數(shù)據(jù)組成，因此處理時 總是按幀進行順序處理。采用空域分級編碼技術(shù)處理的圖像信息，每幀數(shù)據(jù) 含有基本層和增強層，基本層包含有感興趣區(qū)域信息。按幀編碼時，可以通 過對每一幀的判斷來實現(xiàn)對增強層的原始輸入圖像進行剪切，編每一幀包括 以下步驟，
步驟一，首先從基本層載入該幀的感興趣區(qū)域信息，即感興趣區(qū)域的起始 宏塊號和終止宏塊號，由此判斷該幀中每個宏塊是否屬于感興趣區(qū)域范圍， 如果是則確定該宏塊屬于該幀的增強層編碼內(nèi)容；
步驟二，在編碼該幀的基本層后編碼該幀的增強層，首先判斷該幀每個宏 塊是否屬于步驟一中確定的增強層編碼內(nèi)容，若不屬于則跳過，若屬于則編 碼；
本發(fā)明實施例中，通過感興趣區(qū)域信息確定空域增強層的編碼內(nèi)容具體步 驟可以采用定義變量，定義變量BeginRoi—mb和EndRoi—mb分別記載感興趣 區(qū)域的起始宏塊號和終止宏塊號；通過載入基本層的感興趣區(qū)域信息，初始 化變量BeginRoi一mb和EndRoi—mb這兩個變量，比較該幀中每個宏塊的宏塊 號和這兩個變量確定的范圍，即可判斷某宏塊是否屬于步驟一中確定的增強 層編碼內(nèi)容。由于一幀的增強層內(nèi)包括多個宏塊，也可以設(shè)定編碼宏塊的順 序，編碼該幀的增強層時，按照從上到下、從左到右的順序依此讀入該幀的 宏塊信息，依次判斷當前讀入宏塊是否屬于步驟一中確定的增強層編碼內(nèi)容 感興趣區(qū)域內(nèi)的宏塊。為了節(jié)省編碼后的傳輸碼流，在步驟二編碼過程中做 層內(nèi)幀間預(yù)測時，其參考圖像是本層幀前重構(gòu)的感興趣區(qū)域部分和對應(yīng)基本 層重構(gòu)的上采樣后非感興趣區(qū)域部分相結(jié)合的圖像。
步驟三，該幀的感興趣區(qū)域信息寫入編碼輸出碼流，供解碼使用。本發(fā)明 實施例中，初始化變量BeginRoi—mb和EndRoijnb這兩個變量后，寫入圖像 頭信息的碼流擴展位中，以供解碼使用。
本發(fā)明提供具體實施例的編碼流程以便實施，參見圖3:編圖像中的每一 幀時，首先載入ROI信息，并且載入此幀的所有層(Layer)的信息到 鄰cOriginalPicBufferlXayerID]，其中即cOriginalPicBuffer數(shù)組用來記 錄每一層的幀信息，LayerID表示層號。當此LayerID有效的時候，判斷此層 是不是基本層，如果是(10=0)則按照普通方法編基本層的視頻圖像；若不是
則按照本方法的增強層編碼方式編碼，之后進行10++調(diào)節(jié)層號繼續(xù)判斷。增 強層編碼方式是從上到下、從左到右的順序依此讀入圖像的宏塊信息，然
后判斷該宏塊(slice)是不是ROI內(nèi)的宏塊，若是則編碼，并將編碼后信息寫 入碼流；若不是則跳過此宏塊讀入下一個宏塊信息。利用增強層的重構(gòu)圖像 和基本層的重構(gòu)圖像，以幀間預(yù)測、層間預(yù)測以及幀內(nèi)預(yù)測相結(jié)合的方法進 行編碼。并且在增強層ROI宏塊的編碼過程中，做層內(nèi)的幀間預(yù)測時，其參 考圖像是本層幀前的重構(gòu)ROI圖像和對應(yīng)基本層的重構(gòu)并上采樣后的非ROI 圖像相結(jié)合的圖像。最后將基本層和增強層編碼后生成的壓縮碼流寫入輸出 碼流。進行編碼for循環(huán)，當圖像的所有幀都編完后(Picture結(jié)束)即可寫 入輸出碼流，結(jié)束編碼。
本發(fā)明還給出了與基于感興趣區(qū)域的低碼率空域增強層編碼方法相應(yīng)的 解碼方法解碼增強層前先解基本層，得到低分辨率的完整圖像，再根據(jù)用 戶需要選擇是否進行增強層增強，
若用戶只需看高分辨率的感興趣區(qū)域圖像，對增強層直接解碼即可；若 用戶需要看高分辨率的全景時，則對增強層增強，增強層解碼并將基本層的 非感興趣區(qū)域進行上采樣，上采樣結(jié)果與解碼后的增強層拼接成一副完整的 高分辨圖像。
結(jié)合現(xiàn)有技術(shù)的普通編碼方式，完整的壓縮碼流解碼過程原理參見附圖 2:通過網(wǎng)絡(luò)傳輸?shù)浇邮拯c的壓縮碼流，按普通方式解碼基本層，而增強層碼 流解碼得到感興趣區(qū)域圖像，基本層解碼和增強層的感興趣區(qū)域解碼之間具 有層間預(yù)測機制?；緦咏獯a結(jié)果和感興趣區(qū)域圖像組合得出解碼圖像。
本發(fā)明實施例中，解碼增強層編碼碼流的具體操作步驟為，
首先解出基本層和增強層的解碼圖像，分別放入基本層解碼圖像的緩存
隊列(本發(fā)明實施例命名為baseLayerBufferList)和增強層解碼圖像的緩存 隊列(本發(fā)明實施例命名為enhLayerBufferList)中；
若用戶只看感興趣區(qū)域的高分辨率圖像，那么將baseLayerBufferList 內(nèi)容寫入輸出碼流即可；若用戶需要看高分辨率的全景，那么在增強層的解 碼圖像放入輸出碼流之前，將解碼后的基本層上采樣，采樣得到的基本層的 非感興趣區(qū)域圖像放入基本層解碼并上采樣后的圖像緩存隊列(本發(fā)明實施 例命名為baseLayerUpsampleList)中，并將其與增強層圖像相融合，最后將 成功合成的增強層圖像寫入增強層的輸出碼流。
本發(fā)明提供具體實施例的解碼流程以便實施，參見圖4:解每一幀時，首 先從接收到的碼流中提取和檢查某一個處理單元的NAL信息(處理單元信息)， 并且初始化各種參數(shù)。然后判斷NAL類型。如果NAL類型是 NAL—UNIT_CODED_SLICE或NAL—UNIT_C0DED—SLICE_IDR，那么表示此單元屬于 基本層的幀，則按照普通方法解碼，并放入baseLayerBufferList (基本層重 構(gòu)圖像的緩存隊列)中；如果是NALJJNIT—CODED_SLICE_SCALABL或 NAL_UNIT_C0DED—SLICE—SCALABLE—IDR，那么表示此單元屬于增強層的幀，則 直接按照解增強層的方法解碼，并放入enhLayerBufferList (增強層重構(gòu)圖 像的緩存隊列)中；如果是其它類型，則直接按照國際標準的原始方法編碼 即可。處理完一個處理單元后，進行解碼器F0R循環(huán)，直到該幀內(nèi)的處理單 元都處理完成。若用戶只看感興趣區(qū)域的高分辨率圖像，那么將增強層的解 碼圖像寫入輸出碼流即可；若用戶需要看高分辨率的全景，那么在增強層的 解碼圖像放入輸出隊列之前，將解碼后的基本層(baseLayerBufferList內(nèi)的
圖像)上采樣，放入baseLayerUpsampleList (基本層重構(gòu)并上采樣的圖像緩 存隊列)中，并將采樣后的非ROI部分與增強層圖像相融合，最后將成功合 成的增強層圖像寫入增強層的輸出文件。
為了方便說明本發(fā)明的優(yōu)點，現(xiàn)舉出本發(fā)明的實驗測試為例本發(fā)明的 實驗測試是基于JSVM—7 software (參見Jerome Vieron， M. W. , Heiko Schwarz
iV z^ ifeeOV^. 2006: Klagenfurt， Austria.)之上的。實驗用的某序列相
關(guān)性能指標為碼率^15hz (幀/秒)；圖片組大小=1 (幀)、1幀間隔幀數(shù)=16
(幀)。圖片為352X288大小。如圖5所示比較原始方法的性能曲線和本 方法的性能曲線。在空域增強層碼率(單位為kbps)相同的情況下，本算法 的感興趣區(qū)域PSNR-Y(亮度信號的峰值信號與噪聲比，單位為db)值比原始方 法提高了 1.5-4db左右。即在感興趣區(qū)域PSNR-Y相同的情況下，大大減小了 空域增強層使用的碼率。
權(quán)利要求
1. 基于感興趣區(qū)域的低碼率空域增強層編碼方法，其特征是從基本層載入感興趣區(qū)域信息，并根據(jù)感興趣區(qū)域信息對增強層的原始輸入圖像進行剪切，對剪切后得到的感興趣區(qū)域編碼。
2. 根據(jù)權(quán)利要求1所述的低碼率空域增強層編碼方法，其特征是按幀 編碼時，編每一幀包括以下步驟，步驟一，首先從基本層載入該幀的感興趣區(qū)域信息，即感興趣區(qū)域的起 始宏塊號和終止宏塊號，由此判斷該幀中每個宏塊是否屬于感興趣區(qū)域范圍， 如果是則確定該宏塊屬于該幀的增強層編碼內(nèi)容；步驟二，在編碼該幀的基本層后編碼該幀的增強層，首先判斷該幀每個 宏塊是否屬于步驟一中確定的增強層編碼內(nèi)容，若不屬于則跳過，若屬于則 編碼；步驟三，該幀的感興趣區(qū)域信息寫入編碼輸出碼流，供解碼使用。
3. 根據(jù)權(quán)利要求2所述的低碼率空域增強層編碼方法，其特征是在步驟二編碼過程中做層內(nèi)幀間預(yù)測時，其參考圖像是本層幀前重構(gòu)的感興趣區(qū) 域部分和對應(yīng)基本層重構(gòu)的上采樣后非感興趣區(qū)域部分相結(jié)合的圖像。
4.根據(jù)權(quán)利要求2所述的低碼率空域增強層編碼方法，其特征是在步驟一中，通過感興趣區(qū)域信息確定空域增強層的編碼內(nèi)容具體步驟是，定義變量BeginRoi_mb和EndRoi_mb分別記載感興趣區(qū)域的起始宏塊號 和終止宏塊號；通過載入基本層的感興趣區(qū)域信息，初始化變量BeginRoijnb 和EndRoi—mb這兩個變量，并寫入圖像頭信息的碼流擴展位中。
5. 根據(jù)權(quán)利要求2所述的低碼率空域增強層編碼方法，其特征是編碼 該幀的增強層時，按照從上到下、從左到右的順序依此讀入該幀的宏塊信息， 依次判斷當前讀入宏塊是否屬于步驟一中確定的增強層編碼內(nèi)容感興趣區(qū)域 內(nèi)的宏塊。
6. 基于感興趣區(qū)域的低碼率空域增強層解碼方法，其特征是解碼增強 層前先解基本層，得到低分辨率的完整圖像，再根據(jù)用戶需要選擇是否進行 增強層增強，若用戶只需看高分辨率的感興趣區(qū)域圖像，對增強層直接解碼即可；若 用戶需要看高分辨率的全景時，則對增強層增強，增強層解碼并將基本層的 非感興趣區(qū)域進行上采樣，上采樣結(jié)果與解碼后的增強層拼接成一副完整的 高分辨圖像。
7.根據(jù)權(quán)利要求6所述的低碼率空域增強層解碼方法，其特征是解碼 增強層編碼碼流的具體操作步驟為，首先解出基本層和增強層的解碼圖像，分別放入基本層解碼圖像的緩存 隊列和增強層解碼圖像的緩存隊列中；若用戶只看感興趣區(qū)域的高分辨率圖像，那么將基本層解碼圖像的緩存隊列內(nèi)容寫入輸出碼流即可；若用戶需要看高分辨率的全景，那么在增強層 的解碼圖像放入輸出碼流之前，將解碼后的基本層上采樣，采樣得到的基本 層的非感興趣區(qū)域圖像放入基本層解碼并上采樣后的圖像緩存隊列中，并將 其與增強層圖像相融合，最后將成功合成的增強層圖像寫入增強層的輸出碼 流。
全文摘要
本發(fā)明涉及一種基于感興趣區(qū)域的低碼率空域增強層編解碼方法，編碼方法是從基本層載入感興趣區(qū)域信息，并根據(jù)感興趣區(qū)域信息對增強層的原始輸入圖像進行剪切，對剪切后得到的感興趣區(qū)域編碼。本發(fā)明實現(xiàn)了基于感興趣區(qū)域的低碼率空域增強層編碼的功能，在保證空域增強層感興趣區(qū)域視頻信息的質(zhì)量不變的同時，大大減小了空域增強層編碼后傳輸?shù)谋忍財?shù)，尤其適合于安防監(jiān)控的傳輸需求。
文檔編號H04N7/26GK101383962SQ200710053159
公開日2009年3月11日 申請日期2007年9月7日 優(yōu)先權(quán)日2007年9月7日
發(fā)明者瓊 劉, 洋 夏, 王啟軍, 胡瑞敏, 路依莎 申請人:武漢大學