專利名稱：對編碼轉(zhuǎn)換視頻進行視覺檢查的方法、設(shè)備和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼系統(tǒng)，更具體地涉及一種在將視頻文件再編 碼為例如另一視頻格式的同時對視頻文件進行視覺檢查的方法、設(shè)備 和系統(tǒng)。
背景技術(shù)：
當將視頻從一種格式再編碼為另一種格式時，難以確定各種編碼 參數(shù)會對產(chǎn)生的視頻圖像造成怎樣的影響。 一些將原始視頻與其產(chǎn)生 的新編碼視頻相比較的現(xiàn)有技術(shù)解決方案包括對視頻流進行編碼， 然后獨立地播放原始視頻和新編碼視頻，以檢測任何差別。但是，編 碼過程可能比較冗長，等待完成編碼過程之后再比較視頻流不允許在 編碼過程中進行實時調(diào)整，并不是最有效的解決方案。此外，在這種 現(xiàn)有技術(shù)解決方案中，沒有可靠的方法將視頻流彼此同步以進行比較。

發(fā)明內(nèi)容
本發(fā)明通過提出一種用于對編碼轉(zhuǎn)換視頻進行實時視覺檢査的方 法、設(shè)備和系統(tǒng)。
在本發(fā)明的一個實施例中， 一種用于在將視頻流再編碼為第二視 頻格式的同時對視頻流進行視覺檢查的方法包括將解碼視頻流分割 為至少第一和第二部分；將視頻流的第一分割部分再編碼為第二視頻 格式；以及將視頻流的第二分割部分的解碼視頻幀和對應(yīng)的再編碼視 頻幀設(shè)置成組合視頻幀，以使解碼視頻幀和對應(yīng)的再編碼視頻幀一并 出現(xiàn)在該組合視頻幀中。
在本發(fā)明的備選實施例中， 一種允許在將視頻流再編碼為第二視 頻格式的同時對視頻文件進行視覺檢査的視頻混合器包括處理器和存
儲池，所述視頻混合器適于執(zhí)行如下步驟逐幀地接收視頻流的解碼 的第二分割部分；逐幀地接收視頻流的、對應(yīng)的再編碼的第一分割部 分；以及將視頻流的第二分割部分的解碼視頻幀和對應(yīng)的再編碼視頻
幀設(shè)置成組合視頻幀，以使解碼視頻幀和對應(yīng)的再編碼視頻幀一并出 現(xiàn)在該組合視頻幀中。
在本發(fā)明的備選實施例中， 一種允許在將視頻流再編碼為第二視
頻格式的同時對視頻文件進行視覺檢査的系統(tǒng)包括視頻解碼器，用
于對所接收的視頻流進行解碼；流分割器，用于將解碼視頻流分割為 至少第一和第二部分；編碼器，用于接收解碼視頻流的第一分割部分， 并將所接收的解碼視頻流部分再編碼為第二視頻格式；以及視頻混合 器，包括處理器和存儲器。本發(fā)明的視頻混合器適于執(zhí)行如下步驟 接收視頻流的解碼的第二分割部分；接收來自編碼器的、視頻流的再 編碼的第一部分；以及將視頻流的第二分割部分的解碼視頻幀和對應(yīng) 的再編碼視頻幀設(shè)置成組合視頻幀，以使解碼視頻幀和對應(yīng)的再編碼 視頻幀一并出現(xiàn)在該組合視頻幀中。本發(fā)明的系統(tǒng)還可以包括顯示設(shè) 備，用于在組合視頻幀中顯示解碼視頻幀和對應(yīng)的再編碼視頻幀。


通過考慮以下結(jié)合附圖的詳細描述，可以容易地理解本發(fā)明的示 教，附圖中-
圖1示出了根據(jù)本發(fā)明實施例的視頻編碼和視覺比較(VEVC) 系統(tǒng)的高層框圖2示出了適合在圖1的VEVC系統(tǒng)中使用的視頻混合器實施例
的高層框圖3示意性地示出了在沿基本上相同的取向并排顯示對應(yīng)視頻幀 的操作模式下的視頻混合器的輸出；
圖4示意性地示出了在正常顯示原始解碼視頻幀而沿x軸反轉(zhuǎn)對 應(yīng)的再編碼視頻幀的模式下視頻混合器的輸出；以及
圖5示出了根據(jù)本發(fā)明實施例、在視頻混合器中用于接收視頻流 輸入并將完成的寬幀通信至顯示設(shè)備以進行視覺比較的方法的流程 圖。
為了方便理解，使用相同的附圖標記來指示附圖中共有的相同元件。
具體實施例方式
本發(fā)明有利地提供了用于對編碼轉(zhuǎn)換視頻進行實時視覺檢査的方 法、設(shè)備和系統(tǒng)。雖然主要在對解碼的原始視頻流與再編碼視頻流的 幀進行視覺比較的情況下對本發(fā)明進行描述，但是所屬領(lǐng)域的技術(shù)人 員可以理解，通過本發(fā)明的示教，本發(fā)明的構(gòu)思可以應(yīng)用于多于兩個 的視頻流的視覺比較。
圖1示出了根據(jù)本發(fā)明實施例的視頻編碼和視覺比較(VEVC) 系統(tǒng)的高層框圖。圖1所示VEVC系統(tǒng)100包括視頻源102、視頻解 碼器104、視頻流分割器106、編碼器108、視頻混合器110和顯示設(shè) 備(圖中所示的是視頻監(jiān)視器)112。在圖1的VEVC100中，將來自 視頻源102的視頻流通信至視頻解碼器104。在視頻解碼器104中， 將視頻流解碼為例如RGB或YUV，并將解碼視頻流通信至流分割器 106。流分割器106將解碼視頻流分割為兩個基本上相同的流。將第一 流通信至編碼器108，以將所接收的解碼視頻流編碼為所需的第二視 頻格式。將來自流分割器106的第二流通信至視頻混合器110。
編碼器108輸出新編碼的比特流，同時也向視頻混合器110提供 一組再編碼的預(yù)覽幀。編碼器108不調(diào)整所接收視頻流的幀速率，這 樣，通信至視頻混合器110的解碼的原始視頻流的每個視頻幀具有從 編碼器108通信至視頻混合器的同步視頻幀。如圖1的VEVC 100所 示，視頻混合器110包括兩個輸入115和117。在圖1的VEVC 100 中，通信至第一輸入115的視頻流是從流分割器106通信而來的解碼 的原始視頻流，通信至第二輸入117的視頻流是從編碼器108通信而 來的再編碼視頻流。視頻混合器110的輸出包括單個(組合)視頻幀， 該視頻幀具有與原始視頻幀基本上相同的高度，但是寬度是后者的兩
倍。這允許將解碼的原始視頻流的視頻圖像與再編碼視頻流的視頻圖 像定位在要由視頻監(jiān)視器112顯示的組合視頻幀中，以便對圖像進行 視覺檢查，檢測是否有任何差別。
圖2描繪了適合在圖1的VEVC系統(tǒng)100中使用的視頻混合器 110的實施例的高層框圖。圖2的視頻混合器110包括處理器210和 用于存儲控制程序、緩沖池等的存儲器220。處理器210與諸如電源、 時鐘電路、高速緩存等常規(guī)支持電路230以及協(xié)助執(zhí)行存儲器220中 存儲的軟件例程的電路彼此協(xié)作。這樣，可以考慮將在此所述的作為 軟件過程的過程步驟中的一些在硬件內(nèi)實現(xiàn)，例如，作為與處理器210 協(xié)作以執(zhí)行多種步驟的電路。視頻混合器110還包含輸入輸出電路 240，該輸入輸出電路240形成與視頻混合器110進行通信的多種功能 元件之間的接口。例如，如圖1所示，視頻混合器IIO分別經(jīng)由第一 路徑Sl和第二路徑S2與流分割器106和編碼器108進行通信，并經(jīng) 由輸出路徑01與顯示設(shè)備112進行通信。
雖然將圖2的視頻混合器IIO描繪為編程用于執(zhí)行根據(jù)本發(fā)明的 多種控制功能的通用計算機，但是本發(fā)明可以實現(xiàn)為硬件，例如，作 為專用集成電路(ASIC)。因此，在此描述的過程步驟要廣義地解釋 為可由軟件、硬件或其組合等效地執(zhí)行。
相對于視頻采樣的特定細節(jié)，對流分割器106和編碼器108與視 頻混合器110的連接進行協(xié)商。即，向視頻混合器IIO通知第一輸入 115具有圖像(寬度X高度)和(幀速率)，第二輸入117具有圖像(寬 度X高度)和(幀速率)。在本發(fā)明的一個實施例中，至視頻混合器 110的輸入(例如，解碼的原始視頻流和再編碼視頻流)具有相同高 度和寬度，并且再編碼視頻流保留解碼的原始視頻流的幀速率，以便 進行正確同步。這種配置方便了對解碼的原始視頻流和再編碼視頻流 的最佳比較。更具體地，如果至視頻混合器110的輸入具有相同高度 和寬度，并且再編碼視頻流保留解碼的原始視頻流的幀速率，則輸出 圖像包括基本上相同的尺寸，并顯示對應(yīng)的視頻幀，這使兩個輸出視 頻圖像之間的比較容易得多。
在至視頻混合器110的輸入(例如，解碼的原始視頻流和再編碼
視頻流)不具有相同高度和寬度、并且再編碼視頻流未保留解碼的原 始視頻流的幀速率的情況下，可選地，本發(fā)明的視頻混合器，例如圖 1的視頻混合器100可以拒絕輸入并不執(zhí)行任何處理，或者可以對輸 入之一或兩個輸入執(zhí)行縮放例程。即，在后一種情況下，視頻混合器 可以嘗試對輸入的屬性(例如，高度、寬度和速率)進行縮放，以使 輸出圖像包括基本上相同的尺寸，并顯示對應(yīng)的視頻幀。但是，在這 種實施例中，經(jīng)調(diào)整的視頻流可能產(chǎn)生質(zhì)量下降的圖像。
如上所述，首先，確定視頻流的輸入屬性(例如，顏色空間、高 度、寬度、幀速率等)。接著，在視頻混合器110中創(chuàng)建寬(組合)幀 (例如，{輸入高度}乂{輸入寬度*2}乂{量化})的緩沖池。對于由視 頻混合器110接收的每個幀，在從緩沖池中選擇的寬幀的適當位置處 存儲該幀的復(fù)制件。例如，對于第一操作模式，將解碼的原始視頻幀 和對應(yīng)的再編碼幀復(fù)制到寬幀的各個位置處。在第一操作模式下，視
頻混合器110使要在視頻監(jiān)視器112上顯示的解碼的原始視頻幀和對
應(yīng)的再編碼視頻幀在寬輸出幀中是沿基本上相同的取向并排放置的。
圖3示意性地描繪了這種操作模式下視頻混合器110的輸出。如圖3 所示，在寬輸出幀中沿基本上相同的取向顯示解碼的原始視頻幀和對 應(yīng)的再編碼視頻幀。可以實施本發(fā)明的這種模式，以檢測由于例如編 碼轉(zhuǎn)換過程引起的圖像之間相對較大的差別。
對于第二操作模式，將解碼的原始視頻幀復(fù)制到寬幀中的適當位 置，并將對應(yīng)的再編碼視頻幀復(fù)制到寬幀中的位置處，以使在視頻監(jiān) 視器112上顯示時，這些視頻幀看起來是沿x軸彼此反轉(zhuǎn)的。S卩，對 于第二操作模式，視頻混合器110使要在視頻監(jiān)視器112上顯示的解 碼的原始視頻幀和對應(yīng)的再編碼視頻幀沿基本上相反的取向而并排放 置的。更具體地，在第二操作模式中，正常顯示視頻幀之一，而將第 二視頻幀沿x軸反轉(zhuǎn)，以使逐像素的差別更加明顯。例如，在本發(fā)明 的一個實施例中，正常顯示解碼的原始視頻幀，而沿x軸反轉(zhuǎn)對應(yīng)的 再編碼視頻幀。在本發(fā)明的可選實施例中，正常顯示再編碼視頻幀， 而沿x軸反轉(zhuǎn)對應(yīng)的解碼原始幀。圖4示意性地描繪了在實施例的這 種模式下視頻混合器110的輸出，其中正常顯示解碼的原始視頻幀，
而沿X軸反轉(zhuǎn)對應(yīng)的再編碼視頻幀。
在本發(fā)明的可選實施例中，在本發(fā)明的視頻混合器中，將解碼的 原始視頻幀和對應(yīng)的再編碼視頻幀復(fù)制到寬幀中的位置處，從而以蝴 蝶形配置在視頻監(jiān)視器U2上顯示視頻幀，以便將解碼原始視頻幀的 一半顯示在對應(yīng)的再編碼視頻幀的相應(yīng)一半的旁邊。即，在寬幀的一 側(cè)(例如，左半部分)，將解碼原始視頻幀的第一半顯示在對應(yīng)的再編 碼視頻幀的相應(yīng)第一半的旁邊，在寬幀的另一側(cè)(例如，右半部分)， 將解碼原始視頻幀的第二半顯示在對應(yīng)的再編碼視頻幀的相應(yīng)第二半 的旁邊。但是，這種實施例要求在視頻混合器中進行附加處理，以在 寬幀中正確定位視頻幀。
再次參照圖1和2，在視頻混合器110中，針對緩沖池的寬幀， 實現(xiàn)隊列，以定義進入視頻幀的順序。在一個實施例中，隊列包括兩 個布爾標識符， 一個針對寬幀的填充的左半部分， 一個針對寬幀的填 充的右半部分，每一半表示解碼的原始視頻流或再編碼視頻流的完整 視頻幀。對隊列中的幀按順序編號，從將隊列看作各個幀本身。當寬 幀的兩側(cè)，即左半部分和右半部分均得到填充時，將寬幀中的圖像通 信至視頻監(jiān)視器112。然后使等待遞增到隊列中的下一緩沖器。
圖5描繪了根據(jù)本發(fā)明實施例、在視頻混合器中用于接收視頻流 輸入并將完成的寬幀通信至顯示設(shè)備以進行視覺比較的方法的流程
圖。在步驟502進入圖5的方法500，在此步驟中，本發(fā)明的視頻混 合器接收輸入視頻幀。然后，方法500前進到步驟504。應(yīng)該注意， 圖5的方法500的步驟表示以寬幀的相同緩沖池進行操作的解碼的原 始視頻流和再編碼視頻流。
在步驟504，視頻混合器確定緩沖器(寬幀)對于所接收的視頻 幀是否是可用的。如果緩沖器不可用，則方法500前進到步驟506。 如果緩沖器可用，則方法500跳到步驟508。
在步驟506，阻擋所接收的視頻幀，直到緩沖器可用為止。然后 方法500前進到步驟508。
在步驟508，將所接收的輸入視頻幀存儲在隊列中的第一邏輯緩 沖器中。然后方法前進到步驟510。
在步驟510，用所接收的輸入幀分別填充寬幀的左側(cè)和右側(cè)。當 得到填充時，寬幀的每一半向視頻混合器指示各個半部分均已填充。
然后方法前進到步驟512。
在步驟512，將完成的寬幀通信至顯示設(shè)備。然后方法前進到步 驟514。
在步驟514，將與已通信的寬幀相關(guān)的緩沖器釋放到隊列中。然 后，退出方法500。
在本發(fā)明的可選實施例中，根據(jù)本發(fā)明的視頻混合器可以包括獨 立的線程，用于監(jiān)視隊列，以確定寬幀以及寬幀的各側(cè)是否并在何時 得到填充。在這種實施例中，當完全填充了寬幀時，該線程將使圖像 發(fā)送至顯示器，并使相關(guān)緩沖器釋放到隊列中。
盡管以上內(nèi)容描述了本發(fā)明的多種實施例，但是在不背離本發(fā)明 基本范圍的情況下，可以設(shè)計本發(fā)明的其他實施例。因此，本發(fā)明的 保護范圍由所附權(quán)利要求確定。
權(quán)利要求
1.一種用于在將視頻流再編碼為第二視頻格式的同時對視頻流進行視覺檢查的方法，包括將解碼視頻流分割為至少第一和第二部分；將所述視頻流的第一分割部分再編碼為第二視頻格式；以及將所述視頻流的第二分割部分的解碼視頻幀和對應(yīng)的再編碼視頻幀設(shè)置成組合視頻幀，以使所述解碼視頻幀和所述對應(yīng)的再編碼視頻幀一并出現(xiàn)在所述組合視頻幀中。
2. 根據(jù)權(quán)利要求1所述的方法，包括對所述視頻流的所述解碼 部分或所述視頻流的所述對應(yīng)的再編碼部分執(zhí)行縮放例程，以對所述 視頻流的各個部分進行縮放，從而使所顯示的圖像包括基本上相同的 尺寸。
3. 根據(jù)權(quán)利要求2所述的方法，其中對所述視頻流部分中至少一 個的高度、寬度和幀速率中的至少一個進行縮放。
4. 根據(jù)權(quán)利要求1所述的方法，其中在所述組合視頻幀中將所述 解碼視頻幀和對應(yīng)的再編碼視頻幀設(shè)置為并排出現(xiàn)。
5. 根據(jù)權(quán)利要求1所述的方法，其中在所述組合視頻幀中設(shè)置所 述解碼視頻幀和對應(yīng)的再編碼視頻幀，以使視頻幀沿x軸相對于彼此 反轉(zhuǎn)而出現(xiàn)。
6. 根據(jù)權(quán)利要求1所述的方法，其中在所述組合視頻幀中設(shè)置所 述解碼視頻幀和對應(yīng)的再編碼視頻幀，以使解碼視頻幀的一半出現(xiàn)在 對應(yīng)的再編碼視頻幀的相應(yīng)一半的旁邊。
7. 根據(jù)權(quán)利要求1所述的方法，包括保持寬幀的緩沖池，用于 存儲所述組合的解碼視頻幀和對應(yīng)的再編碼視頻幀。
8. 根據(jù)權(quán)利要求7所述的方法，其中針對所述緩沖池的寬幀，實 現(xiàn)隊列，以定義所存儲的視頻幀的順序。
9. 根據(jù)權(quán)利要求8所述的方法，其中所述隊列包括兩個布爾標識 符， 一個針對寬幀的己填充左半部分， 一個針對寬幀的已填充右半部 分，每一個半部分表示視頻流的解碼部分或視頻流的再編碼部分的完 整視頻幀。
10. —種用于在將視頻流再編碼為第二視頻格式的同時對視頻文 件進行視覺檢查的設(shè)備，包括處理器和存儲器，所述設(shè)備適于執(zhí)行如 下步驟接收所述視頻流的解碼的第二分割部分；接收所述視頻流的、對應(yīng)的再編碼的第一分割部分；以及 將所述視頻流的第二分割部分的解碼視頻幀和對應(yīng)的再編碼視頻幀設(shè)置成組合視頻幀，以使所述解碼視頻幀和所述對應(yīng)的再編碼視頻幀一并出現(xiàn)在所述組合視頻幀中。
11. 根據(jù)權(quán)利要求io所述的設(shè)備，其中所述設(shè)備還適于對所述視頻流的所述解碼部分或所述視頻流的所述對應(yīng)的再編碼部分執(zhí)行縮放 例程，以對所述視頻流的所接收部分進行縮放，從而使所顯示的圖像 包括基本上相同的尺寸。
12. 根據(jù)權(quán)利要求IO所述的設(shè)備，其中所述存儲器包括寬幀的 緩沖池，用于存儲所述組合的解碼視頻幀和對應(yīng)的再編碼視頻幀。
13. 根據(jù)權(quán)利要求12所述的設(shè)備，其中針對所述緩沖池的寬幀，實現(xiàn)隊列，以定義所接收的視頻幀的順序。
14. 根據(jù)權(quán)利要求12所述的設(shè)備，其中所述設(shè)備在各個組合視頻 幀中將所接收的解碼視頻幀和所接收的對應(yīng)的再編碼視頻幀設(shè)置為并 排出現(xiàn)。
15. 根據(jù)權(quán)利要求12所述的設(shè)備，其中所述設(shè)備在各個組合視頻 幀中設(shè)置所接收的解碼視頻幀和所接收的對應(yīng)的再編碼視頻幀，以使 視頻幀沿x軸相對于彼此反轉(zhuǎn)而出現(xiàn)。
16. 根據(jù)權(quán)利要求12所述的設(shè)備，其中所述設(shè)備在各個組合視頻 幀中設(shè)置所接收的解碼視頻幀和所接收的對應(yīng)的再編碼視頻幀，以使 解碼視頻幀的一半出現(xiàn)在對應(yīng)的再編碼視頻幀的相應(yīng)一半的旁邊。
17. —種用于在將視頻流再編碼為第二視頻格式的同時對視頻文 件進行視覺檢査的系統(tǒng)，包括視頻解碼器，用于對所接收的視頻流進行解碼； 流分割器，用于將解碼視頻流分割為至少第一和第二部分； 編碼器，用于接收解碼視頻流的第一分割部分，并將所接收的解碼視頻流部分再編碼為第二視頻格式；以及視頻混合器，包括處理器和存儲器，所述視頻混合器適于執(zhí)行如下步驟接收視頻流的解碼的第二分割部分；接收來自所述編碼器的、視頻流的再編碼的第一部分；以及 將所述視頻流的第二分割部分的解碼視頻幀和對應(yīng)的再編碼 視頻幀設(shè)置成組合視頻幀，以使所述解碼視頻幀和所述對應(yīng)的再 編碼視頻幀一并出現(xiàn)在所述組合視頻幀中；以及 顯示設(shè)備，用于在所述組合視頻幀中顯示解碼視頻幀和對應(yīng)的再 編碼視頻幀。
18. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻混合器還適于對 所述視頻流的所述解碼部分或所述視頻流的所述對應(yīng)的再編碼部分執(zhí) 行縮放例程，以對所述視頻流的所接收部分進行縮放，從而使所顯示 的圖像包括基本上相同的尺寸。
19. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻混合器在各個組 合視頻幀中設(shè)置所接收的解碼視頻幀和所接收的對應(yīng)的再編碼視頻 幀，從而當所述顯示設(shè)備進行顯示時，所接收的視頻幀并排出現(xiàn)。
20. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻混合器在各個組合視頻幀中設(shè)置所接收的解碼視頻幀和所接收的對應(yīng)的再編碼視頻 幀，從而當所述顯示設(shè)備進行顯示時，視頻幀是沿x軸相對于彼此反 轉(zhuǎn)而出現(xiàn)的。
21. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述視頻混合器在各個組 合視頻幀中設(shè)置所接收的解碼視頻幀和所接收的對應(yīng)的再編碼視頻 幀，從而當所述顯示設(shè)備進行顯示時，解碼視頻幀的一半出現(xiàn)在對應(yīng) 的再編碼視頻幀的相應(yīng)一半的旁邊。
全文摘要
本發(fā)明提供了一種在將視頻文件再編碼為例如另一視頻格式的同時對視頻文件與其源進行視覺比較的方法、設(shè)備和系統(tǒng)。根據(jù)本發(fā)明的實施例，將視頻幀和對應(yīng)的再編碼視頻幀放入單個寬(組合)視頻幀中，以在相同幀中例如并排地顯示每副圖像。通過對源視頻幀與再編碼視頻幀同步，并在相同的寬視頻幀軸顯示，可以在將視頻再編碼為所需的第二視頻格式的同時從視覺上確定由例如編碼過程引起的差別。
文檔編號H04N17/00GK101107859SQ200580047133
公開日2008年1月16日 申請日期2005年5月31日 優(yōu)先權(quán)日2005年1月24日
發(fā)明者格德·摩西·伯格 申請人:湯姆森許可貿(mào)易公司