專利名稱：視頻編碼方法及裝置、視頻解碼方法及裝置、它們的程序及記錄這些程序的記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適合可變更觀察位置或觀察方向的視頻技術(shù)等的視頻編碼及視頻解碼的技術(shù)。
背景技術(shù)：
一般，為了在視頻編碼中使用時間方向的相關(guān)實(shí)現(xiàn)高編碼效率，采用幀間預(yù)測編碼。幀的編碼模式有不使用幀間相關(guān)而進(jìn)行編碼的I幀、由過去編碼的1幀預(yù)測的P幀、可由過去編碼的2幀預(yù)測的B幀。
P幀中可由I幀或P幀預(yù)測，B幀中可由I幀或P幀或B幀預(yù)測。尤其在視頻編碼方式H.264中，可預(yù)先在編碼裝置內(nèi)的參考圖像存儲器存儲多個幀的解碼圖像，從該存儲器選擇參考圖像用于預(yù)測。另外，P幀中輸入運(yùn)動圖像中的時間由過去幀預(yù)測，但B幀中不僅可由過去幀預(yù)測，而且也可由未來幀預(yù)測。
圖7(a)部例示了運(yùn)動圖像的預(yù)測關(guān)系。
在B幀中由2幀預(yù)測時(兩方向預(yù)測)，插補(bǔ)來自2幀的圖像信息，作成1幀的圖像信息并作成預(yù)測圖像。將從第1幀到第7幀的編碼模式按IBBPBBP的順序編碼時，由于存在圖7(a)部所示的預(yù)測關(guān)系，在實(shí)際編碼時，將圖7(a)部所示的幀的編號從左到右設(shè)為1～7，按如圖7(b)部所示“1→4→2→3→7→5→6”的幀編號順序?qū)M(jìn)行編碼。
這里，交替運(yùn)動圖像為1幀內(nèi)具有2場的構(gòu)成，與上述同樣，可按每個場設(shè)定預(yù)測關(guān)系。一般將幀與場統(tǒng)稱為圖片。另外，B幀的兩方向預(yù)測中可由過去2幀或未來2幀預(yù)測。例如在視頻編碼方式H.264中，預(yù)先在參考圖像存儲器中存儲多個幀的解碼圖像，可從該存儲器選擇2幀的參考圖像并加以預(yù)測。這里，選擇的幀的解碼后的顯示時刻可為編碼對象幀的顯示時刻的未來也可為過去。
另外，以I圖片作前頭的圖片集合設(shè)定為圖片組(GOPgroup ofpicture)，從而能夠容易實(shí)現(xiàn)GOP單位的編碼數(shù)據(jù)隨時間的隨機(jī)存取功能。
GOP通過在特定圖片的編碼數(shù)據(jù)之前，包含表示GOP前頭的信息，能夠指定該圖片為該圖片以后的多個圖片構(gòu)成的COP的前頭。MPEG-2中，通過插入具有特有的位組合的代碼來指定是GOP的前頭。
即，可在表示GOP的前頭的代碼間構(gòu)成1GOP的編碼數(shù)據(jù)。還有，可在編碼數(shù)據(jù)中不對表示GOP的前頭的信息進(jìn)行編碼，而作為與編碼數(shù)據(jù)獨(dú)立的信息指定GOP構(gòu)成信息。
一般，在表示GOP前頭的信息之后，也包含GOP的前頭幀的時刻信息，在實(shí)現(xiàn)對于時間的隨機(jī)存取時使用。另外，各圖片上也可帶有時刻信息。
該時刻信息例如在H.263中稱為TR(Temporal Reference)。TR是以單位時間為基本的、表示幀的輸出順序的信息。例如將單位時間設(shè)定為1/30秒時，每個幀增加一個值的情況等價于幀速率為30幀/秒的情況。通常TR按固定長度被編碼。
并且，關(guān)于多個攝像機(jī)視頻的編碼，提出了將各攝像機(jī)視頻設(shè)定為GOP，在GOP間應(yīng)用預(yù)測編碼的同時作為一個視頻信息加以編碼的方法。
例如，在下述的非專利文獻(xiàn)1或非專利文獻(xiàn)2中，提出了定義BaseGOP和Inter GOP來表示GOP間的預(yù)測關(guān)系的方法。在Base GOP中包含的圖片僅參考同一GOP內(nèi)包含的圖片，在Inter GOP中包含的圖片參考同一或其它GOP內(nèi)包含的圖片。Inter GOP中頭部包含表示參考的GOP的參考GOP信息。
這樣，如果預(yù)先具有多個攝像機(jī)輸入視頻，可通過切換輸入視頻變更觀察位置與觀察方向。如此就能獲得拍攝的位置上的視頻，但還提出了生成未拍攝到的觀察位置或觀察方向的視頻的技術(shù)。
例如，在下述的非專利文獻(xiàn)3中，提出了由多個攝像機(jī)輸入圖像生成光線空間，通過從該光線空間抽出圖像信息，生成未拍攝到的觀察位置或觀察方向的視頻的方法。
在生成這樣的視頻的技術(shù)中，一般在多個攝像機(jī)輸入圖像中被拍攝了相同的被照體時，使用這些被拍攝的圖像信息，對于該被照體生成未拍攝到的觀察位置或觀察方向的圖像信息。即，對于在多個攝像機(jī)輸入圖像中被拍攝的被照體，使用各攝像機(jī)輸入圖像的一部分生成圖像信息。
作為該圖像生成技術(shù)例如有適應(yīng)過濾方法(例如參考非專利文獻(xiàn)4)或表參考法(例如參考非專利文獻(xiàn)5)。
非專利文獻(xiàn)1Hideaki Kimata and Masaki Kitahara，″Preliminaryresults on multiple view video coding(3DAV)，″document M10976 MPEGRedmond Meeting，July，2004.
非專利文獻(xiàn)2Hideaki Kimata，Masaki Kitahara，Kazuto Kamikura，Yoshiyuki Yashima，Toshiaki Fujii，and Masayuki Tanimoto，″SystemDesign of Free Viewpoint Video Communication，″CIT2004，Sep.，2004.
非專利文獻(xiàn)3藤井、木本、谷本“光線組表現(xiàn)中的三維空間信息的壓縮”，三維圖像討論會(3次元畫像コンフアレンス)’96，pp.1-6(1996.7)。
非專利文獻(xiàn)4T.Kobayashi，T.Fujii，T.Kimoto，M.Tanimoto，″Interpolation of Ray-Space Data by Adaptive Filtering，″IS&T/SPIEElectronic Imaging 2000，2000.
非專利文獻(xiàn)5M.Kawaura，T.Ishigami，T.Fujii，T.Kimoto，M.Tanimoto，″Efficient Vector Quantization of Epipolar Plane Images ofRay Space By Dividing into Oblique Blocks，″Picture Coding Symposium2001，pp.203-206，2001.
發(fā)明的公開在多個攝像機(jī)視頻中，若按照生成未拍攝到的觀察位置或觀察方向的視頻的技術(shù)得到質(zhì)量十分好的圖像時，可以不對一部分的攝像機(jī)視頻的圖像信息進(jìn)行編碼而在視頻再現(xiàn)側(cè)生成圖像，因此最終可提高對多個攝像機(jī)視頻的編碼效率。
但是，在傳統(tǒng)的視頻編碼方式中，即使在視頻再現(xiàn)側(cè)不使用一部分的攝像機(jī)視頻的圖像也判定是否能生成對應(yīng)的圖像，并且，由于沒有對表示可生成的信息進(jìn)行編碼的計(jì)劃，實(shí)際上對全部的攝像機(jī)視頻進(jìn)行編碼后發(fā)送，編碼效率沒有得到提高。
本發(fā)明鑒于上述情況構(gòu)思而成，目的在于提供新視頻編碼及視頻解碼相關(guān)的技術(shù)，適合于即使在視頻再現(xiàn)側(cè)不使用一部分的攝像機(jī)視頻的圖像也判定是否能生成對應(yīng)的圖像，并且，通過提供對表示可生成的信息進(jìn)行編碼的計(jì)劃，可變更觀察位置或觀察方向的視頻技術(shù)等。
為達(dá)成該目的，本發(fā)明提供一種視頻編碼方法，由多個GOP構(gòu)成多個圖像，將各GOP的圖像作為一個視頻進(jìn)行編碼，其中包括以下步驟確定是否對各GOP中包含的圖像進(jìn)行編碼的GOP編碼確定步驟；對表示是否輸出該GOP中包含的圖像的編碼數(shù)據(jù)的GOP編碼有無信息進(jìn)行編碼的GOP編碼有無信息編碼步驟；以及當(dāng)輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對該GOP中包含的圖像進(jìn)行編碼的GOP內(nèi)圖像編碼步驟。
作為典型例，在上述GOP編碼確定步驟中，不依靠該GOP的編碼數(shù)據(jù)的解碼而通過判定利用其它1個以上的GOP生成的圖像是否比由編碼數(shù)據(jù)的解碼而獲得的圖像更接近原圖像，確定是否對該GOP中包含的圖像進(jìn)行編碼。還有，該方法以外，也可通過評價原圖像的變化等，確定是否對該GOP中包含的圖像進(jìn)行編碼。
還可包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定其它1個以上的GOP的生成參考GOP指定信息進(jìn)行編碼的生成參考GOP編碼步驟。
另外，還可包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行編碼的生成信息編碼步驟。
本發(fā)明還提供一種視頻解碼方法，由多個GOP構(gòu)成多個圖像，對將各GOP的圖像作為一個視頻進(jìn)行編碼來生成的編碼數(shù)據(jù)進(jìn)行解碼，其中包括以下步驟對表示是否對各GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼的GOP編碼有無信息進(jìn)行解碼的GOP編碼有無信息解碼步驟；當(dāng)對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對GOP中包含的圖像進(jìn)行解碼的GOP內(nèi)圖像解碼步驟。
還可包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定其它1個以上的GOP的生成參考GOP指定信息進(jìn)行解碼的生成參考GOP解碼步驟。
另外，還可包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行解碼的生成信息解碼步驟。
本發(fā)明還提供一種視頻編碼裝置，由多個GOP構(gòu)成多個圖像，并將各GOP的圖像作為一個視頻進(jìn)行編碼，其中包括確定是否對各GOP中包含的圖像進(jìn)行編碼的GOP編碼確定部；對表示是否輸出該GOP中包含的圖像的編碼數(shù)據(jù)的GOP編碼有無信息進(jìn)行編碼的GOP編碼有無信息編碼部；以及當(dāng)輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對GOP中包含的圖像進(jìn)行編碼的GOP內(nèi)圖像編碼部。
作為典型例，在上述GOP編碼確定部中，不依靠該GOP的編碼數(shù)據(jù)的解碼而通過判定利用其它1個以上的GOP生成的圖像是否比由編碼數(shù)據(jù)的解碼而獲得的圖像更接近原圖像，確定是否對該GOP中包含的圖像進(jìn)行編碼。
還可包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定其它1個以上的GOP的生成參考GOP指定信息進(jìn)行編碼的生成參考GOP編碼部。
另外，還可包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行編碼的生成信息編碼部。
本發(fā)明還提供一種視頻解碼裝置，由多個GOP構(gòu)成多個圖像，對將各GOP的圖像作為一個視頻進(jìn)行編碼來生成的編碼數(shù)據(jù)進(jìn)行解碼，其中包括對表示是否對各GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼的GOP編碼有無信息進(jìn)行解碼的GOP編碼有無信息解碼部；當(dāng)對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對GOP中包含的圖像進(jìn)行解碼的GOP內(nèi)圖像解碼部。
還可包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定1個以上的其它GOP的生成參考GOP指定信息進(jìn)行解碼的生成參考GOP解碼部。
另外，還可包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行解碼的生成信息解碼部。
本發(fā)明還提供令計(jì)算機(jī)執(zhí)行用以實(shí)現(xiàn)上述視頻編碼方法的處理的視頻編碼程序，并提供記錄該程序的計(jì)算機(jī)可讀的記錄媒體。
本發(fā)明還提供令計(jì)算機(jī)執(zhí)行用以實(shí)現(xiàn)上述視頻解碼方法的處理的視頻解碼程序，并提供記錄該程序的計(jì)算機(jī)可讀的記錄媒體。
即，這些計(jì)算機(jī)程序記錄在適當(dāng)?shù)挠?jì)算機(jī)可讀的記錄媒體而被提供，或者經(jīng)由網(wǎng)絡(luò)被提供，在實(shí)施本發(fā)明時經(jīng)裝載后用CPU等的控制裝置動作而能夠?qū)崿F(xiàn)本發(fā)明。
依據(jù)上述本發(fā)明，預(yù)先按每個攝像機(jī)輸入視頻構(gòu)成GOP，用圖像生成方法生成攝像機(jī)輸入視頻時，可以不對該GOP進(jìn)行圖像的編碼而通過指定來取代，以在視頻再現(xiàn)側(cè)生成圖像。
即，在視頻編碼側(cè)，確定用圖像生成方法是否能生成攝像機(jī)輸入視頻。然后，在能夠生成攝像機(jī)輸入視頻時，設(shè)成不輸出GOP中包含的圖像的編碼數(shù)據(jù)，對GOP編碼有無信息進(jìn)行編碼，而在不能生成攝像機(jī)輸入視頻時，設(shè)成輸出GOP中包含的圖像的編碼數(shù)據(jù)，對GOP編碼有無信息進(jìn)行編碼。還有，在不能生成攝像機(jī)輸入視頻時，對GOP中包含的圖像進(jìn)行編碼(輸出GOP中包含的圖像的編碼數(shù)據(jù))。
在視頻解碼側(cè)接受圖像的編碼數(shù)據(jù)，對表示是否對GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼的GOP編碼有無信息進(jìn)行解碼。然后，在GOP編碼有無信息表示解碼GOP中包含的圖像的編碼數(shù)據(jù)時，對圖像的編碼數(shù)據(jù)進(jìn)行解碼。
這里，在視頻解碼側(cè)，當(dāng)GOP編碼有無信息表示不對GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，可以使用圖像生成技術(shù)生成GOP內(nèi)的圖像。但是，該GOP內(nèi)的圖像不必要時，不必生成圖像。
并且，依據(jù)本發(fā)明，在視頻解碼側(cè)生成攝像機(jī)輸入視頻時，可指定包含生成攝像機(jī)輸入視頻時使用的圖像的GOP。此時使用的GOP的圖像可由對編碼數(shù)據(jù)進(jìn)行解碼而獲得，也可在視頻解碼側(cè)生成而獲得。
從而，在視頻解碼側(cè)生成期望的GOP的圖像時，若不能解碼或生成生成所必要的圖像，則通過解碼或生成包含該圖像的GOP，能夠生成期望的圖像。這里，作為包含生成期望的視頻時使用的圖像的GOP，可為其它攝像機(jī)輸入視頻，也可為屬于期望的視頻的攝像機(jī)輸入視頻。
并且，依據(jù)本發(fā)明，在視頻解碼側(cè)生成攝像機(jī)輸入視頻時，可指定生成攝像機(jī)輸入視頻時使用的圖像生成方法。
關(guān)于該圖像生成方法，可在視頻編碼側(cè)和視頻解碼側(cè)預(yù)先準(zhǔn)備多個圖像生成方法，在視頻編碼側(cè)確定在視頻解碼側(cè)使用何種圖像生成方法。從而，可在視頻編碼側(cè)選擇圖像質(zhì)量良好的圖像生成方法。
還有，在使用要再現(xiàn)的視頻所屬的攝像機(jī)輸入視頻生成該視頻時，可使用屬于該攝像機(jī)輸入視頻的前(過去)GOP的圖像。另外，當(dāng)攝像機(jī)臺數(shù)少的場合，用于圖像生成的GOP受限制，因此無需指定所使用的GOP。
依據(jù)本發(fā)明，在編碼時判定在視頻再現(xiàn)側(cè)是否能生成圖像，并且可對表示生成的信息進(jìn)行編碼，因此可在圖像編碼側(cè)控制不對視頻進(jìn)行編碼的情況，從而可提高編碼效率。
這樣，依據(jù)本發(fā)明，能夠提供適合于可對觀察位置或觀察方向進(jìn)行變更的視頻技術(shù)等的視頻編碼/解碼技術(shù)。
附圖的簡單說明

圖1是一例實(shí)施例1中GOP的結(jié)構(gòu)示圖。
圖2是實(shí)施例1中視頻編碼裝置的裝置結(jié)構(gòu)例的示圖。
圖3是實(shí)施例1中視頻解碼裝置的裝置結(jié)構(gòu)例的示圖。
圖4是實(shí)施例2中視頻編碼裝置的裝置結(jié)構(gòu)例的示圖。
圖5是一例實(shí)施例2中GOP的結(jié)構(gòu)示圖。
圖6是實(shí)施例2中視頻解碼裝置的裝置結(jié)構(gòu)例的示圖。
圖7是運(yùn)動圖像的預(yù)測關(guān)系的說明圖。
符號說明101 圖像A輸入部，102 圖像A編碼部，103 圖像A解碼部，104 圖像A存儲器，105 圖像B輸入部，106 圖像B編碼部，107 圖像B解碼部，108 圖像B存儲器，109 圖像C輸入部，110 GOP內(nèi)圖像編碼部，111 圖像C解碼部，112 解碼圖像存儲器，113 原圖像存儲器，114 圖像生成部，115 生成參考GOP編碼部，116 生成信息編碼部，117 GOP編碼確定部，118 GOP編碼有無信息編碼部，119 GOP信息存儲器，201 圖像A解碼部，202 圖像A存儲器，203 圖像B解碼部，204 圖像B存儲器，205 GOP內(nèi)圖像解碼部，206 解碼圖像存儲器，207 圖像生成部，208 生成參考GOP解碼部，209 生成信息解碼部，210 GOP編碼有無信息解碼部，1180GOP頭/編碼有無信息編碼部，2100 GOP頭/編碼有無信息解碼部。
本發(fā)明的最佳實(shí)施方式以下，根據(jù)實(shí)施例詳細(xì)說明本發(fā)明。
在以下說明的實(shí)施例中，示出編碼3個攝像機(jī)視頻時，先將2個攝像機(jī)視頻獨(dú)立編碼，然后確定是否將1個攝像機(jī)視頻不用該1個攝像機(jī)視頻的當(dāng)前圖像而用圖像生成技術(shù)從這些2個攝像機(jī)視頻的圖像信息或者該1個攝像機(jī)視頻的過去圖像生成的方法。
實(shí)施例1圖1表示實(shí)施例1中的GOP。
如該圖所示，在實(shí)施例1中，GOP預(yù)先確定為由2幀構(gòu)成。另外，各GOP被分配圖中所示GOP編號(GOP1～GOP6)。
在圖1所示3個攝像機(jī)視頻A、B、C中，對于C確定是否用圖像生成技術(shù)生成。作為由A或B生成C的方法，預(yù)先準(zhǔn)備圖像生成方法X和圖像生成方法Y，另外，作為由C的過去圖像信息生成圖像的技術(shù)準(zhǔn)備圖像生成方法Z。
作為在生成圖像時使用的圖像選擇A或B時，會對指定圖像生成方法的信息進(jìn)行編碼，但作為在生成圖像時使用的圖像選擇C的過去圖像時，圖像生成方法唯一地確定為Z，因此無需對指定圖像生成方法的信息進(jìn)行編碼。還有，圖像生成方法Z在本實(shí)施例中為輸出之前圖像的方法。
圖像生成方法X例如為適應(yīng)過濾方法，圖像生成方法Y例如為表參考方法。在以下說明的實(shí)施例中，使用A和B的解碼圖像，確定C的圖像生成方法。
實(shí)現(xiàn)實(shí)施例1的本發(fā)明的視頻編碼裝置圖2是一例實(shí)現(xiàn)實(shí)施例1的本發(fā)明的視頻編碼裝置的裝置結(jié)構(gòu)示圖。
如該圖所示，本發(fā)明的視頻編碼裝置包括(A)對應(yīng)于圖像A(攝像機(jī)輸入視頻A)，輸入圖像的圖像A輸入部101、對圖像A輸入部101輸入的圖像進(jìn)行編碼的圖像A編碼部102、對圖像A編碼部102編碼的圖像進(jìn)行解碼的圖像A解碼部103、存儲圖像A解碼部103解碼的圖像的圖像A存儲器104；(B)對應(yīng)于圖像B(攝像機(jī)輸入視頻B)，輸入圖像的圖像B輸入部105、對圖像B輸入部105輸入的圖像進(jìn)行編碼的圖像B編碼部106、對圖像B編碼部106編碼的圖像進(jìn)行解碼的圖像B解碼部107、存儲圖像B解碼部107解碼的圖像的圖像B存儲器108；(C)對應(yīng)于圖像C(攝像機(jī)輸入視頻C)，輸入圖像的圖像C輸入部109、對圖像C輸入部109輸入的圖像進(jìn)行編碼的GOP內(nèi)圖像編碼部110、對GOP內(nèi)圖像編碼部110編碼的圖像進(jìn)行解碼的圖像C解碼部111、存儲圖像C解碼部111解碼的圖像的解碼圖像存儲器112、存儲圖像C輸入部109輸入的原圖像的原圖像存儲器113、不用原圖像C而生成圖像C的圖像生成部114、對指定生成圖像C時使用的GOP的信息(具體地說GOP的編號)進(jìn)行編碼的生成參考GOP編碼部115、對指定用于生成圖像C的圖像生成方法的信息進(jìn)行編碼的生成信息編碼部116、確定是否對GOP的圖像進(jìn)行編碼的GOP編碼確定部117、及對指定是否對GOP的圖像進(jìn)行編碼的信息進(jìn)行編碼的GOP編碼有無信息編碼部118。
這里，圖像A存儲器104和圖像B存儲器108分別存儲2個幀的解碼圖像，另外，原圖像存儲器113存儲2個幀的原圖像。另外，解碼圖像存儲器112存儲3個幀的解碼圖像。還有，初始狀態(tài)的各存儲器均沒有存儲圖像信息。
GOP編碼確定部117首先計(jì)算在圖像生成部114中使用圖像生成方法X生成的2個幀的圖像信息(逐幀生成)和存儲在原圖像存儲器113的圖像之間的均方根誤差X。此時，設(shè)僅使用圖像A存儲器104的圖像時的均方根誤差為Xa、僅使用圖像B存儲器108的圖像時的均方根誤差為Xb、使用圖像A存儲器104的圖像和圖像B存儲器108的圖像兩個時的均方根誤差為Xc。
并且，GOP編碼確定部117計(jì)算在圖像生成部114中使用圖像生成方法Y生成的2個幀的圖像信息(逐幀生成)和存儲在原圖像存儲器113的圖像之間的均方根誤差Y。此時，設(shè)僅使用圖像A存儲器104的圖像時的均方根誤差為Ya、僅使用圖像B存儲器108的圖像時的均方根誤差為Yb、使用圖像A存儲器104的圖像和圖像B存儲器108的圖像兩個時的均方根誤差為Yc。
而且，GOP編碼確定部117計(jì)算GOP內(nèi)圖像編碼部110中編碼并在圖像C解碼部111中解碼后存儲到解碼圖像存儲器112的解碼圖像中，當(dāng)前GOP的解碼圖像與存儲在原圖像存儲器113的對應(yīng)的圖像之間的均方根誤差D。
并且，GOP編碼確定部117在解碼圖像存儲器112中存儲了前GOP的圖像時，計(jì)算用圖像生成方法Z生成的2個幀的圖像信息(逐幀生成)與存儲在原圖像存儲器113的圖像之間的均方根誤差Z。
然后，GOP編碼確定部117對這樣算出的均方根誤差Xa、Xb、Xc、Ya、Yb、Yc和D或者均方根誤差Xa、Xb、Xc、Ya、Yb、Yc、D和Z進(jìn)行比較，將最小值時的條件確定為該GOP的編碼信息(由GOP編碼有無信息/指定生成參考GOP的信息/指定圖像生成方法的信息構(gòu)成)。即，按如下確定。
還有，以下明確區(qū)分“編碼數(shù)據(jù)”和“編碼信息”，當(dāng)記載為“編碼數(shù)據(jù)”時，表示對圖像作了編碼時的數(shù)據(jù)。
(1)當(dāng)均方根誤差Xa最小時當(dāng)Xa最小時，作為圖像生成方法指定X，作為生成參考GOP指定圖像A的GOP。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示不輸出編碼數(shù)據(jù)。另外，生成參考GOP編碼部115對所使用的GOP的編號進(jìn)行編碼。另外，生成信息編碼部116對指定圖像生成方法X的信息進(jìn)行編碼。
(2)當(dāng)均方根誤差Xb最小時當(dāng)Xb最小時，作為圖像生成方法指定X，作為生成參考GOP指定圖像B的GOP。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示不輸出編碼數(shù)據(jù)。另外，生成參考GOP編碼部115對所使用的GOP的編號進(jìn)行編碼。另外，生成信息編碼部116對指定圖像生成方法X的信息進(jìn)行編碼。
(3)當(dāng)均方根誤差Xc最小時當(dāng)Xc最小時，作為圖像生成方法指定X，作為生成參考GOP指定圖像A和圖像B的GOP。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示不輸出編碼數(shù)據(jù)。另外，生成參考GOP編碼部115對所使用的GOP的編號進(jìn)行編碼。另外，生成信息編碼部116對指定圖像生成方法X的信息進(jìn)行編碼。
(4)當(dāng)均方根誤差Ya最小時當(dāng)Ya最小時，作為圖像生成方法指定Y，作為生成參考GOP指定圖像A的GOP。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示不輸出編碼數(shù)據(jù)。另外，生成參考GOP編碼部115對所使用的GOP的編號進(jìn)行編碼。另外，生成信息編碼部116對指定圖像生成方法Y的信息進(jìn)行編碼。
(5)當(dāng)均方根誤差Yb最小時當(dāng)Yb最小時，作為圖像生成方法指定Y，作為生成參考GOP指定圖像B的GOP。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示不輸出編碼數(shù)據(jù)。另外，生成參考GOP編碼部115對所使用的GOP的編號進(jìn)行編碼。另外，生成信息編碼部116對指定圖像生成方法Y的信息進(jìn)行編碼。
(6)當(dāng)均方根誤差Yc最小時當(dāng)Yc最小時，作為圖像生成方法指定Y，作為生成參考GOP指定圖像A和圖像B的GOP。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示不輸出編碼數(shù)據(jù)。另外，生成參考GOP編碼部115對所使用的GOP的編號進(jìn)行編碼。另外，生成信息編碼部116對指定圖像生成方法Y的信息進(jìn)行編碼。
(7)當(dāng)均方根誤差Z最小時當(dāng)Z最小時，作為圖像生成方法指定Z，作為生成參考GOP指定圖像C的GOP。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示不輸出編碼數(shù)據(jù)。另外，生成參考GOP編碼部115對所使用的GOP的編號進(jìn)行編碼。
這里，如上所述，作為生成圖像時使用的圖像選擇C的過去圖像時，圖像生成方法唯一確定為Z，因此生成信息編碼部116無需對指定圖像生成方法的信息進(jìn)行編碼。
(8)當(dāng)均方根誤差D最小時當(dāng)D最小時，輸出GOP內(nèi)圖像編碼部110中編碼的編碼數(shù)據(jù)。
此時，GOP編碼有無信息編碼部118對GOP編碼有無信息進(jìn)行編碼，以表示輸出編碼數(shù)據(jù)，GOP內(nèi)圖像編碼部110輸出已編碼的編碼數(shù)據(jù)。
即，在上述(1)～(7)的場合，判定不使用該圖像數(shù)據(jù)也能在視頻再現(xiàn)側(cè)生成攝像機(jī)視頻C的圖像，而在(8)的場合，判定不使用該圖像數(shù)據(jù)就不能生成該圖像。
在這樣的前提下，本發(fā)明的視頻編碼裝置對攝像機(jī)輸入視頻進(jìn)行如下的編碼。
(i)在時刻T1、T2的編碼處理首先，在時刻T1和T2，對圖像A和圖像B進(jìn)行編碼。
關(guān)于圖像A，圖像A輸入部101輸入圖像，圖像A編碼部102對圖像進(jìn)行編碼，圖像A解碼部103對編碼數(shù)據(jù)進(jìn)行解碼，圖像A存儲器104存儲解碼圖像。這些處理對T1和T2的圖像執(zhí)行。在圖像A存儲器104中存儲了T1和T2的圖像。
關(guān)于圖像B，圖像B輸入部105輸入圖像，圖像B編碼部106對圖像進(jìn)行編碼，圖像B解碼部107對編碼數(shù)據(jù)進(jìn)行解碼，圖像B存儲器108存儲解碼圖像。這些處理對T1和T2的圖像執(zhí)行。在圖像B存儲器108中存儲了T1和T2的圖像。
接著，圖像C輸入部109輸出圖像C，原圖像存儲器113存儲輸入的圖像。GOP內(nèi)圖像編碼部110對T1和T2的圖像進(jìn)行編碼，圖像C解碼部111對編碼數(shù)據(jù)進(jìn)行解碼后將解碼圖像存儲在解碼圖像存儲器112。
接著，圖像生成部114對于圖像A存儲器104中存儲的圖像和圖像B存儲器108中存儲的圖像，分別采用圖像生成方法X及圖像生成方法Y，生成圖像。還有，由于不存在前幀，在該時刻不能采用圖像生成方法Z生成圖像。
經(jīng)這些處理，GOP編碼確定部117使用圖像生成部114生成的圖像和存儲在解碼圖像存儲器112的圖像，求出均方根誤差Xa、Xb、Xc、Ya、Yb、Yc和D(還有，在該時刻不能求出均方根誤差Z)。然后，由這些均方根誤差，按照上述(1)～(8)的邏輯確定GOP的編碼信息。
然后，本發(fā)明的視頻編碼裝置基于確定的GOP的編碼信息，對編碼有無信息進(jìn)行編碼后加以輸出，同時輸出編碼數(shù)據(jù)或者對生成參考GOP的編號及表示圖像生成方法的信息進(jìn)行編碼后加以輸出。但是，使用圖像生成方法Z時，無需對表示圖像生成方法的信息進(jìn)行編碼(還有，在該時刻不會使用圖像生成方法Z)。
這里，解碼圖像存儲器112在從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)時，持續(xù)存儲圖像C解碼部111獲得的解碼圖像。另一方面，從GOP內(nèi)圖像編碼部110不輸出編碼數(shù)據(jù)時，棄存儲的T1和T2的解碼圖像，而存儲圖像生成部114生成的圖像中，與GOP編碼確定部117確定的GOP的編碼信息對應(yīng)的圖像(即，用所選擇的生成方法生成的圖像)。
(ii)時刻T3、T4的編碼處理接著，在時刻T3和T4，進(jìn)行與時刻T1和T2相同的處理，對圖像A和圖像B進(jìn)行編碼。
存儲在圖像A存儲器104和圖像B存儲器108中的解碼圖像棄最舊而存儲新解碼的圖像。從而，各存儲器中存儲了T3和T4的解碼圖像。
接著，圖像C輸入部109輸入圖像C，原圖像存儲器113存儲輸入的圖像。此時，存儲在原圖像存儲器113的原圖像棄最舊而存儲新輸入的圖像。從而，原圖像存儲器113中存儲了T3和T4的原圖像。
接著，GOP內(nèi)圖像編碼部110對T3和T4的圖像進(jìn)行編碼，圖像C解碼部111對編碼數(shù)據(jù)進(jìn)行解碼后將解碼圖像存儲在解碼圖像存儲器112。此時，存儲在解碼圖像存儲器112的解碼圖像棄最舊而存儲新解碼的圖像。從而，解碼圖像存儲器112中存儲了T2、T3和T4的解碼圖像。
接著，圖像生成部114對于存儲在圖像A存儲器104的圖像和存儲在圖像B存儲器108的圖像，采用圖像生成方法X及圖像生成方法Y分別生成圖像。并且，對于存儲在解碼圖像存儲器112的T2的圖像，采用圖像生成方法Z生成圖像。
經(jīng)這些處理，GOP編碼確定部117使用圖像生成部114生成的圖像和存儲在解碼圖像存儲器112的圖像，求出均方根誤差Xa、Xb、Xc、Ya、Yb、Yc、D和Z。然后，由這些均方根誤差，按照上述(1)～(8)的邏輯確定GOP的編碼信息。
然后，本發(fā)明的視頻編碼裝置基于確定的GOP的編碼信息，將編碼有無信息編碼后輸出，同時輸出編碼數(shù)據(jù)或者將表示生成參考GOP的編號及圖像生成方法的信息編碼后輸出。但是，當(dāng)選擇了圖像生成方法Z的場合，無需對表示圖像生成方法的信息進(jìn)行編碼。
這里，解碼圖像存儲器112在從GOP內(nèi)圖像編碼部100輸出編碼數(shù)據(jù)時，持續(xù)存儲圖像C解碼部111獲得的解碼圖像。另一方面，從GOP內(nèi)圖像編碼部110不輸出編碼數(shù)據(jù)時，棄存儲的T3和T4的解碼圖像，存儲圖像生成部114生成的圖像中與GOP編碼確定部117確定的編碼信息對應(yīng)的圖像。
實(shí)現(xiàn)實(shí)施例1的本發(fā)明的視頻解碼裝置以下，就實(shí)現(xiàn)實(shí)施例1的本發(fā)明的視頻解碼裝置進(jìn)行說明。
圖3示出一例實(shí)現(xiàn)實(shí)施例1的本發(fā)明的視頻解碼裝置的裝置結(jié)構(gòu)。
如該圖所示，本發(fā)明的視頻解碼裝置包括(A)對應(yīng)于圖像A(攝像機(jī)輸入視頻A)，對圖像進(jìn)行解碼的圖像A解碼部201、存儲圖像A解碼部201解碼的圖像的圖像A存儲器202；(B)對應(yīng)于圖像B(攝像機(jī)輸入視頻B)，對圖像進(jìn)行解碼的圖像B解碼部203、存儲圖像B解碼部203解碼的圖像的圖像B存儲器204；(C)對應(yīng)于圖像C(攝像機(jī)輸入視頻C)，對圖像進(jìn)行解碼的GOP內(nèi)圖像解碼部205、存儲GOP內(nèi)圖像解碼部205解碼的圖像的解碼圖像存儲器206、生成圖像C的圖像生成部207、對指定在生成圖像C時使用的GOP的信息(具體地說GOP的編號)進(jìn)行解碼的生成參考GOP解碼部208、對指定用于生成圖像C的圖像生成方法的信息進(jìn)行解碼的生成信息解碼部209、對指定是否對GOP的圖像進(jìn)行解碼的信息進(jìn)行解碼的GOP編碼有無信息解碼部210。
圖像生成部207、生成參考COP解碼部208和生成信息解碼部209在不對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，如下進(jìn)行動作。
首先，生成參考GOP解碼部208通過對圖像生成中使用的GOP的編號進(jìn)行解碼來獲得。當(dāng)GOP的編號屬于輸入圖像A或B時，接著，生成信息解碼部209對指定圖像生成方法的信息進(jìn)行解碼，獲得X或Y作為圖像生成方法的信息。另一方面，當(dāng)GOP的編號屬于輸入圖像C時，生成信息解碼部209不對指定圖像生成方法的信息進(jìn)行解碼。
接著，圖像生成部207使用由生成參考GOP解碼部208獲得的GOP編號和由生成信息解碼部209獲得的圖像生成方法的信息所規(guī)定的圖像生成方法生成圖像。這里，當(dāng)GOP的編號屬于輸入圖像C時，圖像生成部207使用Z作為圖像生成方法。
在這樣的前提下，本發(fā)明的視頻解碼裝置對從本發(fā)明的視頻編碼裝置輸出的編碼數(shù)據(jù)如下進(jìn)行解碼。
(i)時刻T1、T2的解碼處理首先，在時刻T1和T2，對圖像A和圖像B進(jìn)行解碼。
對于圖像A，圖像A解碼部201對編碼數(shù)據(jù)進(jìn)行解碼，且圖像A存儲器202存儲解碼圖像。對于T1和T2的圖像也執(zhí)行這些處理。在圖像A存儲器202中存儲T1和T2的圖像。
對于圖像B，圖像B解碼部203對編碼數(shù)據(jù)進(jìn)行解碼，且圖像B存儲器204存儲解碼圖像。對于T1和T2的圖像也執(zhí)行這些處理。在圖像B存儲器204中存儲T1和T2的圖像。
接著，對于圖像C，GOP編碼有無信息解碼部210對指定是否對GOP的編碼數(shù)據(jù)進(jìn)行解碼的信息進(jìn)行解碼。基于該信息，進(jìn)行以下任一處理。
即，當(dāng)GOP編碼有無信息解碼部210對指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，GOP內(nèi)圖像解碼部205對編碼數(shù)據(jù)進(jìn)行解碼后輸出圖像，并且，將該解碼后的圖像存儲在解碼圖像存儲器206。
另一方面，當(dāng)GOP編碼有無信息解碼部210對不指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，生成參考GOP解碼部208對圖像生成中使用的GOP的編號進(jìn)行解碼而獲得。由于GOP的編號屬于輸入圖像A或B(由于不存在前幀，該時刻不會屬于輸入圖像C)，接著，生成信息解碼部209對指定圖像生成方法的信息進(jìn)行解碼，獲得X或Y作為圖像生成方法的信息。圖像生成部207接受該信息，使用由生成參考GOP解碼部208獲得的GOP編號和由生成信息解碼部209獲得的圖像生成方法的信息所規(guī)定的圖像生成方法生成圖像。
當(dāng)解碼圖像存儲器206對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，存儲解碼圖像，當(dāng)不對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，存儲圖像生成部207生成的圖像。
(ii)時刻T3、T4的解碼處理接著，在時刻T3和T4，進(jìn)行與時刻T1和T2同樣的處理，對圖像A和圖像B進(jìn)行解碼，對于圖像A，在圖像A存儲器202存儲解碼圖像，對于圖像B，在圖像B存儲器204存儲解碼圖像。
接著，對于圖像C，GOP編碼有無信息解碼部210對指定是否對GOP的編碼數(shù)據(jù)進(jìn)行解碼的信息進(jìn)行解碼?；谠撔畔?，執(zhí)行以下任一處理。
即，當(dāng)GOP編碼有無信息解碼部210對指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，GOP內(nèi)圖像解碼部205對編碼數(shù)據(jù)進(jìn)行解碼后輸出圖像，并且，將該解碼后的圖像存儲在解碼圖像存儲器206。
另一方面，當(dāng)GOP編碼有無信息解碼部210對不指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，生成參考GOP解碼部208對圖像生成中使用的GOP的編號進(jìn)行解碼而獲得。當(dāng)GOP的編號屬于輸入圖像A或B時，接著，生成信息解碼部209對指定圖像生成方法的信息進(jìn)行解碼，獲得X或Y作為圖像生成方法的信息。另一方面，當(dāng)GOP的編號屬于輸入圖像C時，生成信息解碼部209可特定使用圖像生成方法Z，因此不會對指定圖像生成方法的信息進(jìn)行解碼。圖像生成部207接受該信息，使用由生成參考GOP解碼部208獲得的GOP編號和由生成信息解碼部209獲得的圖像生成方法的信息所規(guī)定的圖像生成方法生成圖像。此時，當(dāng)GOP的編號屬于輸入圖像C時，使用圖像生成方法Z。
當(dāng)解碼圖像存儲器206對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，棄T1、T2的圖像而存儲解碼圖像，當(dāng)不對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，棄T1、T2的圖像而存儲圖像生成部207中生成的圖像。
如上所述，本發(fā)明的視頻編碼裝置對T1、T2、T3、T4的圖像進(jìn)行編碼，另一方面，本發(fā)明的視頻解碼裝置對編碼數(shù)據(jù)進(jìn)行解碼，或者通過生成圖像能夠獲得同時刻的圖像。
實(shí)施例2以下，就實(shí)施例2進(jìn)行說明。
在實(shí)施例1中，預(yù)先確定GOP為2幀，但可以按每個幀適當(dāng)?shù)卮_定GOP為不同的幀。實(shí)施例2實(shí)現(xiàn)該構(gòu)成。
圖4示出一例實(shí)現(xiàn)實(shí)施例2的本發(fā)明的視頻編碼裝置的裝置結(jié)構(gòu)。這里，圖中對于與圖2中說明相同的部分用同一符號表示。
與實(shí)施例1不同的是具備存儲GOP的編碼信息的GOP信息存儲器119。另外，GOP頭/編碼有無信息編碼部1180進(jìn)行編碼有無信息的編碼外，在GOP的前頭進(jìn)行對GOP頭進(jìn)行編碼的處理。GOP頭是由固有的位組合構(gòu)成的固定長度的代碼。
實(shí)現(xiàn)實(shí)施例2的本發(fā)明的視頻解碼裝置的裝置結(jié)構(gòu)(如圖6所示)與圖3所示的實(shí)施例1相同。但是，GOP頭/編碼有無信息解碼部2100在各幀中確認(rèn)GOP頭的有無，若檢出GOP頭，則作為另外的(獨(dú)立的)GOP進(jìn)行解碼處理。
實(shí)施例2中的編碼處理在實(shí)施例2中的攝像機(jī)輸入視頻A、B、C的編碼方法如下。
首先，對于時刻T1和T2的圖像A和B，與實(shí)施例1同樣地編碼圖像而獲得解碼圖像。在圖像A存儲器1 04和圖像B存儲器108中存儲T1和T2的解碼圖像。
即，對于圖像A，圖像A輸入部101輸入圖像，然后圖像A編碼部102對圖像進(jìn)行編碼，圖像A解碼部103對編碼數(shù)據(jù)進(jìn)行解碼，圖像A存儲器104存儲解碼圖像。對于T1和T2的圖像進(jìn)行這些處理。在圖像A存儲器104中存儲T1和T2的圖像。
另外，對于圖像B，圖像B輸入部105輸入圖像，然后圖像B編碼部106對圖像進(jìn)行編碼，圖像B解碼部107對編碼數(shù)據(jù)進(jìn)行解碼，圖像B存儲器108存儲解碼圖像。對于T1和T2的圖像進(jìn)行這些處理。在圖像B存儲器108中存儲T1和T2的圖像。
(i)時刻T1的圖像C的編碼處理接著，對于時刻T1的圖像C，首先，圖像C輸入部109輸入圖像，原圖像存儲器113存儲輸入的圖像。GOP內(nèi)圖像編碼部110對時刻T1的圖像進(jìn)行編碼，圖像C解碼部111對編碼數(shù)據(jù)進(jìn)行解碼后將解碼圖像存儲在解碼圖像存儲器112。
接著，圖像生成部114對于存儲在圖像A存儲器104的圖像和存儲在圖像B存儲器108的圖像，分別采用圖像生成方法X及圖像生成方法Y生成時刻T1的圖像。還有，由于不存在前幀，在該時刻采用圖像生成方法Z不能生成圖像。
經(jīng)過這些處理，GOP編碼確定部117使用由圖像生成部114生成的圖像和存儲在解碼圖像存儲器112的圖像，求出均方根誤差Xa、Xb、Xc、Ya、Yb、Yc和D(還有，在該時刻不能求出均方根誤差Z)。然后，由這些均方根誤差，按照上述(1)～(8)的邏輯確定GOP的編碼信息。
然后，GOP編碼確定部117將確定的GOP的編碼信息存儲在GOP信息存儲器119，GOP編碼有無信息編碼部1180將GOP頭編碼后輸出。
然后，本發(fā)明的視頻編碼裝置基于確定的GOP的編碼信息，將編碼有無信息編碼后輸出，同時輸出編碼數(shù)據(jù)，或者對生成參考GOP的編號及表示圖像生成方法的信息進(jìn)行編碼后輸出。但是，采用圖像生成方法Z時，無需對表示圖像生成方法的信息進(jìn)行編碼(還有，在該時刻不會用圖像生成方法Z)。
這里，解碼圖像存儲器112在從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)時，持續(xù)存儲圖像C解碼部111獲得的解碼圖像。另一方面，當(dāng)從GOP內(nèi)圖像編碼部110不會輸出編碼數(shù)據(jù)時，棄存儲的T1的解碼圖像而存儲圖像生成部114中生成的圖像中與由GOP編碼確定部117確定的GOP的編碼信息對應(yīng)的圖像。
時刻T2的圖像C的編碼處理接著，對于時刻T2的圖像C，首先，圖像C輸入部109輸入圖像，原圖像存儲器113將輸入的圖像存儲。GOP內(nèi)圖像編碼部110對時刻T2的圖像進(jìn)行編碼，圖像C解碼部111對編碼數(shù)據(jù)進(jìn)行解碼后將解碼圖像存儲在解碼圖像存儲器112。
接著，圖像生成部114對于存儲在圖像A存儲器104的圖像和存儲在圖像B存儲器108的圖像，分別采用圖像生成方法X及圖像生成方法Y生成時刻T2的圖像。并且，對于存儲在解碼圖像存儲器112的圖像，采用圖像生成方法Z生成時刻T2的圖像。
經(jīng)過這些處理，GOP編碼確定部117使用由圖像生成部114生成的圖像和存儲在解碼圖像存儲器112的圖像，求出均方根誤差Xa、Xb、Xc、Ya、Yb、Yc、D和Z。然后，由這些均方根誤差，按照上述(1)～(8)的邏輯確定GOP的編碼信息。
接著，GOP編碼確定部117對這此確定的GOP的編碼信息和存儲在GOP信息存儲器119的GOP的編碼信息進(jìn)行比較，當(dāng)兩者GOP的編碼信息不同時，確定作為別的GOP對圖像進(jìn)行編碼，當(dāng)兩者GOP的編碼信息相同時，確定作為相同的GOP對圖像進(jìn)行編碼。
然后，GOP編碼確定部117將確定的GOP的編碼信息存儲在GOP信息存儲器119。以后具體如下動作。
(ii-1)作為別的GOP進(jìn)行編碼的場合在作為別的GOP進(jìn)行編碼的場合，GOP頭/編碼有無信息編碼部1180將GOP頭編碼后輸出。然后，本發(fā)明的視頻編碼裝置基于確定的GOP的編碼信息，將編碼有無信息編碼后輸出，同時輸出編碼數(shù)據(jù)，或者將生成參考GOP的編號及表示圖像生成方法的信息編碼后輸出。但是，在采用圖像生成方法Z的場合，無需對表示圖像生成方法的信息進(jìn)行編碼。
這里，解碼圖像存儲器112在從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)時，持續(xù)存儲由圖像C解碼部111獲得的解碼圖像。另一方面，當(dāng)不會從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)時，棄存儲的T2的解碼圖像，而存儲圖像生成部114中生成的圖像中與由GOP編碼確定部117確定的GOP的編碼信息對應(yīng)的圖像。
(ii-2)作為相同的GOP進(jìn)行編碼的場合在作為相同的GOP進(jìn)行編碼的場合，若從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)，則輸出該幀的編碼數(shù)據(jù)，另一方面，當(dāng)不會從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)時，通過在解碼側(cè)通知完的1個之前的時刻的T1的GOP的編碼信息，能夠在解碼側(cè)特定圖像生成方法，因此不會輸出任何信息。
這里，解碼圖像存儲器112在從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)時，持續(xù)存儲由圖像C解碼部111獲得的解碼圖像。另一方面，當(dāng)不會從GOP內(nèi)圖像編碼部110輸出編碼數(shù)據(jù)時，棄存儲的T2的解碼圖像，而存儲圖像生成部114中生成的圖像中與由GOP編碼確定部117確定的編碼信息對應(yīng)的圖像。
實(shí)施例2的解碼處理與之對應(yīng)的實(shí)施例2的解碼處理如下動作。
首先，對于時刻T1和T2的圖像A和B，與實(shí)施例1同樣地對圖像進(jìn)行解碼而獲得解碼圖像。在圖像A存儲器202和圖像B存儲器204中存儲T1和T2的解碼圖像。
即，對于圖像A，圖像A解碼部201對編碼數(shù)據(jù)進(jìn)行解碼，圖像A存儲器202將解碼圖像存儲。對T1和T2的圖像執(zhí)行這些處理。在圖像A存儲器202中存儲T1和T2的圖像。
另外，對于圖像B，圖像B解碼部203對編碼數(shù)據(jù)進(jìn)行解碼，圖像B存儲器204將解碼圖像存儲。對T1和T2的圖像執(zhí)行這些處理。在圖像B存儲器204中存儲T1和T2的圖像。
(i)時刻T1的圖像C的解碼處理接著，對于時刻T1的圖像C，GOP頭/編碼有無信息解碼部2100確認(rèn)GOP頭的有無。一旦有GOP頭，GOP頭/編碼有無信息解碼部2100接著就對指定是否對GOP的編碼數(shù)據(jù)進(jìn)行解碼的信息(編碼有無信息)進(jìn)行解碼?；谠撔畔?，執(zhí)行以下任一處理。
即，當(dāng)GOP頭/編碼有無信息解碼部2100對指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，GOP內(nèi)圖像解碼部205將編碼數(shù)據(jù)解碼后輸出圖像，并且，將該解碼后的圖像存儲在解碼圖像存儲器206。
另一方面，當(dāng)GOP頭/編碼有無信息解碼部2100對不指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，生成參考GOP解碼部208將圖像生成中使用的GOP的編號解碼而獲得。由于GOP的編號屬于輸入圖像A或B(由于是前頭幀，在該時刻不會屬于輸入圖像C)，接著，生成信息解碼部209對指定圖像生成方法的信息進(jìn)行解碼，獲得X或Y作為圖像生成方法的信息。圖像生成部207接受該信息，使用由生成參考GOP解碼部208獲得的GOP編號和由生成信息解碼部209獲得的圖像生成方法的信息所規(guī)定的圖像生成方法生成圖像。
解碼圖像存儲器206接受生成的圖像，對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，存儲解碼圖像，而不對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，存儲由圖像生成部207生成的圖像。
(ii)時刻T2的圖像C的解碼處理(ii-1)檢出GOP頭時的解碼處理(GOP的編碼信息被編碼的場合)接著，對于時刻T2的圖像C，GOP頭/編碼有無信息解碼部2100確認(rèn)GOP頭的有無。當(dāng)檢出GOP頭時，再對指定是否對GOP的編碼數(shù)據(jù)進(jìn)行解碼的信息進(jìn)行解碼?；谠撔畔ⅲ瑘?zhí)行以下任一處理。
即，當(dāng)GOP頭/編碼有無信息解碼部2100對指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，GOP內(nèi)圖像解碼部205將編碼數(shù)據(jù)解碼后輸出圖像，并且，將該解碼后的圖像存儲在解碼圖像存儲器206。
另一方面，當(dāng)GOP頭/編碼有無信息解碼部2100對不指示GOP的編碼數(shù)據(jù)的解碼的信息進(jìn)行解碼時，生成參考GOP解碼部208對圖像生成中使用的GOP的編號進(jìn)行解碼而獲得。當(dāng)GOP的編號屬于輸入圖像A或B時，接著，生成信息解碼部209對指定圖像生成方法的信息進(jìn)行解碼，獲得X或Y作為圖像生成方法的信息。當(dāng)GOP的編號屬于輸入圖像C時，生成信息解碼部209可特定使用圖像生成方法Z，因此不會對指定圖像生成方法的信息進(jìn)行解碼。圖像生成部207接受上述信息，使用由生成參考GOP解碼部208獲得的GOP編號和由生成信息解碼部209獲得的圖像生成方法的信息所規(guī)定的圖像生成方法生成圖像。當(dāng)GOP的編號屬于輸入圖像C時，使用圖像生成方法Z。
解碼圖像存儲器206接受上述信息，對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，存儲解碼圖像，當(dāng)不對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，將圖像生成部207中生成的圖像存儲。
(ii-2)未檢出GOP頭時的解碼處理(GOP的編碼信息未被編碼的場合)當(dāng)GOP頭/編碼有無信息解碼部2100未檢出GOP頭時，如下動作。
即，在前幀中對編碼數(shù)據(jù)作了解碼時，GOP內(nèi)圖像解碼部205在當(dāng)前幀中對編碼數(shù)據(jù)進(jìn)行解碼后輸出圖像，并且，將該解碼后的圖像存儲在解碼圖像存儲器206。
另一方面，若在前幀未對編碼數(shù)據(jù)進(jìn)行解碼，則在當(dāng)前幀使用與前幀中的GOP的編碼信息相同的GOP的編碼信息，對應(yīng)于該情況，生成參考GOP解碼部208將在前幀中獲得的GOP的編號用于解碼處理。該場合，若GOP的編號屬于輸入圖像A或B，則生成信息解碼部209在前幀獲得X或Y作為指定圖像生成方法的信息，因此使用所獲得的X或Y進(jìn)行解碼處理。還有，這里，前幀為前頭幀，因此GOP的編號不會屬于輸入圖像C，但作為未檢出GOP頭時的一般解碼處理，在GOP的編號屬于輸入圖像C時，生成信息解碼部209不會對前幀中指定圖像生成方法的信息進(jìn)行解碼，從而作為指定圖像生成方法的信息獲得Z，因此使用所獲得的Z進(jìn)行解碼處理。
因而，圖像生成部207使用生成參考GOP解碼部208在前幀獲得的GOP編號和生成信息解碼部209在前幀獲得的圖像生成方法的信息生成圖像。
解碼圖像存儲器206接受生成的圖像，對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，存儲解碼圖像，當(dāng)不對GOP的編碼數(shù)據(jù)進(jìn)行解碼時，存儲由圖像生成部207生成的圖像。
通過以上的動作，即便GOP構(gòu)成沒有預(yù)先被確定的場合，本發(fā)明的視頻編碼裝置也可對圖像進(jìn)行編碼，且本發(fā)明的視頻解碼裝置也可對編碼數(shù)據(jù)進(jìn)行解碼。此時所獲得的編碼數(shù)據(jù)的GOP如圖5所示的構(gòu)成。
按照圖示實(shí)施例說明了本發(fā)明，但本發(fā)明并不限于此。
例如，實(shí)施例中，為了確定C的圖像的生成方法，使用了A和B的解碼圖像，但可以使用A和B的原圖像。這時，視頻編碼裝置無需包括圖像A編碼部102、圖像A解碼部103、圖像B編碼部106、圖像B解碼部107。
另外，實(shí)施例中，作為圖像生成方法準(zhǔn)備X和Y，但可只準(zhǔn)備任一種方法。這時，視頻編碼裝置無需包括生成信息編碼部116，同時視頻解碼裝置無需包括生成信息解碼部209。
另外，實(shí)施例中，作為圖像生成方法準(zhǔn)備了Z，但可以不準(zhǔn)備Z。這時，由于不需要存儲C的解碼圖像，視頻編碼裝置無需包括圖像C解碼部111和解碼圖像存儲器112，同時視頻解碼裝置無需包括解碼圖像存儲器206。
另外，雖然在實(shí)施例中未作說明，但為圖像生成而使用的攝像機(jī)輸入視頻預(yù)先被確定的場合，無需指定生成用的GOP，因此視頻編碼裝置無需包括生成參考GOP編碼部115，同時視頻解碼裝置無需包括生成參考GOP解碼部208。
另外，在實(shí)施例中，為生成C的圖像，使用同時刻的A或B的圖像，但可使用過去的A或B的圖像，另外，也可使用多個過去圖像。
工業(yè)上的利用可能性由于在編碼時判定視頻再現(xiàn)側(cè)是否能生成圖像，并且能夠?qū)Ρ硎旧傻男畔⑦M(jìn)行編碼，因此可控制在圖像編碼側(cè)不對視頻進(jìn)行編碼，從而可提高編碼效率。因而，能夠提供適合可變更觀察位置或觀察方向的視頻技術(shù)等的視頻編碼/解碼技術(shù)。
權(quán)利要求
1.一種視頻編碼方法，由多個GOP構(gòu)成多個圖像，將各GOP的圖像作為一個視頻進(jìn)行編碼，其中包括以下步驟確定是否對各GOP中包含的圖像進(jìn)行編碼的GOP編碼確定步驟；對表示是否輸出該GOP中包含的圖像的編碼數(shù)據(jù)的GOP編碼有無信息進(jìn)行編碼的GOP編碼有無信息編碼步驟；以及當(dāng)輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對該GOP中包含的圖像進(jìn)行編碼的GOP內(nèi)圖像編碼步驟。
2.如權(quán)利要求1所述的視頻編碼方法，其特征在于在上述GOP編碼確定步驟中，不依靠該GOP的編碼數(shù)據(jù)的解碼而通過判定利用其它1個以上的GOP生成的圖像是否比由編碼數(shù)據(jù)的解碼而獲得的圖像更接近原圖像，確定是否對該GOP中包含的圖像進(jìn)行編碼。
3.如權(quán)利要求1所述的視頻編碼方法，其特征在于還包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定其它1個以上GOP的生成參考GOP指定信息進(jìn)行編碼的生成參考GOP編碼步驟。
4.如權(quán)利要求1所述的視頻編碼方法，其特征在于還包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行編碼的生成信息編碼步驟。
5.一種視頻解碼方法，由多個GOP構(gòu)成多個圖像，對將各GOP的圖像作為一個視頻進(jìn)行編碼來生成的編碼數(shù)據(jù)進(jìn)行解碼，其中包括以下步驟對表示是否對各GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼的GOP編碼有無信息進(jìn)行解碼的GOP編碼有無信息解碼步驟；當(dāng)對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對GOP中包含的圖像進(jìn)行解碼的GOP內(nèi)圖像解碼步驟。
6.如權(quán)利要求5所述的視頻解碼方法，其特征在于還包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定其它1個以上的GOP的生成參考GOP指定信息進(jìn)行解碼的生成參考GOP解碼步驟。
7.如權(quán)利要求5所述的視頻解碼方法，其特征在于還包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行解碼的生成信息解碼步驟。
8.一種視頻編碼裝置，由多個GOP構(gòu)成多個圖像，并將各GOP的圖像作為一個視頻進(jìn)行編碼，其中包括確定是否對各GOP中包含的圖像進(jìn)行編碼的GOP編碼確定部；對表示是否輸出該GOP中包含的圖像的編碼數(shù)據(jù)的GOP編碼有無信息進(jìn)行編碼的GOP編碼有無信息編碼部；以及當(dāng)輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對GOP中包含的圖像進(jìn)行編碼的GOP內(nèi)圖像編碼部。
9.如權(quán)利要求8所述的視頻編碼裝置，其特征在于在上述GOP編碼確定部中，不依靠該GOP的編碼數(shù)據(jù)的解碼而通過判定利用其它1個以上的GOP生成的圖像是否比由編碼數(shù)據(jù)的解碼而獲得的圖像更接近原圖像，確定是否對該GOP中包含的圖像進(jìn)行編碼。
10.如權(quán)利要求8所述的視頻編碼裝置，其特征在于還包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定其它1個以上的GOP的生成參考GOP指定信息進(jìn)行編碼的生成參考GOP編碼部。
11.如權(quán)利要求8所述的視頻編碼裝置，其特征在于還包括當(dāng)不輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行編碼的生成信息編碼部。
12.一種視頻解碼裝置，由多個GOP構(gòu)成多個圖像，對將各GOP的圖像作為一個視頻進(jìn)行編碼來生成的編碼數(shù)據(jù)進(jìn)行解碼，其中包括對表示是否對各GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼的GOP編碼有無信息進(jìn)行解碼的GOP編碼有無信息解碼部；當(dāng)對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對GOP中包含的圖像進(jìn)行解碼的GOP內(nèi)圖像解碼部。
13.如權(quán)利要求12所述的視頻解碼裝置，其特征在于還包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定1個以上的其它GOP的生成參考GOP指定信息進(jìn)行解碼的生成參考GOP解碼部。
14.如權(quán)利要求12所述的視頻解碼裝置，其特征在于還包括當(dāng)不對該GOP中包含的圖像的編碼數(shù)據(jù)進(jìn)行解碼時，對生成該GOP中包含的圖像時使用的、指定圖像生成方法的生成信息進(jìn)行解碼的生成信息解碼部。
15.一種視頻編碼程序，令計(jì)算機(jī)執(zhí)行用以實(shí)現(xiàn)權(quán)利要求1至權(quán)利要求4中任一項(xiàng)所述的視頻編碼方法的處理。
16.一種計(jì)算機(jī)可讀的記錄媒體，記錄了令計(jì)算機(jī)執(zhí)行用以實(shí)現(xiàn)權(quán)利要求1至權(quán)利要求4中任一項(xiàng)所述的視頻編碼方法的處理的視頻編碼程序。
17.一種視頻解碼程序，令計(jì)算機(jī)執(zhí)行用以實(shí)現(xiàn)權(quán)利要求5至權(quán)利要求7中任一項(xiàng)所述的視頻解碼方法的處理。
18.一種計(jì)算機(jī)可讀的記錄媒體，記錄了令計(jì)算機(jī)執(zhí)行用以實(shí)現(xiàn)權(quán)利要求5至權(quán)利要求7中任一項(xiàng)所述的視頻解碼方法的處理視頻解碼程序。
全文摘要
一種視頻編碼方法，由多個GOP構(gòu)成多個圖像，將各GOP的圖像作為一個視頻進(jìn)行編碼，其中包括以下步驟確定是否對各GOP中包含的圖像進(jìn)行編碼；對表示是否輸出該GOP中包含的圖像的編碼數(shù)據(jù)的GOP編碼有無信息進(jìn)行編碼；以及當(dāng)輸出該GOP中包含的圖像的編碼數(shù)據(jù)時，對該GOP中包含的圖像進(jìn)行編碼。典型的有不依靠該GOP的編碼數(shù)據(jù)的解碼而通過判定利用其它1個以上的GOP生成的圖像是否比由編碼數(shù)據(jù)的解碼而獲得的圖像更接近原圖像，確定是否對該GOP中包含的圖像進(jìn)行編碼。
文檔編號H04N7/26GK1918917SQ20058000500
公開日2007年2月21日 申請日期2005年9月30日 優(yōu)先權(quán)日2004年10月7日
發(fā)明者北原正樹, 木全英明 申請人:日本電信電話株式會社