專利名稱：圖像編碼裝置及圖像編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像編碼技術(shù)及圖像解碼技術(shù)，尤其是涉及一種使用可變位速率方式或可變幀速率方式的圖像編碼技術(shù)。
背景技術(shù)：
以前，MPEG(Moving Picture Expert Group)標(biāo)準(zhǔn)等圖像編碼技術(shù)中控制位速率的方式之一中有可變位速率(Variable Bit Rate)方式。這主要是所謂為了遵守存儲(chǔ)編碼數(shù)據(jù)的緩沖存儲(chǔ)器的容量等約束、或在記錄媒體中記錄時(shí)的映像記錄時(shí)間的約束，允許位速率隨著編碼圖像的復(fù)雜性而局部變化，并將規(guī)定時(shí)間長(zhǎng)度(例如1秒)中的發(fā)生比特?cái)?shù)抑制在一定數(shù)量以內(nèi)的控制方式。即，通過(guò)對(duì)編碼困難的畫面(シ-ン)多產(chǎn)生編碼用比特(位速率變高)，在編碼容易的畫面中減少發(fā)生的比特?cái)?shù)(位速率變低)，根據(jù)畫面來(lái)控制分配的比特?cái)?shù)。即，將一定時(shí)間內(nèi)發(fā)生的比特?cái)?shù)保持為恒定(即在緩沖存儲(chǔ)器容量的約束或記錄時(shí)間的約束范圍內(nèi))，可再現(xiàn)高畫質(zhì)圖像地進(jìn)行編碼(例如參照特開2001-25015號(hào)公報(bào))。
用圖1的圖像編碼裝置100來(lái)說(shuō)明使用上述現(xiàn)有可變位速率方式的圖像編碼裝置。該圖像編碼裝置100由正交變換部105、量化部106、可變長(zhǎng)編碼部107、逆量化部108、逆正交變換部109、幀存儲(chǔ)器102、動(dòng)作檢測(cè)部103、動(dòng)作補(bǔ)償部104及位速率控制部110構(gòu)成。
正交變換部105以宏塊(macro block)單位對(duì)接收的被編碼幀信號(hào)101(圖像信號(hào)數(shù)據(jù))進(jìn)行離散余弦變換(DCTDiscrete Cosine Transform)，生成DCT系數(shù)后，輸出到量化部106。這里，在畫面內(nèi)編碼模式下對(duì)I(幀內(nèi)編碼Intra coded)圖像的幀進(jìn)行DCT運(yùn)算。根據(jù)時(shí)間上位于過(guò)去的I圖像或P圖像，在前向預(yù)測(cè)編碼模式下對(duì)P(Predictive coded)圖像的幀進(jìn)行DCT運(yùn)算。根據(jù)時(shí)間上位于前后的I圖像或P圖像，在雙向預(yù)測(cè)編碼模式下對(duì)B(Bidirectionally)圖像的幀進(jìn)行DCT運(yùn)算。
量化部106對(duì)于從正交變換部105輸入的DCT系數(shù)，通過(guò)每個(gè)宏塊中從位速率控制部110接收的量化步驟(也可以是量化參數(shù))進(jìn)行量化，輸出到可變長(zhǎng)編碼部107及逆量化部108?？勺冮L(zhǎng)編碼部107對(duì)從量化部106輸入的量化的DCT系數(shù)等進(jìn)行可變長(zhǎng)編碼及復(fù)用，輸出到輸出緩沖器(未圖示)。
逆量化部108對(duì)從量化部106接收的量化的DCT系數(shù)進(jìn)行逆量化運(yùn)算，輸出到逆正交變換部109。逆正交變換部109根據(jù)從逆量化部108輸入的逆量化的DCT系數(shù)，進(jìn)行逆正交變換運(yùn)算，再現(xiàn)圖像信號(hào)數(shù)據(jù)，輸出到幀存儲(chǔ)器102。
幀存儲(chǔ)器102將I圖像或P圖像的解碼后圖像信號(hào)數(shù)據(jù)與動(dòng)作補(bǔ)償部104生成的動(dòng)作補(bǔ)償數(shù)據(jù)相加后進(jìn)行存儲(chǔ)。動(dòng)作檢測(cè)部103根據(jù)幀存儲(chǔ)器102中存儲(chǔ)的參照?qǐng)D像來(lái)檢測(cè)運(yùn)動(dòng)矢量，將表示該動(dòng)作矢量的數(shù)據(jù)輸出到動(dòng)作補(bǔ)償部104。
動(dòng)作補(bǔ)償部104為了編碼P圖像或B圖像，根據(jù)幀存儲(chǔ)器102中存儲(chǔ)的參照?qǐng)D像和從動(dòng)作檢測(cè)部103輸入的表示動(dòng)作矢量的數(shù)據(jù)，生成動(dòng)作補(bǔ)償數(shù)據(jù)(參照?qǐng)D像數(shù)據(jù))。位速率控制部110從可變長(zhǎng)編碼部107接收發(fā)生比特?cái)?shù)，根據(jù)該發(fā)生比特?cái)?shù)，決定量化步驟，將該量化步驟發(fā)送到量化部106。
整體控制部140是例如具備ROM或RAM等的微型計(jì)算機(jī)等，是進(jìn)行圖像編碼裝置100整體控制的部分。整體控制部140根據(jù)控制信號(hào)等來(lái)進(jìn)行各處理定時(shí)的控制等。
圖2是表示現(xiàn)有圖像編碼裝置100中的位速率控制部110的功能結(jié)構(gòu)框圖。如圖2所示，位速率控制部110由幀群目標(biāo)比特?cái)?shù)導(dǎo)出部111、下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部112及量化步驟導(dǎo)出部113構(gòu)成。
幀群目標(biāo)比特?cái)?shù)導(dǎo)出部111從可變長(zhǎng)編碼部107接收發(fā)生比特?cái)?shù)Nn131，存儲(chǔ)在內(nèi)部存儲(chǔ)器(未圖示)中。此時(shí)，幀群目標(biāo)比特?cái)?shù)導(dǎo)出部111計(jì)數(shù)接收的發(fā)生比特?cái)?shù)Nn131的次數(shù)(即進(jìn)行編碼的幀的幀數(shù))。并且，幀群目標(biāo)比特?cái)?shù)導(dǎo)出部111算出可向還未以幀群?jiǎn)挝痪幋a的幀分配的比特?cái)?shù)，發(fā)送到下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部112，同時(shí)，使用由實(shí)際編碼產(chǎn)生的發(fā)生比特?cái)?shù)Nn131，依次更新上述可分配的比特?cái)?shù)。這里，所謂[幀群]是指在規(guī)定時(shí)間長(zhǎng)度內(nèi)編碼得到的幀的集合。
下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部112根據(jù)可從幀群目標(biāo)比特?cái)?shù)導(dǎo)出部111接收的可按幀群?jiǎn)挝环峙涞谋忍財(cái)?shù)，導(dǎo)出分配給下一幀的比特?cái)?shù)目標(biāo)值，發(fā)送給量化步驟導(dǎo)出部113。通過(guò)用剩余的幀數(shù)去除該時(shí)刻可由幀群?jiǎn)挝环峙涞谋忍財(cái)?shù)來(lái)算出上述目標(biāo)值。
量化步驟導(dǎo)出部113根據(jù)從下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部112接收的分配給下一幀的比特?cái)?shù)目標(biāo)值，算出量化步驟141(也可是量化參數(shù))，輸出給量化部106。
圖3是表示現(xiàn)有圖像編碼裝置100的整體控制部140及位速率控制部110的處理流程的流程圖。
最初，若由位速率控制部110接收發(fā)生比特?cái)?shù)Nn131(S1401)，則整體控制部140判斷下一編碼對(duì)象幀是否是幀群的開頭(S1402)。此時(shí)，在下一幀是幀群的開頭幀的情況下(S1402是)，位速率控制部110初始化可分配比特?cái)?shù)Na、分配對(duì)象時(shí)間Ta及分配對(duì)象幀數(shù)Nt(S1405-1407)。這里，“NA”是分配給幀群?jiǎn)挝坏谋忍財(cái)?shù)的初始值?！癟A”是幀群?jiǎn)挝徽w的期間。“Rf”是本圖像編碼裝置100的編碼幀速率。
另一方面，在下一幀不是幀群的開頭幀的情況下(S1402否)，位速率控制部110更新可分配比特?cái)?shù)Na及分配對(duì)象時(shí)間Ta(S1403-S1404)。
接著，位速率控制部110根據(jù)可分配比特?cái)?shù)Na和分配對(duì)象幀數(shù)Nt，算出分配比特?cái)?shù)Nb(S1408)，更新(減少)分配對(duì)象幀數(shù)Nt(S1409)。
之后，位速率控制部110判斷是否有必要對(duì)編碼幀進(jìn)行抽取，在必需抽取的情況下，將該情況通知整體控制部140(S1410是)。另一方面，在不必需抽取的情況下，(S1410否)，算出量化步驟，輸出到量化部106(S1411)。
整體控制部140及位速率控制部110重復(fù)以上處理，直到編碼處理結(jié)束(S1401-1412)。
圖4是表示現(xiàn)有位速率控制部110中分配比特?cái)?shù)Nb的算出方法的具體例的圖。此時(shí)，為了方便，設(shè)發(fā)生比特?cái)?shù)Nn131與分配比特?cái)?shù)Nb一致。
在圖4的實(shí)例中，以15[fps]的幀速率對(duì)以30[fps]輸入的圖像信號(hào)數(shù)據(jù)(被編碼幀信號(hào)101)進(jìn)行編碼，原則上每秒生成由15幀構(gòu)成的幀群。在該實(shí)例中，用[輸入圖像幀序號(hào)1701]來(lái)表示輸入的被編碼幀信號(hào)101，用[幀群幀序號(hào)1702]來(lái)表示編碼幀信號(hào)121。在圖4中，幀群幀序號(hào)1702及發(fā)生比特?cái)?shù)Nn131的欄變?yōu)閇×]表示，對(duì)對(duì)應(yīng)的輸入圖像幀序號(hào)1701的幀不進(jìn)行編碼，進(jìn)行[抽取]。
并且，圖4中，由于已分配給4個(gè)幀的比特?cái)?shù)共計(jì)1180比特，剩余幀數(shù)為[11]，所以對(duì)于例如輸入圖像幀序號(hào)[9](即幀群幀序號(hào)[5])的發(fā)生比特?cái)?shù)Nn變?yōu)?(3600-1180)/11＝220比特)。
另一方面，因?yàn)閇抽取]輸入圖像幀序號(hào)[11]，由于已分配的比特?cái)?shù)共計(jì)1400比特，剩余幀數(shù)為[9]，所以對(duì)于輸入圖像幀序號(hào)[13](即幀群幀序號(hào)[6])的發(fā)生比特?cái)?shù)在舍去小數(shù)點(diǎn)以下后，變?yōu)?(3600-1400)/9＝244比特)。
另外，圖4中對(duì)應(yīng)于輸入圖像幀序號(hào)[29]的幀群幀序號(hào)1702欄中記載的“(14)”是在輸入圖像幀序號(hào)1701為[13]的時(shí)刻、最后幀群幀序號(hào)1702的預(yù)測(cè)值。
如上所述，通過(guò)現(xiàn)有的圖像編碼裝置110向下一編碼對(duì)象的幀分配比特。
但是，在上述現(xiàn)有技術(shù)中使用可變位速率的圖像編碼裝置100中，在編碼困難(復(fù)雜)的幀連續(xù)的情況下，即使將量化步驟變?yōu)榇蟮闹?，伴隨編碼的發(fā)生比特?cái)?shù)也變多(此時(shí)，位速率的值變大)。此時(shí)，為了將規(guī)定時(shí)間長(zhǎng)度(1個(gè)幀群)中的發(fā)生比特?cái)?shù)保持為恒定，則對(duì)編碼困難的幀連續(xù)的在后幀分配的比特?cái)?shù)變少。因此，必需對(duì)在后幀增大量化步驟來(lái)進(jìn)行編碼，存在這些幀的畫質(zhì)極端惡化的第1問(wèn)題(作為此時(shí)的現(xiàn)象，位速率變?yōu)槊黠@小的值)。
圖5是說(shuō)明上述現(xiàn)有技術(shù)的第1問(wèn)題的圖。在圖5中，將從幀1601至幀1602的15個(gè)幀定義為幀群，向每個(gè)幀群(如上述圖4中所示)分配3600[比特]來(lái)作為目標(biāo)值。此時(shí)，從時(shí)刻t1開始編碼困難的畫面連續(xù)，向這些幀的編碼分配多的比特的情況下，因?yàn)榉峙浣o幀群后半的比特?cái)?shù)變少，所以必需增大量化步驟(與此同時(shí)，位速率變小)，但在將量化步驟設(shè)為大的值的情況下，畫質(zhì)極端惡化。在圖5中，在[t3-t4]之間，量化步驟特別大，可推測(cè)與此同時(shí)，產(chǎn)生畫質(zhì)惡化。
并且，分配的比特?cái)?shù)變得更加少，若必需在幀群途中變化幀速率(即，必需抽取幀)的情況下，則盡管幀速率變化，但由于分配給1個(gè)幀的比特?cái)?shù)根據(jù)當(dāng)初的幀速率來(lái)決定，所以盡管幀速率降低，但不能多分配比特?cái)?shù)，并且，必需降低位速率，或稀疏量化步驟，存在畫質(zhì)進(jìn)一步惡化的第2問(wèn)題。
圖6是說(shuō)明上述現(xiàn)有技術(shù)的第2問(wèn)題的圖。在圖6的實(shí)例中，編碼困難的畫面連續(xù)，因?yàn)橄蜻@些幀的編碼分配多的比特，所以緩慢降低幀速率的結(jié)果是幀間隔拉大，從而變?yōu)閯?dòng)作不靈活的圖像，顯示作為圖像的質(zhì)量惡化的狀態(tài)。
發(fā)明內(nèi)容
鑒于上述課題，本發(fā)明的目的在于提供一種圖像編碼裝置及其方法，即使在編碼困難的畫面(scene)連續(xù)的情況下，也可防止分配給剩余幀的比特?cái)?shù)極端不足導(dǎo)致的畫質(zhì)惡化，同時(shí)，還考慮了編碼幀的比特變化，可進(jìn)行高畫質(zhì)圖像的編碼。
為了實(shí)現(xiàn)上述目的，本發(fā)明的圖像編碼裝置是對(duì)以幀單位依次輸入的圖像信號(hào)進(jìn)行編碼的圖像編碼裝置，其中具備幀速率接受單元，接受表示進(jìn)行上述編碼的周期的幀速率；總比特?cái)?shù)確定單元，確定整體上可向由多個(gè)幀構(gòu)成的幀群分配的總比特?cái)?shù)；幀數(shù)確定單元，根據(jù)上述接受的幀速率和已編碼幀的幀數(shù)，確定上述幀群中還未編碼的幀的幀數(shù)；目標(biāo)比特?cái)?shù)算出單元，根據(jù)上述確定的總比特?cái)?shù)和上述確定的幀數(shù)，算出分配給下面編碼幀的比特?cái)?shù)的目標(biāo)值；量化步驟導(dǎo)出單元，使用上述算出的比特?cái)?shù)的目標(biāo)值，導(dǎo)出涉及下面編碼的幀的量化步驟；和編碼單元，根據(jù)上述導(dǎo)出的量化步驟來(lái)進(jìn)行量化，根據(jù)該量化來(lái)進(jìn)行編碼。
由此，根據(jù)分配給幀群整體的總比特?cái)?shù)和已分配完的比特?cái)?shù)，計(jì)算應(yīng)分配給下面編碼幀的比特?cái)?shù)，使對(duì)幀群而言變?yōu)楹愣ǖ奈凰俾剩员苊夥峙涞谋忍財(cái)?shù)局部偏差的情況于未然，可平均分配比特，最終可防止極端的畫質(zhì)惡化。
另外，為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的圖像編碼裝置的特征在于還具備平均值算出單元，隨著上述幀群中的幀的編碼，算出分配確定的比特?cái)?shù)的平均值；和運(yùn)算單元，對(duì)上述算出的上述比特?cái)?shù)的目標(biāo)值與上述比特?cái)?shù)的平均值進(jìn)行規(guī)定運(yùn)算，確定新的比特?cái)?shù)的目標(biāo)值，上述量化步驟導(dǎo)出單元使用由上述運(yùn)算單元確定的比特?cái)?shù)的目標(biāo)值來(lái)導(dǎo)出量化步驟。
由此，根據(jù)基于接受的幀速率算出的還未編碼的幀數(shù)、和幀群中可分配的比特?cái)?shù)，決定應(yīng)分配給下面編碼幀的比特?cái)?shù)，所以可進(jìn)行遵循幀速率變化的編碼。
并且，為了實(shí)現(xiàn)上述目的，本發(fā)明的圖像編碼方法是對(duì)以幀單位依次輸入的圖像信號(hào)進(jìn)行編碼的圖像編碼裝置，其特征在于包含幀速率接受步驟，接受表示進(jìn)行上述編碼的周期的幀速率；總比特?cái)?shù)確定步驟，確定整體上可向由多個(gè)幀構(gòu)成的幀群分配的總比特?cái)?shù)；幀數(shù)確定步驟，根據(jù)上述接受的幀速率和已編碼幀的幀數(shù)，確定上述幀群中還未編碼的幀的幀數(shù)；目標(biāo)比特?cái)?shù)算出步驟，根據(jù)上述確定的總比特?cái)?shù)和上述確定的幀數(shù)，算出分配給下面編碼幀的比特?cái)?shù)的目標(biāo)值；量化步驟導(dǎo)出步驟，使用上述算出的比特?cái)?shù)的目標(biāo)值，導(dǎo)出涉及下面編碼的幀的量化步驟；和編碼步驟，根據(jù)上述導(dǎo)出的量化步驟來(lái)進(jìn)行量化，根據(jù)該量化來(lái)進(jìn)行編碼。
由此，在確保在規(guī)定時(shí)間長(zhǎng)度內(nèi)觀測(cè)情況下的位速率恒定的同時(shí)，在緩沖器中有足夠空間的情況下，通過(guò)以低的量化步驟來(lái)編碼，可比以前高畫質(zhì)地編碼，且抑制移動(dòng)到復(fù)雜畫面情況下的幀速率的急劇下降(不編碼而跳過(guò)多個(gè)幀)，與以前相比，可進(jìn)行動(dòng)作平滑的編碼。
另外，為了實(shí)現(xiàn)上述目的，本發(fā)明可實(shí)現(xiàn)為將上述圖像編碼裝置的裝置特征單元設(shè)為步驟的圖像編碼方法，或?qū)崿F(xiàn)為包含這些步驟的程序。另外，該程序不僅存儲(chǔ)在圖像編碼裝置具備的ROM等中，也可經(jīng)CD-ROM等記錄媒體或通信網(wǎng)絡(luò)等傳輸媒體來(lái)進(jìn)行流通。
圖1是表示使用現(xiàn)有可變位速率的圖像編碼裝置的功能結(jié)構(gòu)框圖。
圖2是表示現(xiàn)有圖像編碼裝置中的位速率控制部的功能結(jié)構(gòu)框圖。
圖3是表示現(xiàn)有圖像編碼裝置的整體控制部及位速率控制部中處理的流程的流程圖。
圖4是表示現(xiàn)有位速率控制部中分配比特?cái)?shù)的算出方法的具體實(shí)例的圖。
圖5(a)是說(shuō)明現(xiàn)有技術(shù)的第1問(wèn)題用的幀群的結(jié)構(gòu)例。
圖5(b)是說(shuō)明現(xiàn)有技術(shù)的第1問(wèn)題用的位速率的一例。
圖6(a)是說(shuō)明現(xiàn)有技術(shù)的第2問(wèn)題用的幀群的結(jié)構(gòu)例。
圖6(b)是說(shuō)明現(xiàn)有技術(shù)的第2問(wèn)題用的位速率的一例。
圖7是表示實(shí)施例1中圖像編碼裝置的功能結(jié)構(gòu)的框圖。
圖8是表示圖7中位速率控制部的詳細(xì)功能結(jié)構(gòu)的框圖。
圖9是表示一般圖像編碼中的不同圖像類型的發(fā)生比特?cái)?shù)特征的圖。
圖10是圖9中定義的幀群的具體例。
圖11是圖9中定義的幀群的變形例。
圖12(a)是說(shuō)明如上述圖11那樣由兩個(gè)幀組構(gòu)成幀群所產(chǎn)生的效果的圖。
圖12(b)是說(shuō)明如上述圖11那樣由兩個(gè)幀組構(gòu)成幀群、且編碼幀速率變化情況下的效果的圖。
圖13是表示實(shí)施例1中圖像編碼裝置的整體控制部及位速率控制部中的處理流程的流程圖。
圖14(a)是表示使用實(shí)施例1的圖像編碼裝置來(lái)執(zhí)行編碼的情況下的幀群的構(gòu)成例的圖。
圖14(b)是表示使用實(shí)施例1的圖像編碼裝置來(lái)執(zhí)行編碼的情況下的位速率變化的一例。
圖15(a)是表示由兩個(gè)幀組來(lái)構(gòu)成1個(gè)幀群的情況下各幀的狀態(tài)的一例。
圖15(b)是表示由兩個(gè)幀組來(lái)構(gòu)成1個(gè)幀群的情況下位速率變動(dòng)狀態(tài)的一例。
圖16(a)是表示由兩個(gè)幀組來(lái)構(gòu)成1個(gè)幀群、并且編碼的幀速率變化的情況下各幀的狀態(tài)的一例。
圖16(b)是表示由兩個(gè)幀組來(lái)構(gòu)成1個(gè)幀群、并且編碼的幀速率變化的情況下位速率變動(dòng)狀態(tài)的一例。
圖17是表示運(yùn)算部中比特?cái)?shù)算出方法的具體例的圖。
圖18是表示未設(shè)置在圖7中幀抽取部、從其它部件獲得幀速率值Rf的值來(lái)構(gòu)成的圖像編碼裝置的功能結(jié)構(gòu)的一部分的框圖。
圖19是表示根據(jù)實(shí)施例2的圖像編碼裝置的功能結(jié)構(gòu)的框圖。
圖20是表示圖19中速率控制部的詳細(xì)功能結(jié)構(gòu)的框圖。
圖21是說(shuō)明圖20中的量化步驟預(yù)測(cè)部的功能用框圖。
圖22是說(shuō)明圖20中幀速率計(jì)算部的功能用框圖。
圖23是表示圖22中幀速率計(jì)算部的各輸入信號(hào)和輸出信號(hào)的圖。
圖24是說(shuō)明圖20中幀數(shù)計(jì)算部的動(dòng)作的圖。
圖25是表示圖像編碼裝置的輸入圖像信號(hào)與被編碼幀的圖。
圖26是表示變形例的幀速率控制部的功能結(jié)構(gòu)框圖。
圖27是表示圖26中的幀速率計(jì)算部的各輸入信號(hào)和輸出信號(hào)的圖。
圖28是表示變形例的幀速率控制部的功能結(jié)構(gòu)框圖。
圖29是表示圖28中平均量化步驟計(jì)算部的結(jié)構(gòu)框圖。
圖30是說(shuō)明圖28中幀速率計(jì)算部功能用框圖。
圖31是表示圖28中的幀速率計(jì)算部的各輸入信號(hào)和輸出信號(hào)的圖。
圖32是表示變形例的幀速率控制部的功能結(jié)構(gòu)框圖。
圖33是說(shuō)明圖32中的幀速率計(jì)算部和幀速率存儲(chǔ)器的功能用框圖。
圖34是表示圖32中的幀速率計(jì)算部的各輸入信號(hào)和輸出信號(hào)的圖。
圖35是表示實(shí)施例3中的圖像編碼裝置的功能結(jié)構(gòu)的框圖。
圖36是表示圖35圖像編碼裝置中幀速率控制部的功能結(jié)構(gòu)的框圖。
圖37是說(shuō)明存儲(chǔ)通過(guò)一般的計(jì)算機(jī)系統(tǒng)來(lái)實(shí)現(xiàn)實(shí)施例1-3中的圖像編碼裝置用的程序的存儲(chǔ)媒體的圖。
具體實(shí)施例方式
下面，參照附圖來(lái)詳細(xì)說(shuō)明根據(jù)本發(fā)明的實(shí)施例。在以下的說(shuō)明中，對(duì)與現(xiàn)有技術(shù)共同的結(jié)構(gòu)標(biāo)以相同符號(hào)，省略其說(shuō)明。
(實(shí)施例1)圖7是表示根據(jù)實(shí)施例1的圖像編碼裝置10的功能結(jié)構(gòu)的框圖。圖像編碼裝置10通過(guò)將在規(guī)定時(shí)間長(zhǎng)度(例如1秒)觀測(cè)情況下的位速率保持為恒定，并抑制局部的位速率變動(dòng)，可進(jìn)行更高質(zhì)量的圖像再現(xiàn)用的編碼。
圖像編碼裝置10由幀存儲(chǔ)器102、動(dòng)作檢測(cè)部103、動(dòng)作補(bǔ)償部104、正交變換部105、量化部106、可變長(zhǎng)編碼部107、逆量化部108、逆正交變換部109、幀抽取部(間引部)20、速率控制部30及整體控制部40構(gòu)成。
幀抽取部20對(duì)在一定周期內(nèi)輸入的被編碼幀信號(hào)101決定該幀的編碼/不編碼，同時(shí)，將該時(shí)刻的幀速率值Rf21通知給速率控制部30。
速率控制部30根據(jù)從可變長(zhǎng)編碼部107接收的發(fā)生比特?cái)?shù)和從幀抽取部20接收通知的幀速率值Rf21，決定后續(xù)幀的編碼中的量化步驟(或量化參數(shù))，發(fā)送給量化部106。
整體控制部40是例如具備ROM或RAM等的微型計(jì)算機(jī)，進(jìn)行圖像編碼裝置10整體的控制。更詳細(xì)地說(shuō)，整體控制部40根據(jù)控制信號(hào)(圖7的整體控制部40中的虛線表示控制信號(hào)線)，進(jìn)行各部處理定時(shí)的控制。并且，整體控制部40進(jìn)行在一定周期中輸入的被編碼幀信號(hào)101的圖像種類的識(shí)別(I幀、B幀及P幀的識(shí)別)，將識(shí)別結(jié)果通知速率控制部30。
圖8是表示圖7中速率控制部30的詳細(xì)功能結(jié)構(gòu)的框圖。速率控制部30由幀群目標(biāo)比特?cái)?shù)導(dǎo)出部31、下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部32、平均幀比特?cái)?shù)導(dǎo)出部33、運(yùn)算部34、量化步驟導(dǎo)出部35及存儲(chǔ)部36構(gòu)成。
幀群目標(biāo)比特?cái)?shù)導(dǎo)出部31通過(guò)幀群?jiǎn)挝?，依次算出并更新可分配給剩余應(yīng)編碼的全部幀的總比特?cái)?shù)的目標(biāo)值。詳細(xì)說(shuō)明時(shí)，幀群目標(biāo)比特?cái)?shù)導(dǎo)出部31從可變長(zhǎng)編碼部107接收發(fā)生比特?cái)?shù)Nn131，存儲(chǔ)在存儲(chǔ)部36中。并且，幀群目標(biāo)比特?cái)?shù)導(dǎo)出部31從存儲(chǔ)部36中，讀取可分配給從下一應(yīng)編碼幀到幀群的最后幀的總比特?cái)?shù)，從該總比特?cái)?shù)中減去上述發(fā)生比特?cái)?shù)Nn131，將該值發(fā)送給下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部32，同時(shí)存儲(chǔ)在存儲(chǔ)部36中。
下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部32根據(jù)從幀抽取部20接收的幀速率值Rf21及從幀群目標(biāo)比特?cái)?shù)導(dǎo)出部31接收的可分配總比特?cái)?shù)，考慮剩余的應(yīng)編碼幀的幀數(shù)，算出分配給下一幀的比特?cái)?shù)目標(biāo)值。
平均幀比特?cái)?shù)導(dǎo)出部33根據(jù)從幀抽取部20接收的幀速率值Rf21及存儲(chǔ)在存儲(chǔ)部36中的分配給過(guò)去幀的比特?cái)?shù)，算出分配的比特?cái)?shù)的平均值。
運(yùn)算部34算出向由平均幀比特?cái)?shù)導(dǎo)出部33算出的比特?cái)?shù)中乘以規(guī)定系數(shù)(例如0.8)后的比特?cái)?shù)，將其與由下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部32算出的比特?cái)?shù)目標(biāo)值相比，選擇值大的一方的比特?cái)?shù)。并且，運(yùn)算部34將選擇的比特?cái)?shù)與事先設(shè)定的下限值相比，選擇較大值的比特?cái)?shù)(即選擇不低于下限值的比特?cái)?shù))，發(fā)送到量化步驟導(dǎo)出部35。上述規(guī)定系數(shù)不限于
，也可是大于0小于1的其它值。
量化步驟導(dǎo)出部35導(dǎo)出量化步驟的值，使從運(yùn)算部34接收到的比特?cái)?shù)與發(fā)生比特?cái)?shù)相等。
存儲(chǔ)部36存儲(chǔ)作為編碼從可變長(zhǎng)編碼部107接收到的各幀的結(jié)果的發(fā)生比特?cái)?shù)Nn131。并且，存儲(chǔ)部36還根據(jù)幀群目標(biāo)比特?cái)?shù)導(dǎo)出部31的控制來(lái)更新幀群目標(biāo)比特?cái)?shù)。
圖9是表示圖像編碼中的不同圖像類型的發(fā)生比特?cái)?shù)的一般特征的圖。如圖9所示，通常，畫面間編碼(P圖像或B圖像)的幀(P或B幀)中的發(fā)生比特?cái)?shù)Nn畫面內(nèi)編碼(I圖像)的幀(I幀210-250)中的發(fā)生比特?cái)?shù)Nn少。因此，通過(guò)將從I幀到下一I幀定義為一個(gè)幀群，與根據(jù)其它標(biāo)準(zhǔn)來(lái)定義幀群的情況(例如與圖像類型無(wú)關(guān)，以每15個(gè)幀來(lái)構(gòu)成幀群的情況)相比，可減少各幀群中發(fā)生比特?cái)?shù)的偏差。另外，在圖9的實(shí)例中，為了方便，設(shè)各幀群的編碼所需時(shí)間為TA，設(shè)為相同周期。
即使僅幀群的最初幀是上述I幀，幀群的最后幀是I幀，但也可得到減少各幀群中比特?cái)?shù)偏差的效果。
圖10是表示上述圖9中定義的幀群的具體例的圖。如圖10所示，設(shè)幀群310由從畫面內(nèi)編碼(I)幀210到畫面內(nèi)編碼(I)幀220緊前面幀的15個(gè)幀構(gòu)成。同樣，設(shè)幀群220或幀群230也分別由15個(gè)幀構(gòu)成。此時(shí)，事先決定可分配給1個(gè)幀群的總比特?cái)?shù)的初始值(例如3600[比特]等)。另外，幀群的定義方式不限于圖10。
圖11是上述圖9中定義的幀群的變形例。如圖11所示，也可將由相當(dāng)于上述圖10中的兩個(gè)幀群310、320的第1幀組和第2幀組構(gòu)成的幀的集合定義為1個(gè)幀群410。此時(shí)，設(shè)可分配給幀群410的總比特?cái)?shù)的初始值為7200[比特](第1幀組及第2幀組分別為3600[比特])。
圖12是說(shuō)明上述圖11那樣由兩個(gè)幀組構(gòu)成幀群所產(chǎn)生的效果圖。圖12(a)中，即使在1個(gè)幀群中有難以編碼的畫面的情況下，因?yàn)榭梢詻Q定包含下面第2幀組中的可分配比特?cái)?shù)的下面被編碼幀的分配比特?cái)?shù)，所以可進(jìn)一步緩和位速率的變化。例如，設(shè)作為初始值，在幀群410整體中分配1000比特，暫定向第1幀組分配500比特，向第2幀組分配500比特。之后，在實(shí)際編碼中，可控制成即使對(duì)第1幀組使用700比特，但在后續(xù)幀群420中，作為初始值，在整體中分配800[比特](上一幀群410剩余的300[比特]+新的第2幀組500[比特])。
圖12(b)中，即使是因?yàn)榫幋a困難所以必需變更幀速率的情況下，也可通過(guò)與上述圖12(a)一樣的方法，避免位速率急劇變?yōu)樾〉闹?即量化步驟急劇變大)。
圖13是表示圖像編碼裝置10的整體控制部40及位速率控制部30中的處理流程的流程圖。
首先，速率控制部30從可變長(zhǎng)編碼部107接收發(fā)生比特?cái)?shù)Nn131(S701)，從幀抽取部20接收幀速率值Rf21(S702)。
接著，整體控制部401識(shí)別后續(xù)幀是否是I幀(S703)。此時(shí)，在后續(xù)幀是I幀的情況下(S704是)，速率控制部30初始化可分配比特?cái)?shù)Na、分配對(duì)象期間Ta及分配對(duì)象幀數(shù)Nt(S708-S710)。
另一方面，在后續(xù)幀不是I幀的情況下(S704否)，速率控制部30更新可分配比特?cái)?shù)Na及分配對(duì)象幀數(shù)Nt(S705、S706)。另外，速率控制部30舍掉分配對(duì)象幀數(shù)Nt的小數(shù)點(diǎn)以后的值，對(duì)Nt進(jìn)行整數(shù)化(S707)。
之后，速率控制部30根據(jù)可分配比特?cái)?shù)Na及分配對(duì)象幀數(shù)Nt來(lái)算出分配比特?cái)?shù)Nb(S711)，更新分配對(duì)象期間Ta(S712)。此時(shí)，分配對(duì)象期間Ta在幀速率值Rf21的值相同的幀群途中變更的情況下也考慮進(jìn)行更新。
由此，速率控制部30根據(jù)分配比特?cái)?shù)Nb導(dǎo)出量化步驟，發(fā)送到可變長(zhǎng)編碼部107(S713)。
整體控制部40及速率控制部30重復(fù)以上處理，直到編碼處理結(jié)束(S701-S714)。
圖14是表示使用圖像編碼裝置10來(lái)執(zhí)行編碼的情況下的位速率變化的一例。若觀察圖14所示位速率的變化，則由于運(yùn)算部34的系數(shù)(例如0.8)，與現(xiàn)有技術(shù)的情況(上述圖5)相比，將可分配的比特?cái)?shù)抑制得少，所以位速率變化有鈍化傾向。并且，在圖14中，算出量化步驟，使上述運(yùn)算部34選擇不低于下限值的比特?cái)?shù)，編碼后的比特?cái)?shù)變?yōu)樵摫忍財(cái)?shù)。并且，根據(jù)算出的量化步驟來(lái)執(zhí)行編碼，決定發(fā)生比特，所以即使對(duì)位速率也示出變?yōu)榇笥谙孪拗档闹档臓顟B(tài)。
圖15是表示如上述圖11所示，由兩個(gè)幀組來(lái)構(gòu)成1個(gè)幀群的情況下位速率變動(dòng)狀態(tài)的一例。如圖15所示，示出在現(xiàn)有技術(shù)(上述圖5)中，位速率的值明顯小(即量化步驟明顯大)的[t3-t4]中，可抑制位速率的幀小，抑制畫質(zhì)惡化，但第1幀組中使用多個(gè)比特?cái)?shù)的影響出現(xiàn)于第2幀組的最初部分([t4-t6]中)(即，不能減小量化步驟，位速率值不變，仍小)的狀態(tài)。
圖16是表示由兩個(gè)幀組來(lái)構(gòu)成1個(gè)幀群、并且在幀群途中編碼的幀速率變化的情況下位速率變動(dòng)狀態(tài)的一例。在圖16中，幀速率從15[fps]變化到7.5[fps]，但位速率變化方式與上述圖14的位速率一樣(即在圖16的情況下，因?yàn)橐?/2量化步驟中進(jìn)行編碼發(fā)生2倍的比特?cái)?shù)，所以在假設(shè)是作為位速率變?yōu)橄嗤那闆r，即使在該情況下也可在[t3-t4]中抑制畫質(zhì)惡化)。
圖17是表示上述圖8的運(yùn)算部34中比特?cái)?shù)算出方法的具體例的圖。在圖17的實(shí)例中，由15[fps]的幀速率對(duì)以30[fps]輸入的被編碼幀信號(hào)101實(shí)施編碼。即使在該實(shí)例中也與上述圖6一樣，用[輸入圖像幀序號(hào)1701]來(lái)表示輸入的被編碼幀信號(hào)101，用[幀群幀序號(hào)1102]來(lái)表示編碼幀信號(hào)121。在圖17中，幀群幀序號(hào)1102及發(fā)生比特?cái)?shù)Nn131的欄為[×]表示，對(duì)對(duì)應(yīng)的輸入圖像幀序號(hào)1701的幀不進(jìn)行編碼而[抽取]。
另外，在圖17中，例如因?yàn)橐逊峙涞谋忍財(cái)?shù)合計(jì)為1180[比特]，剩余幀數(shù)為[11]，所以對(duì)輸入圖像幀序號(hào)[9](即幀群幀序號(hào)[5])的發(fā)生比特?cái)?shù)目標(biāo)值變?yōu)?(3600-1180)/11＝220[比特])。另外，算出平均幀比特?cái)?shù)導(dǎo)出部33中過(guò)去幀的發(fā)生比特?cái)?shù)的平均值(1180/4＝295[比特])，運(yùn)算部34向發(fā)生比特?cái)?shù)的平均值乘以系數(shù)(例如0.8)，將其與上述比特?cái)?shù)的目標(biāo)值相比較，選擇值大的一方。結(jié)果，對(duì)幀群幀序號(hào)[5]的發(fā)生比特?cái)?shù)變?yōu)?36[比特]。
另一方面，因?yàn)閷?duì)輸入圖像幀序號(hào)[11]的幀進(jìn)行[抽取](因此，幀速率值Rf21變更為7.5[fps])，所以根據(jù)剩余幀數(shù)(因?yàn)橐?.5[fps]來(lái)計(jì)算幀速率值Rf21)[5]來(lái)計(jì)算對(duì)輸入圖像幀序號(hào)[13](即幀群幀序號(hào)[6])的發(fā)生比特?cái)?shù)。并且，因?yàn)閷?duì)計(jì)算的值舍掉小數(shù)點(diǎn)以下的值，所以變?yōu)?3600-1416)/5＝436[比特]。另外，算出平均幀比特?cái)?shù)導(dǎo)出部33中過(guò)去幀的發(fā)生比特?cái)?shù)的平均值(1416/5＝383[比特])，運(yùn)算部34向發(fā)生比特?cái)?shù)的平均值乘以系數(shù)(例如0.8)，將其與上述比特?cái)?shù)的目標(biāo)值相比較，選擇值大的一方。結(jié)果，對(duì)輸入圖像幀序號(hào)[13]的發(fā)生比特?cái)?shù)變?yōu)?36[比特]。
若比較圖17與上述現(xiàn)有技術(shù)圖4中的幀群幀序號(hào)[5]及[6]的發(fā)生比特?cái)?shù)Nn，則本圖像編碼裝置10(即上述圖17)中的發(fā)生比特?cái)?shù)都變?yōu)榇蟮闹?，因?yàn)榭煞峙漭^多的比特?cái)?shù)，所以與以前相比，可知可進(jìn)行高品質(zhì)的圖像用編碼。
另外，在對(duì)應(yīng)于上述圖17的輸入圖像幀序號(hào)[29]的幀群幀序號(hào)欄中記載兩個(gè)數(shù)字，“(15)”是輸入圖像幀序號(hào)為[9]的時(shí)刻、幀速率為15[fps]情況下幀群幀序號(hào)1102的預(yù)測(cè)值，“(10)”是輸入圖像幀序號(hào)為[13]的時(shí)刻、幀速率為7.5[fps]情況下幀群幀序號(hào)1102的預(yù)測(cè)值。
在上述實(shí)施例1中，構(gòu)成為設(shè)置幀抽取部20，根據(jù)從幀抽取部20發(fā)送的幀速率值Rf21，控制位速率，但也可從幀抽取部以外來(lái)獲得幀速率的值。
圖18是表示構(gòu)成為未設(shè)置上述圖7中的幀抽取部20、從其它部件獲得幀速率值Rf21的值的圖像編碼裝置50的功能結(jié)構(gòu)的一部分的框圖。圖像編碼裝置50與上述圖7的圖像編碼裝置10的不同之處在于沒(méi)有幀抽取部20，和具備整體控制部60來(lái)代替整體控制部40。
另外，因?yàn)樯鲜鰧?shí)施例中的量化步驟與量化參數(shù)唯一對(duì)應(yīng)，所以也可將該量化步驟置換成量化參數(shù)來(lái)使用。
如上所述，根據(jù)本實(shí)施例的圖像編碼裝置，因?yàn)閷?duì)應(yīng)于編碼幀速率的變化來(lái)決定分配的比特?cái)?shù)，所以不管是否圖像編碼困難，可確保平均良好的畫質(zhì)，可避免動(dòng)作極端不靈活、畫質(zhì)惡化。
并且，通過(guò)一般的圖像解碼方法可解碼由上述實(shí)施例1所示圖像編碼裝置編碼的位流。另外，進(jìn)行本實(shí)施例1的編碼的流隨著圖像的復(fù)雜，各幀的量化步驟變動(dòng)，但該變動(dòng)不極端，在由從畫面內(nèi)編碼幀到畫面內(nèi)編碼幀之前的幀構(gòu)成的幀群中，可將發(fā)生比特?cái)?shù)保持基本恒定。
在上述實(shí)施例1中，設(shè)各幀群編碼所需的周期為[TA]，相同，但不限于相同的情況，各幀群的編碼所需時(shí)間也可不同。
另外，在上述實(shí)施例中，構(gòu)成為僅向平均幀比特?cái)?shù)導(dǎo)出部算出的比特?cái)?shù)平均值乘以規(guī)定系數(shù)(例如0.8)，將其與由下一幀目標(biāo)比特?cái)?shù)導(dǎo)出部算出的比特?cái)?shù)目標(biāo)值相比，選擇值大一方的比特?cái)?shù)，但也可構(gòu)成為向兩者乘以規(guī)定系數(shù)后進(jìn)行比較。
(實(shí)施例2)圖19是表示實(shí)施例2的圖像編碼裝置2100的功能結(jié)構(gòu)的框圖。圖像編碼裝置2100考慮如上述實(shí)施例1的圖11所示由現(xiàn)有的兩倍數(shù)幀構(gòu)成的1個(gè)幀群，通過(guò)控制量化步驟或幀抽取，抑制急劇的位速率或幀速率的變動(dòng)，并可進(jìn)行高畫質(zhì)的編碼。
圖像編碼裝置2100具備幀抽取部2101、幀存儲(chǔ)器102、動(dòng)作檢測(cè)部103、動(dòng)作補(bǔ)償部104、正交變換部105、量化部106、可變長(zhǎng)編碼部107、發(fā)送緩沖器2108、逆量化部2109、逆正交變換部2110、差分器2111、加法器2112和幀速率控制部2113。
幀抽取部2101對(duì)以作為基準(zhǔn)的幀速率(例如30Hz)輸入的圖像信號(hào)的各幀，根據(jù)從幀速率控制部2113輸入的抽取信息來(lái)進(jìn)行抽取處理，將抽取后的圖像信號(hào)輸出到動(dòng)作檢測(cè)部103和差分器2111。例如，設(shè)當(dāng)從幀速率控制部2113輸入到幀抽取部2101的抽取信息值為[1]時(shí)，表示未抽取原樣編碼的指示，在值為
時(shí)，表示抽取1幀后進(jìn)行編碼的指示。即，幀抽取部2101在抽取信息為[1]時(shí)，將作為圖像信號(hào)輸入的幀原樣作為被編碼幀輸出到動(dòng)作檢測(cè)部103和差分器2111。相反，當(dāng)抽取信息為
時(shí)，進(jìn)行所謂抽取輸入幀(例如廢棄)的處理。
幀存儲(chǔ)器102由RAM或硬盤等來(lái)實(shí)現(xiàn)，是以幀單位來(lái)保持圖像數(shù)據(jù)用的存儲(chǔ)裝置。并且，幀存儲(chǔ)器102存儲(chǔ)作為下面畫面間預(yù)測(cè)編碼幀的參照?qǐng)D像的參照幀數(shù)據(jù)。動(dòng)作檢測(cè)部103在輸入的被編碼幀是進(jìn)行畫面間預(yù)測(cè)編碼的幀的情況下，使用幀存儲(chǔ)器102中存儲(chǔ)的參照幀數(shù)據(jù)，檢測(cè)被編碼幀的動(dòng)作。動(dòng)作補(bǔ)償部104生成對(duì)應(yīng)于動(dòng)作檢測(cè)部103檢測(cè)的動(dòng)作的動(dòng)作補(bǔ)償數(shù)據(jù)。動(dòng)作補(bǔ)償數(shù)據(jù)是表示參照幀與被編碼幀的塊間對(duì)應(yīng)的動(dòng)作矢量、和表示由該動(dòng)作矢量表示的塊間圖像信號(hào)差分的數(shù)據(jù)。
差分器2111在被編碼幀是進(jìn)行畫面間預(yù)測(cè)編碼的幀的情況下，根據(jù)被編碼幀的動(dòng)作矢量和動(dòng)作補(bǔ)償部104生成的動(dòng)作補(bǔ)償數(shù)據(jù)，求出與動(dòng)作矢量的差分。另一方面，在被編碼幀是進(jìn)行畫面內(nèi)預(yù)測(cè)編碼幀的情況下，差分器2111對(duì)輸入的圖像信號(hào)不進(jìn)行求出與參照幀的差分的處理，在畫面內(nèi)進(jìn)行預(yù)測(cè)后，將圖像信號(hào)輸出到正交變換部105。
正交變換部105通過(guò)DCT(Discrete Cosine Transform)變換等，將動(dòng)作補(bǔ)償部104中生成的動(dòng)作補(bǔ)償數(shù)據(jù)正交變換為表示頻率分量的數(shù)據(jù)。將變換結(jié)果輸出到量化部106。量化部106使用從幀速率控制部2113輸入的量化步驟，量化正交變換的數(shù)據(jù)，將量化的結(jié)果輸出到可變長(zhǎng)編碼部107和逆量化部2109?？勺冮L(zhǎng)編碼部107使用霍夫曼代碼等可變長(zhǎng)編碼量化部106進(jìn)行量化后的數(shù)據(jù)。將可變長(zhǎng)編碼部107可變長(zhǎng)編碼后的數(shù)據(jù)存儲(chǔ)在發(fā)送緩沖器2108中，作為編碼位流輸出。
發(fā)送緩沖器2108是由RAM等實(shí)現(xiàn)的FIFO(First-In First-Out)存儲(chǔ)器。發(fā)送緩沖器2108例如上述實(shí)施例1的圖11所示，在存儲(chǔ)分配給由多個(gè)幀構(gòu)成的幀群的總比特?cái)?shù)的同時(shí)，監(jiān)視內(nèi)部的數(shù)據(jù)余量或空閑容量，在將可變長(zhǎng)編碼數(shù)據(jù)發(fā)送給發(fā)送緩沖器2108的時(shí)刻，即在1幀的圖像信號(hào)編碼完成的時(shí)刻，將發(fā)送緩沖器2108的數(shù)據(jù)余量發(fā)送到幀速率控制部2113。
逆量化部2109為了生成預(yù)測(cè)圖像而逆量化由量化部106量化的數(shù)據(jù)，輸出到逆正交變換部2110。逆正交變換部2110逆正交變換由逆量化部2109逆量化的數(shù)據(jù)。加法器2112將逆正交變換部2 110逆量化的數(shù)據(jù)和動(dòng)作補(bǔ)償部104生成的動(dòng)作補(bǔ)償數(shù)據(jù)相加，輸出到幀存儲(chǔ)器102。從發(fā)送緩沖器108向幀速率控制部2113輸入該發(fā)送緩沖器2108內(nèi)的數(shù)據(jù)余量。幀速率控制部2113算出對(duì)應(yīng)于發(fā)送緩沖器2108內(nèi)的數(shù)據(jù)余量的量化步驟后，輸入到量化部106，同時(shí)，計(jì)算對(duì)應(yīng)于算出的量化步驟的幀速率，決定表示是否抽取后續(xù)幀的抽取信息，輸出到幀抽取部2101。這里，所謂[量化步驟]是量化各幀的頻率分量時(shí)作為基準(zhǔn)的值(幅度)，例如由從[1]到[31]的自然數(shù)(將其稱為[量化參數(shù)])來(lái)確定。該量化參數(shù)1對(duì)1地對(duì)應(yīng)于量化步驟，定義為其數(shù)值越大，則量化的幅度越大。下面，將量化參數(shù)說(shuō)明為量化步驟。
圖20是表示上述圖19中幀速率控制部2113的詳細(xì)功能結(jié)構(gòu)的框圖。幀速率控制部2113具備量化步驟預(yù)測(cè)部2201、幀速率計(jì)算部2202、量化步驟決定部2203、幀數(shù)計(jì)算部2204和比較器2205。量化步驟預(yù)測(cè)部2201對(duì)應(yīng)于從發(fā)送緩沖器2108輸入的數(shù)據(jù)余量，對(duì)當(dāng)前時(shí)刻的量化步驟實(shí)施規(guī)定運(yùn)算，算出量化步驟預(yù)測(cè)值，輸出到幀速率計(jì)算部2202和量化步驟決定部2203。量化步驟決定部2203選擇距從量化步驟預(yù)測(cè)部2201輸入的量化步驟預(yù)測(cè)值最近的從[1]到[31]的自然數(shù)之一，將選擇的自然數(shù)決定為下面量化步驟。具體而言，在輸入的量化步驟預(yù)測(cè)值包含小數(shù)點(diǎn)以下的值的情況下，進(jìn)行四舍五入、舍掉或進(jìn)位等圓整處理。此時(shí)，在該值小于[1]的情況下，選擇[1]，在超過(guò)[31]的情況下，選擇[31]。
幀速率計(jì)算部2202根據(jù)從發(fā)送緩沖器2108輸入的數(shù)據(jù)余量和從量化步驟預(yù)測(cè)部201輸入的量化步驟預(yù)測(cè)值，計(jì)算從當(dāng)前幀速率到下面編碼時(shí)的最佳幀速率。幀數(shù)計(jì)算部204根據(jù)從比較器205輸出的抽取信息，計(jì)算當(dāng)前的幀速率。比較器205比較作為幀速率計(jì)算部202的輸出的最佳幀速率和作為幀數(shù)計(jì)算部204的輸出的當(dāng)前幀速率，在最佳幀速率比當(dāng)前幀速率大的情況下，將表示不抽取指示的[1]作為抽取信息輸出。另一方面，在最佳幀速率比當(dāng)前幀速率小的情況下，將表示進(jìn)行抽取指示的
作為抽取信息輸出。
圖21是說(shuō)明上述圖20中的量化步驟預(yù)測(cè)部2201的功能用框圖。圖21(a)是圖示表示量化步驟預(yù)測(cè)部201內(nèi)的量化步驟預(yù)測(cè)方法的圖。圖21(b)是表示量化步驟預(yù)測(cè)部201中保持的預(yù)測(cè)系數(shù)表格303的圖。量化步驟預(yù)測(cè)部201保持圖21(a)中示出的當(dāng)前值存儲(chǔ)器2302、和圖21(b)中示出的預(yù)測(cè)系數(shù)表格2303。當(dāng)前值存儲(chǔ)器302在編碼開始時(shí)保持量化步驟的初始值，在編碼開始后，保持由量化步驟預(yù)測(cè)部201算出的量化步驟預(yù)測(cè)值。預(yù)測(cè)系數(shù)表格303將發(fā)送緩沖器2108的數(shù)據(jù)余量與預(yù)測(cè)系數(shù)對(duì)應(yīng)后進(jìn)行存儲(chǔ)，量化步驟預(yù)測(cè)部201向當(dāng)前值存儲(chǔ)器302中保持的當(dāng)前量化步驟預(yù)測(cè)值乘以對(duì)應(yīng)于從發(fā)送緩沖器2108輸入的數(shù)據(jù)余量的預(yù)測(cè)系數(shù)，算出后續(xù)幀的量化步驟預(yù)測(cè)值。
如圖21(a)和圖21(b)所示，預(yù)測(cè)系數(shù)被設(shè)定成在發(fā)送緩沖器2108內(nèi)的數(shù)據(jù)余量大于50％小于80％時(shí)為[1.2]，大于80％小于90％時(shí)為[1.5]，大于90％小于100％時(shí)為[2]，發(fā)送緩沖器2108內(nèi)的空閑容量變少，則增大其值，降低編碼數(shù)據(jù)的比特量。另外，預(yù)測(cè)系數(shù)在發(fā)送緩沖器2108的數(shù)據(jù)余量大于40％小于50％時(shí)，設(shè)定為[1]，以維持原來(lái)的量化步驟不變。與上述相反，預(yù)測(cè)系數(shù)被設(shè)定為在發(fā)送緩沖器2108內(nèi)的數(shù)據(jù)余量大于30％小于40％的情況下為
，大于20％小于30％的情況下為
，大于0％小于20％時(shí)為
。即，預(yù)測(cè)系數(shù)被設(shè)定成發(fā)送緩沖器2108內(nèi)的空閑容量變多，則編碼數(shù)據(jù)的比特量變大(即，量化步驟減小，則致密進(jìn)行量化，提高畫質(zhì)的品質(zhì))。
例如，設(shè)當(dāng)前值存儲(chǔ)器302內(nèi)的量化步驟預(yù)測(cè)值為[7.5]、發(fā)送緩沖器2108內(nèi)的數(shù)據(jù)余量為75％時(shí)，在后續(xù)幀中，向當(dāng)前值存儲(chǔ)器2302內(nèi)的量化步驟預(yù)測(cè)值[7.5]乘以預(yù)測(cè)系數(shù)[1.2]，將針對(duì)該幀的量化步驟預(yù)測(cè)值變?yōu)閇9]。算出的量化步驟預(yù)測(cè)值[9]通過(guò)量化步驟預(yù)測(cè)部2201寫入當(dāng)前值存儲(chǔ)器302。因?yàn)榱炕襟E預(yù)測(cè)值[9]是從[1]到[31]的自然數(shù)，所以由量化步驟決定部2203決定為對(duì)該幀的量化步驟。在用量化步驟[9]量化該幀后，即使對(duì)后續(xù)幀還有70％的發(fā)送緩沖器2108的數(shù)據(jù)余量的情況下，向當(dāng)前值存儲(chǔ)器302內(nèi)的量化步驟預(yù)測(cè)值[9]乘以預(yù)測(cè)系數(shù)[1.2]，下面量化步驟預(yù)測(cè)值變?yōu)閇10.8]。若量化步驟決定部203將小數(shù)以后的值四舍五入后決定量化步驟，則由量化步驟[11]來(lái)量化后續(xù)幀。因此，通過(guò)設(shè)定預(yù)測(cè)系數(shù)，若發(fā)送緩沖器2108內(nèi)的數(shù)據(jù)余量大于50％，則因?yàn)榱炕襟E增大，所以編碼的圖像畫質(zhì)緩慢粗糙，可緩慢降低編碼的數(shù)據(jù)比特量。另一方面，若發(fā)送緩沖器2108內(nèi)的數(shù)據(jù)余量小于40％，則因?yàn)榱炕襟E減少，所以數(shù)據(jù)比特量緩慢增大，但可緩慢提高編碼圖像的畫質(zhì)。
圖22是說(shuō)明上述圖20中幀速率計(jì)算部2202的功能用框圖。幀速率計(jì)算部202是根據(jù)發(fā)送緩沖器2108的數(shù)據(jù)余量和量化步驟預(yù)測(cè)值來(lái)計(jì)算最佳幀速率的部件，具備比較器2401、比較器2402、幀速率表格2403、閾值存儲(chǔ)器2404、閾值存儲(chǔ)器2405和空閑容量算出部2406。閾值存儲(chǔ)器2404和閾值存儲(chǔ)器2405由閂鎖電路或RAM等實(shí)現(xiàn)。向比較器2401中輸入作為量化步驟預(yù)測(cè)部2201的輸出的量化步驟預(yù)測(cè)值、和保持在閾值存儲(chǔ)器2404中的閾值B。比較器2401比較這兩個(gè)輸入，例如，若量化步驟預(yù)測(cè)值超過(guò)閾值B，則輸出[1]作為輸出D1，若量化步驟預(yù)測(cè)值小于閾值B，則輸出
作為輸出D1。向比較器2404輸入空閑容量算出部2406算出的發(fā)送緩沖器2108的空閑容量和閾值存儲(chǔ)器2405中保持的閾值C。比較器2402比較這兩個(gè)輸入，例如，若發(fā)送緩沖器2108的空閑容量超過(guò)閾值C，則輸出[1]作為輸出D2，若空閑容量小于閾值C，則輸出
作為輸出D2。幀速率表格2403是表示對(duì)應(yīng)于比較器2401的輸出D1和比較器2402的輸出D2的組合的最佳幀速率的表格。閾值存儲(chǔ)器2404保持事先設(shè)定的量化步驟預(yù)測(cè)值的閾值B。閾值存儲(chǔ)器2405保持事先設(shè)定的發(fā)送緩沖器108的閾值C。空閑容量算出部406根據(jù)發(fā)送緩沖器2108的所有數(shù)據(jù)容量和從發(fā)送緩沖器2108輸入的數(shù)據(jù)余量，算出發(fā)送緩沖器2108當(dāng)前的空閑容量。
具體而言，幀速率計(jì)算部2202根據(jù)幀速率表格2403，計(jì)算對(duì)編碼對(duì)象幀的最佳幀速率。例如，在發(fā)送緩沖器2108的空閑容量超過(guò)閾值C且量化步驟預(yù)測(cè)值小于閾值B的情況下，即盡管量化步驟值小而發(fā)送緩沖器2108中有空余的情況下，決定最佳幀速率(例如為30Hz)，使幀速率最大。相反，在發(fā)送緩沖器2108的空閑容量小于閾值C且量化步驟預(yù)測(cè)值超過(guò)閾值B的情況下，即盡管量化步驟值大而發(fā)送緩沖器2108中沒(méi)有空余的情況下，決定最佳幀速率(例如為10Hz)，使量化步驟變大。并且，在發(fā)送緩沖器2108的空閑容量和量化步驟預(yù)測(cè)值都比閾值大、或都小于閾值的情況下，決定最佳幀速率，使幀速率變?yōu)橹虚g值。
圖23是表示上述圖22中幀速率計(jì)算部2202的各輸入信號(hào)和輸出信號(hào)一例的圖。圖23(a)是表示作為幀速率計(jì)算部2202的輸出信號(hào)的最佳幀速率的圖。圖23(b)是表示作為幀速率計(jì)算部202一方的輸入信號(hào)的量化步驟預(yù)測(cè)值的圖。圖23(c)是表示作為幀速率計(jì)算部202另一方的輸入信號(hào)的發(fā)送緩沖器108的空閑容量的圖。根據(jù)輸入的數(shù)據(jù)余量，由空閑容量算出部2406來(lái)正確算出該空閑容量。圖23(b)的曲線L1表示量化步驟預(yù)測(cè)值隨時(shí)間經(jīng)過(guò)而變化的狀態(tài)，圖23(c)的曲線L2表示發(fā)送緩沖器2108的空閑容量的時(shí)間變化。如圖23(b)所示，在量化步驟預(yù)測(cè)值小于閾值B期間，比較器2401輸出D1＝0，若量化步驟預(yù)測(cè)值超過(guò)閾值B，則比較器2401輸出D1＝1。另外，若量化步驟預(yù)測(cè)值再小于閾值B，則比較器2401輸出D1＝0。另一方面，如圖23(c)所示，在發(fā)送緩沖器2108的空閑容量小于閾值C期間，比較器2402輸出D2＝0，若空閑容量超過(guò)閾值C，則比較器2402輸出D2＝1。另外，若空閑容量再小于閾值C，則輸出D2＝0。
在幀速率計(jì)算部2202保持的幀速率表格2403中，對(duì)應(yīng)于比較器2401的輸出D1的值
或[1]、與比較器2402的輸出D2的值
或[1]的4種組合，記述4種幀速率。幀速率計(jì)算部2202在D1＝0(量化步驟預(yù)測(cè)值小)且D2＝0(空閑容量少)期間，如圖23(a)所示，輸出20Hz作為最佳幀速率。另外，如圖23(b)和圖23(c)所示，在僅曲線L1所示量化步驟預(yù)測(cè)值超過(guò)閾值B的情況下，即D1＝1(量化步驟預(yù)測(cè)值大)且D2＝0(空閑容量少)期間，幀速率計(jì)算部2202輸出15Hz作為最佳幀速率。之后，若量化步驟預(yù)測(cè)值和空閑容量?jī)烧叨汲^(guò)閾值，即D1＝1(量化步驟預(yù)測(cè)值大)且D2＝1(空閑容量多)期間，幀速率計(jì)算部2202為了將量化步驟控制得小，輸出20Hz作為最佳幀速率。并且，僅在量化步驟預(yù)測(cè)值小于閾值B的情況下，即D1＝0(量化步驟預(yù)測(cè)值小)且D2＝1(空閑容量多)期間，幀速率計(jì)算部2202輸出30Hz作為最佳幀速率。因此，幀速率計(jì)算部2202對(duì)應(yīng)于量化步驟預(yù)測(cè)值和發(fā)送緩沖器2108的空閑容量(這里為4個(gè)階段)，緩慢增減幀速率。
圖24是說(shuō)明上述圖20所示幀數(shù)計(jì)算部204的動(dòng)作的圖。圖24(a)是表示從比較器2205輸出的抽取信息一例的圖。圖24(b)是表示幀數(shù)計(jì)算部2204的詳細(xì)結(jié)構(gòu)的框圖。如圖24(a)所示，幀數(shù)計(jì)算部2204以30Hz輸入從比較器2205輸出的抽取信息。該抽取信息是
或[1]的雙值信號(hào)。抽取信息
表示抽取該幀，抽取信息[1]表示編碼該幀。圖24(b)的幀數(shù)計(jì)算部2204是根據(jù)從比較器2205輸出的抽取信息來(lái)計(jì)算當(dāng)前的幀速率，以規(guī)定周期(例如5Hz)來(lái)輸出計(jì)算結(jié)果的處理部或電路。幀數(shù)計(jì)算部2204具備抽取信息存儲(chǔ)器2601、計(jì)數(shù)器2602和運(yùn)算器2603。抽取信息存儲(chǔ)器2601是由先進(jìn)先出保持的FIFO(first-in first-out)存儲(chǔ)器裝置，從當(dāng)前幀開始追溯以30Hz輸入的1比特的抽取信息，保持30幀。計(jì)數(shù)器2602以規(guī)定的周期(例如5Hz)計(jì)數(shù)信息存儲(chǔ)器2601內(nèi)的就近抽取信息為[1]的幀數(shù)m和抽取信息為
的幀數(shù)n，在下一周期中(例如1/5秒后)復(fù)位m和n的值。運(yùn)算器2603在上述規(guī)定周期中計(jì)算[m/(m+n)]，將結(jié)果作為當(dāng)前幀速率輸出。從而，幀數(shù)計(jì)算部2402在例如1秒內(nèi)計(jì)算5次當(dāng)前幀速率并輸出的情況下，可以每0.2秒來(lái)算出適當(dāng)?shù)牧炕襟E。
幀速率控制部2113的比較器2205比較由幀數(shù)計(jì)算部2204計(jì)算的當(dāng)前幀速率和由幀速率計(jì)算部2202計(jì)算的最佳幀速率，若最佳幀速率大于當(dāng)前幀速率，則將表示編碼指示的[1]作為抽取信息輸出。另一方面，若最佳幀速率小于當(dāng)前幀速率，則將表示抽取指示的
作為抽取信息輸出。結(jié)果，被編碼幀的幀速率等于由幀速率計(jì)算部2202算出的最佳幀速率。即，本圖像編碼裝置2100對(duì)應(yīng)于發(fā)送緩沖器2108的空閑容量來(lái)控制量化步驟，在更緩和發(fā)送緩沖器2108的空閑容量的時(shí)間變化并控制量化步驟的情況下，即，對(duì)應(yīng)于量化步驟預(yù)測(cè)值和發(fā)送緩沖器2108的空閑容量，緩慢增減幀速率來(lái)編碼的情況下，或避免圖像急劇惡化。
圖25是說(shuō)明圖像編碼裝置2100的輸入圖像信號(hào)與被編碼幀的示意圖。圖25(a)是表示輸入圖像編碼裝置2100的圖像信號(hào)各幀的圖。如圖25(a)所示，圖像編碼裝置2100與上述實(shí)施例1的圖11的情況相同，由兩個(gè)幀組構(gòu)成1個(gè)幀群2604，將幀群2604設(shè)為決定上述量化步驟或幀速率時(shí)的1單位。圖26(b)是表示由圖像編碼裝置2100編碼的各被編碼幀的圖。
如圖25(a)所示，在輸入圖像編碼裝置2100中的圖像信號(hào)中包含編碼容易的畫面和編碼困難的畫面，在編碼容易的畫面中，編碼數(shù)據(jù)的發(fā)生比特量變少。另一方面，在編碼困難的畫面中，編碼數(shù)據(jù)的發(fā)生比特量增加。例如，若在時(shí)刻a向圖像編碼裝置2100輸入編碼困難的畫面，則因?yàn)榫幋a困難的畫面最初的幀編碼產(chǎn)生的發(fā)生比特量多，所以發(fā)送緩沖器2108的空閑容量變少，在量化步驟預(yù)測(cè)部2201中，量化步驟預(yù)測(cè)量對(duì)應(yīng)于該空閑容量而增大。例如，由量化步驟預(yù)測(cè)部2201預(yù)測(cè)的量化步驟預(yù)測(cè)值大到對(duì)應(yīng)于之前幀的量化步驟預(yù)測(cè)值的1.5倍。從而，抑制后續(xù)幀編碼產(chǎn)生的發(fā)生比特量。結(jié)果，編碼產(chǎn)生的發(fā)生比特量越是在使用當(dāng)初的量化步驟來(lái)量化的情況下越不會(huì)變大，發(fā)送緩沖器2108的空閑容量也不會(huì)急劇降低。因此，即使在以前必需連續(xù)大幅度的幀抽取的情況下，圖像編碼裝置2100也可更緩和地降低幀速率。
可是，在上述發(fā)送緩沖器2108的空閑容量下降并小于閾值Cr情況下，幀速率計(jì)算部2202將最佳幀速率變更為低1階的幀速率。例如，在時(shí)刻a之前，用30Hz的幀速率來(lái)編碼的情況下，幀速率計(jì)算部2202將來(lái)自后續(xù)幀的最佳幀速率變更為20Hz。因此，即使量化步驟變大，幀速率變小，發(fā)送緩沖器2108的容量中也沒(méi)有空余，量化步驟預(yù)測(cè)值進(jìn)一步變大，超過(guò)閾值B的情況下，幀速率計(jì)算部2202將下面最佳幀速率變更為更低1階的幀速率。例如，在時(shí)刻b之前，用20Hz的幀速率來(lái)編碼的情況下，幀速率計(jì)算部2202將下面的最佳幀速率變更為15Hz。
從而，圖像編碼裝置100即使在輸入編碼困難的畫面的情況下，也對(duì)應(yīng)于編碼的發(fā)生比特量來(lái)算出量化步驟預(yù)測(cè)值，同時(shí)，將量化步驟預(yù)測(cè)值反映到最佳幀速率，所以可更穩(wěn)定地階段性地降低幀速率。相反，對(duì)輸入的圖像信號(hào)而言，例如在時(shí)刻c，在從編碼困難的畫面切換到編碼容易的畫面的情況下，通過(guò)首先減小量化步驟，盡可能高畫質(zhì)地進(jìn)行編碼?？墒?，在發(fā)送緩沖器中有空余(為編碼容易的畫面)的情況下，將幀速率變更為大1級(jí)的值，所以可更穩(wěn)定地階段性地增加幀速率。例如，在時(shí)刻c輸入編碼容易的畫面，即使量化步驟變小，但在發(fā)送緩沖器2108中有空余的情況下，在時(shí)刻d，將幀速率變?yōu)樯?級(jí)的20Hz，在時(shí)刻e，量化步驟變?yōu)槌浞中〉闹档那闆r下，將幀速率變更為更上1級(jí)的30Hz，所以可進(jìn)一步穩(wěn)定地增加幀速率。結(jié)果，在用解碼裝置解碼圖像編碼裝置100編碼的圖像信號(hào)的情況下，即使編碼困難的畫面，圖像也不會(huì)急劇變粗糙，動(dòng)作也不會(huì)急劇變得不靈活，可再現(xiàn)動(dòng)態(tài)圖像。相反，即使切換為編碼容易的畫面的情況下，圖像的濃淡也不會(huì)急劇平滑，動(dòng)作也不會(huì)急劇平滑，人眼不會(huì)感到不自然，可再現(xiàn)高畫質(zhì)的圖像。
如上所述，根據(jù)本實(shí)施例的圖像編碼裝置2100，將在規(guī)定時(shí)間長(zhǎng)度(例如1秒)中觀測(cè)情況下的位速率保持恒定，緩沖器中有足夠空間的情況下，通過(guò)由低的量化步驟來(lái)進(jìn)行編碼，與以前相比，可高畫質(zhì)編碼，并且可抑制在移動(dòng)到復(fù)雜畫面情況下的幀速率的急劇下降(多個(gè)幀不編碼而跳過(guò))，與以前相比，可進(jìn)行動(dòng)作平滑的編碼。
在上述實(shí)施例中，幀速率計(jì)算部2202使用發(fā)送緩沖器2108的數(shù)據(jù)余量和量化步驟預(yù)測(cè)部2201的量化步驟預(yù)測(cè)值來(lái)計(jì)算最佳幀速率，但本發(fā)明不限于此，也可使用任一方來(lái)進(jìn)行計(jì)算。另外，幀速率計(jì)算部2202使用上述圖22所示幀速率表格2403來(lái)計(jì)算30Hz、20Hz、15Hz和10Hz4階段的最佳幀速率，但最佳幀速率不限于該值，另外，也不必是4階段。并且，不必使用這種幀速率表格來(lái)計(jì)算最佳幀速率，例如，也可設(shè)在發(fā)送緩沖器的空閑容量大于閾值C的情況下，最佳幀速率是當(dāng)前幀速率的2倍，小于閾值C的情況下為當(dāng)前幀速率的1/2倍來(lái)進(jìn)行計(jì)算。另外，也可再設(shè)置1個(gè)閾值D，設(shè)在發(fā)送緩沖器的空閑容量大于閾值C的情況下，最佳幀速率是當(dāng)前幀速率的2倍，小于閾值D的情況下為當(dāng)前幀速率的1/2倍來(lái)進(jìn)行計(jì)算。由此，可防止對(duì)于閾值C和閾值D各自附近發(fā)送緩沖器的數(shù)據(jù)余量的稍微變化，每次都變更最佳幀速率。另外，最佳幀速率即使對(duì)量化步驟預(yù)測(cè)值的變化，也可進(jìn)行與之一樣的計(jì)算來(lái)求出。并且，最佳幀速率不限于當(dāng)前幀速率的1/2倍、2倍的值。下面實(shí)施例中也一樣。
另外，在上述實(shí)施例中，說(shuō)明了量化步驟預(yù)測(cè)部2201通過(guò)上述圖21所示預(yù)測(cè)系數(shù)表格2302來(lái)計(jì)算量化步驟預(yù)測(cè)值的情況，但本發(fā)明的量化步驟預(yù)測(cè)方法不限于此，也可使用事先確定的函數(shù)來(lái)進(jìn)行計(jì)算。并且，預(yù)測(cè)系數(shù)表格2303內(nèi)的量化步驟預(yù)測(cè)系數(shù)也不限于[2]、[1.5]、[1.2]、[1]、
、
、
的值。下面實(shí)施例中也一樣。
另外，本實(shí)施例2的幀數(shù)計(jì)算部2204具備存儲(chǔ)過(guò)去1秒內(nèi)(即30幀)的抽取信息用的抽取信息存儲(chǔ)器2601，但本發(fā)明不限于此。另外，當(dāng)前幀速率的計(jì)算方法也不限于上述計(jì)算方法，也可使用其它方法。下面實(shí)施例中也一樣。
另外，也可代替上述發(fā)送緩沖器的數(shù)據(jù)余量來(lái)作為平均位速率。下面實(shí)施例中也一樣。
下面，說(shuō)明上述幀速率控制部2113的變形例的幀速率控制部2800、3000及3400。另外，在以下變形例中，省略對(duì)上述幀速率控制部2113相同結(jié)構(gòu)的說(shuō)明。重點(diǎn)說(shuō)明不同點(diǎn)。
圖26是表示變形例的幀速率控制部2800的功能結(jié)構(gòu)框圖。幀速率控制部2800具備量化步驟預(yù)測(cè)部2201、量化步驟決定部2203、幀速率計(jì)算部2202、幀數(shù)計(jì)算部2204和比較器2205。幀速率控制部2800與上述圖20所示幀速率控制部2113的不同之處在于輸入由量化步驟決定部2203決定的量化步驟，來(lái)代替向幀速率計(jì)算部2202輸入量化步驟預(yù)測(cè)部2201的量化步驟預(yù)測(cè)值。
圖27是表示上述圖26中的幀速率計(jì)算部2202的各輸入信號(hào)和輸出信號(hào)一例的圖。圖27(a)是表示作為幀速率計(jì)算部2202的輸出信號(hào)的最佳幀速率的圖。圖27(b)是表示作為幀速率計(jì)算部2202一方輸入信號(hào)的量化步驟的圖。圖27(c)是表示作為幀速率計(jì)算部2202另一方輸入信號(hào)的發(fā)送緩沖器2108的空閑容量的圖。量化步驟決定部2203根據(jù)量化步驟預(yù)測(cè)部2201求出的量化步驟預(yù)測(cè)值來(lái)決定從[1]到[31]的整數(shù)值，將決定的值作為量化步驟輸出。因此，如圖27(b)所示，輸入幀速率控制部2800的量化步驟與量化步驟預(yù)測(cè)值不同，最大為[31]。
從而，幀速率計(jì)算部2202代替量化步驟預(yù)測(cè)值，根據(jù)作為量化步驟決定部2203輸出的量化步驟，計(jì)算最佳幀速率，從而可不過(guò)于偏離實(shí)際編碼引起的發(fā)生比特量來(lái)算出最佳幀速率。
圖28是表示變形例的幀速率控制部3000的功能結(jié)構(gòu)框圖。幀速率控制部3000根據(jù)由量化步驟決定部2203得到的量化步驟求出過(guò)去編碼的幀的平均量化步驟，根據(jù)求出的平均量化步驟來(lái)進(jìn)行幀速率諸部2202的最佳幀速率的計(jì)算，具備量化步驟預(yù)測(cè)部2201、量化步驟決定部2203、平均量化步驟計(jì)算部3001、幀速率計(jì)算部3002、幀數(shù)計(jì)算部2204和比較器2205。平均量化步驟計(jì)算部3001計(jì)算用于過(guò)去1秒間編碼的量化步驟的平均值。幀速率計(jì)算部3002根據(jù)由平均量化步驟計(jì)算部3001計(jì)算的量化步驟的平均值和發(fā)送緩沖器2108的空閑容量來(lái)計(jì)算最佳幀速率。
圖29是說(shuō)明上述圖28中平均量化步驟計(jì)算部3001的功能框圖。平均量化步驟計(jì)算部3001對(duì)過(guò)去編碼的幀計(jì)算量化步驟的平均值，具備量化步驟存儲(chǔ)器3101、抽取信息存儲(chǔ)器3102、加法器3103和除法器3104。量化步驟存儲(chǔ)器3101是從當(dāng)前幀開始追溯1秒、按30幀先進(jìn)先出來(lái)保持作為量化步驟決定部2203的輸出的量化步驟值的FIFO。抽取信息存儲(chǔ)器3102是從當(dāng)前幀開始追溯1秒、按先進(jìn)先出來(lái)保持從比較器2205輸出的、對(duì)應(yīng)于各幀的抽取信息(即例如1秒內(nèi)有30幀的情況下全部30比特)的FIFO。加法器3103將對(duì)應(yīng)于每個(gè)幀的抽取信息和量化步驟相乘的結(jié)果相加，(即合計(jì)在過(guò)去1秒中編碼的所有幀的量化步驟)，輸出給除法器3104。除法器3104用過(guò)去1秒中編碼的幀數(shù)來(lái)去除從加法器3103輸入的量化步驟的合計(jì)，算出量化步驟的平均值。
圖30是說(shuō)明上述圖28中幀速率計(jì)算部3002的功能用框圖。幀速率計(jì)算部3002保持上述圖22所示的幀速率表格2403，還具備滯后比較器3201、閾值存儲(chǔ)器3202、滯后比較器3203、閾值存儲(chǔ)器3204和空閑容量算出部2406。滯后比較器3201是從閾值存儲(chǔ)器3202向一方的輸入端子輸入閾值α1、β1(β1＜α1)，向另一方輸入端子輸入的平均量化步驟超過(guò)閾值α1時(shí)，此后輸出D1＝1，直到平均量化步驟小于閾值β1，即使平均量化步驟超過(guò)閾值β1，也輸出D1＝0，直到超過(guò)閾值α1為止的比較器。閾值存儲(chǔ)器3202是保持閾值α1、β1的閂鎖電路或存儲(chǔ)器。滯后比較器3203是從閾值存儲(chǔ)器3204向一方的輸入端子輸入閾值α2、β2(β2＜α2)，向另一方輸入端子輸入的發(fā)送緩沖器2108的空閑容量超過(guò)α2時(shí)，輸出D2＝1，之后輸出D2＝1，直到發(fā)送緩沖器2108的空閑容量小于β2。閾值存儲(chǔ)器3204是保持閾值α2和β2的閂鎖電路或存儲(chǔ)器。
圖31是表示上述圖28中的幀速率計(jì)算部3002的各輸入信號(hào)和輸出信號(hào)一例的圖。圖31(a)是表示作為幀速率計(jì)算部3002的輸出信號(hào)的最佳幀速率的圖。圖31(b)是表示作為幀速率計(jì)算部3002一方的輸入信號(hào)的平均量化步驟的圖。圖31(c)是表示作為幀速率計(jì)算部3002另一方的輸入信號(hào)的發(fā)送緩沖器2108的空閑容量的圖。如圖31(b)所示，平均量化步驟取從[1]到[31]的值，但未必象各幀的量化步驟那樣為自然數(shù)，另外，變化的程度也緩慢變小。幀速率計(jì)算部3002根據(jù)如此輸入的滯后比較器3201的輸出D1和滯后比較器3203的輸出D2的值來(lái)計(jì)算最佳幀速率的方法如上所述。
從而，幀速率控制部3000代替量化步驟預(yù)測(cè)值，根據(jù)作為平均量化步驟計(jì)算部3001的輸出的平均量化步驟來(lái)控制幀速率，從而在量化步驟的值在閾值附近上下的情況下，可防止對(duì)每個(gè)幀變更幀速率。
在上述實(shí)施例中，說(shuō)明平均量化步驟計(jì)算部3001計(jì)算過(guò)去1秒間編碼幀的量化步驟的平均值的實(shí)施例，但本發(fā)明不限于此，也可對(duì)過(guò)去數(shù)秒間或過(guò)去數(shù)幀-數(shù)十幀算出量化步驟的平均值。另外，也可還包含未編碼的幀，一律計(jì)算過(guò)去的量化步驟的平均值。
圖32是表示變形例的幀速率控制部3400的功能結(jié)構(gòu)框圖。幀速率控制部3400的幀速率計(jì)算部3401具備滯后比較器3201和滯后比較器3203來(lái)代替比較器2401和比較器2402，與上述實(shí)施例1的幀速率計(jì)算部202一樣，計(jì)算最佳幀速率，但還求出過(guò)去1秒間計(jì)算的最佳幀速率的平均值，將求出的平均幀速率設(shè)為最佳幀速率。
幀速率控制部3400具備量化步驟預(yù)測(cè)部2001、量化步驟決定部2203、幀速率計(jì)算部3401、幀速率存儲(chǔ)器3402、幀數(shù)計(jì)算部2204、和比較器2205。幀速率計(jì)算部3401輸入滯后比較器3201的輸出D1和滯后比較器3203的輸出D2，根據(jù)幀速率表格2403的標(biāo)準(zhǔn)(真值表)，計(jì)算最佳幀速率。并且，幀速率計(jì)算部3401根據(jù)過(guò)去多個(gè)最佳幀速率的計(jì)算結(jié)果來(lái)計(jì)算其平均值。
幀速率存儲(chǔ)器3402是對(duì)從當(dāng)前幀開始追溯1秒的30幀以先進(jìn)先出來(lái)保持作為幀速率計(jì)算部3401的計(jì)算結(jié)果的FIFO。
圖33是表示上述圖32中的幀速率計(jì)算部3401和幀速率存儲(chǔ)器3402的詳細(xì)結(jié)構(gòu)的框圖。幀速率計(jì)算部3401保持幀速率表格2403，并且，具備滯后比較器3201、閾值存儲(chǔ)器3202、滯后比較器3203、閾值存儲(chǔ)器3204、空閑容量算出部2406、加法器3501、和除法器3502。幀速率計(jì)算部3401對(duì)每個(gè)輸入的圖像信號(hào)幀，根據(jù)從量化步驟預(yù)測(cè)部2201輸入量化步驟預(yù)測(cè)值的滯后比較器3201的輸出D1和輸入發(fā)送緩沖器2108的數(shù)據(jù)余量的滯后比較器3203的輸出D2，基于幀速率表格2403算出最佳幀速率，以30Hz將算出的最佳幀速率輸出到幀速率存儲(chǔ)器3402。加法器350 1將幀速率存儲(chǔ)器3402內(nèi)的各最佳幀速率相加。除法器3502用[30]去除從加法器3501輸出的值，參照幀速率表格2403，從4個(gè)階段的最佳幀速率中將距除法結(jié)果最近的幀速率決定為平均最佳幀速率后輸出。結(jié)果，最佳幀速率例如在變化為30Hz→10Hz的情況下，平均最佳幀速率必需如30Hz→20Hz→15Hz→10Hz那樣，經(jīng)由中間的幀速率依次變化，所以可較平滑地控制編碼的幀速率。
圖34是表示上述圖32中的幀速率計(jì)算部3401的各輸入信號(hào)和輸出信號(hào)一例的圖。圖34(a)是表示作為幀速率計(jì)算部3401的輸出信號(hào)的平均最佳幀速率的圖。圖34(b)是表示作為幀速率計(jì)算部3401一方的輸入信號(hào)的量化步驟預(yù)測(cè)值的圖。圖34(c)是表示作為幀速率計(jì)算部3401另一方的輸入信號(hào)的發(fā)送緩沖器2108的空閑容量的圖。如圖34(a)所示，平均最佳幀速率將從當(dāng)前幀開始追溯1秒，平均化30幀的最佳幀速率，選擇最接近該值的最佳幀速率，所以抑制大的幀速率變更，結(jié)果，可得到動(dòng)作更平滑的編碼結(jié)果。
說(shuō)明本幀速率計(jì)算部3401計(jì)算過(guò)去1秒間30幀的最佳幀速率的平均值，但本發(fā)明不限于此，求出平均值的最佳幀速率的范圍也可以是過(guò)去幾秒間或幾幀。
(實(shí)施例3)圖35是表示實(shí)施例3中的圖像編碼裝置4100的功能結(jié)構(gòu)的框圖。圖像編碼裝置4100使用上述實(shí)施例1的圖像編碼裝置10中的可變位速率方式和上述實(shí)施例2的圖像編碼裝置2100中的可變幀速率方式來(lái)實(shí)現(xiàn)更適宜的編碼。
如圖35所示，圖像編碼裝置4100除發(fā)送緩沖器2108、幀速率控制部4113和幀抽取部4116外，與上述實(shí)施例1中的圖像編碼裝置10的功能結(jié)構(gòu)相同。另外，下面，對(duì)與上述實(shí)施例1或?qū)嵤├?中的功能結(jié)構(gòu)相同的部分附加相同符號(hào)，省略說(shuō)明。
幀速率控制部4113僅具有上述實(shí)施例2的圖像編碼裝置2100的幀速率控制部2113功能中生成抽取信息的功能。
幀抽取部4116從幀速率控制部4113接收抽取信息，決定幀速率，將決定的該時(shí)刻的幀速率值通知位速率控制部30。
圖36是表示上述圖35的幀速率控制部4113的詳細(xì)功能結(jié)構(gòu)的框圖。如圖36所示，幀速率控制部4113構(gòu)成為從上述實(shí)施例2的幀速率控制部2113(參照上述圖20)中去除量化步驟預(yù)測(cè)部2201和量化步驟決定部2203。因此，幀速率控制部4113根據(jù)從發(fā)送緩沖器2108獲得的數(shù)據(jù)余量，僅生成抽取信息，將該抽取信息發(fā)送給幀抽取部4116。
如上所述，通過(guò)本實(shí)施例的圖像編碼裝置4100，由發(fā)送緩沖器的數(shù)據(jù)余量來(lái)控制幀速率，同時(shí)，根據(jù)該幀速率和分配給幀群的總比特?cái)?shù)，可實(shí)現(xiàn)更好的比特分配。
(實(shí)施例4)在以下實(shí)施例中，說(shuō)明將上述實(shí)施例1-3中的圖像編碼裝置的結(jié)構(gòu)實(shí)現(xiàn)為圖像編碼程序的步驟，并在一般的計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)與上述圖像編碼裝置同等功能的方法。
圖37是使用存儲(chǔ)圖像編碼程序的軟盤來(lái)在一般的計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)與上述實(shí)施例1-3的圖像編碼裝置同等功能情況的說(shuō)明圖。
圖37(b)是從軟盤正面看的外觀、截面構(gòu)造及軟盤，圖37(a)是表示作為記錄媒體主體的軟盤的物理格式實(shí)例。
軟盤1301內(nèi)置在殼體1302中，在該盤的表面從外周向內(nèi)周形成同心圓形的多個(gè)軌道沿角度方向?qū)⒏鬈壍婪指畛?6個(gè)扇區(qū)。因此，在存儲(chǔ)上述圖像編碼程序的軟盤中，在上述軟盤1310上分配的區(qū)域中，記錄作為上述圖像編碼程序的數(shù)據(jù)。
另外，圖37(c)表示在軟盤1301中記錄再現(xiàn)上述圖像編碼程序用的裝置結(jié)構(gòu)。在軟盤1301中記錄上述圖像編碼程序的情況下，從計(jì)算機(jī)系統(tǒng)1304經(jīng)軟盤驅(qū)動(dòng)器1303寫入圖像編碼程序的數(shù)據(jù)。另外，在計(jì)算機(jī)系統(tǒng)中通過(guò)軟盤1301內(nèi)的程序來(lái)構(gòu)筑上述編碼或解碼裝置的情況下，從軟盤驅(qū)動(dòng)器1303中讀取程序，傳送給計(jì)算機(jī)系統(tǒng)1304。
另外，在上述說(shuō)明中，將軟盤用作數(shù)據(jù)記錄媒體來(lái)進(jìn)行說(shuō)明，但也可通過(guò)光盤或IC卡、ROM盒等可記錄程序的媒體來(lái)同樣實(shí)現(xiàn)上述圖像編碼裝置。
權(quán)利要求
1.一種圖像編碼裝置，對(duì)以幀單位依次輸入的圖像信號(hào)進(jìn)行編碼，其特征在于具備幀速率接受單元，接受表示進(jìn)行上述編碼的周期的幀速率；總比特?cái)?shù)確定單元，確定總體上可向由多個(gè)幀構(gòu)成的幀群分配的總比特?cái)?shù)；幀數(shù)確定單元，根據(jù)上述接受的幀速率和已編碼幀的幀數(shù)，確定上述幀群中還未編碼的幀的幀數(shù)；目標(biāo)比特?cái)?shù)算出單元，根據(jù)上述確定的總比特?cái)?shù)和上述確定的幀數(shù)，算出分配給后續(xù)編碼的幀的比特?cái)?shù)的目標(biāo)值；量化步驟導(dǎo)出單元，使用上述算出的比特?cái)?shù)的目標(biāo)值，導(dǎo)出涉及下面編碼的幀的量化步驟；和編碼單元，根據(jù)上述導(dǎo)出的量化步驟來(lái)進(jìn)行量化，根據(jù)該量化來(lái)進(jìn)行編碼。
2.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于還具備平均值算出單元，算出隨著上述幀群中的幀的編碼分配確定的比特?cái)?shù)的平均值；和運(yùn)算單元，對(duì)上述算出的上述比特?cái)?shù)的目標(biāo)值與上述比特?cái)?shù)的平均值進(jìn)行規(guī)定運(yùn)算，確定新的比特?cái)?shù)的目標(biāo)值，上述量化步驟導(dǎo)出單元使用由上述運(yùn)算單元確定的比特?cái)?shù)的目標(biāo)值來(lái)導(dǎo)出量化步驟。
3.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于上述總比特?cái)?shù)確定單元具備總比特?cái)?shù)初始化部，在上述幀群的開頭幀是規(guī)定幀的情況下，初始化整體上可分配的比特?cái)?shù)，和總比特?cái)?shù)更新部，從整體上可分配的比特?cái)?shù)中減去緊前面的通過(guò)上述編碼分配確定的比特?cái)?shù)后，進(jìn)行更新。
4.根據(jù)權(quán)利要求3所述的圖像編碼裝置，其特征在于上述幀數(shù)確定單元具備對(duì)象期間確定部，確定上述幀群中還未編碼的幀編碼所需期間，期間更新部，在每次編碼上述幀群中的一個(gè)幀時(shí)，根據(jù)上述接受的第2幀速率來(lái)減少上述編碼所需期間后進(jìn)行更新，和幀數(shù)算出部，根據(jù)上述更新的編碼所需期間和上述接受的幀速率，算出上述幀數(shù)。
5.根據(jù)權(quán)利要求4所述的圖像編碼裝置，其特征在于上述目標(biāo)比特?cái)?shù)算出單元通過(guò)用上述確定的幀數(shù)去除由上述總比特?cái)?shù)更新部更新的總比特?cái)?shù)，算出上述比特?cái)?shù)的目標(biāo)值。
6.根據(jù)權(quán)利要求5所述的圖像編碼裝置，其特征在于上述目標(biāo)比特?cái)?shù)算出單元還對(duì)上述算出的比特?cái)?shù)目標(biāo)值乘以規(guī)定系數(shù)后，設(shè)為新的比特?cái)?shù)的目標(biāo)值。
7.根據(jù)權(quán)利要求5所述的圖像編碼裝置，其特征在于上述運(yùn)算單元比較上述算出的上述比特?cái)?shù)目標(biāo)值和上述比特?cái)?shù)平均值，將大的一方確定為上述新的比特?cái)?shù)目標(biāo)值。
8.根據(jù)權(quán)利要求7所述的圖像編碼裝置，其特征在于上述運(yùn)算單元還比較事先設(shè)定的下限直上述確定的比特?cái)?shù)目標(biāo)值，將大的一方確定為上述新的比特?cái)?shù)目標(biāo)值。
9.根據(jù)權(quán)利要求7所述的圖像編碼裝置，其特征在于上述平均值算出單元對(duì)上述算出的比特?cái)?shù)平均值乘以規(guī)定系數(shù)后，設(shè)為新的比特?cái)?shù)平均值。
10.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于上述幀群由多個(gè)幀組構(gòu)成，若對(duì)一個(gè)幀組結(jié)束編碼，則依次追加還未編碼的新的幀組，構(gòu)成新的幀群，構(gòu)成上述幀組的幀是MPEG標(biāo)準(zhǔn)下的I圖像、P圖像及B圖像之一，并且，構(gòu)成該幀組的各圖像的排列方向相同，上述總比特?cái)?shù)確定單元還在每次伴隨對(duì)上述幀群中的上述一個(gè)幀組編碼來(lái)確定比特?cái)?shù)的分配時(shí)，加入事先分配給其它幀組的比特?cái)?shù)和對(duì)上述一個(gè)幀組確定的比特?cái)?shù)之差，確定作為整體可分配給上述新的幀組的總比特?cái)?shù)和各幀組中可分配的比特?cái)?shù)，上述幀數(shù)確定單元還根據(jù)上述接受的幀速率和已編碼的幀的幀數(shù)，確定上述其它幀組中還未編碼的幀的幀數(shù)，上述目標(biāo)比特?cái)?shù)算出單元還根據(jù)可分配給上述其它幀組的比特?cái)?shù)和上述確定的幀數(shù)，算出分配給下面編碼幀的比特?cái)?shù)的目標(biāo)值。
11.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于上述幀群的最初幀是畫面內(nèi)編碼的幀。
12.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于上述幀群的最后幀是畫面內(nèi)編碼幀緊前面的幀。
13.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于上述幀群的最初幀是畫面內(nèi)編碼的幀，最后的幀是畫面內(nèi)編碼幀緊前面的幀。
14.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于還具備存儲(chǔ)單元，存儲(chǔ)已編碼但未發(fā)送的數(shù)據(jù)，和幀速率計(jì)算單元，根據(jù)上述存儲(chǔ)單元中存儲(chǔ)的數(shù)據(jù)量，計(jì)算有關(guān)后續(xù)編碼幀的幀速率，上述幀速率接受單元接受上述計(jì)算出的幀速率。
15.一種圖像編碼方法，對(duì)以幀單位依次輸入的圖像信號(hào)進(jìn)行編碼，其特征在于包含幀速率接受步驟，接受表示進(jìn)行上述編碼的周期的幀速率；總比特?cái)?shù)確定步驟，確定整體上可向由多個(gè)幀構(gòu)成的幀群分配的總比特?cái)?shù)；幀數(shù)確定步驟，根據(jù)上述接受的幀速率和已編碼幀的幀數(shù)，確定上述幀群中還未編碼的幀的幀數(shù)；目標(biāo)比特?cái)?shù)算出步驟，根據(jù)上述確定的總比特?cái)?shù)和上述確定的幀數(shù)，算出分配給下面編碼幀的比特?cái)?shù)的目標(biāo)值；量化步驟導(dǎo)出步驟，使用上述算出的比特?cái)?shù)的目標(biāo)值，導(dǎo)出涉及下面編碼的幀的量化步驟；和編碼步驟，根據(jù)上述導(dǎo)出的量化步驟來(lái)進(jìn)行量化，根據(jù)該量化來(lái)進(jìn)行編碼。
16.根據(jù)權(quán)利要求15所述的圖像編碼方法，其特征在于還具備平均值算出步驟，計(jì)算隨著上述幀群中的幀的編碼分配確定的比特?cái)?shù)的平均值；和運(yùn)算步驟，對(duì)上述算出的上述比特?cái)?shù)的目標(biāo)值與上述比特?cái)?shù)的平均值進(jìn)行規(guī)定運(yùn)算，確定新的比特?cái)?shù)的目標(biāo)值，上述量化步驟算出步驟使用由上述運(yùn)算步驟算出的比特?cái)?shù)的目標(biāo)值來(lái)導(dǎo)出量化步驟。
17.一種對(duì)以幀單位輸入的圖像信號(hào)進(jìn)行編碼的圖像編碼裝置用程序，其特征在于包含幀速率接受步驟，接受表示進(jìn)行上述編碼的周期的幀速率；總比特?cái)?shù)確定步驟，確定整體上可向由多個(gè)幀構(gòu)成的幀群分配的總比特?cái)?shù)；幀數(shù)確定步驟，根據(jù)上述接受的幀速率和已編碼幀的幀數(shù)，確定上述幀群中還未編碼的幀的幀數(shù)；目標(biāo)比特?cái)?shù)算出步驟，根據(jù)上述確定的總比特?cái)?shù)和上述確定的幀數(shù)，算出分配給下面編碼幀的比特?cái)?shù)的目標(biāo)值；量化步驟導(dǎo)出步驟，使用上述算出的比特?cái)?shù)的目標(biāo)值，導(dǎo)出涉及下面編碼的幀的量化步驟；和編碼步驟，根據(jù)上述導(dǎo)出的量化步驟來(lái)進(jìn)行量化，根據(jù)該量化來(lái)進(jìn)行編碼。
18.根據(jù)權(quán)利要求17所述的程序，其特征在于還具備平均值算出步驟，隨著上述幀群中的幀的編碼，算出分配確定的比特?cái)?shù)的平均值；和運(yùn)算步驟，對(duì)上述算出的上述比特?cái)?shù)的目標(biāo)值與上述比特?cái)?shù)的平均值進(jìn)行規(guī)定運(yùn)算，確定新的比特?cái)?shù)的目標(biāo)值，上述量化步驟算出步驟使用由上述運(yùn)算步驟算出的比特?cái)?shù)的目標(biāo)值來(lái)導(dǎo)出量化步驟。
19.一種計(jì)算機(jī)可讀取記錄媒體，記錄對(duì)以幀單位依次輸入的圖像信號(hào)進(jìn)行編碼的圖像編碼裝置用程序，其特征在于上述程序包含幀速率接受步驟，接受表示進(jìn)行上述編碼的周期的幀速率；總比特?cái)?shù)確定步驟，確定整體上可向由多個(gè)幀構(gòu)成的幀群分配的總比特?cái)?shù)；幀數(shù)確定步驟，根據(jù)上述接受的幀速率和已編碼幀的幀數(shù)，確定上述幀群中還未編碼的幀的幀數(shù)；目標(biāo)比特?cái)?shù)算出步驟，根據(jù)上述確定的總比特?cái)?shù)和上述確定的幀數(shù)，算出分配給下面編碼幀的比特?cái)?shù)的目標(biāo)值；量化步驟導(dǎo)出步驟，使用上述算出的比特?cái)?shù)的目標(biāo)值，導(dǎo)出涉及下面編碼的幀的量化步驟；和編碼步驟，根據(jù)上述導(dǎo)出的量化步驟來(lái)進(jìn)行量化，根據(jù)該量化來(lái)進(jìn)行編碼。
20.一種計(jì)算機(jī)可讀取記錄媒體，記錄對(duì)以幀單位依次輸入的圖像信號(hào)進(jìn)行編碼的圖像編碼裝置用程序，其特征在于上述程序包含幀速率接受步驟，接受表示進(jìn)行上述編碼的周期的幀速率；總比特?cái)?shù)確定步驟，確定整體上可向由多個(gè)幀構(gòu)成的幀群分配的總比特?cái)?shù)；幀數(shù)確定步驟，根據(jù)上述接受的幀速率和已編碼幀的幀數(shù)，確定上述幀群中還未編碼的幀的幀數(shù)；目標(biāo)比特?cái)?shù)算出步驟，根據(jù)上述確定的總比特?cái)?shù)和上述確定的幀數(shù)，算出分配給下面編碼幀的比特?cái)?shù)的目標(biāo)值；平均值算出步驟，隨著上述幀群中的幀的編碼，算出分配確定的比特?cái)?shù)的平均值；運(yùn)算步驟，對(duì)上述算出的上述比特?cái)?shù)的目標(biāo)值與上述比特?cái)?shù)的平均值進(jìn)行規(guī)定運(yùn)算，確定新的比特?cái)?shù)的目標(biāo)值；量化步驟導(dǎo)出步驟，使用上述算出的比特?cái)?shù)的目標(biāo)值，導(dǎo)出涉及下面編碼的幀的量化步驟；和編碼步驟，根據(jù)上述導(dǎo)出的量化步驟來(lái)進(jìn)行量化，根據(jù)該量化來(lái)進(jìn)行編碼。
21.一種圖像編碼裝置，對(duì)以幀單位依次輸入的圖像信號(hào)進(jìn)行編碼，其特征在于具備編碼單元，對(duì)上述每個(gè)幀量化上述圖像信號(hào)的頻率分量，根據(jù)上述量化的結(jié)果進(jìn)行編碼；量化幅度計(jì)算單元，根據(jù)整體上分配給由多個(gè)幀構(gòu)成的幀群的總比特?cái)?shù)和分配完的比特?cái)?shù)，計(jì)算下面編碼的幀的量化幅度；幀速率計(jì)算單元，根據(jù)上述計(jì)算的量化幅度，計(jì)算表示應(yīng)對(duì)后續(xù)編碼的幀編碼的周期的編碼幀速率；和輸入控制單元，根據(jù)上述編碼幀速率，控制輸入上述編碼單元的上述圖像信號(hào)的取舍，上述編碼單元通過(guò)上述量化幅度來(lái)量化輸入的上述圖像信號(hào)。
22.根據(jù)權(quán)利要求21所述的圖像編碼裝置，其特征在于還具備發(fā)送緩沖器，保持由上述編碼單元編碼的編碼數(shù)據(jù)，每次以一定量向外部輸出保持的上述編碼數(shù)據(jù)，上述量化幅度計(jì)算單元根據(jù)未輸出而原樣殘留在上述發(fā)送緩沖器內(nèi)的編碼數(shù)據(jù)的數(shù)據(jù)量，計(jì)算上述量化的幅度。
23.根據(jù)權(quán)利要求22所述的圖像編碼裝置，其特征在于若通過(guò)上述編碼發(fā)生的編碼量超過(guò)規(guī)定量，則上述量化幅度計(jì)算單元增大后續(xù)編碼幀的上述量化的幅度。
24.根據(jù)權(quán)利要求23所述的圖像編碼裝置，其特征在于上述量化幅度計(jì)算單元具備比較部，比較通過(guò)上述編碼發(fā)生的編碼量、和規(guī)定閾值的大小；乘法部，上述比較的結(jié)果，若上述發(fā)生編碼量超過(guò)上述閾值，則向?qū)χ暗妮斎霂?jì)算的上述量化幅度乘以比1大的規(guī)定系數(shù)；和量化幅度決定部，將上述乘法結(jié)果作為量化幅度的預(yù)測(cè)值，將規(guī)定值范圍中最接近上述預(yù)測(cè)值的值決定為后續(xù)編碼幀的量化幅度。
25.根據(jù)權(quán)利要求24所述的圖像編碼裝置，其特征在于上述量化幅度計(jì)算單元還進(jìn)行計(jì)算，使通過(guò)上述編碼發(fā)生的編碼量一旦小于規(guī)定量，則上述量化的幅度變小。
26.根據(jù)權(quán)利要求25所述的圖像編碼裝置，其特征在于上述比較的結(jié)果，在上述發(fā)生編碼量小于上述閾值的情況下，上述乘法部還在對(duì)緊前面的輸入幀計(jì)算的上述量化幅度上乘以比1小的規(guī)定系數(shù)。
27.根據(jù)權(quán)利要求25所述的圖像編碼裝置，其特征在于上述比較的結(jié)果，在上述發(fā)生編碼量大于上述閾值的情況下，上述乘法部還在對(duì)之前的輸入幀計(jì)算的上述量化幅度上乘以比1大的規(guī)定系數(shù)。
28.根據(jù)權(quán)利要求24所述的圖像編碼裝置，其特征在于上述量化幅度計(jì)算單元還具備系數(shù)表保持部，事先保持使通過(guò)上述編碼發(fā)生的編碼量變多、將增大上述量化幅度的系數(shù)值對(duì)應(yīng)于上述發(fā)生編碼量所表示的系數(shù)表；和第2乘法部，根據(jù)上述系數(shù)表，向?qū)o前面的輸入幀計(jì)算的上述量化幅度乘以對(duì)應(yīng)于上述發(fā)生編碼量的系數(shù)，上述量化幅度決定部將上述第2乘法部的乘法結(jié)果作為量化幅度的預(yù)測(cè)值，決定后續(xù)編碼幀的量化幅度。
29.根據(jù)權(quán)利要求24所述的圖像編碼裝置，其特征在于上述量化幅度計(jì)算單元對(duì)于就近的幀，向用于量化的上述量化幅度乘以上述系數(shù)后，計(jì)算后續(xù)編碼幀的量化幅度。
30.根據(jù)權(quán)利要求24所述的圖像編碼裝置，其特征在于若上述量化幅度的預(yù)測(cè)值超過(guò)上述閾值，則上述幀速率計(jì)算單元增大后續(xù)編碼幀的編碼幀速率。
31.根據(jù)權(quán)利要求30所述的圖像編碼裝置，其特征在于若上述量化幅度的預(yù)測(cè)值超過(guò)上述閾值，則上述幀速率計(jì)算單元向當(dāng)前編碼幀速率乘以比1大的規(guī)定系數(shù)后，設(shè)為后續(xù)編碼幀的編碼幀速率。
32.根據(jù)權(quán)利要求30所述的圖像編碼裝置，其特征在于若上述量化幅度的預(yù)測(cè)值小于上述閾值，則上述幀速率計(jì)算單元減小后續(xù)編碼幀的編碼幀速率。
33.根據(jù)權(quán)利要求31所述的圖像編碼裝置，其特征在于若上述量化幅度的預(yù)測(cè)值小于上述閾值，則上述幀速率計(jì)算單元向當(dāng)前編碼幀速率乘以比1小的規(guī)定系數(shù)，并設(shè)為后續(xù)編碼幀的編碼幀速率。
34.根據(jù)權(quán)利要求24所述的圖像編碼裝置，其特征在于若決定的上述量化幅度超過(guò)規(guī)定閾值，則上述幀速率計(jì)算單元增大后續(xù)編碼幀的編碼幀速率，若小于上述閾值，則減小后續(xù)編碼幀的編碼幀速率。
35.根據(jù)權(quán)利要求24所述的圖像編碼裝置，其特征在于上述幀速率計(jì)算單元具備計(jì)算決定的上述量化幅度平均值的量化幅度平均部，若上述量化幅度的平均值超過(guò)規(guī)定閾值，則上述幀速率計(jì)算單元增大后續(xù)編碼幀的編碼幀速率，若小于上述閾值，則減小后續(xù)編碼幀的編碼幀速率。
36.根據(jù)權(quán)利要求21所述的圖像編碼裝置，其特征在于在通過(guò)上述編碼發(fā)生的編碼量超過(guò)規(guī)定閾值的情況下，上述幀速率計(jì)算單元向上述計(jì)算的編碼幀速率乘以比1小的規(guī)定系數(shù)，并重新設(shè)為上述計(jì)算的編碼幀速率。
37.根據(jù)權(quán)利要求21所述的圖像編碼裝置，其特征在于在通過(guò)上述編碼發(fā)生的編碼量小于規(guī)定閾值的情況下，上述幀速率計(jì)算單元向上述計(jì)算的編碼幀速率乘以比1大的規(guī)定系數(shù)，并重新設(shè)為上述計(jì)算的編碼幀速率。
38.根據(jù)權(quán)利要求21所述的圖像編碼裝置，其特征在于上述輸入控制單元還具備幀速率平均部，算出作為上述幀速率計(jì)算單元的計(jì)算結(jié)果的編碼幀速率的平均值，上述輸入控制單元根據(jù)由上述幀速率平均部算出的上述平均值，控制上述輸入的圖像信號(hào)的取舍。
39.一種編碼幀單位的圖像信號(hào)的圖像編碼裝置用程序，其特征在于包含編碼步驟，對(duì)上述每個(gè)幀量化上述圖像信號(hào)的頻率分量，根據(jù)上述量化的結(jié)果進(jìn)行編碼；量化幅度計(jì)算步驟，根據(jù)涉及上述幀群的總比特?cái)?shù)和分配完的比特?cái)?shù)，計(jì)算下面應(yīng)編碼幀的量化幅度；幀速率計(jì)算步驟，根據(jù)上述計(jì)算的量化幅度，計(jì)算表示應(yīng)對(duì)下面編碼的幀編碼的周期的編碼幀速率；和輸入控制步驟，根據(jù)上述編碼幀速率，控制上述編碼步驟中輸入的上述圖像信號(hào)的取舍，上述編碼步驟通過(guò)上述量化幅度來(lái)量化輸入的上述圖像信號(hào)。
40.一種計(jì)算機(jī)可讀取記錄媒體，記錄編碼幀單位的圖像信號(hào)的圖像編碼裝置用程序，其特征在于上述程序包含編碼步驟，對(duì)上述每個(gè)幀量化上述圖像信號(hào)的頻率分量，根據(jù)上述量化的結(jié)果進(jìn)行編碼；量化幅度計(jì)算步驟，根據(jù)涉及上述幀群的總比特?cái)?shù)和分配完的比特?cái)?shù)，計(jì)算下面應(yīng)編碼幀的量化幅度；幀速率計(jì)算步驟，根據(jù)上述計(jì)算的量化幅度，計(jì)算表示應(yīng)對(duì)下面編碼的幀編碼的周期的編碼幀速率；和輸入控制步驟，根據(jù)上述編碼幀速率，控制上述編碼步驟中輸入的上述圖像信號(hào)的取舍，上述編碼步驟通過(guò)上述量化幅度來(lái)量化輸入的上述圖像信號(hào)。
41.一種編碼幀單位的圖像信號(hào)的圖像編碼方法，其特征在于包含編碼步驟，對(duì)上述每個(gè)幀量化上述圖像信號(hào)的頻率分量，根據(jù)上述量化的結(jié)果進(jìn)行編碼；量化幅度計(jì)算步驟，根據(jù)上述幀群的總比特?cái)?shù)和分配完的比特?cái)?shù)，計(jì)算下面應(yīng)編碼幀的量化幅度；幀速率計(jì)算步驟，根據(jù)上述計(jì)算的量化幅度，計(jì)算表示應(yīng)對(duì)下面編碼的幀編碼的周期的編碼幀速率；和輸入控制步驟，根據(jù)上述編碼幀速率，控制上述編碼步驟中輸入的上述圖像信號(hào)的取舍，上述編碼步驟通過(guò)上述量化幅度來(lái)量化輸入的上述圖像信號(hào)。
全文摘要
一種圖像編碼技術(shù)及圖像解碼技術(shù)，在編碼困難的畫面連續(xù)的情況下，也可防止分配給剩余幀的比特?cái)?shù)極端不足導(dǎo)致的畫質(zhì)惡化，可進(jìn)行高畫質(zhì)圖像的編碼。幀群目標(biāo)比特?cái)?shù)導(dǎo)出部(31)從存儲(chǔ)部(36)中讀取可分配給剩余幀的幀群?jiǎn)挝坏目偙忍財(cái)?shù)，減去上一幀的編碼中使用的發(fā)生比特?cái)?shù)后進(jìn)行更新，發(fā)送到后續(xù)幀目標(biāo)比特?cái)?shù)導(dǎo)出部(32)。后續(xù)幀目標(biāo)比特?cái)?shù)導(dǎo)出部32根據(jù)接收到的總比特?cái)?shù)和考慮幀速率值Rf后的剩余幀數(shù)，算出分配給后續(xù)幀的比特?cái)?shù)的目標(biāo)值。平均幀比特?cái)?shù)導(dǎo)出部(33)算出分配給過(guò)去幀的比特?cái)?shù)平均值。運(yùn)算部(34)向算出的比特?cái)?shù)平均值乘以規(guī)定系數(shù)，將其與比特?cái)?shù)目標(biāo)值進(jìn)行比較，選擇值大的一方，發(fā)送到量化步驟導(dǎo)出部(35)。
文檔編號(hào)G06T9/00GK1453936SQ03122270
公開日2003年11月5日 申請(qǐng)日期2003年4月24日 優(yōu)先權(quán)日2002年4月25日
發(fā)明者內(nèi)林京子, 角野真也, 高橋潤(rùn), 西孝啟 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社