專利名稱：塊匹配候選矢量的確定的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及選擇被使用來(lái)使得來(lái)自第一圖象的塊與來(lái)自第二圖象的區(qū)域相匹配的最佳候選值的方法，該方法包括(a)作出用于確定來(lái)自第二圖象的、要被匹配的區(qū)域的一個(gè)候選值組，(b)對(duì)于該組的每個(gè)候選值，根據(jù)所述候選值確定來(lái)自第二圖象的、要被匹配的區(qū)域，使得來(lái)自第一圖象的塊與這個(gè)區(qū)域相匹配，和計(jì)算匹配誤差，以及(c)根據(jù)計(jì)算的匹配誤差，從該組中選擇最佳候選值。
本發(fā)明同樣涉及用于選擇被使用來(lái)使得來(lái)自第一圖象的塊與來(lái)自第二圖象的區(qū)域相匹配的最佳候選值的系統(tǒng)，系統(tǒng)包括·收集器，用來(lái)作出用于確定來(lái)自第二圖象的、要被匹配的區(qū)域的一個(gè)候選值組，·匹配器，用來(lái)對(duì)于該組的每個(gè)候選值，根據(jù)所述候選值確定來(lái)自第二圖象的、要被匹配的區(qū)域，使得來(lái)自第一圖象的塊與這個(gè)區(qū)域相匹配，和計(jì)算匹配誤差，以及選擇器，用來(lái)根據(jù)計(jì)算的匹配誤差，從該組中選擇最佳候選值。
本發(fā)明還涉及用于處理包括各種圖象的視頻信號(hào)的設(shè)備。
在開(kāi)頭段落中規(guī)定的那種方法可以從同一個(gè)申請(qǐng)人的國(guó)際專利申請(qǐng)公布號(hào)WO 99/40726(PHN 17.017)中獲知。通過(guò)用于確定圖象中的運(yùn)動(dòng)和深度的、基于塊的技術(shù)，圖象被劃分成多個(gè)塊，例如，相等的尺寸的長(zhǎng)方形。然后通過(guò)匹配其它圖象中的各個(gè)塊，而把該圖象與另一個(gè)圖象進(jìn)行比較。
使得一個(gè)塊與第二圖象進(jìn)行匹配是通過(guò)選擇多個(gè)用于運(yùn)動(dòng)矢量或深度的候選值，然后對(duì)于每個(gè)候選值確定該塊相應(yīng)于第二圖象中的一個(gè)區(qū)域有多遠(yuǎn)。在這種匹配中偏差的程度可被計(jì)算。這個(gè)偏差被稱為匹配誤差，它屬于候選的數(shù)值，最佳候選值是具有相對(duì)較小的匹配誤差的候選值。適當(dāng)?shù)暮蜻x值，特別地，是來(lái)自第一圖象的相鄰的塊的深度或運(yùn)動(dòng)矢量，因?yàn)樗鼈兌喟刖哂信c當(dāng)前的塊幾乎相同的特性。由于一個(gè)塊包括象素，所以匹配誤差可以根據(jù)在來(lái)自第一圖象的塊和第二圖象的區(qū)域中的相應(yīng)的象素被確定。諸如確定均方誤差(MSE)的數(shù)學(xué)方法適用于本目的。
上述的方法可以重復(fù)進(jìn)行許多次，以便達(dá)到最佳候選值的最好的可能的選擇。在圖象中的深度被確定的情形下，有開(kāi)始深度被隨機(jī)選擇。對(duì)于每次重復(fù)，相鄰的塊的數(shù)值被使用，它們可能不同于以前的重復(fù)。新找到的、具有最小的匹配誤差的數(shù)值在以后被使用來(lái)計(jì)算其它的塊的匹配誤差。當(dāng)數(shù)值不再改變時(shí)，最后的深度被確定，以及重復(fù)運(yùn)行被停止。通過(guò)每次重復(fù)，對(duì)于最佳候選值的當(dāng)前的數(shù)值以及匹配誤差，是對(duì)于每個(gè)塊要被保存的。
通常的實(shí)踐是隨機(jī)運(yùn)動(dòng)矢量或深度值被加到所述組，或在隨機(jī)值被加上后，已被加上的數(shù)值再次被加上。這避免重復(fù)地執(zhí)行該方法只提供本地最佳候選值。
這個(gè)方法的缺點(diǎn)在于，根據(jù)或不根據(jù)已被加上的數(shù)值來(lái)加上隨機(jī)值，比起要確定深度或運(yùn)動(dòng)矢量所必須的時(shí)間，要化費(fèi)更長(zhǎng)的時(shí)間。而且，可能出現(xiàn)圍繞最后數(shù)值的振蕩，因?yàn)殡S機(jī)選擇的數(shù)值負(fù)面地影響處理過(guò)程。
本發(fā)明的一個(gè)目的是提供在開(kāi)頭段落中規(guī)定的那種方法，其中對(duì)于最佳候選值作出更好的選擇。
這個(gè)目的是通過(guò)按照本發(fā)明的方法達(dá)到的，在其中確定一個(gè)候選值簇，這些候選值根據(jù)第一圖象的性質(zhì)被確定，以及步驟(a)也包括把從所述的簇中選擇的候選值加到該組。加上這個(gè)候選值，提供對(duì)于最佳候選值的更好的選擇，因?yàn)檫@個(gè)候選值比隨機(jī)選擇的候選值更好地適合于第一圖象。確實(shí)，這個(gè)簇是根據(jù)第一圖象的性質(zhì)被確定的。
在方法的實(shí)施例中，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變。如果方法被執(zhí)行幾次，則先前得到的最佳候選值是可提供的。根據(jù)這些數(shù)值，可以形成適合于這種改變的簇。如果發(fā)生許多大的變化，則這個(gè)簇可以用許多大的候選值來(lái)形成，因?yàn)檫@很好地適合于第一圖象。
在方法的另一個(gè)實(shí)施例中，作出所述改變的直方圖，以及各種組正比于直方圖上的分布被確定。這個(gè)實(shí)施例的有利點(diǎn)在于，現(xiàn)在可能僅僅確定發(fā)生哪種改變，例如，大部分，中等，和小部分，這樣，可以形成很好地適合于第一圖象的一個(gè)簇。
在方法的另一個(gè)實(shí)施例中，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變的方向。這個(gè)實(shí)施例的有利點(diǎn)在于，借助于這些性質(zhì)，可以確定方法的重復(fù)執(zhí)行是否導(dǎo)致通過(guò)每次重復(fù)而選擇的最佳候選值圍繞每個(gè)點(diǎn)的振蕩。在這種情形下，這個(gè)簇可被選擇成使得振蕩被終結(jié)。
本發(fā)明的另一個(gè)目的是提供在引言部分中規(guī)定的那種系統(tǒng)，通過(guò)這個(gè)系統(tǒng)，對(duì)于最佳候選值作出更好的選擇。
這個(gè)目的是通過(guò)按照本發(fā)明的、用來(lái)確定各種候選值的系統(tǒng)達(dá)到的，該候選值根據(jù)第一圖象的性質(zhì)被確定，以及收集器也用來(lái)把從所述簇中選擇的候選值加到該組上。
系統(tǒng)確定所述各種組，以及使得它可供收集器使用，這樣，后者可以由此選擇候選值，以及把它回到該組中。
在系統(tǒng)的實(shí)施例中，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變。
在系統(tǒng)的另一個(gè)實(shí)施例中，系統(tǒng)用來(lái)作出所述改變的直方圖，以及用來(lái)正比于直方圖上的分布確定各種組。
在系統(tǒng)的一個(gè)實(shí)施例中，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變的方向。
本發(fā)明的另一個(gè)目的是提供在引言部分中規(guī)定的那種設(shè)備，通過(guò)這個(gè)設(shè)備，提供視頻信號(hào)的更好的處理。
這個(gè)目的是通過(guò)按照本發(fā)明的設(shè)備達(dá)到的，其中設(shè)備包括·按照本發(fā)明的、用于選擇要被使用來(lái)把來(lái)自第一圖象的塊與來(lái)自第二圖象的區(qū)域進(jìn)行匹配的最佳候選值的系統(tǒng)，該系統(tǒng)用來(lái)從所述簇選擇對(duì)于來(lái)自該圖象的塊的、最佳候選值，以及·用于根據(jù)如由所述系統(tǒng)確定的、得到的最佳候選值來(lái)處理視頻信號(hào)以便得到增強(qiáng)的視頻信號(hào)的圖象處理器。
圖象處理器根據(jù)由按照本發(fā)明的系統(tǒng)選擇的、最佳候選值來(lái)增強(qiáng)圖象。由于通過(guò)這個(gè)系統(tǒng)對(duì)最佳候選值作出較好的選擇，這將得出比其它設(shè)備更好的、增強(qiáng)的圖象。
在一個(gè)實(shí)施例中，設(shè)備還包括顯示系統(tǒng)，用于顯示增強(qiáng)的視頻信號(hào)。
參照此后描述的實(shí)施例將了解和說(shuō)明本發(fā)明的這些和其它方面。
在附圖上

圖1是候選值和它們的匹配誤差的多個(gè)圖形的圖形表示；圖2是候選值和它們的匹配誤差的多個(gè)圖形的改變的圖形表示；圖3是按照尺寸編組的候選值的改變的直方圖；圖4是按照本發(fā)明的、用于處理圖象的設(shè)備的圖形表示。
在用于確定第一圖象中的運(yùn)動(dòng)和深度的、基于塊的技術(shù)中，圖象被再劃分成多個(gè)塊。這些塊可以是長(zhǎng)方形的，并具有相同的尺寸，這樣，可以以簡(jiǎn)單的和快速的方式實(shí)施再劃分。雖然替換地有可能利用任意的其它形狀。非長(zhǎng)方形塊的使用的有利點(diǎn)在于，現(xiàn)在的任意的物體可以用一組塊覆蓋，以使得這樣的物體的運(yùn)動(dòng)或深度可被確定。通過(guò)把圖象再劃分成塊，現(xiàn)在有可能通過(guò)那來(lái)自第一圖象的塊與來(lái)自第二圖象的區(qū)域相匹配而把圖象與第二圖象進(jìn)行比較。如果這些塊被選擇得足夠小，則可以假定，每個(gè)塊一致地移動(dòng)，以及塊的深度到處是相同的。然后有可能尋找來(lái)自第二圖象的、相應(yīng)于來(lái)自第一圖象的塊的區(qū)域。如果找到的話，則在兩個(gè)圖象之間的這個(gè)塊的移位可被確定，因此，確定這個(gè)塊的運(yùn)動(dòng)。如果兩個(gè)圖象都涉及到靜止物體，則這提供對(duì)于確定這個(gè)物體的深度所必須的信息。
很少發(fā)生來(lái)自第一圖象的塊完全匹配于來(lái)自第二圖象的區(qū)域。這個(gè)問(wèn)題可以通過(guò)根據(jù)對(duì)于深度或運(yùn)動(dòng)矢量的候選值來(lái)確定來(lái)自第一圖象的塊必須位于第二圖象的哪個(gè)地方，而被解決。以后，來(lái)自第二圖象的、相應(yīng)于這一點(diǎn)的區(qū)域與第一塊進(jìn)行匹配，以及計(jì)算匹配的偏差程度。這個(gè)偏差被稱為候選值的匹配誤差。最佳候選值是具有相對(duì)較小的匹配誤差，優(yōu)選地是最小匹配誤差，的候選值。
由于塊包含象素，匹配誤差可以根據(jù)兩個(gè)塊中的相應(yīng)的象素被確定。諸如確定均方誤差(MSE)的數(shù)學(xué)方法適用于本目的。通過(guò)這個(gè)方法，對(duì)于運(yùn)動(dòng)矢量(dx，dy)的匹配誤差可以如下地計(jì)算MSE(i,j)=Σm=1MΣn=1N[U1(m,n)-U0(m+dx,n+dy)]2]]>
這里，M和N是象素中的尺度，以及Ui(m，n)是圖象i中在位置(m，n)處的象素強(qiáng)度。對(duì)于深度d的匹配誤差的計(jì)算是以相同的方式進(jìn)行的。
另一個(gè)適用的數(shù)學(xué)方法是計(jì)算絕對(duì)差值的和(SAD)。對(duì)于深度d的匹配誤差由此可以如下地計(jì)算SAD(d)=Σ(x,y)∈B|U1(x+Δx(d),y+Δy(d))-U0(x,y)|]]>這里，(x，y)是塊B的象素，Δx(d)是基于對(duì)于深度d的候選值的x的改變。
除了均方誤差和絕對(duì)差值的和值以外，還可以使用其它的數(shù)學(xué)方法，諸如平均值絕對(duì)差，或平方誤差的和值，用于計(jì)算對(duì)于深度或運(yùn)動(dòng)矢量的候選值的匹配誤差。
由于實(shí)際原因，特別是，因?yàn)樵谝曨l信號(hào)處理期間只有很少的時(shí)間處理分開(kāi)的圖象，所以通常作出具有有限數(shù)目的候選值的一個(gè)組，正如以上所述的，這些候選值以后被使用于確定來(lái)自第二圖象的一個(gè)區(qū)域，此后，來(lái)自第一圖象的塊和它相匹配。通常的實(shí)踐是相鄰的其它塊的深度的數(shù)值或找到的運(yùn)動(dòng)矢量是通過(guò)隨機(jī)值或?qū)τ谶@個(gè)塊的深度或運(yùn)動(dòng)矢量的先前計(jì)算的數(shù)值被選擇的，可能被加上的。在該組的單元的匹配誤差已被計(jì)算后，最佳候選值被選擇為具有最小匹配誤差的候選值。
作出這個(gè)組、計(jì)算該組的單元的匹配誤差、和選擇最佳候選值的步驟可以以三個(gè)分開(kāi)的步驟被執(zhí)行，但也可以組合地執(zhí)行。對(duì)于每個(gè)選擇的候選值，匹配誤差可被直接計(jì)算，此后，例如可把這個(gè)匹配誤差與“行程最小值”進(jìn)行比較。如果剛被計(jì)算的匹配誤差原來(lái)是小于這個(gè)行程最小值，則當(dāng)前的候選值被選擇為臨時(shí)的最佳候選值，以及它的匹配誤差被選擇為新的行程最小值。在該組中所有的候選值被選擇以后，這樣確定的臨時(shí)最佳候選值選擇變成為實(shí)際的最佳候選值。
上述的方法可被重復(fù)多次，達(dá)到最佳候選值的最好的可能的選擇。在確定圖象中的深度的情形下，一開(kāi)始，深度被隨機(jī)地選擇。對(duì)于每次重復(fù)，相鄰的塊的數(shù)值被使用，這些數(shù)值可以不同于先前的重復(fù)的數(shù)值。新找到的、具有最小匹配誤差的數(shù)值以后被使用于計(jì)算其它塊的匹配誤差。當(dāng)數(shù)值不再改變時(shí)，最后的數(shù)值被確定，以及重復(fù)運(yùn)行可以停止。通過(guò)每次重復(fù)，對(duì)于最佳候選值的當(dāng)前的數(shù)值和匹配誤差是對(duì)于每個(gè)塊被保存的。
通常的實(shí)踐是把隨機(jī)運(yùn)動(dòng)矢量或深度值加到所述組，或在隨機(jī)值被加上后，把已加上的數(shù)值再次加上。這避免重復(fù)地執(zhí)行該方法只提供本地最佳候選值。這個(gè)隨機(jī)運(yùn)動(dòng)矢量或深度值常常來(lái)自于預(yù)定的數(shù)值簇，這樣不必對(duì)于每個(gè)塊生成一個(gè)或多個(gè)隨機(jī)值。
按照本發(fā)明的方法，候選值可被加到所述組，該候選值來(lái)自于一個(gè)候選值簇。這個(gè)候選值簇首先被確定，例如在重復(fù)進(jìn)行上述的方法之前。來(lái)自這個(gè)簇的候選值根據(jù)第一圖象的性質(zhì)被確定。這些性質(zhì)也可以包括來(lái)對(duì)于自第一圖象的塊的、先前選擇的最佳候選值的數(shù)值的時(shí)間改變。
圖1顯示用上述的方法被確定的、在第一圖象中塊的深度的圖形。對(duì)于運(yùn)動(dòng)矢量可以作出可比較的圖形。當(dāng)圖形關(guān)系到深度候選值時(shí)，最小的數(shù)值可被使用于圖形的深度最小值。通過(guò)運(yùn)動(dòng)矢量候選值，每個(gè)候選值是具有對(duì)于水平和垂直運(yùn)動(dòng)的分量的矢量。在這種情形下，當(dāng)運(yùn)動(dòng)矢量的分量之一小于其它的矢量的相應(yīng)的分量時(shí)，這個(gè)運(yùn)動(dòng)矢量候選值是圖形的最小值。
在圖1所示的圖上，來(lái)自第一圖象的塊的深度被畫(huà)在y軸上，而在x軸上表示那些塊。曲線10表示在上述的方法的第一次重復(fù)時(shí)確定的塊的深度，以及曲線11表示在第二次重復(fù)時(shí)確定的深度。曲線10和11也可以以不同的方式，例如通過(guò)統(tǒng)計(jì)地確定深度值的算法，或通過(guò)利用來(lái)自外部源的深度信息，而被得到。根據(jù)曲線10和11，可以作出新的圖形，它表示塊的深度的絕對(duì)差值。這個(gè)圖形顯示于圖2。曲線20是通過(guò)對(duì)于圖1的圖形的x軸上的每個(gè)點(diǎn)確定在曲線10和11的數(shù)值之間的絕對(duì)差值和畫(huà)出這個(gè)差值對(duì)圖2的圖形的x軸上相應(yīng)的點(diǎn)的關(guān)系，而得到的。
根據(jù)圖2的圖形，作出這個(gè)改變的直方圖，它被顯示于圖3。曲線20的值可根據(jù)它們的出現(xiàn)頻率而被編組。組30包含來(lái)自圖2的圖形的小的值，組32是來(lái)自這個(gè)圖形的大的值，以及組31是中間的值。在組30，31和32之間的邊界可被任意地選擇，以及取決于所考慮的塊的總的數(shù)目和它們的相對(duì)分布。在組32是非常少的值的情形下，組32可以通過(guò)移動(dòng)在組32和組31之間的邊界而被放大。
從圖3的直方圖，結(jié)果是在第一圖象上有相對(duì)較少的小的深度改變。確實(shí)，組30包含少的數(shù)值，以及這些數(shù)值代表在圖2的圖形中得出的深度改變。同樣地，有相對(duì)較少的大的改變以及相對(duì)地許多的中間的改變。
現(xiàn)在作出一簇?cái)?shù)值，這些數(shù)值被選擇為正比于圖3的直方圖。從直方圖開(kāi)始，形成包含相對(duì)較少的大的和小的數(shù)值以及相對(duì)地許多的中間值的一簇。
在上述的確定最佳候選值的方法中，作出一組候選值用于確定來(lái)自第二圖象的、要被匹配的區(qū)域。被加到這個(gè)組的還有從根據(jù)在圖3的直方圖上看到的、來(lái)自第一圖象的性質(zhì)(諸如深度改變)被確定的、一個(gè)候選值簇中選擇的一個(gè)候選值。
圖1的圖形，以及從而圖3的直方圖，可以對(duì)于整個(gè)第一圖象或這個(gè)圖象的子區(qū)域，被構(gòu)建。在后一種情形下，對(duì)于每個(gè)子區(qū)域作出分開(kāi)的簇。這些簇也可以在確定最佳候選值的方法的一次或多次重復(fù)后，通過(guò)重新構(gòu)建圖1的圖象和作出新的直方圖而被調(diào)整。
來(lái)自這個(gè)簇的候選值的選擇可以根據(jù)對(duì)于將要進(jìn)行匹配的第一圖象的塊的以前選擇的最佳候選值而不作出。如果結(jié)果是關(guān)系到在這些以前選擇的最佳候選值中的主要改變，則從該簇中選擇大的候選值。如果看來(lái)在這些以前選擇的最佳候選值之間只有很小的改變，則最好從該簇中選擇小的候選值。
為了避免圍繞候選值振蕩，可以使用第一圖象的另一個(gè)性質(zhì)，也就是，關(guān)于以前選擇的最佳候選值中的改變的方向。這樣做后，可以檢測(cè)出這個(gè)方向是否連續(xù)地改變，因此，可以檢測(cè)出是否關(guān)系到振蕩。具有與以前選擇的最佳候選值相同的方向的候選值然后從這個(gè)簇中被選擇。
圖4表示用于處理視頻信號(hào)40的設(shè)備，該視頻信號(hào)40包括一個(gè)圖象簇。設(shè)備包括圖象處理器41，它用來(lái)處理視頻信號(hào)40，到處增強(qiáng)的視頻信號(hào)。這個(gè)增強(qiáng)的視頻信號(hào)然后被顯示在顯示屏幕42上。雖然圖4上顯示屏幕42被顯示為包括圖象處理器41的同一個(gè)設(shè)備的一部分，但顯然，顯示屏幕42也可以與該設(shè)備獨(dú)立地安排，它可以通過(guò)網(wǎng)絡(luò)接收來(lái)自設(shè)備的增強(qiáng)的視頻信號(hào)。
圖象處理器41可以根據(jù)關(guān)于在視頻信號(hào)40中各個(gè)圖象的運(yùn)動(dòng)或深度的信息來(lái)增強(qiáng)視頻信號(hào)。例如，有可能圖象處理器41處理視頻信號(hào)40，以使得用戶可以通過(guò)根據(jù)深度信息分開(kāi)地旋轉(zhuǎn)由塊的圖形確定的各個(gè)物體，因此產(chǎn)生來(lái)自另一個(gè)角度的正確的重現(xiàn)，而能夠從另一個(gè)角度觀看圖象。這可以提供，例如，立體的重現(xiàn)。運(yùn)動(dòng)信息可被使用來(lái)檢測(cè)和標(biāo)記運(yùn)動(dòng)物體，例如，被使用于自動(dòng)監(jiān)視攝像機(jī)。這樣得到的、帶有比較的物體的視頻信號(hào)為這些攝像機(jī)的用戶提供增強(qiáng)的性能，因?yàn)樗麄冞x擇能夠更加快速地檢測(cè)圖象改變。
在另一個(gè)可能的應(yīng)用項(xiàng)中，圖象處理器41通過(guò)產(chǎn)生更有效地被壓縮的視頻信號(hào)，而增強(qiáng)以諸如MPEG的壓縮格式被提供的視頻信號(hào)40。通過(guò)一組塊而確定的各個(gè)物體，該物體以視頻信號(hào)40出現(xiàn)在多個(gè)圖象中，現(xiàn)在可以通過(guò)存儲(chǔ)關(guān)于目標(biāo)的象素信息僅僅一次和存儲(chǔ)對(duì)于這個(gè)物體出現(xiàn)在的其它圖象的、這個(gè)物體的運(yùn)動(dòng)矢量或深度，而被壓縮。由于這個(gè)信息比起完整的物體的象素信息需要更少的貯存容量，所以像這樣的一個(gè)方法可提供顯著地增強(qiáng)的壓縮視頻信號(hào)。
為了清晰起見(jiàn)，下面的說(shuō)明是僅僅當(dāng)確定第一塊深度時(shí)關(guān)于系統(tǒng)的單元的功能，但從上面說(shuō)明可以看到，第一塊的運(yùn)動(dòng)可以以類似的方式被確定。
設(shè)備還包括收集器43，匹配器46和選擇器47。收集器43用來(lái)作出一個(gè)候選值組45，用于確定來(lái)自第二圖象的、要被匹配的區(qū)域。由收集器43作出的組45包括，特別是，與第一塊相鄰的塊的、以前確定的深度。相鄰的塊的深度通常顯示很小的相互差別。所以，與第一塊相鄰的塊的深度形成用于確定第一塊的深度的良好的開(kāi)始點(diǎn)，所以，它們被用作為對(duì)于這個(gè)深度的候選值。為此，有一個(gè)存儲(chǔ)系統(tǒng)44，其中可存儲(chǔ)這個(gè)深度和其它的以前確定的深度，這樣，在作出候選值組45時(shí)，收集器43可以使用它們。
收集器43把候選值組45發(fā)送到匹配器46。匹配器46根據(jù)所述的候選值，對(duì)于來(lái)自該組的每個(gè)候選值確定來(lái)自第二圖象的、要被匹配的區(qū)域。隨后，匹配器46使得來(lái)自第一圖象的塊與這個(gè)區(qū)域相匹配，以及匹配器46計(jì)算相關(guān)的匹配區(qū)域，正如上面描述的。為此，可以實(shí)施以前提到的方法，諸如，均方誤差，平均值絕對(duì)差，絕對(duì)差值的和值或平方誤差的和值。
在來(lái)自組45的候選值的匹配誤差被計(jì)算后，選擇器47根據(jù)計(jì)算的匹配誤差從組45中選擇最佳候選值48。最佳候選值48是具有相對(duì)較低的匹配誤差的候選值。選擇器47然后把最佳候選值48發(fā)送到圖象處理器41。對(duì)于來(lái)自一個(gè)圖象的各個(gè)塊重復(fù)這個(gè)程序過(guò)程，可提供對(duì)于這個(gè)圖象的深度信息。根據(jù)這樣提供的深度信息，圖象處理器41可以處理視頻信號(hào)40，得出增強(qiáng)的視頻信號(hào)。這個(gè)增強(qiáng)的視頻信號(hào)然后可被顯示在顯示屏幕42上。
系統(tǒng)確定一個(gè)候選值簇，這些候選值是根據(jù)第一圖象的性質(zhì)被確定的。收集器把來(lái)自于這個(gè)候選值簇的一個(gè)候選值加到所述組45。
第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變。為了確定這個(gè)簇，系統(tǒng)作出所述改變的直方圖。隨后，系統(tǒng)確定這個(gè)簇正比于直方圖上的分布，正如上面參照?qǐng)D1，圖2和圖3描述的。
權(quán)利要求
1.一種選擇被使用來(lái)使得來(lái)自第一圖象的塊與來(lái)自第二圖象的區(qū)域相匹配的最佳候選值的方法，該方法包括(a)作出用于確定來(lái)自第二圖象的、要被匹配的區(qū)域的一個(gè)候選值組(45)，(b)對(duì)于該組(45)的每個(gè)候選值，根據(jù)所述候選值確定來(lái)自第二圖象的、要被匹配的區(qū)域，使得來(lái)自第一圖象的塊與這個(gè)區(qū)域相匹配，和計(jì)算匹配誤差，以及(c)根據(jù)計(jì)算的匹配誤差，從該組(45)中選擇最佳候選值(48)，其特征在于，確定一個(gè)候選值簇，這些候選值根據(jù)第一圖象的性質(zhì)被確定，以及步驟(a)也包括把從所述的簇中選擇的候選值加到該組中。
2.如權(quán)利要求1的方法，其特征在于，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變。
3.如權(quán)利要求2的方法，其特征在于，所述改變的直方圖被作出，以及該簇是正比于直方圖的分布被確定的。
4.如權(quán)利要求1的方法，其特征在于，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變的方向。
5.一種用于選擇被使用來(lái)使得來(lái)自第一圖象的塊與來(lái)自第二圖象的區(qū)域相匹配的最佳候選值的系統(tǒng)，系統(tǒng)包括·收集器(43)，用來(lái)作出用于確定來(lái)自第二圖象的、要被匹配的區(qū)域的一個(gè)候選值組(45)，·匹配器(46)，用來(lái)對(duì)于該組的每個(gè)候選值，根據(jù)所述候選值確定來(lái)自第二圖象的、要被匹配的區(qū)域，使得來(lái)自第一圖象的塊與這個(gè)區(qū)域相匹配，和計(jì)算匹配誤差，以及·選擇器(47)，用來(lái)根據(jù)計(jì)算的匹配誤差，從該組中選擇最佳候選值(48)。其特征在于，系統(tǒng)用來(lái)確定一個(gè)候選值簇，這些候選值根據(jù)第一圖象的性質(zhì)被確定，以及收集器(43)也用來(lái)把從所述的簇中選擇的候選值加到該組(45)中。
6.如權(quán)利要求5的系統(tǒng)，其特征在于，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變。
7.如權(quán)利要求6的系統(tǒng)，其特征在于，系統(tǒng)用來(lái)作出所述改變的直方圖，以及用來(lái)確定正比于直方圖的分布的該簇。
8.如權(quán)利要求5的系統(tǒng)，其特征在于，第一圖象的性質(zhì)也包括對(duì)于來(lái)自第一圖象的塊的先前選擇的最佳候選值的、數(shù)值的時(shí)間改變的方向。
9.一種用于處理包括一簇圖象的視頻信號(hào)(40)的設(shè)備，包括·如權(quán)利要求5中要求的系統(tǒng)(43，46，47)，用來(lái)選擇要被使用于把來(lái)自第一圖象(40)的塊與來(lái)自第二圖象的區(qū)域進(jìn)行匹配的最佳候選值(48)，系統(tǒng)用來(lái)從所述簇中選擇對(duì)于來(lái)自圖象的塊的最佳候選值，以及·圖象處理器(41)，用于根據(jù)如由所述系統(tǒng)(43，46，47)確定的、得出的最佳候選值處理視頻信號(hào)(40)，得出增強(qiáng)的視頻信號(hào)。
10.如權(quán)利要求9的設(shè)備，其特征在于，設(shè)備還包括顯示系統(tǒng)(42)，用于顯示增強(qiáng)的視頻信號(hào)。
全文摘要
在基于塊的運(yùn)動(dòng)或深度估值中,由于使得在有限的候選值的組(45)上匹配誤差最小的結(jié)果,一個(gè)塊被分配以一個(gè)運(yùn)動(dòng)值或深度值。這個(gè)組(45)通常包括一個(gè)隨機(jī)運(yùn)動(dòng)值或深度值,以防止算法停留在本地最小值上。按照本發(fā)明的方法和系統(tǒng)根據(jù)圖象的性質(zhì)把一個(gè)運(yùn)動(dòng)值或深度值加到這個(gè)組(45)。對(duì)于選擇的運(yùn)動(dòng)值或深度值的時(shí)間改變的歷史被記錄,作出直方圖,以及正比于直方圖產(chǎn)生多個(gè)數(shù)值。從該多個(gè)數(shù)值選擇一個(gè)被加上的數(shù)值。另外,關(guān)于改變的方向的信息被記錄,以防止振蕩。用于適配視頻信號(hào)(40)的設(shè)備使用選擇的候選值來(lái)創(chuàng)建視頻信號(hào)(40)的增強(qiáng)的版本。
文檔編號(hào)H04N7/32GK1381026SQ01801324
公開(kāi)日2002年11月20日 申請(qǐng)日期2001年4月27日 優(yōu)先權(quán)日2000年5月19日
發(fā)明者P·維林斯基, M·J·R·奧普德貝克 申請(qǐng)人:皇家菲利浦電子有限公司