專利名稱：內插圖像生成方法、裝置和使用該方法、裝置的圖像顯示系統的制作方法
技術領域：
本發(fā)明涉及改善例如因保持型顯示裝置引起的離焦成像(ボケ)或彗差(コマ)數小的運動圖像中的不自然運動的幀內插用的內插圖像生成方法、裝置和使用該方法、裝置的圖像顯示系統。
背景技術：
通常，作為圖像顯示裝置，包括寫入圖像后，僅持續(xù)發(fā)光熒光體的殘留發(fā)光時間的脈沖型顯示裝置(例如CRT或場致發(fā)光型顯示裝置(FED))和在重新寫入圖像前，持續(xù)保持顯示前一幀的保持型顯示裝置(例如液晶顯示裝置(LCD)、電致發(fā)光顯示器(ELD)等)兩種。
保持型顯示裝置的問題點之一是在運動圖像顯示中產生的離焦成像現象。離焦成像現象的產生起因于在涉及多幀的圖像中存在運動物體，當觀察者的眼睛追隨該運動物體的運動時，多幀圖像重合映射到視網膜上。在顯示圖像從前一幀切換到下一幀的期間，盡管繼續(xù)顯示同于前一幀的圖像，但是眼睛預測下一幀的圖像顯示，邊在前一幀圖像上沿運動物體的移動方向移動邊進行觀察。
即，由于眼睛的追隨運動具有連續(xù)性，并進行比幀間隔還密的取樣，結果因目視為占滿相鄰兩幀間的圖像，而觀察到了離焦成像。
為解決該問題，縮短顯示幀的間隔即可。由此，還可以改善顯示幀數少的運動圖像中的不自然運動。作為其具體方法，考慮有利用MPEG2(運動圖像專家組2)中所用的運動補償來生成內插圖像，并在相鄰幀間進行補償的方法。
在運動補償中，使用了由塊匹配所檢測出的運動矢量。但是，由于MPEG2中以塊為單位生成圖像，所以在塊內存在運動不同的多個對象的情況下，產生了有相關性的部分和沒有相關性的部分，并因沒有相關性的部分而產生了塊失真。
在日本專利申請公開特開2000-224593(專利文獻1)中公開了解決該問題的幀內插方法。在專利文獻1中，在決定內插幀中內插對象塊的象素值時，對每一個相對應的象素，將解碼對象小塊的兩幀間的運動補償幀間差分絕對值與閾值相比較，并分割為差分絕對值未達到閾值的第一象素區(qū)域和差分絕對值大于等于閾值的第二象素區(qū)域。
對于第一象素區(qū)域，求出該區(qū)域的象素值和由兩幀間的運動矢量所指示的參照塊內的對應象素值的平均值，并將該平均值復制到內插幀。另一方面，對于第二象素區(qū)域，判斷解碼對象幀的負面關系，并根據該判斷結果重新設定兩幀間的運動矢量搜索方向而檢測出運動矢量，并將由比例變換后的運動矢量所指示的重新搜索參照幀上的象素值復制到內插幀上。這樣，按照根據兩幀間的運動補償幀間差分絕對值的大小而二分割解碼對象塊后的象素區(qū)域單位來進行內插，由此減輕塊失真，即在塊內包含運動不同的多個對象的情況下所產生的內插誤差。
專利文獻1特開2000-224593號公報發(fā)明內容在專利文獻1中，對于第二象素區(qū)域的搜索方法，雖然切換幀方向，但是沒有對檢測幀內的抽出方法加入附加信息。為了反映實際物體的運動，而將第一象素區(qū)域所使用的象素用作第二象素區(qū)域的象素是不合適的。這樣，對區(qū)域分割后抽取出的第一象素區(qū)域的象素不進行何種制約地進行第二區(qū)域象素的搜索，就會發(fā)生因內插誤差而引起的圖像劣化(噪聲上的劣化)。
因此，本發(fā)明的目的是提供一種不發(fā)生內插誤差的、幀內內插用的內插圖像生成方法和使用該方法的圖像顯示系統。

發(fā)明內容
為解決上述問題，本發(fā)明的一個技術方案的內插圖像生成方法，將第一幀分割為多個第一塊；從所述第二幀中搜索與所述各個第一塊相關性高的第二塊；從所述第一塊中抽取出第一子塊和第二子塊，所述第一子塊包含所述第一塊和所述第二塊間相對應的每一象素的差分絕對值未達到閾值的象素，而所述第二子塊包含所述差分絕對值大于等于所述閾值的象素；從所述第二幀上所述差分絕對值大于等于所述閾值的區(qū)域中搜索與所述第二子塊的相關性高的第三子塊；將所述第一子塊和所述第三子塊復制到內插于所述第一幀和第二幀之間的第三幀。
本發(fā)明的另一技術方案的內插圖像生成裝置包括輸入部，輸入第一幀和第二幀；分割部，將所述第一幀分割為多個第一塊；第一搜索部，從所述第二幀中搜索與所述各個第一塊相關性高的第二塊；抽出部，從所述第一塊中抽取出第一子塊和第二子塊，所述第一子塊包含所述第一塊和所述第二塊間相對應的每一象素的差分絕對值未達到閾值的象素，而所述第二子塊包含所述差分絕對值大于等于所述閾值的象素；第二搜索部，從所述第二幀上所述差分絕對值大于等于所述閾值的區(qū)域中搜索與所述第二子塊相關性高的第三子塊；內插圖像生成部，將所述第一子塊和所述第三子塊復制到內插到所述第一幀和第二幀之間的第三幀中。
根據本發(fā)明，可以生成內插誤差小的內插圖像。


圖1是表示本發(fā)明的第一實施例中的內插幀分配的圖；圖2是表示同一實施例的內插圖像生成順序的流程圖；圖3是表示同一實施例的內插圖像生成順序的流程圖；圖4是說明同一實施例的第一次塊搜索的圖；圖5是表示同一實施例的被抽出的第一、第二塊和第一、第二區(qū)域的圖；圖6是表示同一實施例的圖像例和第一運動矢量的圖；圖7是表示同一實施例的第二運動矢量的圖；圖8是表示同一實施例的各塊圖像數據和成為第四子塊候補的圖像數據的圖；圖9是表示對于不能抽取出圖像數據的象素從相鄰象素求出圖像數據的方法的圖；圖10是表示本發(fā)明的第二實施例的內插圖像生成順序的流程圖；圖11是表示同一實施例的內插圖像生成順序的流程圖；圖12是表示本發(fā)明的第三實施例的內插對象塊搜索和所抽出的各個塊的圖；圖13是表示同一實施例的內插對象塊的搜索和所抽出的各個塊的圖；圖14是表示同一實施例的內插圖像生成順序的流程圖；圖15是表示同一實施例的內插圖像生成順序的流程圖；圖16是表示同一實施例的內插圖像生成順序的流程圖；圖17是表示本發(fā)明的第四實施例的圖像顯示系統的結構的框圖；圖18是本發(fā)明的第五實施例的內插圖像生成處理的流程圖；圖19是本發(fā)明的第六實施例的內插圖像生成處理的流程圖；
圖20是本發(fā)明的第五實施例的內插圖像生成處理的概略圖；圖21是本發(fā)明的第六實施例的內插圖像生成處理的概略圖。
具體實施例下面，參照

本發(fā)明的實施例。下面說明的各實施例由在計算機上動作的程序實現。另外，也可以由半導體集成電路實現。
(第一實施例)如圖1所示，為了在由多個象素構成的原始圖像的第m幀1(m為整數)和第m+n幀2(n為除0之外的整數)間的第m+k幀3(k為從0到n之間的實數)的時間位置上生成內插圖像，在本發(fā)明的第一實施例中使用如圖2和圖3的流程圖所示的順序。另外，這里，m＝1，n＝1，即，將第m幀和第m+n幀作為運動圖像的在時間上連續(xù)的兩個幀進行說明。另外，設k為例如0.5。
首先，如圖4所示，將第m幀1的圖像數據分割為多個第一塊11，并依次抽取出第一塊11(步驟S100)。接著，從第m+n幀2的圖像數據中抽出與各個第一塊11大小和形狀都相同的第二塊12(步驟S101)。圖5(a)(b)表示所抽出的第一塊11和第二塊12的例子。
在本實施例中，使用下面的方法選擇第一塊11和第二塊12的塊對。首先，將第一塊11和第二塊12間相對應的每一象素的第一差分絕對值與預定的第一閾值相比較。接著，計數第一差分絕對值為第一閾值以下的象素數p(p為大于等于0的整數)。最后，選擇象素數p最大的塊對。另外，不限于上述方法，也可選擇第一差分絕對值之和最小的塊對。
接著，求出第一塊11和第二塊12間的相對應的每一象素的第一差分絕對值(步驟S102)。然后，將第一差分絕對值與預定的第一閾值相比較(步驟S103)。另外，在本實施例中，由于在抽取出第二塊12時算出每一象素的第一差分絕對值，所以在步驟S102中沿用該結果。
接著，根據步驟S103的比較結果，從第二塊12中抽出包含第一差分絕對值未達到第一閾值的象素的第二子塊13和包含第一差分絕對值大于等于第一閾值的象素的第一子塊14(步驟S104、S105)。即，第二塊12中第二子塊13是與第一塊11相關性小的區(qū)域，第一子塊14是與第一塊11的相關性大的區(qū)域。將連結第一子塊14和第一塊11內的相對應象素塊的矢量作為對應于第一子塊14的第一運動矢量D。
若對于第一塊11和第二塊12的所有組合進行S102到S105的處理，則第m幀1和第m+n幀2的各象素可識別為第一差分絕對值大于等于第一閾值的象素和未達到第一閾值的象素。利用此處理，如圖5(c)所示，將第m幀1和第m+n幀2分割為包含對應于第二子塊13的象素(第一差分絕對值大于等于第一閾值的象素)的第一區(qū)域21和包含對應于第一子塊14的象素(第一差分絕對值未達到第一閾值的象素)的第二區(qū)域22(步驟S106，S107)。
例如，如圖6所示，在存在由斜線部所示的背景30上向橫向方向運動、由空白所示的平行四邊形的對象31和向右斜下方向運動、由橫線所示的平行四邊形的對象32的情況下，第一塊11和第二塊12的塊對中相關度最高的部分在第一塊11和第2塊12同時存在于背景30上的情況下得到。這時，如圖7所示，第一區(qū)域21為變化了的區(qū)域(圖6的第m+n幀2中的空白部分)，除此之外的區(qū)域(圖6的第m+n幀2中的涂黑部分)為第二區(qū)域22。
這里，如圖8(a)所示，在步驟S104中從第二塊12抽出的第二子塊13為梯形。如前所述，由于包含在第二子塊13中的象素的第一差分絕對值大于等于第一閾值，所以為與第一塊11的相關性小的圖像數據。因此，需要再次從第m+n幀中抽取出與第一塊11的相關性高的圖像數據。
因此，在步驟S107的處理后，如圖8(b)所示，從第m幀1中抽取出大小和形狀都與第二子塊13相同的第三子塊15(步驟S108)，從第m+n幀2中抽取出大小和形狀都與第三子塊15相同的第四子塊16(步驟S109)。
接著，求出第三子塊15和第四子塊16間的相對應的每一象素的第二差分絕對值(步驟S110)。這里，作為第四子塊16的候補，如圖8(c)(d)所示，可從第m+n幀2抽取出大小和形狀(由虛線所包圍的區(qū)域)都與第三子塊15相同的圖像數據。圖8(c)實際上是由橫線所示的平行四邊形對象32運動部分的圖像數據。圖8(d)是由斜線所示的背景30和由空白所示的對象31的邊界部分的圖像數據。由于圖8(d)的空白所示的對象31的大小比由圖8(c)的橫線所示的平行四邊形的對象32大，所示抽取出對象31的圖像數據來作為第四子塊16的候補。
接著，判斷第四子塊16的每個象素屬于第一區(qū)域21還是屬于第二區(qū)域22(步驟S111)。例如，如圖8(e)(f)所示，檢查包含同一形狀的圖像數據的部分(由虛線所包圍的區(qū)域內)的區(qū)域分割狀態(tài)。圖8(f)表示已經抽出所有區(qū)域來作為第二子塊13的象素。
接著，將屬于第一區(qū)域21的象素的第二差分絕對值和預定的第二閾值相比較，從第四子塊中抽出第二差分絕對值未達到第二閾值的第五子塊(步驟S112，S114)。
接著，將屬于第二區(qū)域22的象素的第二差分絕對值和預定的第三閾值相比較，從第四子塊中抽出第二差分絕對值未達到第三閾值的第六子塊(步驟S113，S115)。
在第四子塊中有可能存在不屬于第五子塊和第六子塊的任何一個的象素。這種象素成為在內插幀內產生沒有圖像數據的象素的主要原因。因此，進行后處理，并求出這些象素的圖像數據(步驟S116)。在本實施例中，后處理對象象素的圖像數據是相鄰于后處理對象圖像的多個像素的圖像數據的加權平均值。
在求該加權平均值時所使用的加權系數，可以由后處理對象象素和相鄰象素的距離的倒數來決定。例如，如圖9所示，在求出斜線部的后處理對象象素的圖像數據時，通過對上、下和左邊的象素41、42、43的象素數據a，b，c乘上加權系數2來進行加權，對右邊相鄰的象素44(由于右邊的象素也沒有圖像數據)的圖像數據d乘上加權系數1來進行加權。通過將這四個進行了加權的圖像數據之和2(a+b+c)+d除以7(＝2+2+2+1)來求出上述加權平均值為|2(a+b+c)+d|/7。
最后，根據各個時間位置將在步驟S105中抽出的第一子塊、在步驟S114中抽出的第五子塊和在步驟S115中抽出的第六子塊內的每個象素的圖像數據以及通過步驟S116的后處理所求得的每個象素的圖像數據復制(粘貼)到第m+k幀3上，由此在第m+k幀3上生成內插圖像(步驟S117)。
這里，如圖1所示，根據該圖像數據分別所屬的塊中的第m幀1和第m+n幀2間的運動矢量進行第一子塊、第五子塊以及第六子塊的圖像數據向第m+k幀3上的復制。
如下這樣進行復制處理。首先，求出第一塊11到第二塊12的第一運動矢量MV1。該第一運動矢量MV1是對應于第一塊11的第一子塊14的子塊到第一子塊14的運動矢量。接著，將-(n-k)/k乘以第一運動矢量MV1而求出第二運動矢量MV2。即，通過將第一運動矢量MV1比例變換為從第m+n幀2到第m+k幀3的運動矢量，來求出第二運動矢量MV2。
同樣，求出從第四子塊到第五子塊的第三運動矢量MV3，并對其進行比例變換后求出第四運動矢量MV4。
接著，使用第二運動矢量MV2將第一子塊復制到第m+k幀3上。進一步，使用第四運動矢量MV4將第五子塊和第六子塊復制到第m+k幀3上。例如，在n＝1，k＝0.5的情況下，第m+k幀3是第1.5幀，通過將第一子塊復制到由作為其上第一運動矢量MV1的1/2的第二運動矢量MV2指示的位置上，將第五子塊和第六子塊復制到由作為第三運動矢量MV3的1/2的第四運動矢量MV4所示的位置上，來生成內插圖像。
當在第m+k幀3上的內插對象塊上產生重復復制多個塊的部分時，將重復部分的圖像數據設為多個塊的象素的圖像數據平均值。另一方面，對于第m+k幀3上完全沒有復制圖像數據的部分，通過與上述相鄰象素的加權平均值相同的方法算出圖像數據。
通過對應于分割了第m幀1的所有第一塊11進行從上述步驟S100到步驟S117的處理，來完成對于第m+k幀3的內插圖像的生成。
如上述這樣，在本實施例中，使用第一子塊、第五子塊和第六子塊的象素來作為向第m+k幀3上的內插圖像數據。這里，根據本實施例，通過將第三閾值設定為未達到第二閾值，就可減小在第m+n幀中作為第一子塊所抽出的象素再次作為第六子塊被抽出的可能性。即，可以減小作為第一子塊所抽出的象素被重復使用為向第m+k幀3上的內插圖像數據的情況，可降低內插誤差。
這時，作為第一子塊抽出的幾個象素作為第六子塊抽出。但是，若第三閾值比第一閾值小，則包含在第三子塊和第四子塊間的第二區(qū)域的每一個象素的差分絕對值比作為第一子塊所抽出的象素更小，即，由于第三子塊和第四子塊間的相關性更大的象素被作為第六子塊抽出，并被復制到第m+k幀3，所以可以生成精度更高的內插圖像。
上面，根據本實施例，就可以生成內插誤差小的內插圖像。從而，可以顯示沒有塊失真且沒有噪聲感的圖像，尤其在運動圖像中可以實現更真實的圖像顯示。例如，可以期待改善保持型顯示裝置中的圖像的離焦成像現象。
(第二實施例)下面，使用圖10和圖11說明根據本發(fā)明的第二實施例的內插圖像生成順序。本實施例相當于將第一實施例的第三閾值設為0的結構。
在圖10和圖11中，若對與圖2和圖3相同的部分賦予同一附圖標記進行說明，則在本實施例中去除圖2的步驟S107、圖3的步驟S111、步驟S113和步驟S115，若圖10的步驟S110結束，則跳到圖11的步驟S112。從而，不抽出第一實施例中所說明的第六子塊。
從而，在步驟S117中，使用第一子塊和第五子塊的圖像數據生成對于第m+k幀3的內插圖像。
根據本實施例，通過將第一實施例的第三閾值設為0的結構，使用第一子塊和第五子塊的象素作為向第m+k幀3上的內插圖像數據。即，由于不會重復使用作為第一子塊14而被抽出的象素，故可以可靠地避免由同一子塊的重復使用而造成的內插誤差。
(第三實施例)下面，說明根據本發(fā)明的第三實施例的內插圖像生成方法。在本實施例中，如圖12和圖13所示，假定內插幀的內插對象塊，并以內插對象塊為中心點對稱地搜索第m幀1和第m+n幀2，由此在將圖像數據復制到第m+k幀3上時，使得不產生重疊或間隙，在這一點上與第一實施例不同。對于除此之外的方面，使用與第一實施例相同的順。
下面，使用圖12及圖13和圖14到圖16來說明本實施例的內插圖像生成的處理順序。
首先，將第m+k幀3、例如第1.5幀(m＝1，k＝0.5)分割為多個內插對象塊51(步驟S200)，接著，從第m幀1、例如第1幀的圖像數據中抽出大小和形狀都與內插對象塊51相同的第一塊11(步驟S201)。
接著，如圖12(a)所示，算出連結內插對象塊51和第一塊11的矢量作為第一運動矢量MV11(步驟S202)，并進一步將-(n-k)/k乘到第一運動矢量MV11中而算出第二運動矢量MV12(步驟S203)。這里，若n＝1，k＝0.5，則-(n-k)/k＝-1，第二運動矢量MV12是大小與第一運動矢量MV11相同但方向相反的運動矢量。
接著，根據第二運動矢量MV12從第m+n幀2、例如第二幀(m＝1，n＝1)中抽出成為內插對象塊51的移動目標的第二塊(步驟S204)。在步驟S201到步驟S204的處理中在第一塊11和第二塊11的塊對上存在多個候補。使用與第一實施例中所說明的方法相同的方法，從多個候補中選擇第一塊11和第二塊11的塊對。另外，第一塊11和第二塊12的形狀例如為圖12(b)所示的矩形形狀。
接著，求出第一塊11和第二塊12間的相對應的每一象素的第一差分絕對值(步驟S205)，并將第一差分絕對值與預定的第一閾值相比較(步驟S206)。
接著，根據步驟S206的比較結果，從第二塊12中抽出第一差分絕對值大于等于第一閾值的第二子塊(步驟S207)。進一步，至少從第二塊12中抽出第一差分絕對值未達到第一閾值的第一子塊(步驟S208)。圖12(c)(d)中表示這樣所抽出的第二子塊13和第一子塊14的例子。
在本實施例的步驟S208中，從第一塊和第二塊中分別抽取出第一差分絕對值未達到第一閾值的區(qū)域，并將其平均值設為第一子塊。另外，也可以僅從第二塊中抽取出第一差分絕對值未達到第一閾值的第一子塊。
接著，如圖13(a)所示，將第m幀1和第m+n幀2分割為包含對應于第二子塊13的象素(第一差分絕對值大于等于第一閾值的象素)的第一區(qū)域21和包含對應于第一子塊14的象素(第一差分絕對值未達到第一閾值的象素)的第二區(qū)域22(步驟S209，S210)。
接著，在內插對象塊上，設定作為大小和形狀都與第二子塊13相同的子塊的內插對象子塊52(步驟S211)。
接著，從第m幀1中抽取出大小和形狀都與內插對象塊52相同的第三子塊15(步驟S212)。
接著，算出內插對象子塊52到第三子塊15的第三運動矢量MV3(步驟S213)，進一步，將第三運動矢量MV13乘以-(n-k)/k而算出第四運動矢量MV14(步驟S214)。這里，若n＝1，k＝0.5，-(n-k)/k＝-1，則第四運動矢量MV14為大小與第三運動矢量MV13相同、方向相反的運動矢量。
接著，根據第二運動矢量MV14從第m+n幀2中抽出成為內插對象子塊52的移動目標的如圖13(b)所示的第四子塊16(步驟S215)。在步驟S211到步驟S215的處理中與上述第一塊11和第二塊12的塊對相同，在第三子塊15和第四子塊16的子塊對上存在多個候補。由此，與上述塊對的選擇相同地進行子塊對的選擇。
接著，求出第三子塊15和第四子塊16間相對應的每一象素的第二差分絕對值(步驟S216)。
接著，判斷在步驟S215中所抽出的第四子塊16的每個象素是屬于第一區(qū)域21還是屬于第二區(qū)域22(步驟S217)。
接著，對屬于第一區(qū)域21的象素，將在步驟S216中求出的第二差分絕對值和預定的第二閾值相比較，并至少從第四子塊16中抽出未達到第二閾值的第五子塊(步驟S218，S220)。在本實施例的步驟S220中，分別從第三子塊15和第四子塊16中抽出第二差分絕對值未達到第二閾值的區(qū)域，并將這些平均值設為第五子塊。另外，也可以僅從第四子塊16中抽取出第二差分絕對值未達到第二閾值的第五子塊。
同樣，對于屬于第二區(qū)域的象素，將在步驟S216求出的第二差分絕對值與預定的第三閾值相比較，并至少從第四子塊16中抽出未達到第三閾值的第六子塊(步驟S219，S221)。在本實施例的步驟S221中，從第三子塊15和第四子塊16中分別抽取出第二差分絕對值未達到第三閾值的區(qū)域，并將該平均值設為第六子塊。另外，也可以僅從第四子塊16中抽取出第二差分絕對值未達到第三閾值的第六子塊。
接著，將在第四子塊16的象素之中不屬于第五子塊和第六子塊的任何一個的象素(在內插對象塊內沒有圖像數據的象素)作為后處理對象象素來進行后處理，求出后處理對象象素的圖像數據(步驟S222)。對于該后處理，使用與第一實施例中所說明的方法相同的方法。
最后，對內插對象塊51，將第一子塊、第五子塊和第六子塊內的圖像數據及由步驟S222的后處理所求出的每一象素的圖像數據復制(粘貼)到各自對應位置上，由此在第m+k幀3上生成內插圖像(步驟S223)。
通過對應分割了第m+k幀3的所有內插塊51進行上述的從步驟S200到步驟S223的處理，對于第m+k幀3的內插圖像的生成完成。
以上，根據本實施例，就可以生成內插誤差小的內插圖像。從而，可以顯示沒有塊失真、且沒有噪聲感的圖像，尤其在運動圖像情況下，可以實現更真實的圖像顯示。例如，可以期待改善保持型顯示裝置中圖像的離焦成像現象。
(第四實施例)作為本發(fā)明的第四實施例，對使用了在此前各實施例所說明的內插圖像生成方法的圖像顯示系統進行說明。
圖17表示根據本實施例的圖像顯示系統的概略結構。輸入圖像信號101被輸入到內插圖像生成部102和圖像切換部104。在內插圖像生成部102中，通過第一實施例到第三實施例的其中之一所說明的順序生成內插圖像信號103，并將內插圖像信號103輸出到圖像切換部104。在圖像切換部104中進行是原樣輸出輸入圖像信號101亦或輸出內插圖像信號103的控制。
來自圖像切換部104的輸出圖像信號105被輸出到作為保持型顯示裝置的高速刷新顯示裝置106。在顯示裝置106中，對應包含在輸出圖像信號105中的同步信號，改變刷新速度來進行圖像、例如運動圖像的顯示。
(第五實施例)下面，說明本發(fā)明的第五實施例的內插圖像生成方法。本實施例的內插圖像生成方法是在第m幀2001和第m+n幀2002(m是整數，n是除0之外的整數)間生成內插幀2003的方法。圖18是本實施例的內插圖像生成處理的流程圖。圖20表示本實施例的內插圖像生成處理的概要。
(步驟S1801)分割第m幀2001并抽出多個第一塊2010。在本實施例中將第m幀2001分割為多個均等的矩形塊。
(步驟S1802)從第m+n幀2002中抽出與第一塊2010的相關性高的第二塊2020。對于所有第一塊2010，從第m+n幀2002中抽出相關性高的第二塊2020。
在本實施例中如下這樣抽出第二塊2020。首先，求出第一塊2010和第二塊候補間相對應的每一象素的差分絕對值。接著，數出差分絕對值為預定閾值以下的象素數p(p為大于等于0的整數)。最后，抽出象素數p為最大的第二塊候補來作為第二塊2020。
另外，并不限于上述方法，也可選擇例如差分絕對值的和為最小的第二塊候補來作為第二塊2020。
(步驟S1803)將第一塊2010和第二塊2020的每一象素的差分絕對值與閾值相比較。在本實施例中，由于在步驟S1802中將每一象素的差分絕對值與閾值相比較，所以也可利用該結果，而不重新計算。
(步驟S1804、S1805)從第一塊2010中抽取出包含差分絕對值未達到閾值的象素的第一子塊2011。另外，從第一塊2010中抽出包含差分絕對值大于等于閾值的象素的第二子塊2012。
(步驟S1806)將第m+n幀2002分割為包含差分絕對值大于等于閾值的象素的第一區(qū)域2031和包含未達到閾值的象素的第二區(qū)域2032。
(步驟S1807)從第m+n幀2002的第一區(qū)域2031中抽出與第二子塊2012的相關度高的第三子塊2032。抽出方法與步驟S1802相同。
(步驟S1808)根據第一塊2010和第二塊2020間的運動矢量2041將第一子塊2011復制到內插幀2003。第一塊2010和第二塊2020的運動矢量也是第一子塊2011的運動矢量。依照第m幀與第m+n幀的時間間隔和第m幀與內插幀的時間間隔來比例變換該運動矢量。然后，將第一子塊2011復制到內插幀上比例變換了的運動矢量2043所指示的位置。
另外，也可以取代復制第一子塊2011，而復制相當于第二塊上的第一子塊2011的子塊2021?；蛘?，也可以復制依照與內插幀2003間的時間間隔而對相當于第二塊2020上第一子塊的子塊2021和第一子塊2011進行了加權平均后的圖像。
(步驟S1809)根據第二子塊2012和第三子塊2023間的運動矢量2042，將第二子塊2012復制到內插幀2003上。與步驟S1808同樣，比例變換運動矢量2042。然后，在內插幀2003上比例變換后的運動矢量2044所指示的位置上復制第二子塊2012。
另外，也可以取代復制第二子塊2012，而復制第三子塊2023。或者，也可以復制依照與內插幀間的時間間隔而對第二子塊2012和第三子塊2013進行了加權平均后的圖象。
(步驟S1810)在內插幀2003中，從周圍象素中求出沒有象素信息的象素的象素值。例如能夠使用在第一實施例的步驟S116中所說明的方法。
(第六實施例)說明本發(fā)明的第六實施例的內插圖像生成方法。本實施例與第五實施例的不同點是塊對和子塊對的搜索方法。在本實施例中，如圖12和圖13所示，將內插幀分割為多個內插對象塊。以該內插對象塊為基準幾何對稱地搜索處于第m幀和第m+n幀上的塊對和子塊對。即，搜索與內插對象塊處于一條直線上的塊對和子塊對。
若將內插幀表達為第m+k幀，則最單純的例子是n＝1，k＝0.5的情況。這時，對將內插對象塊作為基準處于點對稱位置上的塊對和子塊對進行第m幀和第m+1幀中相關性高的塊和子塊的搜索。
這樣，通過幾何對稱地進行搜索，就可以抑制在將圖像信息復制到內插幀時所產生的重疊或間隙。
圖19是本實施例的內插圖像生成處理的流程圖。圖21表示本實施例的內插圖像生成處理的概要。
(步驟S1901)將內插幀2103分割為多個內插對象塊2130。
(步驟S1902)抽取出與內插對象塊2130處于一條直線上，且相關性高的第m幀2101的第一塊2110和第m+n幀2102的第二塊2120。進行上述的塊對的幾何對稱的搜索，從第m幀2101中抽出第一塊2110，從第m+n幀2102中抽出第二塊2120。第一塊2110、第二塊2120和內插對象塊2130處于一條直線上。另外，第一塊2110和第二塊2120在搜索范圍內相關性最高。
(步驟S1903)將第一塊2110和第二塊2120的每個象素的差分絕對值與閾值相比較。
(步驟S1904)從第一塊2110中抽出包含差分絕對值未達到閾值的象素的第一子塊2111。
(步驟S1905)從第一塊2110中抽出包含差分絕值為閾值以上的象素的第二子塊2112。第二子塊2112是第一塊2110內相關性低的區(qū)域。
(步驟S1906)將內插對象塊2130內對應于第二子塊2112的區(qū)域設定為內插對象子塊2131。即，由此開始再次對相關性低的部分進行搜索。
(步驟S1907)將第m幀2101和第m+n幀2102分割為包含差分絕對值大于等于閾值的象素的第一區(qū)域2141和2151與包含未達到閾值的象素的第二區(qū)域2142和2152。使得第m幀2101和第m+n幀2102中作為相關度高的區(qū)域而被抽出的部分不用于搜索，而使內插精度提高。因此，在該步驟中，將第m幀2101和第m+n幀2102分為用于搜索的區(qū)域和不用于搜索的區(qū)域。
(步驟S1908)從第一區(qū)域2141，2151中抽取出與內插對象子塊2131處于一條直線上，且相關性高的第m幀2101的第三子塊2113和第m+n幀2102的第四子塊2124。
與步驟S1902相同，對內插對象子塊2131進行子塊對的幾何對稱的搜索。然后，從第m幀2101的第一區(qū)域2141中抽出第三子塊2113，從第m+n幀2102的第一區(qū)域2151中抽出第四子塊2124。若在以第一塊2110和第二塊2120為中心的范圍內執(zhí)行該步驟中的搜索，則內插精度比無限制地進行搜索時要好。
(步驟S1909)根據第一塊2110和第二塊2120間的運動矢量2161，將第一子塊2111復制到內插幀2103中。
(步驟S1910)根據第三子塊2113和第四子塊2124間的運動矢量2162，將第三子塊2113復制到內插幀上。
另外，在步驟S1910中，也可以求出第三子塊2113和第四子塊2124的各個象素的差分絕對值，僅復制該差分絕對值為某一閾值以下的象素，除此以外的象素根據周圍象素值來進行內插。
(變形例)在上述步驟1908中進行第三子塊2113和第四子塊2124的子塊對的搜索。子塊是比塊還小的區(qū)域。在其上，附加從第一區(qū)域2141，2151中進行檢測這樣的條件。由此，搜索條件變嚴，計算量很容易增加。因此，能夠以塊為單位進行搜索，來抑制計算量的增加。
具體的，以包含內插對象子塊2131的內插對象塊2130為基準進行搜索。首先，進行與內插對象塊2130處于一條直線上的、第一幀2101的第三塊候補和第二幀2102的第四塊候補的搜索。這時，在求出第三塊候補和第四塊候補的相似度時，使包含在第一區(qū)域2141、2151中的象素的影響比包含在第二區(qū)域2142、2152的象素的影響變大。例如，若為第五實施例的步驟S1802中所用的方法，則將包含在第一區(qū)域2141，2151的象素的差分絕對值與第一閾值相比較，并將包含在第二區(qū)域2142，2152中的象素的差分絕對值與比第一閾值小的第二閾值相比較。
然后，選擇搜索范圍內相關性最高的第三塊候補和第四塊候補來作為第三塊和第四塊。第三塊內對應于內插對象子塊2131的區(qū)域為第三子塊2113，第四塊內對應于內插對象子塊2131的區(qū)域為第四子塊2124。
權利要求
1.一種內插圖像生成方法，其特征在于將第一幀分割為多個第一塊；從第二幀中搜索與所述各個第一塊相關性高的第二塊；求出所述第一塊和所述第二塊間的第一運動矢量；從所述第一塊中抽取出第一子塊和第二子塊，其中所述第一子塊包含所述第一塊和所述第二塊間相對應的每一象素的差分絕對值未達到閾值的象素，而所述第二子塊包含所述差分絕對值大于等于所述閾值的象素；從所述第二幀上所述差分絕對值大于等于所述閾值的區(qū)域中搜索與所述第二子塊的相關性高的第三子塊；求出所述第二子塊和所述第三子塊間的第二運動矢量；利用所述第一運動矢量和所述第二運動矢量，將所述第一子塊和所述第二子塊復制到內插于所述第一幀和第二幀之間的第三幀中。
2.根據權利要求1所述的內插圖像生成方法，其特征在于，搜索所述第二塊的步驟包括對所述第二幀的第二塊候補和所述第一塊之間相對應的每一象素求出所述差分絕對值；求出所述差分絕對值未達到所述閾值的象素數；選擇在搜索范圍內所述象素數為最大的所述第二塊候補作為所述第二塊。
3.根據權利要求2所述的內插圖像生成方法，其特征在于，搜索所述第三子塊的步驟包括對所述第二幀的第三子塊候補和所述第二子塊間相對應的每一象素計算第二差分絕對值；求出存在于所述區(qū)域內且所述第二差分絕對值未達到第二閾值的象素數；選擇在搜索范圍內所述象素數為最大的所述第三子塊候補作為所述第三子塊。
4.根據權利要求2所述的內插圖像生成方法，其特征在于，搜索所述第三子塊的步驟包括對所述第二幀的第三子塊候補和所述第二子塊間相對應的每一個象素計算第二差分絕對值；求出存在于所述第一區(qū)域內且所述第二差分絕對值未達到第二閾值的第一象素數；求出存在于所述第二幀上所述差分絕對值未達到所述第一閾值的第二區(qū)域內且所述第二差分絕對值未達到第三閾值的第二象素數；選擇在搜索范圍內所述第一象素數和所述第二象素數之和最大的所述第三子塊候補作為所述第三子塊。
5.根據權利要求4所述的內插圖像生成方法，其特征在于所述第三閾值比所述第一閾值小。
6.根據權利要求5所述的內插圖像生成方法，其特征在于所述復制步驟是將所述第一子塊的象素和在所述第三子塊內、(A)存在于所述第一區(qū)域內且所述第二差分絕對值未達到所述第二閾值的第一象素組以及(B)存在于所述第二幀上所述差分絕對值未達到所述第一閾值的第二區(qū)域內且所述第二差分絕對值大于等于所述第三閾值的第二象素組復制到所述第三幀中。
7.根據權利要求6所述的內插圖像生成方法，其特征在于，所述復制步驟包括求出將所述第三幀和所述第二幀的時間間隔除以所述第一幀和第二幀的時間間隔后得到的比例變換系數；求出將所述第一運動矢量乘以所述比例變換系數后的第三運動矢量；求出將所述第二運動矢量乘以所述比例變換系數后的第四運動矢量；根據所述第三運動矢量，將所述第一子塊的象素復制到所述第三幀中；根據所述第四運動矢量，將屬于所述第一象素組和所述第二象素組的象素復制到所述第三幀中。
8.根據權利要求1所述的內插圖像生成方法，其特征在于，所述復制步驟包括求出加權平均了所述第二子塊和所述第三子塊后的第四子塊；利用所述第一運動矢量和所述第二運動矢量，將所述第一子塊和所述第四子塊復制到所述第三幀中。
9.根據權利要求1所述的內插圖像生成方法，其特征在于，所述復制步驟包括復制所述第二塊上對應于所述第二子塊的第四子塊和所述第三子塊。
10.一種內插圖像生成方法，其特征在于將內插于第一幀和第二幀間的內插幀分割為多個內插對象塊；搜索與所述內插對象塊處于一條直線上且彼此相關性高的所述第一幀的第一塊和所述第二幀的第二塊；求出所述第一塊和所述第二塊間的第一運動矢量；從所述第一塊中抽取出第一子塊和第二子塊，其中所述第一子塊包含所述第一塊和所述第二塊間相對應的每一象素的差分絕對值未達到閾值的象素，而所述第二子塊包含所述差分絕對值大于等于所述閾值的象素；從所述第一幀和所述第二幀中抽出包含所述差分絕對值大于等于所述閾值的象素的區(qū)域；搜索與所述內插對象塊內對應于所述第二子塊的內插對象子塊處于一條直線上且彼此相關性高的所述第一幀區(qū)域的第三子塊和所述第二幀區(qū)域的第四子塊；求出所述第三子塊和所述第四子塊間的第二運動矢量；利用所述第一運動矢量和所述第二運動矢量，將所述第一子塊和所述第三子塊復制到所述內插幀中。
11.根據權利要求10所述的內插圖像生成方法，其特征在于，搜索所述第一塊和所述第二塊的步驟包括對所述第一幀的第一塊候補和所述第二幀的第二塊候補間相對應的每一象素求出所述差分絕對值；求出所述差分絕對值未達到所述閾值的象素數；選擇在搜索范圍內所述象素數最大的所述第一塊候補作為所述第一塊；選擇在搜索范圍內所述象素數最大的所述第二塊候補作為所述第二塊。
12.根據權利要求10所述的內插圖像生成方法，其特征在于，搜索所述第三子塊和所述第四子塊的步驟包括對所述第一幀的第三子塊候補和所述第二幀的第四子塊候補間相對應的每一象素計算第二差分絕對值；求出雙方象素存在于所述區(qū)域內且所述第二差分絕對值未達到第二閾值的象素數；選擇在搜索范圍內所述象素數最大的所述第三子塊候補作為所述第三子塊；選擇在搜索范圍內所述象素數最大的所述第四子塊候補作為所述第四子塊。
13.根據權利要求10所述的內插圖像生成方法，其特征在于，搜索所述第三子塊和所述第四子塊的步驟包括對所述第一幀的第三子塊候補和所述第二幀的第四子塊候補間相對應的每一象素計算第二差分絕對值；求出雙方象素存在于所述第一區(qū)域內且所述第二差分絕對值未達到第二閾值的象素對的第一象素數；求出僅一方象素存在于所述第一區(qū)域內且所述第二差分絕對值未達到第三閾值的象素對的第二象素數；求出所有象素都不存在于所述第一區(qū)域內且所述第二差分絕對值未達到第四閾值的象素對的第三象素數；選擇在搜索范圍內所述第一象素數、所述第二象素數和所述第三象素數之和最大的所述第三子塊候補和第四子塊候補的子塊對作為所述第三子塊和所述第四子塊。
14.根據權利要求10所述的內插圖像生成方法，其特征在于，搜索所述第三子塊和所述第四子塊的步驟包括對所述第一幀的第三塊候補和所述第二幀的第四塊候補間相對應的每一象素計算第二差分絕對值；求出雙方象素存在于所述第一區(qū)域內且所述第二差分絕對值未達到第二閾值的象素對的第一象素數；求出僅一方象素存在于所述第一區(qū)域內且所述第二差分絕對值未達到第三閾值的象素對的第二象素數；求出所有象素都不存在于所述第一區(qū)域內且所述第二差分絕對值未達到第四閾值的象素對的第三象素數；選擇在搜索范圍內所述第一象素數、所述第二象素數和所述第三象素數之和最大的所述第三塊候補和第四塊候補的塊對作為所述第三塊和所述第四塊；選擇所述第三塊內對應于所述內插子塊的區(qū)域作為第三子塊；選擇所述第四塊內對應于所述內插子塊的區(qū)域作為第四子塊。
15.一種內插圖像生成裝置，其特征在于，包括輸入部，輸入第一幀和第二幀；分割部，將所述第一幀分割為多個第一塊；第一運動矢量檢測部，從所述第二幀中搜索出與所述各個第一塊的相關性高的第二塊后，求出第一運動矢量；抽出部，從所述第一塊中抽取出第一子塊和第二子塊，其中所述第一子塊包含所述第一塊和所述第二塊間相對應的每一象素的差分絕對值未達到閾值的象素，而所述第二子塊包含所述差分絕對值大于等于所述閾值的象素；第二運動矢量檢測部，從所述第二幀上所述差分絕對值大于等于所述閾值的區(qū)域中搜索與所述第二子塊相關性高的第三子塊，求出第二運動矢量；以及內插圖像生成部，將所述第一子塊和所述第三子塊復制到內插在所述第一幀和第二幀之間的第三幀中。
16.根據權利要求15所述的內插圖像生成裝置，其特征在于，所述第一運動矢量檢測部包括差分絕對值計算部，對所述第二幀的第二塊候補和所述第一塊之間相對應的每一象素求出所述差分絕對值；計數部，求出所述差分絕對值未達到所述閾值的象素數；以及選擇部，選擇在搜索范圍內所述象素數為最大的所述第二塊候補作為所述第二塊。
17.根據權利要求16所述的內插圖像生成裝置，其特征在于，所述第二運動矢量檢測部包括第二差分絕對值計算部，對所述第二幀的第三子塊候補和所述第二子塊間相對應的每一象素計算第二差分絕對值；第二計數部，求出存在于所述區(qū)域內且所述第二差分絕對值未達到所述第二閾值的象素數；第二選擇部，選擇在搜索范圍內所述象素數為最大的所述第三子塊候補作為所述第三子塊。
18.根據權利要求16所述的內插圖像生成裝置，其特征在于，所述第二運動矢量檢測部包括第二差分絕對值運算部，對所述第二幀的第三子塊候補和所述第二子塊間相對應的每一個象素計算第二差分絕對值；第二計數部，求出存在于所述第一區(qū)域內且所述第二差分絕對值未達到所述第二閾值的第一象素數；第三計數部，求出存在于所述第二幀上所述差分絕對值未達到所述第一閾值的第二區(qū)域內且所述第二差分絕對值大于等于所述第三閾值的第二象素數；第二選擇部，選擇在搜索范圍內所述第一象素數和所述第二象素數之和最大的所述第三子塊候補作為所述第三子塊。
19.一種圖像顯示系統，其特征在于，包括輸入部，輸入運動圖像；內插圖像生成部，使用權利要求1-14中任一所述的內插圖像生成方法，根據所述運動圖像的各個幀生成內插圖像；以及顯示部，顯示所生成的內插圖像和所輸入的運動圖像。
全文摘要
提供一種抑制了內插誤差的幀內插用的內插圖像生成方法、裝置和使用該方法、裝置的圖像顯示系統。將第一幀分割為多個第一塊；從第二幀中搜索與所述各個第一塊相關性高的第二塊，并求出所述第一、第二塊間的第一運動矢量；從所述第一塊中抽取出第一子塊和第二子塊，其中所述第一于塊包含所述第一塊和所述第二塊間相對應的每一象素的差分絕對值未達到閾值的象素，而所述第二子塊包含所述差分絕對值大于等于所述閾值的象素；從所述第二幀上所述差分絕對值大于等于所述閾值的區(qū)域中搜索與所述第二子塊的相關性高的第三子塊，并求出所述第二、第三子塊間的第二運動矢量；使用所述第一、第二運動矢量，將所述第一、第二子塊復制到內插于所述第一幀和第二幀間的第三幀。
文檔編號H04N5/14GK1551629SQ20041005950
公開日2004年12月1日 申請日期2004年3月4日 優(yōu)先權日2003年3月25日
發(fā)明者伊藤剛, 三島直 申請人:株式會社東芝