專(zhuān)利名稱(chēng)：：自運(yùn)動(dòng)適應(yīng)圖像處理的裝置和方法
技術(shù)領(lǐng)域：
：本發(fā)明涉^I動(dòng)自ffi圖像M。背景獄柳頻圖像捕獲彭見(jiàn)為空間和時(shí)間的采樣過(guò)程。被捕獲的圖像作為一組以列或行排列的像素。體圖像在時(shí)間上間隔的瞬間被捕獲。鋭化魏常艦了隔行鵬獲取和處理。在隔行視鵬號(hào)中，針圖像被處理為兩組^^交替行的像素。例如，奇數(shù)行可以被包含在一場(chǎng)中，而偶數(shù)行能夠被包含在下一場(chǎng)中。對(duì)于在枧Mf號(hào)帶寬中的非實(shí)鵬加，隔行駄的優(yōu)點(diǎn)是其給出明顯的雙倍圖ftil率，從而減小閃爍，。如果嘗皿取^i具有對(duì)于各自的采樣速率而言太高的空間或時(shí)間頻率的視頻資料，所有鵬方面的采樣倉(cāng),引起驢她。但是在隔行到逐行掃描枧頻轉(zhuǎn)換的區(qū)域中，特定的MS問(wèn)題將&tb^述。如果需要在隔行柳頻和逐行掃描(非隔行)現(xiàn)頻間轉(zhuǎn)換，男卩么對(duì)于非運(yùn)動(dòng)圖像僅僅需魏入兩個(gè)遊魏來(lái)重建具有當(dāng)前所有像素行的非隔ffl"貞。然而，如果雜倒可有效的場(chǎng)間運(yùn)動(dòng)，繊徑可以不工作。在這種環(huán)境中在場(chǎng)中丟失的像素行從相同場(chǎng)的其他像素中能，頗當(dāng)?shù)膶?dǎo)出。換鄰滅，場(chǎng)內(nèi)內(nèi)插鵬，鵬用。實(shí)際上，l見(jiàn)M^以包含圖像序列，在其中一些區(qū)^J見(jiàn)為運(yùn)動(dòng)圖像而另一些區(qū)W^表1^動(dòng)態(tài)圖像。例如，當(dāng)新聞廣播員對(duì)固定衝斜幾講話(huà)，新聞廣播員的嘴、臉和頭可以顯著Jfeil動(dòng)，同時(shí)他們糊區(qū)干、桌子和他們后面的墻不顯著地運(yùn)動(dòng)。因此，，iam的不同轉(zhuǎn)皿略在同一Si象的不同區(qū)域中可以J^s的。因iW于給出的像素決定，njrh策略M^的。對(duì)于一繊部分內(nèi)插通常幾出比隔4飾的結(jié)果，然而對(duì)于翻部分隔《彌常幾出比內(nèi)挪的結(jié)果。因此，更加魏的獄的選擇是非常觀(guān)的。值得注意的，視Mf號(hào)中噪聲的雜肖娜^S魏之間導(dǎo)致可以被錯(cuò)謝鵬釋為運(yùn)動(dòng)的明顯分歧，但是真正的是由于運(yùn)動(dòng)噪聲也能抵消真正的變化，導(dǎo)致在像素或像素區(qū)域中錯(cuò)誤腿現(xiàn)靜態(tài)。這種噪聲誘導(dǎo)的靜態(tài)誤分類(lèi)導(dǎo)致不同的內(nèi)插策略被采用以致在轉(zhuǎn)換圖像中給出不同的輸出結(jié)果，從而增居岐圖像中噪聲的影響。因此期望減小作為^ii動(dòng)圖像區(qū)域的像素的噪聲誘導(dǎo)的誤分類(lèi)的影響。本發(fā)明的目的是為了>，問(wèn)題。
發(fā)明內(nèi)容本發(fā)明的一方面，用于序列圖像中的圖像轉(zhuǎn)換的圖像M方,，驟將圖像或是圖像的一部分中的^h像素與^^像素在圖像內(nèi)運(yùn)辦呈度的名+運(yùn)動(dòng)值關(guān)i^來(lái)；基于充，中于#^戶(hù);^§^素的第一予尺寸的第一區(qū)域內(nèi)發(fā)現(xiàn)的第二像素的運(yùn)動(dòng)值調(diào)^t相應(yīng)像素的運(yùn)動(dòng)值，所，二像素是與期目關(guān)聯(lián)的運(yùn)動(dòng)值指示第一區(qū)域中任意像素的最:^動(dòng)的像素；然后基于位于充分集中于^h所述M^象素的第二預(yù)定尺寸的第二區(qū)域的第二像素的運(yùn)動(dòng)值調(diào)^h相應(yīng)像素的運(yùn)動(dòng)值，所述第二像素是與其相關(guān)^i動(dòng)值^^第二區(qū)域中任意像素的最小運(yùn)動(dòng)的像素；然后根據(jù)^h^S象素分別關(guān)聯(lián)的調(diào)整的運(yùn)動(dòng)it^擇來(lái)自第1鄉(xiāng)呈和/鄉(xiāng)二轉(zhuǎn)鄉(xiāng)呈的貢獻(xiàn)。本發(fā)明的另一方面，用于序列圖像中的圖像轉(zhuǎn)換的圖像M^a包括運(yùn)動(dòng)檢測(cè)器，期每圖像或是圖像的一部分中的齡^H象素與^^像素在圖像內(nèi)運(yùn)動(dòng)程度的各個(gè)運(yùn)動(dòng)皿^^;第一運(yùn)動(dòng)值調(diào)整器，其基于充M中于^h所述各個(gè)像素的第一預(yù)定尺寸的第一區(qū)域內(nèi)發(fā)現(xiàn)的第二像素的運(yùn)^i:可操作地調(diào)自個(gè)相應(yīng)像素的運(yùn)動(dòng)值，所，二像素是與其相關(guān)聯(lián)的運(yùn)^^第一區(qū)域中任意像素的最大運(yùn)動(dòng)的像素；第^ii鵬調(diào)整器，其基于位于充雑中"Wh戶(hù)腿各個(gè)像素的第二預(yù)定尺寸的第二區(qū)域的第二像素的運(yùn)動(dòng)ifs!操作地調(diào)^tM^素的運(yùn)動(dòng)值，所述第二像素是與期目關(guān)聯(lián)的運(yùn)動(dòng)值t&^第二區(qū)域中任意像素的最小運(yùn)動(dòng)的像素；以及轉(zhuǎn)^i^^1，^t據(jù)旨^M^素分別關(guān)聯(lián)的調(diào)^i動(dòng)，擇來(lái)自第一轉(zhuǎn)鄉(xiāng)呈稱(chēng)鵡二轉(zhuǎn)鄉(xiāng)呈的貢獻(xiàn)。有利地，上ffiM個(gè)方面因此具有首先將運(yùn)動(dòng)區(qū)^r大為第一范圍，然后將靜態(tài)區(qū)域擴(kuò)大為第二典型的更小的范圍(相當(dāng)于TO運(yùn)動(dòng)區(qū)域)的效果。然而，半徑小于第一預(yù)定距離的te靜態(tài)區(qū)域！Mil辦廣大被^P移除，并且在接下來(lái)的靜^r大中不能恢復(fù)。與此同時(shí)，其他靜態(tài)區(qū)域咴復(fù)至y^a他們的原始擾態(tài)。最終結(jié)果是小的te的靜態(tài)區(qū)JI^移除同時(shí)其他靜態(tài)區(qū)^^全不^。本發(fā)明進(jìn)"^的^1^面和特征被定義^AM權(quán)利要求中。本發(fā)明的Jd^和期Wm、特征和優(yōu)點(diǎn)將從以下結(jié)合下述附圖被的具體實(shí)M式的詳細(xì)描述中體現(xiàn)。圖1圖解說(shuō)明了平面屏幕顯示配置；圖2圖解說(shuō)明了在演播室環(huán)境中的柳頻混合操作；圖3圖解說(shuō)明了隔行到逐行轉(zhuǎn)換器；圖4a到4c圖解說(shuō)明了梯度檢測(cè)；圖5和6a到6e圖解說(shuō)明了空間塊匹,作；圖7a到7b圖解說(shuō)明了tiS情形；圖8a到8d圖解說(shuō)明了M4檢測(cè)M;圖9a圖解說(shuō)明了運(yùn)動(dòng)自鵬內(nèi)衝圖9b圖解說(shuō)明了在ii^l見(jiàn)頻場(chǎng)中的運(yùn)動(dòng)^^測(cè)；圖10圖解說(shuō)明了高頻校-，作；圖ll圖示了像素屬性調(diào)整；圖12圖示了調(diào)整的像素屬性；圖13A-B圖示了調(diào)整的像素屬性；圖14是圖7示說(shuō)明了轉(zhuǎn)換誤差的例圖；圖15圖示了像素屬性調(diào)整；圖16A《圖示了調(diào)整糊象素屬性；圖17為圖像M方法的^^呈圖。具體實(shí)施方式圖1圖解說(shuō)明了平面屏幕顯示隨10,包括隔行柳頻資茅檷20、隔行到逐行掃描轉(zhuǎn)換器30和如液晶(LCD)或等離辨顯/彌的顯示面板40。其圖解說(shuō)明了隔行到逐行掃描轉(zhuǎn)換的典M用，由于許多廣衝言號(hào)是隔行格式而許多平板顯示器是以逐行格式為最^J力的操作。因此在圖l中，由,亍1!^資茅20接收的廣謝言號(hào)TO來(lái)4^隔行信號(hào)以顯示。其會(huì)5il隔行到逐行掃描轉(zhuǎn)換器30以1^A隔行掃描信號(hào)中^^行掃描信號(hào)。^^^合顯示器40的J1M行掃描信號(hào)?？梢岳硭?，隔行柳頻資料源20可以不需要Jir播接收器，但是可以為視頻重l^a如DVD播放器、網(wǎng)絡(luò)連接如因特網(wǎng),等等。圖2圖解說(shuō)明了在演播室環(huán)境中的^!^^混合操作，為了給出隔行到敏于掃描轉(zhuǎn)^ffi的另一飾i仔。艦，鄉(xiāng)了隔行資茅輞50和逐行掃描資f頓60。這些以為*幾、挪^Sl^S如現(xiàn)M^ia^器或il^iB^器，廣收器麟似的。隔行資料源50的隔行輸出IK^給隔行到逐行掃描轉(zhuǎn)換器70以^行掃描信號(hào)。該逐行掃描信號(hào)連同來(lái)自源60的逐行掃描資料1由枧頻混合器80處理以^1^的逐行掃纖出。當(dāng)然，如果需要的話(huà)視頻混合器80的逐行掃描輸出能被轉(zhuǎn)換回到隔行格式，例如，對(duì)于并后續(xù)的廣播或記錄。從中可以到，柳頻混合器80只是柳WfcS裝置的一個(gè)例子；可代替的，數(shù)對(duì)見(jiàn)頻鵬單元例如能》OT在圖2中的這個(gè)^g。圖3圖解說(shuō)明了隔行到逐行轉(zhuǎn)換器。概掛井，轉(zhuǎn)換器包括場(chǎng)內(nèi)內(nèi)插器如空間內(nèi)插器IOO，運(yùn)動(dòng)自鵬內(nèi)插器110和一組，存儲(chǔ)器120。圖3中的轉(zhuǎn)換器以與輸入隔份湯相同的重^i率^l出逐行掃描幀。因此，對(duì)轉(zhuǎn)換器駐要的需求是在齡隔根湯生成'丟失"像素以將隔fi^轉(zhuǎn)妙逐行掃描幀。其育^131兩種方法之一超U。一方面，空間內(nèi)插器100艦空間內(nèi)插在相關(guān)場(chǎng)中生成'丟失"像素。換鄰M，這是場(chǎng)內(nèi)操作。另一方面，運(yùn)動(dòng)自鵬內(nèi)插器Mm相對(duì)極性的鄰接場(chǎng)插入像素以生成丟知象素。其僅當(dāng)在場(chǎng)之間不tt圖^M動(dòng)時(shí)有效，因此圖3的基本結(jié)構(gòu)為當(dāng)運(yùn)動(dòng)自適應(yīng)內(nèi)插器110的輸出被用在圖1軀動(dòng)沒(méi)有被檢測(cè)到的像素健時(shí)，空間內(nèi)插器100的輸出多細(xì)在圖艇動(dòng)被檢測(cè)至啲圖像錢(qián)。對(duì)于簡(jiǎn)單6^M作，空間內(nèi)插驗(yàn)^H象素健進(jìn)行操作，腿動(dòng)自通s內(nèi)插器選擇空間內(nèi)插器的輸出^w從相辦及性的另一個(gè)場(chǎng)中選擇像素用于輸出，^^昆合，兩個(gè)。運(yùn)動(dòng)自ffi內(nèi)插fl^在以下被更加詳細(xì)的描述。首先，空間內(nèi)插被簡(jiǎn)單描述?？臻g內(nèi)插器包括l:27j^m織放器130，空間塊匹,140，最小化^i^擇器150,對(duì)角線(xiàn)內(nèi)插器160,圓點(diǎn)噪聲消減器170,和凱爾系數(shù)^IE器1800這些的^h操作總結(jié)如下。M器130Mr入隔根湯的每?jī)?，素之間禾,7K平統(tǒng)性?xún)?nèi)插來(lái)M;—個(gè)附加的像素值(iM尤是l:2縮方娥作)。因此，7乂^H)fJI率(至少按照有效像素值的數(shù)目)被加倍，但是ttl^艦于垂直併JI率而言沒(méi)有不同空間塊匹,140和對(duì)角線(xiàn)內(nèi)插器160的所有操作OT來(lái)檢測(cè)與,的像素被內(nèi)插的像素腿相關(guān)的圖像伊征的定向，然后歸圖像特征方向鵬用內(nèi)插。因此如果當(dāng)前像素錢(qián)繊內(nèi)搬于例如與7K平成45'上的對(duì)角線(xiàn)圖像特征(行、;ii^),新像素的內(nèi)插會(huì)髓該45'的方向發(fā)生。鵬向給出一個(gè)比限偉詠平或垂直內(nèi)插更好的輸出結(jié)果。，理的關(guān)鍵部分明顯的是在^t^素，檢測(cè)圖像特征的方向?，F(xiàn)錄圖4A4C,該檢測(cè)禾傭塊匹配^S^Mm行。圖4A圖解說(shuō)明了圍繞絲知像素220(內(nèi)部具有問(wèn)號(hào)標(biāo)己的圈)的^Si:的兩偉穀央200、210之間的跟力的塊匹配。真正地，在當(dāng)前圖中4頓的f辨是指/^^個(gè)已知像素的正方形，然而圓圈tl^一個(gè)將由對(duì)角線(xiàn)內(nèi)插器160來(lái)內(nèi)插的像素。圖4A4C中的陰影歸意性的圖像特征的表示。因此，錄圖4A，圍繞絲知像素健220上的塊200、210之間的^力的塊匹配被獲得，J際1/2的圖像特征,度?，F(xiàn)在轉(zhuǎn)向圖4C，圖像特征是垂直的并且這又是aS塊230、240之間的成功的塊匹配。然而，在圖4B中，圖像特征具有1/16^J^度。在識(shí),素健的處不可能獲得^力的塊匹配。在塊250、260之間的^E力的匹配出Jte半個(gè)，的像素位置上。從而，為了檢測(cè)這禾術(shù)性^J^度(實(shí)際上比l/2更尖銳的樹(shù)可梯度)，需要在子像素精確i^J^作。在當(dāng)前情形中，艦f柳來(lái)自l:2縮放器中的像氣半像素的精確度IMffi。如果仍需4OT更高精確度(例如四分之一像素精確度)，那么檢測(cè)到依然,于垂直^^度。圖5和圖6AAE圖解說(shuō)明了空間塊匹,作。如上戶(hù)形己錄的，空間塊匹自，素精確i^i:M^行，在這種瞎況中為半像素精確度。塊尺寸的范圍被<頓，具剤腦的総范圍(相關(guān)于在測(cè)試下的像素隨的最大位移)?？紤]1:2^^作，i狄寸的例子禾,范圍被下表給出<table>tableseeoriginaldocumentpage8</column></row><table><table>tableseeoriginaldocumentpage9</column></row><table>圖5圖解說(shuō)明了圍繞絲知像素錢(qián)320上的3v(垂直)乘7h(ZK平)像素300、310的兩個(gè)±央之間的塊匹,作。變量d表示為塊的7K平中心距離測(cè)試下的像素位置的7K平位移。/^于塊匹配的割牛^^些塊必須總Mfi在泖賦下的像劍體上。同樣，塊被示出在實(shí)際像素位移中雜的纖數(shù)目(因此m的位移對(duì)應(yīng)于2m內(nèi)插像素的位移)。從而，在圖5中示出的特定的耿寸允許九個(gè)可能的測(cè)試包括-2像素(圖6A)-1像素(圖6B)0像素(圖6C)，+1像素(圖6D)，和+2像素(圖6E)的位移。注意所述位移^^距離中心的位移。這兩個(gè)塊在相對(duì)的方向上移動(dòng)相等的數(shù)量。娥爾位移被4頓是因?yàn)榱硐Σ菲ゴ肟梢詸z測(cè)與測(cè)試下的像素不相關(guān)的行艦緣。旨匹Sdt央的鄉(xiāng)M差的和(SAD)被計(jì)算。其被如下定義-<formula>formulaseeoriginaldocumentpage9</formula>其中x^y標(biāo)當(dāng)前像素的坐標(biāo)(y是幀行數(shù)目)，d^^斤測(cè)試的位移，以及n是所述塊盼'判5"(塊的寬度等于n'-2n+l)。概掛井，SAD戯三個(gè)顏色元素(紅，纟斜腿)組合而成，以及最小標(biāo)準(zhǔn)化SAD值決定內(nèi)繊度。各種檢査用預(yù)免如下戶(hù)腐飾頓內(nèi)插。測(cè)量，細(xì)預(yù)免、驢情形所弓胞的問(wèn)題。圖7A和7B圖解說(shuō)明了一種可能的驢瞎形。參看圖7A,塊340和350之間的匹配i^^未失膽素330應(yīng)i^暗灰色。這里，匹配塊是100"M^J力并因此SAD錢(qián)0(注意這是一^意性的例子)。然而，在圖7B中，塊360和370之間的匹Kt央也是100。/o^c力，又一次給出為0的SAD值。圖7B的匹配i^l^未失晚素330應(yīng)該是竊色。匹配塊結(jié)果的沖突是圖7A和7B中所示的翻象部分中對(duì)角線(xiàn)上密集的圖像特!￡^間的^。當(dāng)它首先^^對(duì)角線(xiàn)都是同等有效時(shí)(例如，^J，右下的P就角^Ji—從右J^佐下的更平緩的對(duì)角線(xiàn))，^bSM則被粒以允許進(jìn)行適當(dāng)?shù)倪x擇。規(guī)則的基礎(chǔ)是塊匹配戰(zhàn)呈被限制以使得僅有被認(rèn)為"行片斷'的區(qū)繊Mi!)。也就是說(shuō)，塊匹配中的^t塊都應(yīng)該包含行片斷。數(shù)判七的行片斷被認(rèn)為具有兩禾術(shù)性。首先，正被討論的塊的療目中M3描線(xiàn)無(wú)變化，以及其次是在正被討論的塊中的掃描線(xiàn)t間具有垂直轉(zhuǎn)變。這對(duì)寺性被測(cè)試的方^lil圖8A-8D被描述。在圖8A中，一源場(chǎng)包括多個(gè)對(duì)角線(xiàn)。圖犯^^性說(shuō)明了圖8A中圖像中的一行像素。圖8C和8D圖解說(shuō)明了圖犯中所示對(duì)角線(xiàn)的兩^Ni^。從中可見(jiàn)，這^i^中的^h都具有^h單調(diào)變化的像素的1分。再回頭錄圖8A，從中可皿些片斷在相鄰像素行之間顯現(xiàn)為垂直轉(zhuǎn)變。那么，回到圖7A和7B，根據(jù)Jd^規(guī)則圖7A的塊匹配鄉(xiāng)^ia行圖7B中的塊匹配。這是因?yàn)閳D7B中兩個(gè)塊的像素的中心^i見(jiàn)為在mi:單調(diào)變化，而圖7A的塊340，350的像素的中心線(xiàn)不是。關(guān)于^h鵬分量(如，R,G禾口B)的測(cè)試被分別執(zhí)行。所有三個(gè)娜^i、須分別m?？蛇x擇的是，例如為節(jié)約硬件，少于三個(gè)觀(guān)ii式l^l行。例如，只有亮度，鵬只有一個(gè)顏色分量被觀(guān)賦。當(dāng)然，可選擇的，YCbCr或YPbPr^^可以被測(cè)試。對(duì)角線(xiàn)內(nèi)插器160是一個(gè)簡(jiǎn)單的像素平均器；l個(gè)方向其可以拾取該方向上在線(xiàn)下的像素和TO向上在B的像素并S^們進(jìn)行平均。圓點(diǎn)噪聲消170進(jìn)行iOT于對(duì)角線(xiàn)內(nèi)插器160輸出的處理。一個(gè)測(cè)試被應(yīng)用于檢測(cè)內(nèi)插像素是否在四個(gè)相鄰的垂直和水，素的最大禾嘬小值內(nèi)，例如，該內(nèi)插像素正上，正下，！E&和正右的像素。注意內(nèi)插像素Jdi和下邊的像素是實(shí)像素，而Si和右邊的像素是內(nèi)插像素本身。如果內(nèi)插像素稱(chēng)這個(gè)范圍內(nèi)，貝U;使v作為戶(hù);f^慮像素的初始值，^H吏v，為v，被皿為自4個(gè)局鰣目鄰像素的范圍內(nèi)。^§像素戯1^0>^，+(l-kDNR)v，其中kDNR是可^f呈的常數(shù)。鵬描鄉(xiāng);UK系ii^aE器18。,作。在目前的討論中，參照iUK系數(shù)可以簡(jiǎn)單地幫S^釋示范性的系統(tǒng)的這部分,作。濾波器的實(shí)P別OT是簡(jiǎn)化了對(duì)于源圖像沒(méi)有^ffl對(duì)其可獲得的，寬的知識(shí)，無(wú)論是由于掃描ii^Jif0yiii^ba0^的。該i^系數(shù)是^/i^行掃描和隔行圖像特性的M。為了彰見(jiàn)被掃描的信息，通常認(rèn)為可能垂直帶寬中僅有70%(凱爾系數(shù))被(應(yīng)該被)表現(xiàn)。因此當(dāng)執(zhí)行隔行向逐行掃描轉(zhuǎn)換時(shí)，嘗i爐生全垂直帶寬圖像是具有潛在危險(xiǎn)的。可割戈的是，4頓州嘗辦決ii/爾系數(shù)小于i。一種w勞鵬系數(shù)的方法是在樹(shù)可隔行到逐行的掃描算法的輸出幀上4頓70%帶寬、搶波器，然而，幀中的一個(gè)場(chǎng)是'真實(shí)'i^-例如，其被正確采樣，貝睞自該場(chǎng)的內(nèi)容m:定義一定完美的。因而^ffl只^t波內(nèi)插行的方法。圖9a示意性說(shuō)明了運(yùn)動(dòng)自通S內(nèi)插器110作。內(nèi)插器110包掛刻、司塊匹配器600，高頻檢測(cè)器610禾口混合器620。場(chǎng)間塊匹,600使用來(lái)自當(dāng)I^JA^和三場(chǎng)存儲(chǔ)器120的數(shù)據(jù)以執(zhí)行場(chǎng)間運(yùn)動(dòng)比較。這包括將當(dāng)前場(chǎng)(圖9b中的&)的像素塊與同，M"場(chǎng)(Fw_2)中對(duì)應(yīng)的定位±央比較以及同樣地比較同，的在前場(chǎng)(&,)和在前場(chǎng)(u這些比較結(jié)果Mffl來(lái)檢測(cè)圖像中的運(yùn)辦M。特別是，會(huì)M差的加權(quán)和(SWAD)如下產(chǎn)生。4個(gè)匹l&t央l^l行以產(chǎn)生2個(gè)SWAD，S附Z^鵬和SWZ^。皿。鵬匹set央是在場(chǎng)^和&-2中的5hx4v力口權(quán)塊匹配。在場(chǎng)&—,和&—3中的5hx3v加權(quán)塊匹配。在場(chǎng)&—,和f^中的lhxlv加權(quán)塊匹配。在場(chǎng)^和&_2中的lhx2v加權(quán)塊匹配。力財(cái)又塊匹SS^重合像素之間的力P^^CT差斜口，SWAD。<formula>formulaseeoriginaldocumentpage11</formula>其中Fw-,(dx，dy)是在當(dāng)前像素的幀相^2dx^dy的值。典翻敝働<formula>formulaseeoriginaldocumentpage11</formula>12/102423/102428/102423/102412/1024]5hx3v土央[20/腿39/102448/102439/102420/腿48/畫(huà)94/1024117/102494/102448/腿20/102439/廳48/102439/102420/腿]lhx2v塊[128/256128/256Jlhxlv塊[255/256]-實(shí)際劃口權(quán)對(duì)第一兩個(gè)SWAD斜B給出了基于區(qū)域的匹12±央，S附億鵬對(duì)后者兩個(gè)SWAD求和給出了局部匹配塊，S『^^。d所有三個(gè)鵬元素以相同的方觀(guān)SWAD起作用。系統(tǒng)需要只維^HS象素的三元素的SAD，然后它們被加權(quán)和合并來(lái)自塊中其他像素的值。這意贈(zèng)鵬的這方面僅需要大約10bpp(敏象素比特)的5行存儲(chǔ)器。可選擇的是，高頻報(bào)測(cè)器610被安fflti輸A^中的高頻率。算法是基于下面的原理。如果交錯(cuò)兩個(gè)源場(chǎng)產(chǎn)生很多高頻率育遣，則設(shè)法確定輸入Ji^靜止的。只有靜止柳頻可以產(chǎn)生可靠的高頻率；高度驢運(yùn)動(dòng)可以產(chǎn)生高頻率，但;i^不是場(chǎng)間內(nèi)插所需要的瞎形。如mii動(dòng)出現(xiàn)，貝險(xiǎn)產(chǎn)生高頻率，其中場(chǎng)被不正確交錯(cuò)。參看圖10，高頻測(cè)器使用來(lái)自當(dāng)前場(chǎng)&的當(dāng)前內(nèi)插像素:tJ:和之下的行和來(lái)自對(duì)應(yīng)于丟失行的在前場(chǎng)F^,的行。HFC可以被認(rèn)為是5x3相鄰像素檢測(cè)。胖C,』和朋C^,是兩個(gè)可編程的常數(shù)，其中前者大于后者。設(shè)置衞己exceededHighEnergy=false^"分量(，它們的^)(RGB/YPbPr)-YPbPr^^在高清晰系統(tǒng)中的色空間，在標(biāo)麟晰系統(tǒng)中都以同樣方細(xì)于YCbCr:t§2eneigy=0對(duì)于具有7K平隨x^2，-1，0，1，2(相對(duì)于當(dāng)前像素)的像素，4頓行(,w一,)場(chǎng)働v。，以及當(dāng)前場(chǎng)的上一行和下一行的働、和v貝ij:如果v。Ouin(v,，V-')，difi^min(v,，、,)-Vo鄉(xiāng)口果v?！祄in(v,，v—,)，diff=v。畫(huà)max(v,，v一,)如爽鵬臟幼』),體enengy=eneiBy,CM-臟錢(qián))*weighting[x]鄉(xiāng)口爽diff^FC,滅),體energyenetgK腿-度,迪)*weightingx]如果energy>//R:。。w。，設(shè)置l^iSexceededHighEnergy=tnie雜鵬亍Wt分量上的鵬。隨后，如果exceededHighEnergy,e，給S附A^增加可編程的常數(shù)值，,相扁的增加將趨向于頗御嫩出隨的運(yùn)動(dòng)自Mis像素的j頓?；旌掀?20依據(jù)標(biāo)準(zhǔn)SWA脇和S『AC^。d和不同的閥值^m2,他運(yùn)行如果SP^^。M〉A(chǔ)/^/j,,僅使用空間內(nèi)插場(chǎng)&否則如果SWD,鵬>咖^2，僅使用空間內(nèi)插場(chǎng)Fm否則如果SWZ),^<Ar^;3,僅使用場(chǎng)/^_,否則混合場(chǎng)/^—,和F^使0H>rw/2yOms/i2-AreA)所得像素值^/^+(l"O0F^換句話(huà)說(shuō)，(X表示像素活動(dòng)并決定來(lái)自場(chǎng)內(nèi)和場(chǎng)間內(nèi)插器的貢獻(xiàn)。同時(shí)僅有&—,和&.^i^等式中混合，從中可以意iRliJ，在其中的附加圖像場(chǎng)或部分在給定的像素錢(qián)與/V,和iV混合，例如如果根本沒(méi)有運(yùn)動(dòng)，可以是用于圖像的交替行的/^的未熗波行，或是更早的斷,&3?？芍谝曨l輸入的連續(xù)場(chǎng)中噪聲的存在可以產(chǎn)生'運(yùn)動(dòng)噪聲'，即是，附加噪聲弓撥的^^f弓跑的像素上的明顯運(yùn)動(dòng)。然而，轉(zhuǎn)換也是可行的；也就是附加噪河以折衷像素值中真正的變化，導(dǎo)致當(dāng)像素實(shí)際J^分，運(yùn)動(dòng)時(shí)而外^LW，充分靜態(tài)。當(dāng)噪聲影響的像素值非^;^a于分類(lèi)閥值時(shí)這樣的假靜劍象素也會(huì)出現(xiàn)。清楚的是，如果場(chǎng)^中的像素被i賜J為靜態(tài)而實(shí)際上為運(yùn)動(dòng)的，則高值Ot(與靜^^象素相關(guān))聯(lián)導(dǎo)M自先前場(chǎng)/v,的實(shí)際誤匹配M在混合^l像素中占主導(dǎo)，如上面所公開(kāi)的等式中戶(hù)膽至啲一樣。這可以+難力被鵬的圖^^Ji產(chǎn)生可視緣現(xiàn)參看圖11，與^H象素相關(guān)聯(lián)的a值在混合以得至鵬賦區(qū)域中所發(fā)現(xiàn)的最dxx值(也就是該值^最強(qiáng)圖像內(nèi)運(yùn)動(dòng))之f^化，加上取決于當(dāng)前像素以及與最dxx值相關(guān)聯(lián)的像素之間的距離的可變，。特別地，<formula>formulaseeoriginaldocumentpage14</formula>±7h禾tttlv像織中在將被被改變嘴素的典型觀(guān)賦區(qū)域。p離審J^^繊的大小。iMI呈在下文中被稱(chēng)為第一M。該p值當(dāng)然可以為0。參看圖12，對(duì)于!艇動(dòng)像素420包圍的一個(gè)或多個(gè)靜劍象素410所在的小區(qū)域，第一鵬的效果^I動(dòng)區(qū)域420(制fea值標(biāo))擴(kuò)展以將在其里面和圍縱的靜態(tài)小區(qū)鄉(xiāng)除，MM靜態(tài)區(qū)域的a值以形繊的運(yùn)動(dòng)區(qū)域420'。然而，現(xiàn)錄圖13A和13B，在該效果阻礙了噪聲弓跑的靜態(tài)區(qū)域410的同時(shí)，其加劇了噪聲弓l發(fā)的運(yùn)動(dòng)區(qū)域420的雜，如同他們被擴(kuò)大為占主導(dǎo)的靜態(tài)區(qū)域410—樣。圖13A腕了圍^g動(dòng)噪聲像素的a值和a，值，其中運(yùn)動(dòng)像素區(qū)域420'擴(kuò)大為MMMI圍的一徵刻象素a值，同時(shí)圖13B類(lèi)^ttkM^了與運(yùn)動(dòng)區(qū)域420相鄰的靜態(tài)區(qū)域410的a值和a'值，其中運(yùn)動(dòng)區(qū)域420'以類(lèi)似的方幼廣大以侵占靜態(tài)區(qū)域410。執(zhí)行隔行到逐行掃描的轉(zhuǎn)換的運(yùn)動(dòng)噪聲擴(kuò)大區(qū)域502的例子可以在圖14中看到。在該圖中，附加到輪廓區(qū)域502的中'lM象素上的噪聲導(dǎo)致其被分類(lèi)為運(yùn)動(dòng)，并且接下來(lái)如上面所描述的擴(kuò)大以形駅寸足夠大的區(qū)域，這使f雜+難』步驟中效果(也就是使用內(nèi)插而不是隔行)是可視的?，F(xiàn)錄圖15，在本發(fā)明的第二實(shí)施例中，一個(gè)相反的赫第二過(guò)程!贓用以離更小像素區(qū)域的纖效果；也就是，對(duì)選擇的像素卿在測(cè)試區(qū)域(如.最多靜雄，或具有最小像素內(nèi)運(yùn)動(dòng))中應(yīng)用最高保持的阿爾、;sfi減去基于距離的偏移。特別地，<formula>formulaseeoriginaldocumentpage14</formula>i4h像織中在將被被改^^素的典型泖賦區(qū)域。q離律何變繊的大小。錄圖16A至16C，a，a'禾Pa"tf^賣(mài)展示。在圖16A中，運(yùn)動(dòng)區(qū)域(如，一^H象素，由于噪聲)420A顯示在靜態(tài)區(qū)域410A內(nèi)，并且可以看到運(yùn)動(dòng)區(qū)鵬循第^MI呈擴(kuò)大為420A，(a至ija，)，但^iif盾靜態(tài)區(qū)域410A，擴(kuò);^原的第二過(guò)程M為420A"(a'至ija")。同樣tt圖16B中，當(dāng)運(yùn)動(dòng)區(qū)域420B與靜態(tài)區(qū)域410B相鄰時(shí)，運(yùn)動(dòng)區(qū)域的ii^^麟"af呈擴(kuò)大為420B,(ot至ija')，但JiiH盾靜態(tài)區(qū)域410B，擴(kuò)誠(chéng)原的第二a^B^為420B"(a，至lja")。然而，在圖16C中，小靜態(tài)區(qū)域410C艇動(dòng)區(qū)域420C圍繞，當(dāng)運(yùn)動(dòng)區(qū)J^lf麟HiM廣大為420C并完全移,態(tài)像素的小區(qū)域410C(a至IJa')，運(yùn)動(dòng)區(qū)J^ffi用第二過(guò)程時(shí)(a'到a")時(shí)不l縮，這是因?yàn)闆](méi)有靜劍象素,高P可爾,，itm二Mf呈中從高阿爾離該增加a"值。因雌一和第二鵬的合并效果參照?qǐng)D17的漸呈亂可以總結(jié)如下在第1驟sl中，運(yùn)動(dòng)區(qū)域被擴(kuò)大為第一范圍；在第二步驟s2中，靜態(tài)區(qū)域被擴(kuò)大為第二范圍(等同于l縮運(yùn)動(dòng)區(qū)域)；第一范圍是在運(yùn)動(dòng)區(qū)域內(nèi)的小靜態(tài)區(qū)域通MiE動(dòng)擴(kuò)大被完全移除并且在接下來(lái)的靜^T大中不育&咴復(fù)，同時(shí)其他靜態(tài)區(qū)域咴復(fù)至iJ^te們的最初狀態(tài)。因此出現(xiàn)在《^小區(qū)域的靜劍象素弓l發(fā)的大多數(shù)噪聲被消除，同時(shí)在別處不會(huì)太大影響基于a的運(yùn)動(dòng)分類(lèi)。接著，鄉(xiāng)三步驟s3中，其可以對(duì)靜劍象素交錯(cuò)圖傲湯，同時(shí)對(duì)運(yùn)動(dòng)像素使可選擇的是，第二范圍在大小上比第一范圍更小。在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)lteffi時(shí)，當(dāng)尋鶴小鵬大的鄰ifia值時(shí)，先辦貞得來(lái)的a值鵬于第一和第二戰(zhàn)呈。這減少了固有的，延遲，例如，確定圖像(+W)中下一行的a值?？梢岳斫猓厦婷枋龅募夹g(shù)可以應(yīng)用于整個(gè)圖#^其中一部分，圖像中所選擇像素的相鄰^T、相鄰的—部分。本領(lǐng)域技術(shù)人員可以意i形樹(shù)于場(chǎng)^和&_,混合的難騒于圖像序列中的隔行圖像的幾個(gè)可能混M擇中的一個(gè)。歸納&.到/^和/^到/^，內(nèi)插模式選擇定義如下模式l:0個(gè)場(chǎng)系^fi(如說(shuō)明書(shū)中)-/^=與場(chǎng)^相關(guān)的內(nèi)插場(chǎng)豐M2:1個(gè)場(chǎng)系^MK，向后混合-F^與場(chǎng)^-,相關(guān)的內(nèi)撖湯廠(chǎng)M"^^廠(chǎng)W-2模式3:l個(gè)場(chǎng)系^iE，向itr混合曙&=與場(chǎng)/^相關(guān)的內(nèi)因此，例如，混合像素值將等于o^+(l-a)&。圖9a中所示的運(yùn)動(dòng)自SiS內(nèi)插器110適合執(zhí)行上面描述的不同實(shí)施例的方法。通常來(lái)說(shuō)，可以意i鄉(xiāng)體發(fā)明可以頓當(dāng)軟4權(quán)制下的可編程鵬半可鱅呈的硬件設(shè)備中執(zhí)行。硬件設(shè)備可以J^I常目的的計(jì)Ml^例如ASIC(專(zhuān)用,電路)或FPGA(!^可編程門(mén)陣列)^Jiii動(dòng)自鵬內(nèi)插器110的錢(qián)。軟件可以是由載體或是存儲(chǔ)媒體例如盤(pán)或是固態(tài)存儲(chǔ)器，或JM31傳送媒體例如網(wǎng)絡(luò)或因f寺網(wǎng)連接，或JM31它們的組合^Ji^。雖然本發(fā)明的具體實(shí)皿式:參照附圖被詳細(xì)闡述，可以M本發(fā)明并不局限于這些實(shí)施方式，并且在不脫離由附加權(quán)利要求所定義的本發(fā)明的范圍和精神內(nèi)本領(lǐng)嫩術(shù)人員可以實(shí)現(xiàn)CT同的變似唯改。參數(shù)的一酵仔<table>tableseeoriginaldocumentpage16</column></row><table>權(quán)利要求1.一種用于序列圖像中的圖像轉(zhuǎn)換的圖像處理方法，包括步驟將圖像或是圖像的一部分中的每個(gè)相關(guān)像素與表示該像素的圖像內(nèi)運(yùn)動(dòng)程度的相應(yīng)運(yùn)動(dòng)值相關(guān)聯(lián)；基于基本集中于每個(gè)所述相關(guān)像素的第一預(yù)定尺寸的第一區(qū)域內(nèi)發(fā)現(xiàn)的第二像素的運(yùn)動(dòng)值，調(diào)整每個(gè)相關(guān)像素的運(yùn)動(dòng)值，所述第二像素是與其相關(guān)聯(lián)的運(yùn)動(dòng)值指示第一區(qū)域中任意像素的最大運(yùn)動(dòng)的像素；和然后基于位于基本集中于每個(gè)所述相應(yīng)像素的第二預(yù)定尺寸的第二區(qū)域中的第二像素的運(yùn)動(dòng)值，調(diào)整每個(gè)相應(yīng)像素的運(yùn)動(dòng)值，所述第二像素是與其相關(guān)聯(lián)的運(yùn)動(dòng)值指示第二區(qū)域中任意像素的最小運(yùn)動(dòng)的像素；和然后根據(jù)每個(gè)相關(guān)像素的分別關(guān)聯(lián)的經(jīng)調(diào)整的運(yùn)動(dòng)值，對(duì)于該每個(gè)相關(guān)像素選擇來(lái)自第一轉(zhuǎn)換過(guò)程和/或第二轉(zhuǎn)換過(guò)程的貢獻(xiàn)。2.如權(quán)利要求l所述的方法，其中調(diào)麟中于第一區(qū)域的戶(hù);M相應(yīng)像素的運(yùn)動(dòng)值包鄉(xiāng)驟出于iffil檢測(cè)第一區(qū)域內(nèi)的最煩動(dòng)^i^擇第二像素的目的，iiil基賴(lài)中于第一區(qū)域的所述相應(yīng)像素與第一區(qū)域內(nèi)的^其他像素之間的實(shí)際距離的另外值，來(lái)調(diào)鄉(xiāng)一區(qū)域內(nèi),素的運(yùn)離；以及將關(guān)于所選擇的第二像素的調(diào)MM作所述集中于第一區(qū)域的相應(yīng)像素的驗(yàn)動(dòng)值。3.如權(quán)利要求i所述的方法，其中調(diào)整戶(hù);M集中于第二區(qū)域的相應(yīng)像素的運(yùn)動(dòng)tt包括以下步驟出于i!31檢測(cè)第一區(qū)域內(nèi)的最小運(yùn)動(dòng)^ii擇第二像素的目的，MilS賴(lài)中于第二區(qū)域的所述相應(yīng)像素與第二區(qū)域內(nèi)的^h其他像素之間的實(shí)際距離的另外值，來(lái)調(diào)麟二區(qū)域內(nèi)的像素的運(yùn)離；以及將關(guān)于所選擇的第二像素的調(diào)整值用作所述集中于第二區(qū)域的相應(yīng)像素的4.如權(quán)利要求l戶(hù)腿的方法，其中第"f腚尺寸的第一區(qū)駄于第二予跪尺寸的第二區(qū)域。5.—種用于序列,中圖像轉(zhuǎn)換的圖像鵬體，戶(hù);f^g包括運(yùn)動(dòng)檢測(cè)器，微圖^^圖像的1分中的^h相劉象素與泰^iM象素的圖像內(nèi)運(yùn)辦號(hào)的相^動(dòng)值相關(guān)聯(lián)；第一運(yùn)動(dòng)值調(diào)整器，其基于S^集中于W^M相應(yīng)像素的第一予I^尺寸的第一區(qū)域內(nèi)發(fā)現(xiàn)的第二像素的運(yùn)動(dòng)值，調(diào)^h相關(guān)像素的運(yùn)動(dòng)值，所，二像素是與期目關(guān)聯(lián)的運(yùn)動(dòng)值^^第一區(qū)域中任意像素的最^i!動(dòng)的像素；第:^it動(dòng)值調(diào)整器，其基于位于基本集中Wh臓目鄉(xiāng)素的第二予腕尺寸的第二區(qū)域的第二像素的運(yùn)動(dòng)值，調(diào)整^h相應(yīng)像素的運(yùn)動(dòng)值，所述第二像素是與其相關(guān)聯(lián)的運(yùn)^^^第二區(qū)域中任意像素的最小運(yùn)動(dòng)的像素；以及轉(zhuǎn)^i^擇器，^!據(jù)^t相關(guān)像素的分別關(guān)聯(lián)的經(jīng)調(diào)整的運(yùn)^，對(duì)于該每個(gè)相劉象素選擇來(lái)自第一轉(zhuǎn)^yif呈柳，二轉(zhuǎn)^MI呈的貢獻(xiàn)。6.如權(quán)利要求5所述的圖像艦驢，其中靜態(tài)圖像重賜l^affl于出于M;檢測(cè)第一區(qū)域內(nèi)的最^^動(dòng)^i擇第二像素的目的，ffiiiS，中于第一區(qū)域的所述相應(yīng)像素與第一區(qū)域內(nèi)的旨其他像素之間的實(shí)P示距離的另外值，來(lái)調(diào)Sm—區(qū)域內(nèi)的像素的運(yùn)動(dòng)值；以及將關(guān)于所選擇的第二像素的調(diào)整iOT作所述集中于第一區(qū)域的相應(yīng)像素的縦動(dòng)值。7.如權(quán)利要求5所述的圖像M體，其中運(yùn)動(dòng)值調(diào)整器用于-出于ffiil檢測(cè)第一區(qū)域內(nèi)的最煩動(dòng)^^擇第二像素的目的，i!31基賴(lài)中于第一區(qū)域的所述相應(yīng)像素與第一區(qū)域內(nèi)的旨其他像素之間的實(shí)際距離的另外值，來(lái)調(diào)麟一區(qū)域內(nèi)的像素的運(yùn)動(dòng)值；以及將關(guān)于所選擇的第二像素的調(diào)^M作所述集中于第一區(qū)域的相應(yīng)像素的縦動(dòng)值。8.如權(quán)利要求5戶(hù)腿的圖像^hS縫，其中第一腕尺寸的第一區(qū)駄于第二予腚尺寸的第二區(qū)域。9.一種織載體，包掛tMl可讀指令，當(dāng)計(jì)對(duì)幾執(zhí)棚旨令時(shí)，使該將機(jī)執(zhí)行權(quán)利要求1戶(hù)腿的方法。10.—種繊載體，包掛鄉(xiāng)可讀指令，當(dāng)i滿(mǎn)幾執(zhí)湖旨令時(shí)，致使該it^鵬f鐘嫩利要求5的圖像M驢。全文摘要一種序列圖像中的圖像轉(zhuǎn)換處理方法，包括將圖像的像素與對(duì)于每個(gè)像素指示圖像間運(yùn)動(dòng)程度的相關(guān)運(yùn)動(dòng)值相關(guān)聯(lián)；基于基本集中于每個(gè)相關(guān)像素的第一預(yù)定尺寸的第一區(qū)域內(nèi)發(fā)現(xiàn)的第二像素的運(yùn)動(dòng)值調(diào)整每個(gè)像素的運(yùn)動(dòng)值，所述第二像素是與其相關(guān)聯(lián)的運(yùn)動(dòng)值指示第一區(qū)域中任意像素的最大運(yùn)動(dòng)的像素；基于位于基本集中于每個(gè)相關(guān)像素的第二預(yù)定尺寸的第二區(qū)域的第二像素的運(yùn)動(dòng)值調(diào)整每個(gè)像素的運(yùn)動(dòng)值，所述第二像素是與其相關(guān)聯(lián)的運(yùn)動(dòng)值指示第二區(qū)域中任意像素的最小運(yùn)動(dòng)的像素；根據(jù)每個(gè)像素關(guān)聯(lián)的運(yùn)動(dòng)值將每個(gè)像素分類(lèi)為靜態(tài)像素或是運(yùn)動(dòng)像素，然后根據(jù)像素分類(lèi)為靜態(tài)像素還是運(yùn)動(dòng)像素來(lái)為其選擇第一轉(zhuǎn)換過(guò)程或第二過(guò)轉(zhuǎn)換程。文檔編號(hào)H04N5/44GK101232570SQ20071030747公開(kāi)日2008年7月30日申請(qǐng)日期2007年12月6日優(yōu)先權(quán)日2006年12月6日發(fā)明者J·E·伯恩斯,K·J·沙曼,N·I·桑德斯,R·M·S·波特申請(qǐng)人:索尼英國(guó)有限公司