預(yù)處理器方法及設(shè)備的制作方法
【專利摘要】本發(fā)明涉及預(yù)處理器方法及設(shè)備，且更明確地說，涉及在數(shù)據(jù)壓縮處理之前或與數(shù)據(jù)壓縮處理一起執(zhí)行的處理操作。一種處理多媒體數(shù)據(jù)的方法包括接收交錯(cuò)視頻幀，獲得用于所述交錯(cuò)視頻幀的元數(shù)據(jù)，使用所述元數(shù)據(jù)的至少一部分將所述交錯(cuò)視頻幀轉(zhuǎn)換成逐行視頻；及將所述逐行視頻及所述元數(shù)據(jù)的至少一部分提供到編碼器以用于編碼所述逐行視頻。所述方法還可包括產(chǎn)生用于所述交錯(cuò)視頻幀的空間信息及雙向運(yùn)動(dòng)信息，及使用所述空間信息及所述雙向運(yùn)動(dòng)信息基于所述交錯(cuò)視頻幀而產(chǎn)生逐行視頻。
【專利說明】預(yù)處理器方法及設(shè)備
[0001] 分案申請的相關(guān)信息
[0002] 本申請為發(fā)明名稱為"預(yù)處理器方法及設(shè)備"的原中國發(fā)明專利申請的分案申請。 原申請的申請?zhí)枮?00780010753. 9 ;原申請的申請日為2007年3月13日。
[0003] 根據(jù)35U. S. C. § 119豐張優(yōu)先權(quán)
[0004] 本專利申請案主張2006年4月3日申請的第60/789, 048號(hào)臨時(shí)申請案、2006年 4月4日申請的第60/789, 266號(hào)臨時(shí)申請案及2006年4月4日申請的第60/789, 377號(hào)臨 時(shí)申請案的優(yōu)先權(quán)，所有所述申請案均轉(zhuǎn)讓給本受讓人且在此以引用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0005] 本發(fā)明大體來說涉及多媒體數(shù)據(jù)處理，且更明確地說，涉及在數(shù)據(jù)壓縮處理之前 或與數(shù)據(jù)壓縮處理一起執(zhí)行的處理操作。

【背景技術(shù)】
[0006] 無


【發(fā)明內(nèi)容】

[0007] 本文所描述的發(fā)明設(shè)備及方法中的每一者均具有若干方面，所述方面中的任何單 個(gè)方面均不單獨(dú)對其所要屬性負(fù)責(zé)。在不限制本發(fā)明的范圍情況下，現(xiàn)將簡要論述其更突 出特征。在考慮此論述之后，且特定來說，在閱讀標(biāo)題為"實(shí)施方式"的部分之后，應(yīng)了解本 發(fā)明的特征如何提供對多媒體數(shù)據(jù)處理設(shè)備及方法的改進(jìn)。
[0008] 在一方面中，一種處理多媒體數(shù)據(jù)的方法包含接收交錯(cuò)視頻幀，將所述交錯(cuò)視頻 中貞轉(zhuǎn)換成逐行視頻（progressive video),產(chǎn)生與所述逐行視頻相關(guān)聯(lián)的元數(shù)據(jù)，及將所述 逐行視頻及所述元數(shù)據(jù)的至少一部分提供到編碼器以用于編碼所述逐行視頻。所述方法可 進(jìn)一步包括使用元數(shù)據(jù)來編碼逐行視頻。在一些方面中，交錯(cuò)視頻巾貞（interlaced video) 包含NTSC視頻。轉(zhuǎn)換視頻幀可包括解交錯(cuò)所述交錯(cuò)視頻幀。
[0009] 在一些方面中，元數(shù)據(jù)可包括帶寬信息、雙向運(yùn)動(dòng)信息、帶寬比（bandwidth ratio)、復(fù)雜性值（例如，時(shí)間復(fù)雜性值或空間復(fù)雜性值或兩者）、亮度信息（luminance information)，且空間信息可包括亮度及/或色度信息。所述方法還可包括產(chǎn)生用于所述 交錯(cuò)視頻幀的空間信息及雙向運(yùn)動(dòng)信息，及使用所述空間信息及所述雙向運(yùn)動(dòng)信息基于所 述交錯(cuò)視頻幀而產(chǎn)生逐行視頻。在一些方面中，轉(zhuǎn)換所述交錯(cuò)視頻幀包含反電視電影處理 3/2下拉視頻幀，及/或?qū)χ鹦幸曨l調(diào)整大小。所述方法可進(jìn)一步包含分割逐行視頻以確定 圖像群組（group of picture)信息，其中所述分割可包括對逐行視頻的分鏡頭檢測（shot detection)。在一些方面中，所述方法還包括用去噪聲濾波器來濾波逐行視頻。
[0010] 在另一方面中，一種用于處理多媒體數(shù)據(jù)的設(shè)備可包括經(jīng)配置以接收交錯(cuò)視頻幀 的接收器、經(jīng)配置以將所述交錯(cuò)視頻幀轉(zhuǎn)換成逐行視頻的解交錯(cuò)器，及經(jīng)配置以產(chǎn)生與所 述逐行視頻相關(guān)聯(lián)的元數(shù)據(jù)且將所述逐行視頻及所述元數(shù)據(jù)提供到編碼器以用于編碼所 述逐行視頻的分割器。在一些方面中，所述設(shè)備可進(jìn)一步包括經(jīng)配置以從通信模塊接收逐 行視頻且使用所提供的元數(shù)據(jù)來編碼逐行視頻的編碼器。所述解交錯(cuò)器可經(jīng)配置以執(zhí)行空 間時(shí)間解交錯(cuò)及/或反電視電影處理（inverse telecining)。所述分割器可經(jīng)配置以執(zhí)行 分鏡頭檢測且基于所述分鏡頭檢測產(chǎn)生壓縮信息。在一些方面中，所述分割器可經(jīng)配置以 產(chǎn)生帶寬信息。所述設(shè)備還可包括經(jīng)配置以對逐行幀調(diào)整大小的重取樣器。所述元數(shù)據(jù)可 包括帶寬信息、雙向運(yùn)動(dòng)信息、帶寬比、亮度信息、與內(nèi)容相關(guān)的空間復(fù)雜性值，及/或與內(nèi) 容相關(guān)的時(shí)間復(fù)雜性值。在一些方面中，所述解交錯(cuò)器經(jīng)配置以產(chǎn)生用于所述交錯(cuò)視頻幀 的空間信息及雙向運(yùn)動(dòng)信息且使用所述空間信息及所述雙向運(yùn)動(dòng)信息基于所述交錯(cuò)視頻 幀而產(chǎn)生逐行視頻。
[0011] 另一方面包含一種用于處理多媒體數(shù)據(jù)的設(shè)備，所述設(shè)備包括用于接收交錯(cuò)視頻 幀的裝置、用于將所述交錯(cuò)視頻幀轉(zhuǎn)換成逐行視頻的裝置、用于產(chǎn)生與所述逐行視頻相關(guān) 聯(lián)的元數(shù)據(jù)的裝置，及用于將所述逐行視頻及所述元數(shù)據(jù)的至少一部分提供到編碼器以用 于編碼所述逐行視頻的裝置。在一些方面中，所述轉(zhuǎn)換裝置包含反電視電影處理器及/或 空間時(shí)間解交錯(cuò)器。在一些方面中，所述產(chǎn)生裝置經(jīng)配置以執(zhí)行分鏡頭檢測且基于所述分 鏡頭檢測產(chǎn)生壓縮信息。在一些方面中，所述產(chǎn)生裝置經(jīng)配置以產(chǎn)生帶寬信息。在一些方 面中，所述產(chǎn)生裝置包括用于重取樣以對逐行幀調(diào)整大小的裝置。
[0012] 另一方面包含一種機(jī)器可讀媒體，所述機(jī)器可讀媒體包含用于處理多媒體數(shù)據(jù)的 指令，所述指令在執(zhí)行時(shí)致使機(jī)器：接收交錯(cuò)視頻幀，將所述交錯(cuò)視頻幀轉(zhuǎn)換成逐行視頻， 產(chǎn)生與所述逐行視頻相關(guān)聯(lián)的元數(shù)據(jù)，且將所述逐行視頻及所述元數(shù)據(jù)的至少一部分提供 到編碼器以用于編碼所述逐行視頻。
[0013] 另一方面包括一種處理器，所述處理器包含一配置，所述配置用以接收交錯(cuò)視頻、 將交錯(cuò)視頻轉(zhuǎn)換成逐行視頻、產(chǎn)生與所述逐行視頻相關(guān)聯(lián)的元數(shù)據(jù)及將所述逐行視頻及所 述元數(shù)據(jù)的至少一部分提供到編碼器以用于編碼所述逐行視頻。對交錯(cuò)視頻的轉(zhuǎn)換可包括 執(zhí)行空間時(shí)間解交錯(cuò)。在一些方面中，對交錯(cuò)視頻的轉(zhuǎn)換包含執(zhí)行反電視電影處理。在一些 方面中，元數(shù)據(jù)的產(chǎn)生包括基于檢測鏡頭變化而產(chǎn)生壓縮信息。在一些方面中，元數(shù)據(jù)的產(chǎn) 生包括確定逐行視頻的壓縮信息。在一些方面中，所述配置包括用以對視頻重取樣以產(chǎn)生 經(jīng)調(diào)整大小的逐行幀的配置。在一些方面中，所述元數(shù)據(jù)可包括帶寬信息、雙向運(yùn)動(dòng)信息、 復(fù)雜性信息（例如，基于內(nèi)容的時(shí)間或空間復(fù)雜性信息）及/或壓縮信息。

【專利附圖】

【附圖說明】
[0014] 圖1為用于遞送串流多媒體數(shù)據(jù)的通信系統(tǒng)的框圖；
[0015] 圖2為包括預(yù)處理器的數(shù)字傳輸設(shè)施的框圖；
[0016] 圖3A為預(yù)處理器的說明性方面的框圖；
[0017] 圖3B為說明用于處理多媒體數(shù)據(jù)的過程的流程圖；
[0018] 圖3C為說明用于處理多媒體數(shù)據(jù)的裝置的框圖；
[0019] 圖4為說明例示性預(yù)處理器的操作的框圖；
[0020] 圖5為反電視電影處理過程中的相位決策的圖；
[0021] 圖6為說明反電視電影處理視頻的過程的流程圖；
[0022] 圖7為對展示相位轉(zhuǎn)變的格子的說明；
[0023] 圖8為對識(shí)別用以創(chuàng)建多個(gè)度量的相應(yīng)幀的指導(dǎo)；
[0024] 圖9為說明如何創(chuàng)建圖8的度量的流程圖；
[0025] 圖10為展示對度量的到達(dá)所估計(jì)相位的處理的流程圖；
[0026] 圖11為說明用于產(chǎn)生決策變量的系統(tǒng)的數(shù)據(jù)流圖；
[0027] 圖12為描繪用于評估分支信息的變量的框圖；
[0028] 圖13A、13B及13C為展示如何計(jì)算下包絡(luò)的流程圖；
[0029] 圖14為展示一致性檢測器的操作的流程圖；
[0030] 圖15為展示計(jì)算決策變量的偏移的過程的流程圖，所述偏移用以補(bǔ)償相位決策 中的不一致性；
[0031] 圖16呈現(xiàn)已估計(jì)下拉相位之后的反電視電影處理的操作。
[0032] 圖17為解交錯(cuò)器裝置的框圖；
[0033] 圖18為另一解交錯(cuò)器裝置的框圖；
[0034] 圖19為交錯(cuò)圖像的子取樣樣式的圖式；
[0035] 圖20為使用Wmed濾波運(yùn)動(dòng)估計(jì)來產(chǎn)生解交錯(cuò)幀的解交錯(cuò)器裝置的框圖；
[0036] 圖21說明用于確定多媒體數(shù)據(jù)的靜態(tài)區(qū)的光圈的一方面；
[0037] 圖22為說明用于確定多媒體數(shù)據(jù)的緩慢運(yùn)動(dòng)區(qū)的光圈的一方面的圖；
[0038] 圖23為說明運(yùn)動(dòng)估計(jì)的一方面的圖；
[0039] 圖24說明在確定運(yùn)動(dòng)補(bǔ)償時(shí)所使用的兩個(gè)運(yùn)動(dòng)向量圖；
[0040] 圖25為說明解交錯(cuò)多媒體數(shù)據(jù)的方法的流程圖；
[0041] 圖26為說明使用空間時(shí)間信息產(chǎn)生解交錯(cuò)幀的方法的流程圖；
[0042] 圖27為說明對于解交錯(cuò)執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)姆椒ǖ牧鞒虉D；
[0043] 圖28為根據(jù)一些方面的預(yù)處理器的框圖，所述預(yù)處理器包含經(jīng)配置用于分鏡頭 檢測及其它預(yù)處理操作的處理器；
[0044] 圖29說明編碼復(fù)雜性C與所分配位B之間的關(guān)系；
[0045] 圖30為說明對圖像群進(jìn)行操作且在一些方面中可用于基于視頻幀中的分鏡頭檢 測而編碼視頻的過程的流程圖；
[0046] 圖31為說明用于分鏡頭檢測的過程的流程圖；
[0047] 圖32為說明用于確定視頻中的鏡頭的不同分類的過程的流程圖；
[0048] 圖33為說明用于基于分鏡頭檢測結(jié)果將幀壓縮方案指派給視頻幀的過程的流程 圖；
[0049] 圖34為說明用于確定突然的場景變化的過程的流程圖；
[0050] 圖35為說明用于確定緩慢變化的場景的過程的流程圖；
[0051] 圖36為說明用于確定含有相機(jī)閃光的場景的過程的流程圖；
[0052] 圖37說明當(dāng)前幀與前一幀MVP之間及當(dāng)前幀與下一幀MVN2間的運(yùn)動(dòng)補(bǔ)償向量；
[0053] 圖38為說明用于確定幀差異度量時(shí)所使用的變量的關(guān)系的圖表；
[0054] 圖39為說明編碼數(shù)據(jù)及計(jì)算殘余的框圖；
[0055] 圖40為說明確定幀差異度量的框圖；
[0056] 圖41為說明其中將壓縮類型指派給幀的程序的流程圖；
[0057] 圖42說明1-D多相位重取樣的實(shí)例；
[0058] 圖43為說明數(shù)據(jù)幀的安全動(dòng)作區(qū)及安全標(biāo)題區(qū)的圖表；及
[0059] 圖44為說明數(shù)據(jù)幀的安全動(dòng)作區(qū)的圖表。

【具體實(shí)施方式】
[0060] 以下描述包括用于提供對實(shí)例的透徹理解的細(xì)節(jié)。然而，所屬領(lǐng)域的技術(shù)人員將 了解，即使本文中未描述或說明實(shí)例或方面中的過程或裝置的每一細(xì)節(jié)，仍可實(shí)踐所述實(shí) 例。舉例來說，可在框圖中展示電組件，所述框圖不說明所述組件的每一電連接或每一電元 件以便不會(huì)以不必要的細(xì)節(jié)混淆所述實(shí)例。在其它情況下，可詳細(xì)展示所述組件、其它結(jié)構(gòu) 及技術(shù)以進(jìn)一步解釋所述實(shí)例。
[0061] 本文中描述了某些發(fā)明方面及預(yù)處理器及預(yù)處理器操作方法的方面，其可改進(jìn)現(xiàn) 存預(yù)處理及編碼系統(tǒng)的性能。所述預(yù)處理器可處理元數(shù)據(jù)及視頻以為編碼作準(zhǔn)備，其包括 執(zhí)行解交錯(cuò)、反電視電影處理、濾波、識(shí)別鏡頭類型、處理及產(chǎn)生元數(shù)據(jù)及產(chǎn)生帶寬信息。本 文中對"一個(gè)方面"、"一方面"、"一些方面"或"某些方面"的參考意味著結(jié)合所述方面所 描述的特定特征、結(jié)構(gòu)或特性中的一者或一者以上可包括于預(yù)處理器系統(tǒng)的至少一個(gè)方面 中。所述短語在說明書中的多個(gè)位置中的出現(xiàn)不一定指同一方面，也不一定指與其它方面 相互排斥的單獨(dú)或替代方面。此外，描述了一些方面可能展示出且其它方面可能未展示出 的各種特征。類似地，描述了可為一些方面的步驟而非其它方面的步驟的各種步驟。
[0062] 如本文中所使用的"多媒體數(shù)據(jù)"或"多媒體"為廣義術(shù)語，其包括視頻數(shù)據(jù)（其 可包括音頻數(shù)據(jù)）、音頻數(shù)據(jù)，或視頻數(shù)據(jù)與音頻數(shù)據(jù)兩者。如本文中所使用的"視頻數(shù)據(jù)" 或"視頻"為廣義術(shù)語，其指含有文本、圖像及/或音頻數(shù)據(jù)的圖像或者一個(gè)或一個(gè)以上系 列或序列的圖像，且除非另外規(guī)定，否則其可用于指多媒體數(shù)據(jù)或所述術(shù)語可互換使用。
[0063] 圖1為用于遞送串流多媒體的通信系統(tǒng)100的框圖。所述系統(tǒng)可應(yīng)用于將數(shù)字壓 縮視頻傳輸?shù)蕉鄠€(gè)終端（如圖1中所展示）。數(shù)字視頻源可為（例如）數(shù)字電纜或衛(wèi)星饋 入或經(jīng)數(shù)字化的模擬源。在傳輸設(shè)施120中處理視頻源，在所述傳輸設(shè)施中視頻源經(jīng)編碼 并調(diào)制到載波上以用于經(jīng)由網(wǎng)絡(luò)140傳輸?shù)揭粋€(gè)或一個(gè)以上終端160。終端160解碼所接 收的視頻且通常顯示所述視頻的至少一部分。網(wǎng)絡(luò)140指適合于傳輸經(jīng)編碼數(shù)據(jù)的任何類 型的通信網(wǎng)絡(luò)（有線或無線）。舉例來說，網(wǎng)絡(luò)140可為蜂窩電話網(wǎng)絡(luò)、有線或無線局域網(wǎng) 絡(luò)（LAN)或廣域網(wǎng)絡(luò)（WAN)或因特網(wǎng)。終端160可為能夠接收并顯示數(shù)據(jù)的任何類型的通 信裝置，其包括（但不限于）蜂窩電話、PDA、家用或商用視頻顯示設(shè)備、計(jì)算機(jī)（便攜型、膝 上型、手持型、PC及較大的基于服務(wù)器的計(jì)算機(jī)系統(tǒng)）及能夠使用多媒體數(shù)據(jù)的個(gè)人娛樂 裝直。
[0064] 圖2及圖3說明預(yù)處理器202的樣本方面。在圖2中，預(yù)處理器202處于數(shù)字傳 輸設(shè)施120中。解碼器201解碼來自數(shù)字視頻源的經(jīng)編碼數(shù)據(jù)且將元數(shù)據(jù)204及視頻205 提供到預(yù)處理器202。預(yù)處理器202經(jīng)配置以對視頻205及元數(shù)據(jù)204執(zhí)行特定類型的 處理且將經(jīng)處理的元數(shù)據(jù)206 (例如，基本層參考幀、增強(qiáng)層參考幀、帶寬信息、內(nèi)容信息） 及視頻207提供到編碼器203。對多媒體數(shù)據(jù)的所述預(yù)處理可改進(jìn)視覺清晰度、反混疊 (anti-aliasing)及數(shù)據(jù)壓縮效率。通常，預(yù)處理器202接收由解碼器201提供的視頻序列 且將所述視頻序列轉(zhuǎn)換成逐行視頻序列以供由編碼器進(jìn)一步處理（例如，編碼）。在一些 方面中，預(yù)處理器202可經(jīng)配置以用于許多操作，所述操作包括反電視電影處理、解交錯(cuò)、 濾波（例如，假影移除、去環(huán)（de-ringing)、去塊（de-blocking)及去噪聲（de-noising))、 調(diào)整大?。ɡ?，從標(biāo)準(zhǔn)定義到四分之一視頻圖形陣列（QVGA)的空間分辨率的下取樣），及 G0P結(jié)構(gòu)產(chǎn)生（例如，計(jì)算復(fù)雜性映射產(chǎn)生、場景變化檢測及衰落/閃光檢測）。
[0065] 圖3A說明預(yù)處理器202,其經(jīng)配置有模塊或組件（此處共同稱作"模塊"）以執(zhí)行 其對所接收的元數(shù)據(jù)204及視頻205的預(yù)處理操作且接著提供經(jīng)處理的元數(shù)據(jù)206及逐 行視頻207以供進(jìn)一步處理（例如，提供到編碼器）?？梢杂布④浖?、固件或其組合實(shí)施 所述模塊。預(yù)處理器202可包括各種模塊，所述模塊包括所說明的模塊中的一者或一者以 上，所說明的模塊包括反電視電影處理301、解交錯(cuò)器302、去噪聲器303、混疊抑制器304、 重取樣器305、去塊器/去環(huán)器306,及G0P分割器307,以下進(jìn)一步描述所有模塊。預(yù)處理 器202還可包括可用于處理視頻及元數(shù)據(jù)的其它適當(dāng)模塊，其包括存儲(chǔ)器308及通信模塊 309。軟件模塊可駐留于RAM存儲(chǔ)器、快閃存儲(chǔ)器、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPR0M存儲(chǔ) 器、寄存器、硬盤、可裝卸磁盤、CD-ROM或此項(xiàng)技術(shù)中已知的任何其它形式的存儲(chǔ)媒體中。例 示性存儲(chǔ)媒體耦合到處理器，以使得所述處理器可從存儲(chǔ)媒體讀取信息且將信息寫入到存 儲(chǔ)媒體。在替代實(shí)施例中，存儲(chǔ)媒體可與處理器成一體。處理器及存儲(chǔ)媒體可駐留于ASIC 中。所述ASIC可駐留于用戶終端中。在替代實(shí)施例中，處理器及存儲(chǔ)媒體可作為離散組件 駐留于用戶終端中。
[0066] 圖3B為說明用于處理多媒體數(shù)據(jù)的過程300的流程圖。過程300開始且進(jìn)行到 框320,在框320中，接收交錯(cuò)視頻。圖2及圖3中所說明的預(yù)處理器202可執(zhí)行此步驟。 在一些方面中，解碼器（例如，圖2的解碼器201)可接收交錯(cuò)數(shù)據(jù)且將交錯(cuò)數(shù)據(jù)提供到預(yù) 處理器202。在一些方面中，圖3C中所展示的數(shù)據(jù)接收模塊330 (其為預(yù)處理器202的一 部分）可執(zhí)行此步驟。過程300接著進(jìn)行到框322,在框322中，將交錯(cuò)視頻轉(zhuǎn)換成逐行視 頻。圖2及圖3A中的預(yù)處理器202及圖3C的模塊332可執(zhí)行此步驟。如果交錯(cuò)視頻已經(jīng) 過電視電影處理，則框322處理可包括執(zhí)行反電視電影處理以產(chǎn)生逐行視頻。過程300接 著進(jìn)行到框324以產(chǎn)生與逐行視頻相關(guān)聯(lián)的元數(shù)據(jù)。圖3A中的G0P分割器307及圖3C中 的模塊334可執(zhí)行所述處理。過程300接著進(jìn)行到框326,在框326中，將逐行視頻及元數(shù) 據(jù)的至少一部分提供到編碼器以用于編碼（例如，壓縮）。圖2及圖3A中所展示的預(yù)處理 器202及圖3C中的模塊336可執(zhí)行此步驟。在將逐行視頻及相關(guān)聯(lián)元數(shù)據(jù)提供到另一組 件以用于編碼之后，過程300可結(jié)束。
[0067] 圖3C為說明用于處理多媒體數(shù)據(jù)的裝置的框圖。此處展示所述裝置并入于預(yù)處 理器202中。預(yù)處理器202包括用于接收視頻的裝置（例如，模塊330)。預(yù)處理器202還 包括用于將交錯(cuò)數(shù)據(jù)轉(zhuǎn)換成逐行視頻的裝置（例如，模塊332)。所述裝置可包括（例如） 空間時(shí)間解交錯(cuò)器及/或反電視電影處理器。預(yù)處理器202還包括用于產(chǎn)生與逐行視頻相 關(guān)聯(lián)的元數(shù)據(jù)的裝置（例如，模塊334)。所述裝置可包括如本文中所描述的可產(chǎn)生多種類 型的元數(shù)據(jù)的G0P分割器307 (圖3A)。預(yù)處理器202還可包括用于將逐行視頻及元數(shù)據(jù)提 供到編碼器以用于編碼的裝置，如通過模塊336所說明。在一些方面中，所述裝置可包括圖 3A中所說明的通信模塊309。如所屬領(lǐng)域的技術(shù)人員將了解，可以許多標(biāo)準(zhǔn)方式實(shí)施所述 裝直。
[0068] 預(yù)處理器202可將所獲得的元數(shù)據(jù)（例如，從解碼器201或從另一源所獲得）用 于所述預(yù)處理操作中的一者或一者以上。元數(shù)據(jù)可包括與描述或分類多媒體數(shù)據(jù)的內(nèi)容有 關(guān)的信息（"內(nèi)容信息"）。具體來說，元數(shù)據(jù)可包括內(nèi)容分類。在一些方面中，元數(shù)據(jù)不包 括編碼操作所需要的內(nèi)容信息。在所述狀況下，預(yù)處理器202可經(jīng)配置以確定內(nèi)容信息且 將所述內(nèi)容信息用于預(yù)處理操作及/或?qū)?nèi)容信息提供到其它組件（例如，編碼器203)。 在一些方面中，預(yù)處理器202可使用所述內(nèi)容信息來影響GOP分割，確定適當(dāng)?shù)臑V波類型， 及/或確定被傳送到編碼器的編碼參數(shù)。
[0069] 圖4展示可包括于預(yù)處理器中的過程框的說明性實(shí)例，且說明可由預(yù)處理器202 執(zhí)行的處理。在此實(shí)例中，預(yù)處理器202接收元數(shù)據(jù)及視頻204、205且將包含（經(jīng)處理的） 元數(shù)據(jù)及視頻的輸出數(shù)據(jù)206、207提供到編碼器228。由預(yù)處理器接收的視頻通常有三種 類型。第一，所接收的視頻可為逐行視頻且不必執(zhí)行解交錯(cuò)。第二，視頻數(shù)據(jù)可為經(jīng)電視電 影處理的視頻，從24fps電影序列轉(zhuǎn)換的交錯(cuò)視頻，在此狀況下為視頻。第三，視頻可為未 經(jīng)電視電影處理的交錯(cuò)視頻。預(yù)處理器226可如以下所描述處理所述類型的視頻。
[0070] 在框401處，預(yù)處理器202確定所接收的視頻204、205是否為逐行視頻。在一些 狀況下，此可從元數(shù)據(jù)加以確定（如果元數(shù)據(jù)含有所述信息），或通過處理視頻本身加以確 定。舉例來說，以下所描述的反電視電影處理過程可確定所接收的視頻205是否為逐行視 頻。如果所接收的視頻205為逐行視頻，則過程進(jìn)行到框407,在框407中，對視頻執(zhí)行濾 波操作以減少噪聲（例如，白高斯（Gaussian)噪聲）。如果視頻不為逐行視頻，則在框401 處，過程進(jìn)行到框404到相位檢測器。
[0071] 相位檢測器404辨別起源于電視電影處理的視頻與以標(biāo)準(zhǔn)廣播格式開始的視頻。 如果作出視頻是經(jīng)電視電影處理的決策（從相位檢測器404退出的是（YES)決策路徑），則 在反電視電影處理406中使經(jīng)電視電影處理的視頻返回到其最初格式。識(shí)別并消除冗余場 且將從同一視頻幀導(dǎo)出的場重新編成完整圖像。因?yàn)橐?/24秒的規(guī)則間隔攝影記錄經(jīng)重 構(gòu)的膠片圖像的序列，所以在G0P分割器412或解碼器中執(zhí)行的運(yùn)動(dòng)估計(jì)過程更準(zhǔn)確，所述 過程是使用經(jīng)反電視電影處理的圖像而不是使用具有不規(guī)則時(shí)基的經(jīng)電視電影處理的數(shù) 據(jù)。
[0072] 在一方面中，相位檢測器404在接收到視頻幀之后作出某些決策。所述決策包括： (i)來自電視電影處理輸出的當(dāng)前視頻及3 : 2下拉相位是否為圖5中所展示的五個(gè)相位 ?。、？1、？2、己及？4中的一者 ；及（^)視頻經(jīng)產(chǎn)生為常規(guī)的階5(：。所述決策經(jīng)表示為相位 P5。所述決策表現(xiàn)為圖4中所展示的相位檢測器404的輸出。來自相位檢測器404的經(jīng)標(biāo) 注為"是"的路徑啟動(dòng)反電視電影處理406,指示反電視電影處理406已具備正確的下拉相 位以使得其可選出由同一攝影圖像所形成的場且組合所述場。來自相位檢測器404的經(jīng) 標(biāo)注為"否"的路徑類似地啟動(dòng)解交錯(cuò)器405以將明顯的NTSC幀分成若干場以用于最佳處 理。反電視電影處理經(jīng)進(jìn)一步描述于標(biāo)題為"基于狀態(tài)機(jī)的反電視電影處理算法（Inverse Telecine Algorithm Based on State Machine)"的同在申請中的美國專利申請案[代理 人案號(hào)為QFDM.021A(050943)]中，所述申請案歸本發(fā)明的受讓人所擁有且以全文引用的 方式并入本文中。
[0073] 相位檢測器404可連續(xù)分析視頻幀，因?yàn)榭稍谌魏螘r(shí)間接收到不同類型的視頻。 作為例示，可將符合NTSC標(biāo)準(zhǔn)的視頻插入視頻中作為商業(yè)節(jié)目。在反電視電影處理之后， 將所得的逐行視頻發(fā)送到可用于減少白高斯噪聲的去噪聲器（濾波器）407。
[0074] 當(dāng)辨識(shí)出常規(guī)NTSC視頻時(shí)（來自相位檢測器401的否（N0)路徑），將所述視頻傳 輸?shù)浇饨诲e(cuò)器405以用于壓縮。解交錯(cuò)器405將交錯(cuò)場變換成逐行視頻，且可接著對逐行 視頻執(zhí)行去噪聲操作。
[0075] 在適當(dāng)?shù)姆措娨曤娪疤幚砘蚪饨诲e(cuò)處理之后，在框408處，處理逐行視頻以進(jìn)行 混疊抑制及重取樣（例如，調(diào)整大?。?br> [0076] 在重取樣之后，逐行視頻接著進(jìn)行到框410,在框410中，執(zhí)行去塊及去環(huán)操作。兩 種類型的假影"成塊（blocking)"及"成環(huán)（ringing)"常見在視頻壓縮應(yīng)用中出現(xiàn)。成塊 假影的出現(xiàn)是因?yàn)閴嚎s算法將每一幀劃分成若干塊（例如，8X8個(gè)塊）。重構(gòu)每一塊具有一 些小誤差，且塊的邊緣處的誤差常常與鄰近塊的邊緣處的誤差形成對比，使得塊邊界可見。 相比之下，成環(huán)假影表現(xiàn)為圍繞圖像特征的邊緣的失真。成環(huán)假影的出現(xiàn)是因?yàn)榫幋a器在 量化高頻DCT系數(shù)時(shí)丟棄了太多信息。在一些說明性實(shí)例中，去塊與去環(huán)兩者可使用低通 FIR(有限脈沖響應(yīng)）濾波器來隱藏所述可見假影。
[0077] 在去塊及去環(huán)之后，由G0P分割器412處理逐行視頻。G0P分割可包括檢測鏡頭變 化，產(chǎn)生復(fù)雜性映射（例如，時(shí)間、空間帶寬映射）及自適應(yīng)G0P分割。分鏡頭檢測涉及確 定圖像群組（G0P)中的幀何時(shí)展示出指示場景變化已出現(xiàn)的數(shù)據(jù)。場景變化檢測可用于視 頻編碼器以確定適當(dāng)G0P長度且基于所述G0P長度插入I幀，而不是以固定間隔插入I幀。 預(yù)處理器202還可經(jīng)配置以產(chǎn)生可用于編碼多媒體數(shù)據(jù)的帶寬映射。在一些方面中，改為 由位于預(yù)處理器外部的內(nèi)容分類模塊產(chǎn)生帶寬映射。自適應(yīng)G0P分割可自適應(yīng)地改變被編 碼在一起的圖像群組的組成。以下描述圖4中所展示的所述操作的說明性實(shí)例。
[0078] 反電視電影處理
[0079] 以下描述反電視電影處理過程且參看圖4到圖16提供反電視電影處理的說明性 實(shí)例。當(dāng)已知源屬性且使用所述源屬性來選擇理想地匹配的處理形式時(shí)，視頻壓縮給出最 佳結(jié)果。不在播送中（〇ff-the-air)的視頻（例如）可以若干方式起源。視頻相機(jī)、廣播 播音室等等中按照慣例所產(chǎn)生的廣播視頻在美國符合NTSC標(biāo)準(zhǔn)。根據(jù)所述標(biāo)準(zhǔn)，每一幀 由兩個(gè)場組成。一個(gè)場由奇數(shù)線組成，另一場由偶數(shù)線組成。此可被稱作"交錯(cuò)"格式。雖 然以大致30幀/秒的速率產(chǎn)生幀，但所述場為電視相機(jī)的圖像的記錄，所述記錄相隔1/60 秒。另一方面，以24幀/秒的速率拍攝膠片，每一幀由完整圖像組成。此可被稱作"逐行" 格式。對于NTSC設(shè)備中的傳輸，"逐行"視頻經(jīng)由電視電影處理過程而轉(zhuǎn)換成"交錯(cuò)"視頻 格式。以下進(jìn)一步論述，在一方面中，系統(tǒng)有利地確定視頻何時(shí)已經(jīng)電視電影處理且執(zhí)行適 當(dāng)變換以重新產(chǎn)生最初的逐行幀。
[0080] 圖4展示電視電影處理已轉(zhuǎn)換成交錯(cuò)視頻的逐行幀的效應(yīng)。Fi、F2、F3及F 4為逐行 圖像，其為電視電影處理器的輸入。相應(yīng)幀下的數(shù)字"1"及"2"為對奇數(shù)或偶數(shù)場的指示。 注意，鑒于幀速率之間的不均等性，重復(fù)一些場。圖4還展示下拉相位匕、Ρρ P2、P3及P4。 通過具有相同的第一場的兩個(gè)NTSC兼容幀中的第一者標(biāo)記相位匕。隨后的四個(gè)幀對應(yīng)于 相位？ 1、？2、己及？4。注意，由？2及己標(biāo)記的幀具有相同的第二場。因?yàn)槟z片幀匕經(jīng)掃描 三遍，所以形成兩個(gè)相同的相繼輸出的NTSC兼容第一場。從膠片幀匕導(dǎo)出的所有NTSC場 均從同一膠片圖像取得且因此是在同一時(shí)刻被取得。從膠片導(dǎo)出的其它NTSC幀可具有相 隔1/24秒的相鄰場。
[0081] 圖4中所說明的相位檢測器404在接收到視頻幀之后作出某些決策。所述決策包 括：（i)來自電視電影處理輸出的當(dāng)前視頻及3 : 2下拉相位是否為圖5的定義512中所 展示的五個(gè)相位匕小名七及匕中的一者；及（ii)視頻經(jīng)產(chǎn)生為常規(guī)的NTSC--所述決 策被表示為相位P5。
[0082] 所述決策表現(xiàn)為圖4中所展示的相位檢測器401的輸出。來自相位檢測器401的 經(jīng)標(biāo)注為"是"的路徑啟動(dòng)反電視電影處理406,其指示反電視電影處理406已具備正確的 下拉相位以使得其可選出由同一攝影圖像形成的場且組合所述場。來自相位檢測器401的 經(jīng)標(biāo)注為"否"的路徑類似地啟動(dòng)解交錯(cuò)器框405以將明顯的NTSC幀分成若干場以用于最 佳處理。
[0083] 圖6為說明反電視電影處理視頻流的過程600的流程圖。在一方面中，由圖3的反 電視電影處理301執(zhí)行過程600。在步驟651處開始，反電視電影處理器301基于所接收的 視頻確定多個(gè)度量。在此方面中，形成四個(gè)度量，所述四個(gè)度量為從同一幀或相鄰幀取出的 場之間的差異的和。所述四個(gè)度量經(jīng)進(jìn)一步匯編成對從所接收的數(shù)據(jù)導(dǎo)出的四個(gè)度量與對 于六個(gè)假設(shè)相位的每一者來說所述度量的最可能的值之間的距離的歐幾里德（Euclidean) 測量。歐幾里德和被稱為分支信息；對于每一所接收的幀，存在六個(gè)所述量。每一假設(shè)相位 具有后續(xù)相位，所述后續(xù)相位在可能的下拉相位的狀況下隨每一所接收的幀而改變。
[0084] 可能的轉(zhuǎn)變路徑展示于圖7中且表示為767。存在六個(gè)所述路徑。決策過程維持 六個(gè)測量，所述測量等效于假設(shè)相位的每一路徑的歐幾里德距離的和。為使程序響應(yīng)于已 改變的條件，當(dāng)所述和中的每一歐幾里德距離變舊時(shí)，減小所述歐幾里德距離。歐幾里德 距離的和最小的相位軌跡被認(rèn)為是可操作的相位軌跡。此軌跡的當(dāng)前相位被稱為"適用相 位"?；诮?jīng)選擇的相位的反電視電影處理現(xiàn)在可發(fā)生，只要其不是P 5。如果選擇了 P5，則 使用框405(圖4)處的解交錯(cuò)器解交錯(cuò)當(dāng)前幀?？傊?，利用適用相位作為當(dāng)前下拉相位，或 者作為用以命令對已經(jīng)估計(jì)為具有有效NTSC格式的幀進(jìn)行解交錯(cuò)的指示符。
[0085] 對于從視頻輸入接收到的每一幀，計(jì)算四個(gè)度量中的每一者的新值。所述度量經(jīng) 定義為：
[0086] SADfs = Σ | 當(dāng)前場一值（i，j)_ 先前場一值（i，j) | (1)
[0087] SADss = Σ I 當(dāng)前場二值（i，j)_ 先前場二值（i，j) I (2)
[0088] SADP。= Σ I 當(dāng)前場一值（i，j)_ 先前場二值（i，j) I (3)
[0089] SADC。= Σ I 當(dāng)前場一值（i，j)_ 當(dāng)前場二值（i，j) I (4)
[0090] 術(shù)語SAD是術(shù)語"合計(jì)絕對差"的縮寫。圖8中圖解展示經(jīng)區(qū)別以形成度量的場。 下標(biāo)指場號(hào)；字母表示先前（=P)或者當(dāng)前（=C)。圖8中的括號(hào)指場的成對差。SAD fs 指當(dāng)前幀的經(jīng)標(biāo)注為Q的場一與先前幀的經(jīng)標(biāo)注為Pi的場一之間的差，在圖8中所提供的 定義中經(jīng)標(biāo)注為FS的括號(hào)橫跨所述場；SAD ss指當(dāng)前幀的經(jīng)標(biāo)注為C2的場二與先前幀的經(jīng) 標(biāo)注為P2的場二之間的差，經(jīng)標(biāo)注為SS的括號(hào)橫跨所述兩個(gè)場；SAD ro指當(dāng)前幀的經(jīng)標(biāo)注為 C2的場2與當(dāng)前幀的經(jīng)標(biāo)注為Q的場一之間的差，經(jīng)標(biāo)注為C0的括號(hào)橫跨所述場；且SADpq 指當(dāng)前幀的場一與先前幀的場2之間的差，經(jīng)標(biāo)注為P0的括號(hào)橫跨所述兩個(gè)場。
[0091] 以下描述用以評估每一 SAD的計(jì)算負(fù)載。常規(guī)NTSC中存在大約480條有效水平 線。為了使水平方向中的分辨率相同，具有4 : 3的縱橫比，應(yīng)存在480 X 4/3 = 640條均 等的垂直線或自由度。640X480像素的視頻格式是高級(jí)電視制式委員會(huì)所接受的格式的 一者。因此，每隔1/30秒（一幀的持續(xù)時(shí)間），產(chǎn)生640X480 = 307, 200個(gè)新像素。以 9. 2 X 106像素/秒的速率產(chǎn)生新數(shù)據(jù)，其暗示運(yùn)行此系統(tǒng)的硬件或軟件以大約為10MB或以 上的速率處理數(shù)據(jù)。此為系統(tǒng)的高速部分的一者。其可通過硬件、軟件、固件、中間件、微碼 或其任何組合予以實(shí)施。SAD計(jì)算器可為作為硬件、固件、中間件并入于另一裝置的組件中 的單獨(dú)組件，或以在處理器上執(zhí)行的微碼或軟件予以實(shí)施，或其組合。當(dāng)以軟件、固件、中間 件或微碼予以實(shí)施時(shí)，可將執(zhí)行計(jì)算的程序碼或碼段存儲(chǔ)于例如存儲(chǔ)媒體的機(jī)器可讀媒體 中。碼段可表示程序、函數(shù)、子程序、程序、例程、子例程、模塊、軟件封裝、類，或指令、數(shù)據(jù)結(jié) 構(gòu)或程序語句的任何組合?？赏ㄟ^傳遞及/或接收信息、數(shù)據(jù)、自變量（argument)、參數(shù)或 存儲(chǔ)器內(nèi)容而將碼段耦合到另一碼段或硬件電路。
[0092] 圖9中的流程圖900使圖8中的關(guān)系明確且圖9是等式1到4的圖解表不。圖9 展示分別保持SAD fs、SAD。。、SADss及SADro的最近值的存儲(chǔ)位置941、942、943及944。所述 值各自由絕對差計(jì)算器940的四個(gè)和所產(chǎn)生，所述絕對差計(jì)算器940處理先前第一場數(shù)據(jù) 931的亮度值、當(dāng)前第一場數(shù)據(jù)932的亮度值、當(dāng)前第二場數(shù)據(jù)933的亮度值及先前第二場 數(shù)據(jù)934的亮度值。在定義度量的求和中，術(shù)語"值（i，j) "意味著為位置i，j處的亮度值， 求和對所有有效像素的求和，但是不排除對有效像素的有意義的子集的求和。
[0093] 圖10中的流程圖100為說明用于檢測經(jīng)電視電影處理的視頻且反轉(zhuǎn)經(jīng)電視電影 處理的視頻以恢復(fù)到經(jīng)最初掃描的膠片圖像的過程的詳細(xì)流程圖。在步驟1030中，評估圖 9中所定義的度量。繼續(xù)到步驟1083,尋找四個(gè)度量的下包絡(luò)值。SAD度量的下包絡(luò)為經(jīng) 動(dòng)態(tài)確定的量，其是最高數(shù)字底限，在其下SAD不會(huì)穿過。繼續(xù)到步驟1085,確定以下在等 式5到10中所定義的分支信息量，其可使用先前所確定的度量、下包絡(luò)值及用實(shí)驗(yàn)方法確 定的常數(shù)A。因?yàn)檫B續(xù)的相位值可能不一致，所以在步驟1087中確定量Λ以減少此明顯 的不穩(wěn)定性。當(dāng)相位決策的序列與圖7中所展示的問題模型一致時(shí)，認(rèn)為所述相位是一致 的。在所述步驟之后，過程進(jìn)行到步驟1089以使用△的當(dāng)前值計(jì)算決策變量。決策變量 計(jì)算器1089使用通向其的在框1080中產(chǎn)生的所有信息來評估決策變量。步驟1030、1083、 1085、1087及1089為圖6中的度量確定651的擴(kuò)展。由相位選擇器1090從所述變量尋找 適用相位。如圖所展示，決策步驟1091使用適用相位來反轉(zhuǎn)經(jīng)電視電影處理的視頻或者解 交錯(cuò)經(jīng)電視電影處理的視頻。其是對圖4中的相位檢測器404的操作的更明確敘述。在一 方面中，由圖4的相位檢測器404執(zhí)行圖10的處理。在步驟1030處開始，檢測器404通過 上述參看圖8所描述的過程確定多個(gè)度量，且繼續(xù)通過步驟1083、1085、1087、1089、1090及 1091。
[0094] 流程圖1000說明用于估計(jì)當(dāng)前相位的過程。所述流程圖在步驟1083處描述使用 經(jīng)確定的度量及下包絡(luò)值來計(jì)算分支信息。分支信息可經(jīng)辨識(shí)為先前所論述的歐幾里德距 離?？捎糜诋a(chǎn)生分支信息的例示性等式為以下等式5到10。在圖12的步驟1209中計(jì)算分 支信息量。
[0095] 經(jīng)處理的視頻數(shù)據(jù)可存儲(chǔ)于存儲(chǔ)媒體中，所述存儲(chǔ)媒體可包括（例如）芯片配置 式存儲(chǔ)媒體（例如，ROM、RAM)或連接到處理器的盤型存儲(chǔ)媒體（例如，磁性的或光學(xué)的）。 在一些方面中，反電視電影處理406及解交錯(cuò)器405可各自含有部分或所有存儲(chǔ)媒體。通 過以下等式定義分支信息量。
[0096] 分支信息（0) = (SADfs-H s)2+(SADss-Hs)2+(SAD p〇-Hp)2+(SADc〇-Lc) 2 (5)
[0097] 分支/[目息（1) = (SAD fs-Ls)2+(SADss_Hs) 2+(SADp0-Lp)2+(SADc0-H c)2 (6)
[0098] 分支信息（2) = (SADfs-H s)2+(SADss-Hs)2+(SAD p〇-Lp)2+(SADc〇-Hc) 2 (7)
[0099] 分支信息（3) = (SADfs-Hs)2+(SADss-L s)2+(SADp〇-Lp)2+(SAD c〇-Lc)2 (8)
[0100] 分支信息⑷=ΒΑΟκ-Ην+ΒΑΚ-Ην+ΒΑΟ^-ΗρΡ+ΒΑΟατΙ^)2 (9)
[0101] 分支信息（5) = (SADfs-Ls)2+(SADss-L s)2+(SADp〇-Lp)2+(SAD c〇-Lc)2 (10)
[0102] 在圖12中的分支信息計(jì)算器1209中展示分支計(jì)算的細(xì)微細(xì)節(jié)。如在計(jì)算器1209 中所展示，得出分支信息使用量L s (SADfs及SADss的下包絡(luò)值）、LP(SADra的下包絡(luò)值），及 L。(SAD?的下包絡(luò)值）。下包絡(luò)在分支信息計(jì)算中用作距離偏移，以便單獨(dú)或者與預(yù)定常數(shù) A -起產(chǎn)生HS、HP&HC。在以下所描述的下包絡(luò)跟蹤器中保持下包絡(luò)的值為最新的。Η偏移 經(jīng)定義為：
[0103] Hs = Ls+A (11)
[0104] Hp〇 = Lp+A (12)
[0105] Hc = Lc+A (13)
[0106] 在圖13A、13B及13C中呈現(xiàn)跟蹤LS、LP及L c的值的過程。考慮（例如）圖11A頂 部處所展示的用于LP的跟蹤算法1300。在比較器1305中將度量SAD ra與LP的當(dāng)前值加上 閾值TP進(jìn)行比較。如果SADra超過L P的當(dāng)前值加上閾值TP，則如框1315中所展示，不改變 LP的當(dāng)前值。如果SADra未超過LP的當(dāng)前值加上閾值ΤΡ，則如框1313中所見，L P的新值變 成SADra與LP的線性組合。在另一方面中，對于步驟1315, LP的新值為LP+TP。
[0107] 類似地計(jì)算圖13B及圖13C中的量LS&LC。圖13A、13B及13C中具有相同功能的 處理框經(jīng)相同地編號(hào)，但給出撇號(hào)（'或"）以展示其對不同變量組進(jìn)行操作。舉例來說， 當(dāng)形成的線性組合時(shí)，在框1313'中展示所述操作。對于L P的狀況，另一方面 對于1315'將用Le+T。替換Lc。
[0108] 然而，在Ls的狀況下，圖13B中的算法交替地處理SADfs及SAD ss，依次標(biāo)注每一 X， 因?yàn)榇讼掳j(luò)適用于兩個(gè)變量。當(dāng)將框1308中的SADfs的當(dāng)前值讀入框1303中X的位置 中，隨后將1307中SAD ss的當(dāng)前值讀入框1302中X的位置中時(shí)，發(fā)生SADfs值與SADss值的 交替。對于L P的狀況，另一方面對于1315"將用Ls+Ts替換Ls。通過實(shí)驗(yàn)預(yù)定用于測試當(dāng) 前下包絡(luò)值的量A及閾值。
[0109] 圖11為說明用于執(zhí)行圖10的步驟1089的例示性過程的流程圖。圖11大致展示 用于更新決策變量的過程。在圖11中用從度量導(dǎo)出的新信息來更新六個(gè)決策變量（對應(yīng) 于六個(gè)可能的決策）。如下得到所述決策變量：
[0110] D〇 = a D4+分支信息（0) (14)
[0111] Di = a D〇+分支信息（1) (15)
[0112] D2 = a DJ 分支信息（2) (16)
[0113] D3 = a D2+分支信息（3) (17)
[0114] D4 = a D3+分支信息（4) (18)
[0115] D5 = a D5+分支信息（5) (19)
[0116] 量α小于一且限制決策變量對其過去值的依賴性；α的使用等效于當(dāng)歐幾里德 距離的數(shù)據(jù)變舊時(shí)減小每一歐幾里德距離的效應(yīng)。在流程圖1162中，在左側(cè)將待更新的決 策變量在線1101、1102、1103、1104、1105及1106上列出為可用的。接著在框1100的一者 中將相位轉(zhuǎn)變路徑的一者上的決策變量的每一者乘以α，α為小于一的數(shù)；接著將舊的決 策變量的衰減值添加到通過相位轉(zhuǎn)變路徑上的下一相位編索引的分支信息變量的當(dāng)前值， 衰減的決策變量在所述相位轉(zhuǎn)變路徑上。此在框1110中發(fā)生。在框1193中使變量D5偏 移一量Λ ;Λ是在框1112中計(jì)算出。如以下所述，選擇所述量以減少由此系統(tǒng)所確定的相 位序列中的不一致性。在框1120中得到最小的決策變量。
[0117] 總之，將每一決策所特有的新信息添加到已被乘以α的適當(dāng)?shù)臎Q策變量的先前 值以得到當(dāng)前決策變量的值。當(dāng)已得到新度量時(shí)，可作出新的決策；因此，此技術(shù)能夠在接 收到每一幀的場1及場2時(shí)作出新的決策。所述決策變量為先前所提到的歐幾里德距離的 和。
[0118] 適用相位經(jīng)選擇為具有最小決策變量的下標(biāo)的相位。在圖10的框1090中明確作 出基于決策變量的決策。決策空間中允許某些決策。如框1091中所描述，所述決策為：（i) 適用相位不是P 5--則反電視電影處理視頻及（ii)適用相位為P5--則解交錯(cuò)視頻。
[0119] 因?yàn)槎攘渴菑谋举|(zhì)上可變的視頻中取出，所以決策的相干串中可能存在偶然誤 差。此技術(shù)檢測到與圖7不一致的相位序列。在圖14中概述其操作。算法1400在框1405 中存儲(chǔ)當(dāng)前相位決策的下標(biāo)（=X)且在框1406中存儲(chǔ)先前相位決策的下標(biāo)（=y)。在框 1410中，測試是否X = y = 5 ;在框1411中，測試以下值：
[0120] 是否
[0121] X = 1, y = 0 ;或
[0122] X = 2, y = 1 ;或
[0123] X = 3, y = 2 ;或
[0124] X = 4, y = 3 ;或
[0125] X = 0, y = 4。
[0126] 如果兩個(gè)測試的任一者為肯定的，則在框1420中宣告所述決策是一致的。如果任 一測試均不是肯定的，則在圖15中計(jì)算展示于圖11的框1193中的偏移且將所述偏移添加 到與P5相關(guān)聯(lián)的決策變量D 5。
[0127] 對D5的修改作為過程1500的一部分還出現(xiàn)于圖15中，所述修改對相位序列中的 不一致性提供校正作用。假定流程圖1500中的框1510中的一致性測試已失敗。沿著從框 1510引出的"否"分支進(jìn)行，框1514中的下一測試為：對于所有i < 5,是否D5 > Di ;或者 為：對于i < 5,所述變量的至少一者Di是否大于D5。如果第一狀況有效，則在框1516中將 初始值為S 〇的參數(shù)s改變成3 S ^。如果第二狀況有效，則在框1517中將δ改變成4 δ。。 在框152Β中，將Λ的值更新為ΛΒ，其中
[0128] ΔΒ =最大（Δ-δ，-40 δ。） (20)
[0129] 再返回框15210,假定所述決策串經(jīng)判定為一致。在框15215中，將參數(shù)δ改變成 由下式定義的S +
[0130] δ +=最大（2 δ，16 δ〇) (21)
[0131] 在框152Α中將δ的新值插入用于Λ的更新關(guān)系ΛΑ中。此是
[0132] ΔΑ =最大（Δ +δ，40 δ。） (22)
[0133] 接著在框1593中將Λ的更新值添加到?jīng)Q策變量D5。
[0134] 圖16展示一旦確定了下拉相位，反電視電影處理過程如何進(jìn)行。使用此信息，將 場1605及1605'識(shí)別為表示視頻的同一場。對所述兩個(gè)場一起求平均且將其與場1606組 合以重構(gòu)幀1620。經(jīng)重構(gòu)的幀為1620'。類似過程將重構(gòu)幀1622。不復(fù)制從幀1621及 1623導(dǎo)出的場。通過將所述幀的第一及第二場重新編織在一起而重構(gòu)所述幀。
[0135] 在以上所描述的方面中，每當(dāng)接收到新幀時(shí)，得到度量的四個(gè)新值且使用新近計(jì) 算出的決策變量來測試六重假設(shè)組。其它處理結(jié)構(gòu)可適合于計(jì)算所述決策變量。維特比 (Viterbi)解碼器將組成路徑的分支的度量添加在一起以形成路徑度量。此處所定義的決 策變量通過類似規(guī)則所形成：每一者為新信息變量的"漏泄"和。（在漏泄求和中，在將新信 息數(shù)據(jù)添加到?jīng)Q策變量的先前值之前，將所述決策變量的先前值乘以小于一的數(shù)。）維特比 解碼器結(jié)構(gòu)可經(jīng)修改以支持此程序的操作。
[0136] 雖然就處理常規(guī)視頻（其中，每隔1/30秒出現(xiàn)一新幀）來說描述本方面，但應(yīng)注 意，此過程可適用于在時(shí)間上向后記錄并處理的幀。決策空間保持相同，但存在較小變化， 所述變化反映出輸入幀的序列的時(shí)間反轉(zhuǎn)。舉例來說，來自時(shí)間反轉(zhuǎn)模式的一串相干電視 電影處理決策（此處所展示的）
[0137]
[0138] 將還在時(shí)間上被反轉(zhuǎn)。
[0139] 使用對第一方面的此變化將允許決策在作出成功決策時(shí)進(jìn)行兩種嘗試：一種嘗試 是在時(shí)間上向前，另一種嘗試是在時(shí)間上向后。雖然兩種嘗試不是獨(dú)立的，但其不相同，因 為每一種嘗試將以不同的次序處理度量。
[0140] 此想法可與緩沖器一起應(yīng)用，所述緩沖器經(jīng)維持以存儲(chǔ)可能另外需要的將來的視 頻幀。如果發(fā)現(xiàn)視頻片段在前向處理方向中給出不可接受地不一致結(jié)果，則程序?qū)乃?緩沖器中取出將來的幀且試圖通過在反方向中處理所述幀來克服視頻的拉伸困難。
[0141] 此專利中所描述的對視頻的處理還可適用于PAL格式的視頻。
[0142] 解交錯(cuò)器
[0143] 如本文中所使用的"解交錯(cuò)器"是廣義術(shù)語，其可用于描述完全或大部分地處理交 錯(cuò)多媒體數(shù)據(jù)以形成逐行多媒體數(shù)據(jù)的解交錯(cuò)系統(tǒng)、裝置或過程（包括例如經(jīng)配置以執(zhí)行 過程的軟件、固件或硬件）。
[0144] 視頻相機(jī)、廣播播音室等中按照慣例所產(chǎn)生的廣播視頻在美國符合NTSC標(biāo)準(zhǔn)。一 種壓縮視頻的常見方式是將其交錯(cuò)。在交錯(cuò)數(shù)據(jù)中，每一幀由兩個(gè)場中的一者組成。一個(gè) 場由幀的奇數(shù)線組成，另一場由偶數(shù)線組成。雖然以大致30幀/秒產(chǎn)生幀，但所述場為電 視相機(jī)的圖像的記錄，所述記錄相隔1/60秒。交錯(cuò)視頻信號(hào)的每一幀展示圖像的每隔一水 平線。當(dāng)所述幀投影于屏幕上時(shí)，視頻信號(hào)在展示偶數(shù)線與奇數(shù)線之間交替。當(dāng)足夠快地 執(zhí)行此交替時(shí)（例如，大約每秒60個(gè)幀），視頻圖像在人眼看來是平滑的。
[0145] 在基于NTSC(美國）及PAL(歐洲）格式的模擬電視廣播中已使用交錯(cuò)達(dá)數(shù)十 年。因?yàn)橛妹恳粠l(fā)送僅一半的圖像，所以交錯(cuò)視頻使用的帶寬大約為其發(fā)送整個(gè)圖像將 會(huì)使用的帶寬的一半。在終端16內(nèi)部的視頻的最后的顯示格式不必要與NTSC兼容且不 能容易地顯示交錯(cuò)數(shù)據(jù)。相反，現(xiàn)代基于像素的顯示器（例如，^0、01^、1^〇)5、等離子體 等）是逐行掃描且顯示經(jīng)逐行掃描的視頻源（而許多較舊的視頻裝置使用較舊的交錯(cuò)掃 描技術(shù)）。一些常使用的解交錯(cuò)算法的實(shí)例描述于P ·哈維斯托（P. Haavisto)，J.祝霍拉 (J. Juhola)及Y.約奧（Y.Neuvo)的"使用自適應(yīng)加權(quán)中值濾波的掃描速率向上轉(zhuǎn)換（Scan rate up-conversion using adaptive weighted median filtering)，'(HDTV II 的信號(hào)處理 (Signal Processing of HDTV II)，第703-710頁，1990年）及R·西蒙內(nèi)提（R.Simone1:ti), S.卡拉托（S.Carrato)，G.藍(lán)波尼（G.Ramponi)及 Α·保羅費(fèi)里森（A.Polo Filisan)的 "用于多媒體應(yīng)用的HDTV 圖像的解交錯(cuò)（Deinterlacing of HDTV Images for Multimedia Applications)"（HDTV II 的信號(hào)處理（Signal Processing of HDTV IV)，第 765-772 頁， 1993年）中。
[0146] 以下描述用于可單獨(dú)使用或組合使用以改進(jìn)解交錯(cuò)的性能且可用于解交錯(cuò)器 405 (圖4)中的系統(tǒng)及方法的解交錯(cuò)方面的實(shí)例。所述方面可包括使用空間時(shí)間濾波來解 交錯(cuò)選定巾貞以確定第一臨時(shí)解交錯(cuò)巾貞、使用雙向運(yùn)動(dòng)估計(jì)及運(yùn)動(dòng)補(bǔ)償從所述選定巾貞確定第 二臨時(shí)解交錯(cuò)幀，及接著組合所述第一與第二臨時(shí)幀以形成最終的逐行幀。所述空間時(shí)間 濾波可使用加權(quán)中值濾波（"Wmed"）濾波器，所述濾波器可包括防止使水平或近水平邊緣 模糊的水平邊緣檢測器。對"當(dāng)前"場的先前及隨后的鄰近場的空間時(shí)間濾波產(chǎn)生強(qiáng)度運(yùn) 動(dòng)等級(jí)映射，所述強(qiáng)度運(yùn)動(dòng)等級(jí)映射將選定幀的若干部分分類成不同的運(yùn)動(dòng)等級(jí)，例如，靜 態(tài)、緩慢運(yùn)動(dòng)及快速運(yùn)動(dòng)。
[0147] 在一些方面中，通過Wmed濾波使用包括來自五個(gè)鄰近場（前兩個(gè)場、當(dāng)前場及后 兩個(gè)場）的像素的濾波光圈產(chǎn)生所述強(qiáng)度映射。Wmed濾波可確定可有效地處置場景變化及 物體出現(xiàn)及消失的前向、后向及雙向靜態(tài)區(qū)檢測。在各方面中，可在場間濾波模式中跨越具 有相同奇偶性的一個(gè)或一個(gè)以上場利用Wmed濾波器，且可通過調(diào)節(jié)閾值標(biāo)準(zhǔn)而將其切換 到場內(nèi)濾波模式。在一些方面中，運(yùn)動(dòng)估計(jì)及補(bǔ)償使用亮度（像素的強(qiáng)度或明亮度）及色 度數(shù)據(jù)（像素的色彩信息）來改進(jìn)選定幀的解交錯(cuò)區(qū)域，其中明亮度等級(jí)幾乎一致但色彩 不同。去噪聲濾波器可用于增加運(yùn)動(dòng)估計(jì)的準(zhǔn)確度?？蓪⑷ピ肼暈V波器應(yīng)用于經(jīng)Wmed解 交錯(cuò)的臨時(shí)幀以移除由Wmed濾波所產(chǎn)生的混疊假影。以下所描述的解交錯(cuò)方法及系統(tǒng)產(chǎn) 生優(yōu)良的解交錯(cuò)結(jié)果且具有相對低的計(jì)算復(fù)雜性，其允許快速運(yùn)行解交錯(cuò)實(shí)施方案，使所 述實(shí)施方案適合于各種各樣的解交錯(cuò)應(yīng)用，所述應(yīng)用包括用于利用顯示器將數(shù)據(jù)提供到蜂 窩電話、計(jì)算機(jī)及其它類型的電子或通信裝置的系統(tǒng)。
[0148] 本文中參考用于解交錯(cuò)多媒體數(shù)據(jù)的各種組件、模塊及/或步驟來描述解交錯(cuò)器 及解交錯(cuò)方法的方面。
[0149] 圖17為說明可用作圖4中的解交錯(cuò)器405的解交錯(cuò)器1700的一方面的框圖。解 交錯(cuò)器1700包括在空間及時(shí)間上（"空間時(shí)間"）濾波交錯(cuò)數(shù)據(jù)的至少一部分且產(chǎn)生空間 時(shí)間信息的空間濾波器1730。舉例來說，可在空間濾波器1730中使用Wmed。在一些方面 中，解交錯(cuò)器1700還包括去噪聲濾波器（未圖示），例如，維納（Weiner)濾波器或小波收 縮（wavelet shrinkage)濾波器。解交錯(cuò)器1700還包括提供對交錯(cuò)數(shù)據(jù)的選定巾貞的運(yùn)動(dòng) 估計(jì)及補(bǔ)償且產(chǎn)生運(yùn)動(dòng)信息的運(yùn)動(dòng)估計(jì)器1732。組合器1734接收并組合空間時(shí)間信息與 運(yùn)動(dòng)信息以形成逐行幀。
[0150] 圖18為解交錯(cuò)器1700的另一框圖。解交錯(cuò)器1700中的處理器1836包括空間濾 波器模塊1838、運(yùn)動(dòng)估計(jì)模塊1840及組合器模塊1842。來自外部源48的交錯(cuò)多媒體數(shù)據(jù) 可被提供到解交錯(cuò)器1700中的通信模塊44?？赏ㄟ^硬件、軟件、固件、中間件、微碼或其任 何組合來實(shí)施解交錯(cuò)器及其組件或步驟。舉例來說，解交錯(cuò)器可為作為硬件、固件、中間件 并入于另一裝置的組件中的單獨(dú)組件，或以在處理器上執(zhí)行的微碼或軟件予以實(shí)施，或其 組合。當(dāng)以軟件、固件、中間件或微碼予以實(shí)施時(shí)，可將執(zhí)行解交錯(cuò)器任務(wù)的程序碼或碼段 存儲(chǔ)于例如存儲(chǔ)媒體的機(jī)器可讀媒體中。碼段可表示過程、函數(shù)、子程序、程序、例程、子例 程、模塊、軟件封裝、類，或指令、數(shù)據(jù)結(jié)構(gòu)或程序語句的任何組合?？赏ㄟ^傳遞及/或接收 信息、數(shù)據(jù)、自變量、參數(shù)或存儲(chǔ)器內(nèi)容而將碼段耦合到另一碼段或硬件電路。
[0151] 所接收的交錯(cuò)數(shù)據(jù)可存儲(chǔ)于解交錯(cuò)器1700中的存儲(chǔ)媒體1846中，存儲(chǔ)媒體1846 可包括（例如）芯片配置式存儲(chǔ)媒體（例如，R〇M、RAM)或連接到處理器1836的盤型存儲(chǔ)媒 體（例如，磁性的或光學(xué)的）。在一些方面中，處理器1836可含有部分或所有存儲(chǔ)媒體。處 理器1836經(jīng)配置以處理交錯(cuò)多媒體數(shù)據(jù)以形成隨后被提供到另一裝置或過程的逐行幀。
[0152] 類似電視的傳統(tǒng)模擬視頻裝置以交錯(cuò)方式再現(xiàn)視頻，S卩，所述裝置傳輸編號(hào)為偶 數(shù)的掃描線（偶數(shù)場）及編號(hào)為奇數(shù)的掃描線（奇數(shù)場）。從信號(hào)取樣觀點(diǎn)看，這等效于以 如下所描述的樣式進(jìn)行的空間時(shí)間子取樣（subsampling):
[0153] '+Θ(Χ 如果 _v mod 2 = 0 對 +Γ偶數(shù)場， 汽1，y，，!）= ·= Θ(χ，)%?}，如果 y mod 2 = I 對 j 數(shù)場，
[0154] 其中〇代表最初的幀圖像，F(xiàn)代表交錯(cuò)場，且（x，y，n)分別表示像素的水平、垂直 及時(shí)間位置。
[0155] 在不損失一股性的情況下，可假定在本發(fā)明中η = 0始終為偶數(shù)場，因此以上等式 23經(jīng)簡化為
[0156] (Θ?.ν,ν,/J), V ITHXi 2 = /7 IlHKi 2, t(x.x.n) = {1 - (24) ? 1攛餘，+和眺
[0157] 因?yàn)椴皇窃谒匠叽缰羞M(jìn)行抽取，所以可以接下來的n?y坐標(biāo)描繪子取樣樣式。 在圖19中，圓圈與星號(hào)均表示位置，在所述位置中最初的全幀圖像具有樣本像素。解交錯(cuò) 過程抽取星號(hào)像素，而保留圓圈像素完整無缺。請注意，我們從零開始對垂直位置編索引， 因此，偶數(shù)場為頂部場，且奇數(shù)場為底部場。
[0158] 解交錯(cuò)器的目標(biāo)為將交錯(cuò)視頻（場序列）變換成非交錯(cuò)逐行幀（幀序列）。換句 話說，內(nèi)插偶數(shù)及奇數(shù)場以"恢復(fù)"或產(chǎn)生全幀圖像。此可通過等式25來表示：
[0159] iFix. v,?). vmod2 = nmod2. J.X, YJl) = { lf；(-古則，
[0160] 其中匕表示缺少的像素的解交錯(cuò)結(jié)果。
[0161] 圖20為說明解交錯(cuò)器的一方面的某些方面的框圖，所述解交錯(cuò)器使用Wmed濾波 及運(yùn)動(dòng)估計(jì)從交錯(cuò)多媒體數(shù)據(jù)產(chǎn)生逐行幀。圖20的上部分展示可使用來自當(dāng)前場、前兩個(gè) 場（PP場及P場）及后兩個(gè)場（下一場及再下一場）的信息而產(chǎn)生的運(yùn)動(dòng)強(qiáng)度映射2052。 運(yùn)動(dòng)強(qiáng)度映射2052將當(dāng)前幀分類或分割成兩個(gè)或兩個(gè)以上的不同運(yùn)動(dòng)等級(jí)，且可通過下 文中進(jìn)一步詳細(xì)描述的空間時(shí)間濾波而產(chǎn)生。在一些方面中，產(chǎn)生運(yùn)動(dòng)強(qiáng)度映射2052以識(shí) 別如以下參考等式4到8所描述的靜態(tài)區(qū)、緩慢運(yùn)動(dòng)區(qū)及快速運(yùn)動(dòng)區(qū)?？臻g時(shí)間濾波器（例 如，Wmed濾波器2054)使用基于運(yùn)動(dòng)強(qiáng)度映射的標(biāo)準(zhǔn)來濾波交錯(cuò)多媒體數(shù)據(jù)，且產(chǎn)生空間 時(shí)間臨時(shí)解交錯(cuò)幀。在一些方面中，Wmed濾波過程涉及[_1，1]的水平鄰域、[-3, 3]的垂直 鄰域，及通過圖20中所說明的五個(gè)場（PP場、P場、當(dāng)前場、下一場、再下一場）表示的五個(gè) 相鄰場的時(shí)間鄰域，其中Z4表示一個(gè)場的延遲。相對于當(dāng)前場，下一場及P場為非奇偶場 且PP場及再下一場為奇偶場。用于空間時(shí)間濾波的"鄰域"是指在濾波操作期間實(shí)際所使 用的場及像素的空間及時(shí)間位置，且可說明為如（例如）圖21及圖22中所展示的"光圈"。
[0162] 解交錯(cuò)器還可包括去噪聲器（去噪聲濾波器）2056。去噪聲器2056經(jīng)配置以濾 波由Wmed濾波器2054產(chǎn)生的空間時(shí)間臨時(shí)解交錯(cuò)幀。對空間時(shí)間臨時(shí)解交錯(cuò)幀去噪聲使 隨后的運(yùn)動(dòng)搜索過程更準(zhǔn)確，尤其是當(dāng)源交錯(cuò)多媒體數(shù)據(jù)序列受白噪聲污染時(shí)。去噪聲器 2056還可至少部分地移除Wmed圖像中偶數(shù)行與奇數(shù)行之間的混疊?？蓪⑷ピ肼暺?056實(shí) 施為多種濾波器，包括同樣在下文中進(jìn)一步加以描述的基于小波收縮及小波維納（Wiener) 濾波器的去噪聲器。
[0163] 圖20的下部分說明用于確定交錯(cuò)多媒體數(shù)據(jù)的運(yùn)動(dòng)信息（例如，運(yùn)動(dòng)向量候選 者、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償）的方面。具體來說，圖20說明運(yùn)動(dòng)估計(jì)及運(yùn)動(dòng)補(bǔ)償方案，所述運(yùn)動(dòng) 估計(jì)及運(yùn)動(dòng)補(bǔ)償方案用于產(chǎn)生選定幀的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)呐R時(shí)逐行幀，且接著將其與Wmed臨 時(shí)幀組合以形成所得的"最終"逐行幀，其展示為經(jīng)解交錯(cuò)的當(dāng)前幀2064。在一些方面中， 交錯(cuò)多媒體數(shù)據(jù)的運(yùn)動(dòng)向量（"MV"）候選者（或估計(jì)）從外部運(yùn)動(dòng)估計(jì)器提供到解交錯(cuò)器 且用于為雙向運(yùn)動(dòng)估計(jì)器及補(bǔ)償器（"ME/MC"）2068提供起始點(diǎn)。在一些方面中，MV候選 選擇器2072對于正被處理的塊的MV候選者使用先前所確定的用于鄰近塊的MV，例如先前 經(jīng)處理的塊（例如，經(jīng)解交錯(cuò)的先前幀2070中的塊）的MV?？苫谙惹敖?jīng)解交錯(cuò)的幀70 及下一（例如，將來的）Wmed幀2058而雙向進(jìn)行運(yùn)動(dòng)補(bǔ)償。由組合器2062合并或組合當(dāng) 前Wmed幀2060與經(jīng)運(yùn)動(dòng)補(bǔ)償（"MC"）的當(dāng)前幀2066。所得的經(jīng)解交錯(cuò)的當(dāng)前幀2064(現(xiàn) 為逐行幀）經(jīng)提供回ME/MC 2068以用作經(jīng)解交錯(cuò)的先前幀2070且還經(jīng)傳送到解交錯(cuò)器外 部以供進(jìn)一步處理（例如，壓縮及傳輸?shù)斤@示終端）。以下更詳細(xì)描述圖20中所展示的各 種方面。
[0164] 圖25說明用于處理多媒體數(shù)據(jù)以從交錯(cuò)幀序列產(chǎn)生逐行幀序列的過程2500。在 一方面中，由圖4中所說明的解交錯(cuò)器405產(chǎn)生逐行幀。在框2502處，過程2500 (過程"A"） 產(chǎn)生用于選定幀的空間時(shí)間信息?？臻g時(shí)間信息可包括用于分類多媒體數(shù)據(jù)的運(yùn)動(dòng)等級(jí)且 產(chǎn)生運(yùn)動(dòng)強(qiáng)度映射的信息，且包括Wmed臨時(shí)解交錯(cuò)幀及用于產(chǎn)生所述幀的信息（例如，用 于等式26到33中的信息）。可由如圖20的上部分中所說明的Wmed濾波器2054及其相關(guān) 處理（以下進(jìn)一步詳細(xì)描述）執(zhí)行此過程。在圖26中所說明的過程A中，在框2602處將 區(qū)域分類成具有不同運(yùn)動(dòng)等級(jí)的場，如以下進(jìn)一步加以描述。
[0165] 接下來，在框2504處（過程"B")，過程2500產(chǎn)生用于選定幀的運(yùn)動(dòng)補(bǔ)償信息。在 一方面中，在圖20的下部分中所說明的雙向運(yùn)動(dòng)估計(jì)器/運(yùn)動(dòng)補(bǔ)償器2068可執(zhí)行此過程。 過程2500接著進(jìn)行到框2506,其中過程基于空間時(shí)間信息及運(yùn)動(dòng)補(bǔ)償信息而解交錯(cuò)選定 幀的場以形成與選定幀相關(guān)聯(lián)的逐行幀。此可由在圖20的下部分中所說明的組合器2062 來執(zhí)行。
[0166] 運(yùn)動(dòng)強(qiáng)度映射
[0167] 對于每一幀，可通過處理當(dāng)前場中的像素以確定不同"運(yùn)動(dòng)"的區(qū)來確定運(yùn)動(dòng)強(qiáng)度 2052映射。以下參看圖21到圖24描述確定三類運(yùn)動(dòng)強(qiáng)度映射的說明性方面。運(yùn)動(dòng)強(qiáng)度映 射基于比較相同奇偶性場及不同奇偶性場中的像素而指定每一幀的區(qū)為靜態(tài)區(qū)、緩慢運(yùn)動(dòng) 區(qū)及快速運(yùn)動(dòng)區(qū)。
[0168] 靜態(tài)區(qū)
[0169] 確定運(yùn)動(dòng)映射的靜態(tài)區(qū)可包含處理相鄰場的鄰域中的像素以確定某（些）像素 的亮度差是否滿足某種標(biāo)準(zhǔn)。在一些方面中，確定運(yùn)動(dòng)映射的靜態(tài)區(qū)包含處理五個(gè)相鄰場 (當(dāng)前場（C)、時(shí)間上在所述當(dāng)前場之前的兩個(gè)場及時(shí)間上在所述當(dāng)前場之后的兩個(gè)幀）的 鄰域中的像素以確定某（些）像素的亮度差是否滿足某些閾值。所述五個(gè)場說明于圖20 中，廠 1表示一個(gè)場的延遲。換句話說，通常將以具有f的時(shí)間延遲的所述序列顯示所述五 個(gè)相鄰場。
[0170] 圖21說明根據(jù)一些方面識(shí)別所述五個(gè)場的每一者的某些像素的光圈，所述光圈 可用于空間時(shí)間濾波。所述光圈包括（從左到右）再前一場（PP)、前一場（P)、當(dāng)前場（C)、 下一場（N)及再下一場（NN)的3X3像素群組。在一些方面中，如果當(dāng)前場的區(qū)滿足等式 26到28中所描述的標(biāo)準(zhǔn)，則在運(yùn)動(dòng)映射中認(rèn)為當(dāng)前場的所述區(qū)為靜態(tài)區(qū)，圖21中說明像素 位置及對應(yīng)場：
[0171] LP-LN | < Ti (26)
[0172] 且

【權(quán)利要求】
1. 一種處理多媒體數(shù)據(jù)的方法，其包含： 接收交錯(cuò)視頻幀； 將所述交錯(cuò)視頻幀轉(zhuǎn)換成逐行視頻，其中，所述逐行視頻中的每一幀都包括完整圖 像； 獨(dú)立于所述轉(zhuǎn)換，基于所述逐行視頻產(chǎn)生元數(shù)據(jù)，其中所述元數(shù)據(jù)包含圖像群組信 息； 基于所述元數(shù)據(jù)，確定編碼參數(shù)； 根據(jù)所述編碼參數(shù)，將所述逐行視頻及所述元數(shù)據(jù)的至少一部分提供到編碼器以用于 編碼所述逐行視頻。
2. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含使用所述元數(shù)據(jù)來編碼所述逐行視頻。
3. 根據(jù)權(quán)利要求1所述的方法，其中轉(zhuǎn)換所述視頻幀包含解交錯(cuò)所述交錯(cuò)視頻幀。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)包含帶寬信息。
5. 根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)包含雙向運(yùn)動(dòng)信息。
6. 根據(jù)權(quán)利要求1所述的方法，其中解交錯(cuò)包含 產(chǎn)生用于所述交錯(cuò)視頻幀的空間信息及雙向運(yùn)動(dòng)信息；及 使用所述空間及雙向運(yùn)動(dòng)信息基于所述交錯(cuò)視頻幀而產(chǎn)生所述逐行視頻。
7. 根據(jù)權(quán)利要求4所述的方法，其中所述帶寬信息包含亮度信息。
8. 根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)包含空間復(fù)雜性值。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)包含時(shí)間復(fù)雜性值。
10. 根據(jù)權(quán)利要求1所述的方法，其中轉(zhuǎn)換所述交錯(cuò)視頻幀包含反電視電影處理3 : 2 下拉視頻幀。
11. 根據(jù)權(quán)利要求10所述的方法，其中所述元數(shù)據(jù)包含帶寬比信息。
12. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含對所述逐行視頻調(diào)整大小。
13. 根據(jù)權(quán)利要求12所述的方法，其進(jìn)一步包含分割所述逐行視頻以確定圖像群組信 肩、。
14. 根據(jù)權(quán)利要求13所述的方法，其中所述分割包含對所述逐行視頻的分鏡頭檢測。
15. 根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包含用去噪聲濾波器濾波所述逐行視頻。
16. 根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)包含亮度及色度信息。
17. -種用于處理多媒體數(shù)據(jù)的設(shè)備，其包含： 接收器，其經(jīng)配置以接收交錯(cuò)視頻幀； 解交錯(cuò)器，其經(jīng)配置以將所述交錯(cuò)視頻幀轉(zhuǎn)換成逐行視頻，其中，所述逐行視頻中的每 一幀都包括完整的圖像；及 分割器，其經(jīng)配置以： 獨(dú)立于所述解交錯(cuò)器將所述交錯(cuò)視頻幀轉(zhuǎn)換成逐行視頻，基于所述逐行視頻產(chǎn)生元數(shù) 據(jù)，其中所述元數(shù)據(jù)包含圖像群組信息； 基于所述元數(shù)據(jù)，確定編碼參數(shù)； 根據(jù)所述編碼參數(shù)，將所述逐行視頻及所述元數(shù)據(jù)提供到編碼器以用于編碼所述逐行 視頻。
18. 根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包含編碼器，所述編碼器經(jīng)配置以從通信 模塊接收所述逐行視頻且使用所述所提供的元數(shù)據(jù)來編碼所述逐行視頻。
19. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述解交錯(cuò)器經(jīng)配置以執(zhí)行空間時(shí)間解交錯(cuò)。
20. 根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包含用于對所述逐行視頻進(jìn)行去噪聲的去 噪聲濾波器。
21. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述解交錯(cuò)器包含反電視電影處理器。
22. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述分割器經(jīng)配置以執(zhí)行分鏡頭檢測且基于所 述分鏡頭檢測產(chǎn)生壓縮信息。
23. 根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包含經(jīng)配置以對逐行幀調(diào)整大小的重取樣 器。
24. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述元數(shù)據(jù)包含帶寬信息。
25. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述元數(shù)據(jù)包含雙向運(yùn)動(dòng)信息。
26. 根據(jù)權(quán)利要求17所述的設(shè)備，其中解交錯(cuò)器經(jīng)配置以 產(chǎn)生用于所述交錯(cuò)視頻幀的空間信息及雙向運(yùn)動(dòng)信息；且 使用所述空間及雙向運(yùn)動(dòng)信息基于所述交錯(cuò)視頻幀而產(chǎn)生逐行視頻。
27. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述元數(shù)據(jù)包含帶寬比。
28. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述元數(shù)據(jù)包含亮度信息。
29. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述元數(shù)據(jù)包含空間復(fù)雜性值。
30. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述元數(shù)據(jù)包含時(shí)間復(fù)雜性值。
31. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述元數(shù)據(jù)包含亮度及色度信息。
32. -種用于處理多媒體數(shù)據(jù)的設(shè)備，其包含： 接收裝置，其用于接收交錯(cuò)視頻； 轉(zhuǎn)換裝置，其用于將所述交錯(cuò)視頻轉(zhuǎn)換成逐行視頻其中，所述逐行視頻中的每一幀都 包括完整圖像； 產(chǎn)生裝置，其用于獨(dú)立于所述轉(zhuǎn)換，基于所述逐行視頻產(chǎn)生元數(shù)據(jù)，其中所述元數(shù)據(jù)包 含圖像群組信息； 確定裝置，其用于基于所述元數(shù)據(jù)確定編碼參數(shù)； 提供裝置，其用于根據(jù)所述編碼參數(shù)將所述逐行視頻及所述元數(shù)據(jù)的至少一部分提供 到編碼器以用于編碼所述逐行視頻。
33. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述轉(zhuǎn)換裝置包含反電視電影處理器。
34. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述轉(zhuǎn)換裝置包含空間時(shí)間解交錯(cuò)器。
35. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述產(chǎn)生裝置經(jīng)配置以執(zhí)行分鏡頭檢測且基于 所述分鏡頭檢測產(chǎn)生壓縮信息。
36. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述產(chǎn)生裝置經(jīng)配置以產(chǎn)生帶寬信息。
37. 根據(jù)權(quán)利要求32所述的設(shè)備，其進(jìn)一步包含重取樣裝置，所述重取樣裝置用于重 取樣以對逐行幀調(diào)整大小。
38. 根據(jù)權(quán)利要求32所述的設(shè)備，其進(jìn)一步包含編碼裝置，所述編碼裝置用于使用所 述所提供的元數(shù)據(jù)來編碼所述逐行視頻。
39. 根據(jù)權(quán)利要求32所述的設(shè)備，其進(jìn)一步包含去噪聲裝置，所述去噪聲裝置用于對 所述逐行視頻去噪聲。
40. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述元數(shù)據(jù)包含雙向運(yùn)動(dòng)信息。
41. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述轉(zhuǎn)換裝置經(jīng)配置以 產(chǎn)生用于交錯(cuò)視頻幀的空間信息及雙向運(yùn)動(dòng)信息；且 使用所述空間及雙向運(yùn)動(dòng)信息基于所述交錯(cuò)視頻幀而產(chǎn)生逐行視頻。
42. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述元數(shù)據(jù)包含帶寬比。
43. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述帶寬信息包含亮度信息。
44. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述元數(shù)據(jù)包含空間復(fù)雜性值。
45. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述元數(shù)據(jù)包含時(shí)間復(fù)雜性值。
46. 根據(jù)權(quán)利要求32所述的設(shè)備，其中所述元數(shù)據(jù)包含亮度及色度信息。
47. -種處理器，用于： 接收交錯(cuò)視頻； 將所述交錯(cuò)視頻轉(zhuǎn)換成逐行視頻，其中，所述逐行視頻中的每一幀都包括完整圖像； 獨(dú)立于所述轉(zhuǎn)換，基于所述逐行視頻產(chǎn)生元數(shù)據(jù)，其中所述元數(shù)據(jù)包含圖像群組信 息； 基于所述元數(shù)據(jù)確定編碼參數(shù)； 根據(jù)所述編碼參數(shù)將所述逐行視頻及所述元數(shù)據(jù)的至少一部分提供到編碼器以用于 編碼所述逐行視頻。
【文檔編號(hào)】H04N7/01GK104159060SQ201410438251
【公開日】2014年11月19日 申請日期:2007年3月13日 優(yōu)先權(quán)日:2006年4月3日
【發(fā)明者】田濤, 劉方, 石方, 維賈雅拉克希米·R·拉韋恩德拉恩 申請人:高通股份有限公司