專利名稱：基于編輯狀態(tài)的圖像數(shù)字處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于使用圖像記錄的方法，并涉及使用圖像記錄的系 統(tǒng)，諸如電視系統(tǒng)，本發(fā)明尤其涉及基于編輯狀態(tài)的電視數(shù)字處理。
背景技術(shù)：
數(shù)字成像已經(jīng)極大提高了消費(fèi)者能力，來由同一輸出系統(tǒng)上的專業(yè) 和業(yè)余圖像記錄制作可視圖像。文中使用術(shù)語"可視圖像"來指可以在 視覺上感知的圖像，諸如用顯示器產(chǎn)生的光圖像，以及用打印機(jī)或印刷 機(jī)產(chǎn)生的硬拷貝圖像。文中使用術(shù)語"圖像記錄"來指數(shù)字靜態(tài)圖像、 視頻序列或多媒體記錄。輸出系統(tǒng)有時候提供對輸出圖像記錄的最小的 自動化數(shù)字處理。在其它情況下，提供"一刀切，，處理。這些方法在窄 輸入范圍的情況下工作效果最佳，而對于不適合該窄范圍的圖像記錄沒 有幫助。手動(用戶指導(dǎo)的)數(shù)字處理一般可用，并且在諸如編輯和打 印個別靜態(tài)圖像的一些情況下不是特別難以承擔(dān)。在另一方面，對于編 輯視頻序列，手動數(shù)字處理可能是非常難以承擔(dān)的。手動處理也不適合 于在不定期觀看的過程中使用。因此，顯示圖像的輸出系統(tǒng)，文中也稱 之為"顯示系統(tǒng)"，特別適合于自動數(shù)字處理。
回放系統(tǒng)的示例包括家庭娛樂系統(tǒng)、電視機(jī)以及提供類似功能的便 攜式裝置?，F(xiàn)在，很多回放系統(tǒng)包括應(yīng)用復(fù)雜圖像處理算法的子系統(tǒng)。 這樣的算法可以改變噪聲、對比度、色彩平衡、亮度以及其它圖像質(zhì)量 參數(shù)中的 一個或多個。這樣的算法可以在很大程度上改善消費(fèi)者圖像記 錄，特別是從未編輯過的圖像記錄或者用缺少復(fù)雜圖像處理的攝像機(jī)采 集的圖像記錄。這樣的算法還可以修改專業(yè)圖像記錄的"外觀"。文中
和授予Morton的美國專利第6868190號以及授予Bogdanwicz等的美國 專利第6972828號一樣意義地使用術(shù)語"外觀"，將這兩個專利并入本 文作為參考。這些專利公開了用于在電影中維持期望的"外觀"的步驟。 "外觀"包括圖像記錄的特征，比如銳度、顆粒、色階、色飽和度、 穩(wěn)像以及噪聲。這些參考文獻(xiàn)教示了已知外觀的輸入圖像記錄的修改，以創(chuàng)建不同外觀的輸出圖像記錄。不幸的是，在很多情況下，輸入記錄
的外觀是未知或未表征的。
修改專業(yè)制備的圖像記錄的外觀將提出是否已損害藝術(shù)價(jià)值的問
題。許多回放系統(tǒng)的一個缺點(diǎn)是完全自動地修改圖像記錄。如果外觀改
變了，這將是有問題的。
如Parulski等的"Source-adaptive encoding options for HDTV and NTSC ，， ， SMPTE Journal ， Oct 1992， 674—683頁所述，根據(jù)源來 修改電視圖像的編碼/壓縮是已知的。
授予Savakis等的美國專利第6671405號教示了使用貝葉斯網(wǎng)或 網(wǎng)絡(luò)組來提供根椐消費(fèi)者圖像的邏輯次序的消費(fèi)者圖像的自動分級，邏 輯次序基于強(qiáng)調(diào)和吸引力的自動評定，但是，圖像的分級是為了自動相 冊頁裝配而確定的。美國專利第6671405號描述了基于人類觀察者的偏 好的地面實(shí)況研究而選擇的若干特征。這些特征包括與人相關(guān)的特征 一人的存在與否、皮膚或臉部面積的量以及基于臉部尺寸的靠近程度； 客觀特征_圖像的色彩性和銳度；以及與主體相關(guān)的特征一主體的尺 寸，以及基于主體映射的構(gòu)圖質(zhì)量。因此，特征提取級的輸出表示特定 特征存在(或不存在)的統(tǒng)計(jì)證據(jù)；然后，分類級對輸出進(jìn)行集成以計(jì) 算表示圖像具有網(wǎng)絡(luò)被設(shè)計(jì)為檢測的類型的可能性的值。
因此，希望提供克服這些缺點(diǎn)的方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明由權(quán)利要求限定。在廣泛的層面上，本發(fā)明提供了一種用于 由圖像記錄產(chǎn)生可視輸出的方法和系統(tǒng)。在該方法中確定提供圖像記錄 的輸入單元。圖像記錄是多種不同類型中的一種。圖像記錄被分類為預(yù) 定的多種不同編輯狀態(tài)中的一種。該分類將確定的輸入單元類型用作輸 入。編輯狀態(tài)包括未編輯狀態(tài)和充分編輯狀態(tài)。圖像記錄被數(shù)字化增強(qiáng)。 在增強(qiáng)的過程中，限制圖像記錄的實(shí)質(zhì)性修改。當(dāng)編輯狀態(tài)為充分編輯 時，對增強(qiáng)的限制較大；當(dāng)編輯狀態(tài)不同于充分編輯時，對增強(qiáng)的限制 較小。圖像記錄被渲染以適應(yīng)于預(yù)定的輸出單元。以可視的形式輸出所 得的圖像記錄。
本發(fā)明的有利效果是提供了改進(jìn)的方法和系統(tǒng)，其中通過應(yīng)用基于 圖像記錄的源的圖像處理來改善圖像記錄的輸出。


通過參照結(jié)合了附圖的本發(fā)明實(shí)施例的以下說明，本發(fā)明的上述和 其它特征、目的以及實(shí)現(xiàn)它們的方法將變得更明顯，并且可以更好地理
解發(fā)明本身，在附圖中
圖1是示出一些可能的內(nèi)容源的本系統(tǒng)的實(shí)施例的示意圖。 圖2是本系統(tǒng)的另一實(shí)施例的示意圖。 圖3是本系統(tǒng)的又一實(shí)施例的示意圖。 圖4是圖1-3的實(shí)施例的工作原理圖。
圖5是舉例說明圖4的兩條不同的圖像處理路徑的詳細(xì)示意圖。 圖6是該方法的實(shí)施例的流程圖。
圖7是圖6的方法的特定修改形式的某些細(xì)節(jié)的流程圖。
圖8是權(quán)利要求5的圖像處理路徑的替代的另 一詳細(xì)示意圖。
對于不同附圖中的特定特征，詳細(xì)的程度不同。
具體實(shí)施例方式
本發(fā)明包括文中所述的實(shí)施例的組合。對"特定實(shí)施例，，等的提及 指的是存在于至少一個本發(fā)明實(shí)施例中的特征。對"實(shí)施例，，或"特定 實(shí)施例"等的不同提及不一定指相同的一個或多個實(shí)施例；然而，這些 實(shí)施例并非互不相容，除非另有說明，或者對于本領(lǐng)域技術(shù)人員來說4艮 明顯。在提及"方法"或"多種方法"等時單數(shù)和/或復(fù)數(shù)的使用不是 限制性的。
像早先所述的那樣，對數(shù)字靜態(tài)圖像、視頻序列或多媒體記錄使用 "圖像記錄"。圖像記錄包括一個或多個數(shù)字圖像，并且還可以包括元 數(shù)據(jù)，諸如聲音或文本注釋。特定圖像記錄可以是單個數(shù)字文件，或者 多個相關(guān)聯(lián)的數(shù)字文件。元數(shù)據(jù)可以存儲在和相關(guān)的數(shù)字圖像相同的圖 像文件中，或者可以單獨(dú)存儲。圖像記錄的示例包括靜態(tài)圖像、視頻序 列和多媒體視頻演示。對于視頻序列，圖像的序列是單個圖像記錄。序 列中的每一個圖像(幀)也是圖像記錄，并且可以被作為圖像記錄來處 理。如果將視頻序列作為較短的多幀序列的集合來處理，那么這些幀序 列中的每一個也是圖像處理。雖然文中 一般與圖像記錄的圖像特征相關(guān) 地描迷該方法和系統(tǒng)，可以用相同的方式來處理可進(jìn)行數(shù)字處理的其它 特征，諸如音頻。同樣地，這里的討論一般針對的是可視圖像的產(chǎn)生和
9顯示。除了從上下文中顯而易見的內(nèi)容以外，適用于靜態(tài)圖像的顯示的 考慮適用于由打印機(jī)、印刷機(jī)等產(chǎn)生的硬拷貝圖像的輸出。
文中所使用的術(shù)語"顯示器"包括產(chǎn)生光圖像的任何裝置，包括發(fā) 光面板、反光面板和投影機(jī)。"顯示器"不限于獨(dú)立的顯示器，而是包 括作為其它設(shè)備的一部分的顯示器，諸如手機(jī)、電視機(jī)或個人視頻播放
器的顯示器。顯示器以特定的視頻幀速率來演示視頻。視頻幀速率是由 源材料和顯示器以及系統(tǒng)的其它組件的能力預(yù)先確定的。在文中的視頻
序列中，由于較慢的速率易于產(chǎn)生有害閃爍，優(yōu)選的情況是幀速率為24 幀每秒或更高。 一種方便的速率是30幀/秒，因?yàn)樵撍俾室话阌糜趶V播 用戶^L頻。
文中使用術(shù)語"渲染，，等來指的數(shù)字處理修改圖像記錄以使得圖像 記錄在特定輸出裝置的限制范圍內(nèi)。這些限制范圍包括色域、可用色階 等。
在以下說明中， 一些特征被描述為"軟件"或"軟件程序"。本領(lǐng) 域技術(shù)人員將認(rèn)識到，也可以容易地在硬件中構(gòu)建該軟件的等效形式。 由于圖像處理算法和系統(tǒng)是眾所周知的，本說明著重于形成該方法的一 部分的算法和特征，或者與該方法更直接地配合的算法和特征。文中討 論的計(jì)算機(jī)化系統(tǒng)的類型的 一般特征是眾所周知的，并且本說明 一般限 于與本發(fā)明的方法直接相關(guān)的那些方面?？梢詮谋绢I(lǐng)域中已知的這些系 統(tǒng)、算法、組件和元件中選擇在文中沒有特別示出或描述的用于產(chǎn)生或 處理其中涉及的圖像信號的這些算法和設(shè)備以及硬件和/或軟件的其它 方面。在給出如文中所迷的說明的情況下，所有的額外軟件/硬件實(shí)施 方式是常規(guī)的，并且在本領(lǐng)域普通技術(shù)范圍內(nèi)。
還應(yīng)當(dāng)注意的是，可以以軟件和/或硬件的組合形式來實(shí)施本發(fā)明， 并且本發(fā)明不限于在物理上連接和/或位于相同的物理位置之內(nèi)的裝 置。附圖中舉例說明的一個或多個組件可以位于遠(yuǎn)處，并且可以通過網(wǎng) 絡(luò)來連接。 一個或多個組件可以以無線的方式，諸如通過射頻鏈路，直 接地或者經(jīng)由網(wǎng)絡(luò)進(jìn)行連接。
可以在多種用戶背景和環(huán)境中采用本發(fā)明。示范性的背景和環(huán)境包 括而不限于固定和移動用戶裝置上的使用、批發(fā)和零售商業(yè)使用、信息 站上的使用，以及用作經(jīng)由諸如互聯(lián)網(wǎng)或蜂窩式通信網(wǎng)的網(wǎng)絡(luò)提供的服 務(wù)的一部分。應(yīng)當(dāng)理解的是，可以用本領(lǐng)域技術(shù)人員所熟知的多種方式來修改示 出和描述的電路。還應(yīng)當(dāng)理解的是，這里根據(jù)物理電路來描述的各種特 征可以被可選擇地提供為固件功能、軟件功能，或者二者的組合。同樣 地，文中作為分立單元來說明的組件可以被方便地組合或共用?？梢栽?分散的位置中提供多個組件。
數(shù)字圖像包括一個或多個數(shù)字圖像通道或色彩分量。各數(shù)字圖像通 道是像素的二維陣列。各像素值與由與像素的物理區(qū)域?qū)?yīng)的成像采集 裝置接收到的光量相關(guān)。對于彩色成像應(yīng)用，數(shù)字圖像通常由紅色、綠 色和藍(lán)色數(shù)字圖像通道組成?？蓪討B(tài)成像應(yīng)用視為數(shù)字圖像的序列。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，本發(fā)明可以應(yīng)用于而不是限于任何文中所 述的應(yīng)用的數(shù)字圖像通道。盡管數(shù)字圖像通道被描述為按行和列排列的 像素值的二維陣列，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到本方面可應(yīng)用于非直線 陣列而達(dá)到相同效果。
在每種背景下，本發(fā)明可以是獨(dú)立的，或者可以是更大的系統(tǒng)解決 方案的組件。此外，人類接口，例如掃描或輸入、數(shù)字處理、對用戶的 顯示、用戶請求或處理指令(如果需要)的輸入、輸出，可以各自在相 同或不同的裝置和物理位置上，并且這些裝置和位置之間的通信可以經(jīng) 由公共或?qū)Ｓ镁W(wǎng)絡(luò)連接，或基于媒介的通信。在與本發(fā)明的公開一致的 情況下，本發(fā)明的方法可以是完全自動的，可以具有用戶輸入(完全或 部分手動)，可以使用戶或操作員觀看以接受/拒絕結(jié)果，或者可以用 在別處討論的元數(shù)據(jù)以外的元數(shù)據(jù)來輔助(這樣的元數(shù)據(jù)可以是用戶提 供的、測量裝置提供的，或者由算法確定的)。另外，這些方法可以用 多種工作流程用戶接口方案來進(jìn)行接口連接。
圖1示出了本系統(tǒng)10的實(shí)施例。在該實(shí)施例中，回放系統(tǒng)利用機(jī) 頂盒12和顯示器14由圖像記錄產(chǎn)生可視輸出。機(jī)頂盒提供的功能包括 但不限于模擬調(diào)諧、數(shù)字通道選擇、媒體回放(使用，例如，DVD播 放器或存儲卡讀取器)，以及程序存儲器(例如，利用硬盤驅(qū)動器)。 一系列可能的輸入被分成三種一般類型的內(nèi)容源，它們被分為"專業(yè)" 內(nèi)容16 (例如，地面廣播電視、DVD)、"消費(fèi)者，，內(nèi)容18 (例如，便 攜式攝像機(jī)、DSC、嬰兒監(jiān)視攝像機(jī))，以及"特殊，，內(nèi)容20 (例如， -魄頻游戲、互聯(lián)網(wǎng)電一見)。顯示器的形式可以是，例如，電視^幾，或者 電視接收器和獨(dú)立監(jiān)視器。
ii圖2舉例說明了系統(tǒng)10的另一實(shí)施例。在該實(shí)施例中，利用諸如 DVD播放器、個人數(shù)字助理(PDA)、數(shù)字靜態(tài)和/或視頻攝像機(jī)或者移 動電話的單片便攜式顯示裝置來顯示可視輸出。該裝置具有外殼或殼體 302、顯示器301、存儲器304、控制單元306、輸入單元308，以及連 接于控制單元306的用戶控制裝置310。殼體302可以手持，即，足夠 小和輕，以便于一般人用單手握住。信號路徑314連接組件302、 304、 306、 308、 310,并且在該實(shí)施例中，如所說明地，系統(tǒng)組件和信號路 徑位于外殼302內(nèi)。
系統(tǒng)還可以采用便攜式計(jì)算機(jī)、信息站，或者其它便攜式或非便攜 式計(jì)算機(jī)硬件和計(jì)算機(jī)化設(shè)備的形式。在所有的情況下， 一個或多個組 件和信號路徑可以整體地或部分地位于外殼之外。圖3示出了包括臺式 計(jì)算機(jī)和各種外設(shè)的實(shí)施例。在該實(shí)施例中，可以產(chǎn)生顯示圖像或打印 圖像。計(jì)算機(jī)系統(tǒng)110包括控制單元112 (作為個人計(jì)算機(jī)在圖3中舉 例說明)，其用于接收和處理軟件程序，以及用于執(zhí)行其它處理功能。 顯示器114電連接于控制單元112。形式為鍵盤116和鼠標(biāo)118的用戶 控制裝置也連接于控制單元112?？梢院陀糜谧x取和寫入的適當(dāng)?shù)慕M件 (CD/DVD讀取器/寫入器和硬盤驅(qū)動器122、存儲卡讀取器132)—起提 供多種可移動存儲器(用CD-ROM124、 DVD126、軟盤125和存儲卡130 來舉例說明)。存儲器可以是內(nèi)部或者外部的，并且可以利用有線或無 線連接，直接地或者經(jīng)由局域網(wǎng)或諸如互聯(lián)網(wǎng)的廣域網(wǎng)來訪問之。數(shù)字 攝像機(jī)134可以經(jīng)由插接站136、有線連接138或無線連接140間斷地 與計(jì)算機(jī)連接。打印機(jī)128也可以連接于控制單元112，以便打印來自 計(jì)算機(jī)系統(tǒng)110的輸出的硬拷貝?？刂茊卧猆2可以具有到諸如局域網(wǎng) 或互聯(lián)網(wǎng)的外部網(wǎng)絡(luò)的網(wǎng)絡(luò)連接127,諸如電話線、以太網(wǎng)電纜或無線 鏈路。
圖2和3沒有示出輸入列表，但是可以和圖1的輸入列表相同或相 似的輸入列表一起使用。
系統(tǒng)的不同組件可以完全獨(dú)立，或者可以和其它組件共用一個或多 個硬件和/或軟件特征。圖4示出了適用于圖1-3的所有實(shí)施例的功能 組件的原理圖。沒有舉例說明或討論的其它特征是本領(lǐng)域技術(shù)人員所熟 知的。例如，系統(tǒng)可以是移動電話攝像機(jī)。
用戶控制裝置310可以包括任何形式的變換器，或者能夠接收來自用戶的輸入并將該輸入轉(zhuǎn)換成可為處理器所用的形式的其它裝置。例
如，用戶接口可以包括觸摸屏輸入、觸摸板輸入、4路開關(guān)、6路開關(guān)、 8路開關(guān)、觸筆系統(tǒng)、跟蹤球系統(tǒng)、操縱桿系統(tǒng)、語音識別系統(tǒng)、姿勢 識別系統(tǒng)、鍵盤、遠(yuǎn)程控制裝置或其它的這種系統(tǒng)。用戶控制裝置可以 包括一個或多個傳感器，該傳感器可包括光傳感器、生物測量傳感器， 以及本領(lǐng)域中已知的可用于檢測系統(tǒng)環(huán)境中的條件和將該信息轉(zhuǎn)換成 可由系統(tǒng)處理器使用的形式的其它傳感器。光傳感器可以包括一個或多 個普通攝像機(jī)和/或多光譜傳感器。傳感器還可以包括適合于采集聲音 的音頻傳感器。傳感器還可包括用于測量無意識的身體和心理反應(yīng)的生 物測量傳感器或其它傳感器，這些傳感器包括但不限于語音變化、身體 活動、眼運(yùn)動、瞳孔放大、身體溫度以及p4000波傳感器。用戶控制裝 置可以是本地的或者遠(yuǎn)程的。將通信單元的硬件和軟件與和一個或多個 早先述及的述用戶控制裝置結(jié)合起來的有線或無線遠(yuǎn)程控制裝置222可 以包括在系統(tǒng)中，并經(jīng)由接口 224起作用。
通信單元或系統(tǒng)可以包括例如， 一個或多個光、射頻或其它變換 器電路，或者其它系統(tǒng)，這些系統(tǒng)將圖像和其它數(shù)據(jù)轉(zhuǎn)換成可利用光信 號、射頻信號或其它形式的信號傳送至諸如遠(yuǎn)程存儲系統(tǒng)或遠(yuǎn)程顯示裝 置的遠(yuǎn)程裝置的形式。通信系統(tǒng)可被用來為輸入單元提供圖像記錄，以 及提供來自主計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、網(wǎng)絡(luò)(未單獨(dú)舉例說明)、遠(yuǎn)程 存儲系統(tǒng)，或遠(yuǎn)程輸入的其它數(shù)據(jù)。通信系統(tǒng)為處理器提供來自通過其 接收的信號的信息和指令。 一般地，通信系統(tǒng)適用于通過諸如以下網(wǎng)絡(luò) 的通信網(wǎng)絡(luò)與遠(yuǎn)程存儲系統(tǒng)進(jìn)行通信常規(guī)電信網(wǎng)絡(luò)；諸如互聯(lián)網(wǎng)的數(shù) 椐傳送網(wǎng)；蜂窩式、點(diǎn)對點(diǎn)或其它形式的移動電信網(wǎng)絡(luò)；諸如有線或無 線局域網(wǎng)的局部通信網(wǎng)絡(luò)；或者任何其它常規(guī)的有線或無線數(shù)據(jù)傳送系 統(tǒng)。
系統(tǒng)可以包括一個或多個輸出裝置，其直接地或通過適當(dāng)?shù)挠布?供可視輸出。輸出可以是與圖像記錄對應(yīng)的一個或多個硬拷貝或軟拷貝 圖像的形式，或者以包括數(shù)字形式的一個或多個圖像的存儲數(shù)字文件的 形式提供輸出。輸出裝置包括，但不限于，數(shù)字?jǐn)z影打印機(jī)128、軟拷 貝顯示器301以及DVD寫入器122。打印機(jī)可以利用多種已知技術(shù)在接 收媒介上記錄圖像，這些已知技術(shù)包括但不限于傳統(tǒng)四色膠印或其它 的^觸印刷；絲網(wǎng)印刷；i者々口在Rochester ， New York ， USA的EastmanKodak公司出售的NexPress 2100打印片幾中4吏用的干靜電顯影；熱打印 技術(shù)；按需滴墨的噴墨技術(shù)和連續(xù)噴墨技術(shù)。為了以下討論，打印機(jī)被 描述為具有在紙張接收器上生成彩色圖像的類型；應(yīng)當(dāng)理解的是，這并 不是必要的，并且可以利用打印諸如黑色和白色的單色圖像、灰度或棕 褐色調(diào)圖像的打印機(jī)，以及利用在在其它類型的接收器上打印的打印機(jī) 來實(shí)施文中要求保護(hù)的方法和設(shè)備。輸出裝置還可以包括輸出的組合， 諸如打印的圖像和諸如CD或DVD的存儲單元上的數(shù)字文件，CD和DVD 可以與諸如個人媒體播放器或平面電視的任何家庭和便攜式觀看裝置 一起使用。
顯示器301具有產(chǎn)生光圖像的顯示面板303，以及在其中安裝有顯 示面板的殼體。顯示器可以具有與特定用途相關(guān)的附加特征。例如，顯 示器可以是電視接收器，其對來自天線或有線電視系統(tǒng)的電視信號進(jìn)行 解碼。
控制單元可以具有多個處理器，如圖4所示，或者可以具有提供多 種功能的單個處理器?？刂茊卧梢栽诙嘟M件系統(tǒng)的任何組件中，并且 如果控制單元具有一個以上的可分離模塊，則可以在系統(tǒng)的不同組件之 間分配這些模塊。可以方便地提供該系統(tǒng)，使得控制單元位于系統(tǒng)的視 頻序列的正常路徑上，并且提供不同的模塊，為不同類型的節(jié)目內(nèi)容優(yōu) 化各不同的模塊。例如，對于用于家庭娛樂的系統(tǒng)，可以方便地將控制 單元安置在電視機(jī)和/或機(jī)頂盒中。在特定實(shí)施例中，控制單元具有多 個分離的模塊，而這些模塊在電視機(jī)和機(jī)頂盒的二者之一中。
在圖4的實(shí)施例中，控制單元306具有控制處理器202、音頻處理 器204,以及兩個數(shù)字音頻處理器206、 208。利用存儲的軟件和數(shù)據(jù)， 控制處理器基于來自用戶控制和輸入單元的信號來操作系統(tǒng)的其它組 件。下面與該方法相關(guān)地討論控制處理器的一些操作。音頻處理器向驅(qū) 動揚(yáng)聲器212的音頻放大器210提供信號。數(shù)字視頻處理器將信號送至 多路復(fù)用器214 (在圖4中標(biāo)記為"MUX"),該多路復(fù)用器214將信號 送至驅(qū)動顯示面板303的顯示驅(qū)動器215。(可以改為用一對顯示驅(qū)動 器(未示出)來驅(qū)動顯示面板。各顯示驅(qū)動器將被替換地使用，并且將 操作來自相應(yīng)數(shù)字視頻處理器的信號。)用于處理器的參數(shù)是由專用存 儲器216或存儲器304提供的。
控制處理器可以包括但不限于可編程數(shù)字計(jì)算;f幾、可編程微處理
14器、可編程邏輯處理器、多個電路、減小為集成電路形式的多個電路， 或者多個分立組件?？梢栽诠潭ɑ蚩梢苿哟鎯ζ魃咸峁┍匾某绦?，或 者，如在本領(lǐng)域中人們所熟知的，控制處理器可以被編程以在內(nèi)部存儲 需要的軟件程序。
"存儲器"指的是設(shè)置在半導(dǎo)體存儲器或磁存儲器等中的物理存儲 器的一個或多個大小適當(dāng)?shù)倪壿媶卧?。系統(tǒng)的存儲器可以存儲計(jì)算機(jī) 程序產(chǎn)品，其具有存儲在計(jì)算機(jī)可讀存儲媒介中存儲的程序。存儲器可 以包括常規(guī)存儲裝置，其包括固態(tài)、磁、光或其它數(shù)據(jù)存儲裝置，并且 存儲器可以固定在系統(tǒng)內(nèi)，或者可以是可移動的。例如，存儲器可以是
內(nèi)部存儲器，比如，諸如SDRAM或閃存EPROM存儲器，或者作為選擇， 存儲器可以是可移動存儲器，或者是內(nèi)部存儲器和可移動存儲器的組 合?？梢苿哟鎯ζ骺蔀槿魏晤愋停T如插入插槽并經(jīng)由存儲器接口與處 理器連接的緊湊式閃存(CF)或安全數(shù)字(SD)型卡。使用的其它類型 的存儲裝置包括但不限于PC卡、多媒體卡(固C),或嵌入式和/或可 移動硬盤驅(qū)動器。包括但不限于控制程序的數(shù)據(jù)也可以存儲在諸如個人 計(jì)算機(jī)、計(jì)算機(jī)網(wǎng)絡(luò)或其它數(shù)字系統(tǒng)的遠(yuǎn)程存儲器系統(tǒng)中。
除了操作系統(tǒng)所必需的功能以外，如以下將詳細(xì)描述的，控制單元 還提供對圖像記錄的渲染、修復(fù)和增強(qiáng)功能。在圖4的實(shí)施例中，由兩 個視頻處理器以及音頻處理器來提供這些功能?？梢砸赃m于或便于滿足 特定要求的方式為這些附加功能提供不同數(shù)目的視頻和音頻處理器，或 者，可以使用由可編程處理參數(shù)控制的單個處理器單元?？梢蕴峁└郊?功能，諸如圖像記錄的手動編輯，以及自動化(機(jī)器控制的)操作中的 手動干預(yù)?？梢砸院涂刂铺幚砥飨嗤胤绞絹硖峁┍匾某绦?。圖像修 改還可以包括元數(shù)據(jù)，即，與圖像記錄相關(guān)的非圖像信息的添加或修改。
系統(tǒng)具有多個輸入單元308。各輸入單元設(shè)置了一個或多個輸入端 口 218以便于特定系統(tǒng)使用。各輸入端口能夠利用輸入選擇器220向控 制單元發(fā)送圖像記錄。各輸入端口可接受不同種類的輸入。例如， 一個 輸入端口可接受來自DVD的圖像記錄，另一輸入端口可接受來自衛(wèi)星電 視的圖像記錄，并且另 一輸入端口可接受來自通過有線或無線連接進(jìn)行 連接的個人計(jì)算機(jī)的內(nèi)部存儲器的圖像記錄。
每個輸入單元提供都被預(yù)先確定為具有節(jié)目內(nèi)容的 一共同特性的 一個或多個輸入端口的邏輯和/或物理組合，該共同特性允許圖像增強(qiáng)過程中的共同處理。例如，參照圖1，為可能被專業(yè)制作的廣播內(nèi)容提 供一個輸入單元，并且為可能被非專業(yè)制作的非廣播內(nèi)容提供第二輸入 單元。輸入單元的另一示例(未示出)是用于具有受限圖像特征的特殊
內(nèi)容，諸如一見頻游戲內(nèi)容和互聯(lián)網(wǎng)電^L。
輸入端口、輸入單元的數(shù)目和不同類型，以及內(nèi)容的類型都是不受 限制的。輸入端口可以包括可向處理器提供適當(dāng)數(shù)字?jǐn)?shù)據(jù)的任何形式的 電子電路或其它電路或系統(tǒng)，或者與它們進(jìn)行接口連接?？梢詾榭刹杉?用于圖像記錄的內(nèi)容數(shù)據(jù)和/或可獲取已由其它裝置制備或利用其它裝 置制備的圖像記錄的攝像機(jī)或者其它采集裝置提供一個或多個輸入端 口。例如，輸入端口可以包括一個或多個插接站、間斷式鏈接的外部數(shù) 字采集和/或顯示裝置、與有線電信系統(tǒng)的連接、提供與無線電信網(wǎng)絡(luò) 的無線連接的移動電話和/或無線寬帶收發(fā)器。又例如，電纜鏈路提供 與電纜通信網(wǎng)絡(luò)的連接，并且碟形衛(wèi)星天線衛(wèi)星系統(tǒng)提供與衛(wèi)星通信系 統(tǒng)的連接。互聯(lián)網(wǎng)鏈路提供與遠(yuǎn)程服務(wù)器中的遠(yuǎn)程存儲器的通信連接。 光盤播放器/寫入器提供對記錄在光盤上的內(nèi)容的訪問。輸入端口可以 提供來自存儲卡、光盤、軟盤或裝置內(nèi)部存儲器的圖像記錄。 一個或多 個輸入端口可提供來自節(jié)目安排供應(yīng)方的圖像記錄，這些輸入接口可以 設(shè)置在機(jī)頂盒150中。通向節(jié)目安排供應(yīng)方的輸入端口可包括其它服務(wù) 或內(nèi)容，諸如用于更新系統(tǒng)的圖像處理和其它組件功能的程序。例如， 輸入端口可包括提供節(jié)目內(nèi)容及更新的電纜調(diào)制解調(diào)器，或者與該電纜 調(diào)制解調(diào)器連接一該節(jié)目內(nèi)容及更新從電纜頭端輸出，或者從系統(tǒng)可訪 問的web網(wǎng)站或服務(wù)器接收。
參照圖5,控制單元在提供增強(qiáng)功能時展示了兩條或更多條不同的 圖像處理路徑。每條路徑具有不同的邏輯。在特定實(shí)施例中，這些路徑 還在物理組件方面不同。(圖5中的兩個變換單元224、 226各自包括 各自的一組變換228、 230。變換單元各自表示提供所要求功能必須的硬 件和軟件。)作為選擇，可以根據(jù)需要利用，例如，現(xiàn)場可編程門陣列 來配備單條圖像處理路徑。在該情況下，只要選擇了不同的路徑，就對 現(xiàn)場可編程門陣列進(jìn)行重新編程。不同路徑的圖像處理在應(yīng)用于相應(yīng)的 圖像記錄的增強(qiáng)方面是不同的。
各路徑包括多個圖像記錄處理變換。這些變換可被分為三種渲染 變換，其只限于使圖像記錄適應(yīng)于特定輸出裝置；修復(fù)變換，其只限于非實(shí)質(zhì)性地改變圖像記錄；以及增強(qiáng)變換，其包括實(shí)質(zhì)性地改變圖像。 渲染變換的示例包括圖像記錄的改變以適應(yīng)于顯示器的灰度級、色 域和白點(diǎn)。渲染圖像可以產(chǎn)生剪裁過的、分辨率和/或?qū)Ρ榷燃墑e降低 的，或者以其他方式相對于原始圖像記錄被刪減了的顯示圖像。
雖然兩種變換都增強(qiáng)，基于修復(fù)變換不實(shí)質(zhì)性地改變圖像記錄而增 強(qiáng)變換實(shí)質(zhì)性地改變感知的圖像記錄，可以區(qū)分修復(fù)變換組和增強(qiáng)變換 組。(修復(fù)變換可以為局部觀看環(huán)境進(jìn)行調(diào)整，諸如具有色偏的環(huán)境光 照、閃光、外部音頻噪聲等)。修復(fù)變換的目的是只修復(fù)成像鏈中的惡 化，從而不實(shí)質(zhì)性地改變圖像記錄。增強(qiáng)變換的目的是改善原始圖像記 錄中的缺陷，并從而實(shí)質(zhì)性地改變圖像記錄。在本方法和系統(tǒng)中，修復(fù) 變換和增強(qiáng)變換被處理為呈現(xiàn)對輸入圖像記錄的修改的連續(xù)體，由閾值 將該修改的連續(xù)體分成兩種類型。可以基于包括預(yù)期為輸入的不同類型 的圖像記錄的訓(xùn)練集的迭代修改的可接受性來經(jīng)驗(yàn)化地預(yù)設(shè)在修復(fù)(非 實(shí)質(zhì)性)和增強(qiáng)(實(shí)質(zhì)性)之間的閾值。可以相似的方式設(shè)定一系列路 徑的多個閾^f直。
閾值或多個閾值可采取多種形式。簡單的形式是一組二進(jìn)制條件， 對于考慮為修復(fù)性的變換組，必須滿足所有的這些二進(jìn)制條件。例如， 修復(fù)變換組是否保留，諸如，銳度、顆粒、色階、色飽和度、穩(wěn)像以及 噪聲的特定的預(yù)定圖像特性的全部現(xiàn)有值，或改變?nèi)魏维F(xiàn)有值。作為選 擇，概率規(guī)則可被用來確定與閾值進(jìn)行比較的值。例如，可以以貝葉斯 網(wǎng)的形式來提供單個或一組規(guī)則?？梢越?jīng)驗(yàn)化地或者通過自動分類技術(shù) 的使用，諸如遺傳算法的使用，來確定適當(dāng)?shù)囊?guī)則和閾值。這些技術(shù)的 使用為本領(lǐng)域技術(shù)人員所熟知。
在特定實(shí)施例中，系統(tǒng)具有兩條路徑專業(yè)路徑或充分編輯路徑， 對于該路徑，假設(shè)在節(jié)目制作過程中采用了大量的編輯；以及非專業(yè)或 未編輯路徑，對于該路徑，假設(shè)在節(jié)目制作過程中沒有采用編輯或采用 了不多的編輯。專業(yè)路徑包括渲染和修復(fù)變換，但不包括增強(qiáng)變換，以 限制圖像處理，使其不實(shí)質(zhì)性地改變傳播的圖像記錄。非專業(yè)路徑包括 渲染變換、修復(fù)變換和增強(qiáng)變換。允許傳播的圖像記錄的實(shí)質(zhì)性修改。
在所有的情況下，可以組合特定路徑上的變換。在上一個實(shí)施例中， 為了便于實(shí)施，可以特別方便地組合非專業(yè)路徑的可組合的修復(fù)變換和 增強(qiáng)變換。該實(shí)施例的修改形式具有多個編輯狀態(tài)，每個編輯狀態(tài)在從未編輯狀態(tài)到充分編輯狀態(tài)的遞增序列中的多個級別的相應(yīng)的一個級 別上。編輯狀態(tài)的級別可以步進(jìn)，并且數(shù)字化增強(qiáng)的限制可以與編輯狀 態(tài)的相應(yīng)級別成比例。
在特定實(shí)施例中，系統(tǒng)的控制單元具有兩個不同的圖像處理器或物 理模塊。各處理器專門用于相應(yīng)的路徑。在該情況下，各路徑可以選摔 性地從各自的輸入單元到顯示器彼此完全分開。由于兩個模塊和/或相 應(yīng)的變換可以彼此獨(dú)立地更新或修改，這是有利的。單個模塊和變化組 可能改變起來更復(fù)雜。作為選擇，路徑可以部分地組合以允許通用的渲 染和修復(fù)變換的使用。如果使用了單個處理器，則可以通過對不同的路 徑使用不同的視頻和/或音頻處理參數(shù)來提供不同的路徑。
參照圖8，在特定實(shí)施例中，路徑共用一些邏輯組件。通過輸入單 元A 308或輸入單元B 308輸入圖像記錄，然后該圖像記錄沿相應(yīng)的路 徑前進(jìn)。由于兩個輸入單元308都向修復(fù)變換Z (附圖標(biāo)記802 )發(fā)送 圖像記錄，兩條路徑一開始是在一起的。然后，路徑A向增強(qiáng)變換Y(附 圖標(biāo)記804 )發(fā)送圖像記錄，然后將該圖像記錄送至多路復(fù)用器805。 路徑B繞開變換Y 804,并發(fā)送至多路復(fù)用器805。圖像記錄隨后被發(fā) 送至修復(fù)變換X (附圖標(biāo)記806 )。然后，路徑A向增強(qiáng)變換W (附圖標(biāo) 記808)發(fā)送圖像記錄，隨后將該圖像記錄送至多路復(fù)用器810。路徑B 繞開變換W 808并發(fā)送至多路復(fù)用器810。然后，圖像記錄被發(fā)送至渲 染變換812，并到顯示驅(qū)動器215和顯示器301。由來自輸入單元B的 信號807對通過多路復(fù)用器810的傳輸進(jìn)行控制?？梢杂煽刂茊卧?06 作為控制單元306確定圖像記錄來自輸入單元B的結(jié)果來提供該信號。 作為選擇，可以由諸如與項(xiàng)807對應(yīng)的信號線的更簡單的邏輯元件來進(jìn) 行該確定，當(dāng)在輸入單元B中接收到圖像記錄時，該信號線發(fā)送。本領(lǐng) 域技術(shù)人員應(yīng)當(dāng)理解的是，可以作為修復(fù)處理，諸如圖8中變換Z 802 進(jìn)行的修復(fù)處理，的一部分來執(zhí)行MPEG或JPEG解壓縮或其它類型的電 視信號解碼(諸如NTSC解碼)。
現(xiàn)在參照圖6,在該方法中， 一開始通過輸入端口之一將圖像記錄 接收到系統(tǒng)中并且確定提供圖像記錄的輸入單元的類型602。按編輯狀 態(tài)對圖像記錄進(jìn)行分類604。分類604將確定的輸入單元的類型用作輸 入。編輯狀態(tài)是包括未編輯和充分編輯的多個不同的可能的預(yù)定編輯狀 態(tài)中的一個。圖像記錄被數(shù)字化增強(qiáng)606。在增強(qiáng)過程中對圖像記錄的實(shí)質(zhì)性修改進(jìn)行限制608。當(dāng)編輯狀態(tài)為充分編輯時對增強(qiáng)進(jìn)行較大的 限制，并且當(dāng)編輯狀態(tài)不為充分編輯時對增強(qiáng)進(jìn)行較小的限制。圖像記 錄被渲染610以適應(yīng)于預(yù)定輸出單元，并且利用輸出單元，以可視的形 式輸出渲染并增強(qiáng)的圖像記錄612。
輸入單元的類型可以直接或間接地指示圖像記錄的源。在直接指示 的示例中，系統(tǒng)可具有構(gòu)建在電視接收器中的不同輸入端口，諸如一對 不同的讀卡器和與調(diào)諧器的有線電視連接。兩個讀卡器一起形成一個輸 入單元。來自該輸入單元的圖像記錄被分類為來自消費(fèi)者內(nèi)容源。有線 電視連接-調(diào)諧器形成另 一輸入單元。來自該輸入單元的圖像記錄被分 類為來自專業(yè)源。作為可選的示例，電視接收器可被配置為使用多輸入 連接器等，而具有不同的來自外部裝置的輸入，這些外部裝置包括諸如 便攜式攝像機(jī)和數(shù)字靜態(tài)攝像機(jī)的消費(fèi)者型裝置，以及諸如DVD和有線 電視機(jī)頂盒的專業(yè)型裝置。在該情況下，由諸如特定輸入單元或源的指 定的用戶行為來定義輸入單元，或者由與系統(tǒng)連接的輸入裝置的類型的 自動(機(jī)器控制的)識別來定義輸入單元。對于用戶沒能進(jìn)行指定的情 況，可提供缺省的輸入單元。
圖像記錄的分類可以只基于確定的輸入單元類型。在該情況下，查 詢表等可被用來執(zhí)行該分類。在特定實(shí)施例中，每個源對應(yīng)于輸入單元 的不同類型，并且分類包括確定提供圖像記錄的輸入單元的類型。例如， 一個源可以被定義為廣播信號，其與充分編輯的編輯狀態(tài)預(yù)先關(guān)聯(lián)，并 且另一源可以被定義為非廣播信號，其與未編輯的編輯狀態(tài)預(yù)先關(guān)聯(lián)。 與廣播信號源相關(guān)聯(lián)的輸入單元可以是與服務(wù)供應(yīng)方的電纜連接。與非 廣播信號源相關(guān)聯(lián)的輸入單元可以是存儲卡讀取器。
圖像記錄的分類還可以使用附加信息，或者作為替代，或者與確定 的輸入單元類型相結(jié)合。附加信息可以是元數(shù)據(jù)和/或分析結(jié)果?？梢?提供一個或多個查詢表等以關(guān)聯(lián)具體信息與特定源。
在每個源與 一種編輯狀態(tài)級別預(yù)先關(guān)聯(lián)的情況下，圖像記錄的源可 以被視為分類的一部分。可以廣泛或狹窄地定義源，可以理解，若狹窄 地定義源，則有少量編輯狀態(tài)級別，多個源可能不得不被分配給相同級 別的編輯狀態(tài)。圖像記錄可被分類到其中的預(yù)定的一組編輯狀態(tài)可具有 與預(yù)定源的 一 對 一 對應(yīng)關(guān)系，或者若干不同的源可對應(yīng)于單個編輯狀 態(tài)。目前優(yōu)選后一種方法，因?yàn)槠涓锌赡芊磻?yīng)真實(shí)的消費(fèi)者使用。該方法還允許在環(huán)境改變時的能容易地改變。例如，此時，具有高清信號 的圖像記錄相對不太可能是來自消費(fèi)者。包括指示高清內(nèi)容的元數(shù)據(jù)或 分析結(jié)果的所有圖像記錄可以被預(yù)先分配到充分編輯狀態(tài)。假以時日， 當(dāng)該情況改變時，并且當(dāng)高清消費(fèi)者采集變得更普遍時，分類可以被更 新以反映該情況?？山?jīng)由任意的上迷端口將更新送至系統(tǒng)。另外，當(dāng)添 加了新的源時，更新可被送至系統(tǒng)，這些更新增加了系統(tǒng)選擇正確編輯 狀態(tài)、添加編輯狀態(tài)、添加算法以及應(yīng)用適當(dāng)算法的能力。高清信號和 輸入單元的存儲卡端口的使用的結(jié)合可以具有與充分編輯狀態(tài)的缺省 對應(yīng)關(guān)系，并且只要環(huán)境改變，消費(fèi)者(或制造商)就可以被給與改變 到未編輯狀態(tài)的選項(xiàng)。類似地，可以通過，例如允許添加提供對"專業(yè)，， 效果的指示的元數(shù)據(jù)，允許消費(fèi)者將作品分類為"專業(yè)，，。
元數(shù)據(jù)可以直接地或間接地指示源。這樣的元數(shù)據(jù)的示例是給來自 數(shù)字?jǐn)z像機(jī)的數(shù)字靜態(tài)圖像或視頻片段提供的攝像機(jī)標(biāo)識，或者給專業(yè)
圖像記錄提供的元數(shù)據(jù)版權(quán)通知。同樣地，元數(shù)據(jù)可以指示DVD是由商 業(yè)服務(wù)通過轉(zhuǎn)換VHS錄像帶來制造的。類似地，可以提供元數(shù)據(jù)來標(biāo)識 電影的導(dǎo)演，或者指示或建議源的一些其它特征。表示消費(fèi)者攝像機(jī)中 的未設(shè)置時鐘的，指示未來的、或不可能的、或者甚至不太可能的日期 的元數(shù)據(jù)可以被認(rèn)為是非專業(yè)源的指示。
圖像記錄中的數(shù)字圖像的分析針對圖像的語義和非語義顯著特征。 顯著特征包括語義顯著特征和結(jié)構(gòu)顯著特征，前者為具有與采集的圖像 中的主題對應(yīng)的可識別意義的圖像記錄中的結(jié)構(gòu)，后者為與該主題無關(guān) 的圖像記錄的特征。在授予Savakis等的題為"METHOD FOR A謹(jǐn)MATTC ASSESSMENT OF EMPHASIS AND APPEAL IN CONSUMER IMAGES"的美國專 利第6671405號中討論了顯著特征的屬性和使用，將該專利并入本文作 為參考。
用于分析諸如色階、對比度等的圖像記錄的結(jié)構(gòu)顯著特征的技術(shù)對 于本領(lǐng)域技術(shù)人員來說是熟知的?？梢允褂糜糜跈z測語義顯著特征的多 種數(shù)據(jù)檢測和減少技術(shù)，諸如人臉檢測、皮膚檢測、人檢測以及其它目 標(biāo)物體檢測。為了相同的目的，還可以使用視頻序列的時域圖像分析。 模式分類技術(shù)可被用來表征復(fù)雜數(shù)據(jù)。
類似于授予Savakis等的美國專利第6671405號的方法可被用來提 供與圖像記錄的源相關(guān)的分析結(jié)果。貝葉斯網(wǎng)或一組網(wǎng)絡(luò)被來用提供圖像記錄的自動分級。在貝葉斯網(wǎng)中，特征提取級的后面是分類級。特征 提取級的輸出表示特定特征的存在(或不存在)的統(tǒng)計(jì)證據(jù)。這些輸出 隨后被分類級集成以計(jì)算表示圖像具有網(wǎng)絡(luò)被設(shè)計(jì)為要檢測的類型的 可能性的值。具體特征的選擇可以基于利用人類觀察者的地面實(shí)況研 究。諸如人的存在或不存在、皮膚量或面部面積以及基于面部大小的靠 近程度的人特征，可以是對進(jìn)一步確定誰在圖像中的語義理解的輸入。 通過額外地確定圖像格式，可以使用并擴(kuò)展諸如圖像記錄的色彩性和銳 度的客觀特征。
人特征可以是對該方法有用的輸入。人的圖像可以有助于確定圖像 的源是專業(yè)或業(yè)余。例如，如果系統(tǒng)已被訓(xùn)練為辨別多個人為家庭成員，
可做出這樣的推斷包含家庭成員的任何圖像記錄是用業(yè)余設(shè)備采集 的，并且可以應(yīng)用對于這些圖像最適當(dāng)?shù)膱D像處理路徑。
該方法可以被設(shè)計(jì)為檢測不太可能由消費(fèi)者應(yīng)用的文本和圖形，諸 如標(biāo)題和致謝名單，并且可以在該基礎(chǔ)上指示不同的源。
色彩性和動態(tài)范圍也可被用作適用于實(shí)施本發(fā)明的網(wǎng)絡(luò)的客觀特 征。專業(yè)編輯的圖像記錄可能將充分利用色調(diào)和色彩的可用范圍。消費(fèi) 者采集的圖像記錄可能控制得稍差，并存在曝光不足的問題。
銳度可被用作客觀特征。專業(yè)編輯的圖像記錄很少提供失焦的影 像。由于消費(fèi)者采集系統(tǒng)要搜尋以找到對象，消費(fèi)者采集的圖像記錄常 常失焦。另外，不同的采集系統(tǒng)可以具有不同的保持聚焦的能力，并且 優(yōu)選的處理可以相應(yīng)地不同。
圖像格式可以被用作客觀特征。在撰寫該申請的時候，對于很多消 費(fèi)者來說，任何源提供的高清信號都不太可能是源自消費(fèi)者。雖然這在 將來可能會改變，目前可以假設(shè)被確定為高清的任何信號是源自專業(yè) 的，并且以遠(yuǎn)不同于其它信號的方式來處理。
場景改變頻率可以被用作客觀特征?？梢酝ㄟ^確定影像中的突然不 連續(xù)性來檢測場景改變。對于視頻，該動態(tài)相關(guān)的客觀特征可被用來確 定專業(yè)和業(yè)余圖像記錄之間的差別，因?yàn)閷I(yè)編輯的視頻序列傾向于具 有很短的場景，而業(yè)余視頻序列傾向于具有很長的場景。
與圖像記錄相關(guān)的音頻的結(jié)構(gòu)特征可被用作客觀特征。特別地，與 專業(yè)編輯的圖像記錄相關(guān)的噪聲水平通常很低，而與消費(fèi)者采集的圖像 記錄相關(guān)的噪聲水平通常很高。另外，專業(yè)編輯的圖像記錄的平衡和平均水平性被很好地控制，而消費(fèi)者采集的圖像記錄的平衡和平均水平性 有多很多的變化。類似地，專業(yè)編輯的圖像記錄更可能具有笑聲軌道、 沉默期，以及大量的立體聲區(qū)分。
檢測的特征被輸入給分類級，其中確定用于推斷圖像序列的源的 值?？梢允褂秘惾~斯網(wǎng)。應(yīng)當(dāng)理解的是，除了在特別說明的情況下，本 發(fā)明在用于這些目的的特定技術(shù)方面不受限制。例如，可以由以下系統(tǒng)
單獨(dú)地或相結(jié)合地提供模式分類基于規(guī)則的系統(tǒng)、語義知識網(wǎng)方法、 基于框架的知識系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、基于模糊邏輯的系統(tǒng)、遺傳算法機(jī)制， 以及基于經(jīng)驗(yàn)化的系統(tǒng)。
分類可以使用兩種或更多種信息的分級結(jié)構(gòu)中的附加信息，其中最 高的可用信息優(yōu)先。例如，在特定實(shí)施例中，確定標(biāo)識或指示圖像記錄 源的元數(shù)據(jù)是否與圖像記錄相關(guān)聯(lián)。如果檢測到這樣的元數(shù)據(jù)，則該元 數(shù)據(jù)所指示的源單獨(dú)確定編輯狀態(tài)級別。如果沒有檢測到這樣的元數(shù) 椐，則輸入單元的類型單獨(dú)確定編輯狀態(tài)。類似地，在另一實(shí)施例中， 分析圖像記錄，產(chǎn)生指示圖像記錄源的分析結(jié)果或非指示性的結(jié)果。如 果指示性的分析結(jié)果可用，則分析結(jié)果所指示的源確定編輯狀態(tài)級別。 如果沒有檢測到這樣的指示性分析結(jié)果，則輸入單元的類型單獨(dú)確定編 輯狀態(tài)。
在對圖像記錄分類時可以總是考慮附加信息，或者可以使附加信息 的使用成為用戶選項(xiàng)。在該情況下，用戶可以將一用戶可選擇的特征設(shè) 定到第一狀態(tài)或第二狀態(tài)。在第一狀態(tài)中，查明關(guān)于輸入記錄的附加信 息的可用性，并且當(dāng)附加信息可用時，該信息被用作分類時的輸入。在 第二狀態(tài)中，為圖像記錄分配輸入單元的相應(yīng)類型的編輯狀態(tài)。
圖7示出了結(jié)合以上特征的方法。在該實(shí)施例中，確定輸入端口 700。自動檢測或由用戶來選擇使用的輸入端口。然后，進(jìn)行讀取指示 與圖像記錄相關(guān)的源的元數(shù)據(jù)的嘗試702。當(dāng)該元數(shù)據(jù)可用時，圖像記 錄被分類到只由指示的源確定的編輯級別。如果檢測到這樣的元數(shù)據(jù)， 則由該元數(shù)椐指示的源單獨(dú)確定編輯狀態(tài)級別，并且加載704并應(yīng)用 705與該編輯狀態(tài)相關(guān)聯(lián)的具體處理。當(dāng)該元數(shù)據(jù)不存在或不能被讀取 時，分析圖像記錄706。當(dāng)分析結(jié)果指示源時，圖像記錄被分類到與該 源相關(guān)的編輯狀態(tài)，并且加栽708并應(yīng)用709相應(yīng)的軟件。當(dāng)分析結(jié)果 不指示源時，則圖像記錄被分類到與用于該輸入端口的輸入單元的類型
22相關(guān)聯(lián)的編輯狀態(tài)，并且加載710并應(yīng)用711相應(yīng)的處理。在圖7中， 提供了另一選項(xiàng)，其中用戶可以強(qiáng)制用輸入單元的類型來進(jìn)行分類。該 選項(xiàng)的檢測713導(dǎo)致相應(yīng)軟件的加載710和應(yīng)用7U。
再參照圖6,根椐編輯狀態(tài)來數(shù)字化增強(qiáng)圖像記錄，并且為特定輸 出單元渲染圖像記錄。渲染提供輸出匹配，其中圖像記錄被調(diào)整以便處 于特定輸出裝置的限制范圍內(nèi)。這些限制包括色域、可用色階等。圖像 記錄被可選地?cái)?shù)字恢復(fù)。如早先述及的，各編輯狀態(tài)與不同的圖像處理 路徑相關(guān)聯(lián)。這些路徑至少在所提供的數(shù)字化增強(qiáng)方面不相同。增強(qiáng)可 以提供多種多樣的圖像記錄修改。例如，可能的增強(qiáng)包括邊緣增強(qiáng)、 色階修改(直方圖伸展和平移)、局部和全局對比度及亮度改變，以及 色飽和度的變化。
對各圖像記錄單獨(dú)地使用該方法。如早先述及的，視頻序列或多媒 體演示可以被當(dāng)作單個圖像記錄或多個圖像記錄的集合來處理。在該方 法中，可以基于由分類確定的圖像記錄的編輯狀態(tài)來確定將特定視頻序 列等當(dāng)作一個圖像記錄還是多個圖像記錄來處理。為了該目的，可以(從 同一輸入單元)提供附加的編輯狀態(tài)或子狀態(tài)。例如，關(guān)于藝術(shù)欣賞的 演講的多媒體演示可以具有限于恢復(fù)和渲染的藝術(shù)品的靜態(tài)圖像的數(shù) 字處理，以及包括恢復(fù)、渲染和增強(qiáng)的演講者的視頻的數(shù)字處理。
編輯狀態(tài)的概念基于這樣的假設(shè)專業(yè)制備的作品已經(jīng)經(jīng)歷了比;肖 費(fèi)者制備的作品更多的編輯。該假設(shè)不一定成立，但是可能對于很多情 況都是正確的。還可以根據(jù)需要來提供編輯狀態(tài)的附加級別。編輯狀態(tài) 的類別代表概括，并且在個別情況下可能正確或可能不正確。例如，讀 卡器可能讀取專業(yè)制作的文件，而DVD播放器播放的DVD可能是通過轉(zhuǎn) 換通過拷貝低質(zhì)量消費(fèi)者錄像帶而制作的消費(fèi)者視頻來制作的。該方法 和系統(tǒng)是冒著在將圖像記錄分類到編輯狀態(tài)時出錯的風(fēng)險(xiǎn)來提供便利 性的折衷。可以通過經(jīng)驗(yàn)化地調(diào)節(jié)編輯狀態(tài)級別，使得該風(fēng)險(xiǎn)可接受。 編輯狀態(tài)包括與任意最低級別對應(yīng)的未編輯狀態(tài)，以及與任意最高級別 對應(yīng)的充分編輯狀態(tài)。如名稱所建議的，優(yōu)選的情況是，最低級別包括 沒有任何編輯的圖像記錄，并且最高級別包括已經(jīng)經(jīng)歷了多很多的大規(guī) 模編輯的圖像記錄?？梢詾楦呒壍挠脩籼峁┻@些級別之間的閾值的調(diào)
整、附加級別的添加以及適當(dāng)閾值的調(diào)整。如杲出現(xiàn)系統(tǒng)不能推斷對圖 像記錄的編輯狀態(tài)的情況，由于最不可能產(chǎn)生增強(qiáng)對于其不是想要或必要的圖像記錄被錯誤地增強(qiáng)的令人不快的狀況，系統(tǒng)所采用的缺省可以 是最高級別。
以下是一些不同路徑的示例。第一個示例是消費(fèi)者錄像機(jī)路徑。該 路徑基于錄像機(jī)具有質(zhì)量有限的麥克風(fēng)和音頻產(chǎn)生值的假設(shè)，提供數(shù)字 化增強(qiáng)。提供音頻處理以降低環(huán)境噪聲，以便使音頻電平均衡(消除很 安靜和很大聲的部分)。還以假設(shè)早先沒有提供足夠的穩(wěn)定化為依據(jù)，
對圖像記錄進(jìn)行數(shù)字圖像穩(wěn)定化。圖像穩(wěn)定化可以采用Rabbani等在 2005年5月17日提交的題為"IMAGE SEQUENCE STABILIZATION METHOD AND CAMERA FIAVING DUAL PATH IMAGE SEQUENCE STABILIZATION"的
發(fā)明者A·T·迪弗, J·R·弗里隆德, K·A·帕魯爾斯基, R·J·小帕拉達(dá), S·M·布賴恩特 申請人:伊斯曼柯達(dá)公司