專(zhuān)利名稱(chēng)：無(wú)開(kāi)銷(xiāo)的獨(dú)立并行圖像處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像處理系統(tǒng)，更具體地，涉及用于處理諸如電影 中的大量圖像的圖像處理系統(tǒng)。
背景技術(shù)：
傳統(tǒng)圖像處理操作包括格式轉(zhuǎn)換、縮放和場(chǎng)景切換檢測(cè)(scene change detection)。為了使圖像處理系統(tǒng)能夠在合理的時(shí)間內(nèi)處理大量圖像(例如 電影)，圖像處理系統(tǒng)包括很多處理單元，其中每個(gè)處理單元執(zhí)行一項(xiàng)特 定任務(wù)。這種圖像處理方案的一個(gè)實(shí)例是流水線(xiàn)處理結(jié)構(gòu)(pipeline processing architecture),其中來(lái)自一個(gè)處理單元的結(jié)果(數(shù)據(jù))被輸送至 下一個(gè)處理單元。圖像處理方案的另一個(gè)實(shí)例是并行結(jié)構(gòu)，其中每個(gè)處理 單元處理一部分圖像。在這種情況下，來(lái)自每個(gè)處理單元的結(jié)果隨后由另 外的處理器進(jìn)行結(jié)合(combine)以產(chǎn)生結(jié)果的輸出圖像。美國(guó)專(zhuān)利申請(qǐng) No.2004/023996是這種系統(tǒng)的一個(gè)實(shí)例。
但是，上述圖像處理系統(tǒng)的兩種方式都要求處理單元之間的同步以及 數(shù)據(jù)傳輸和消息交換。不幸的是，這些任務(wù)都引入了實(shí)質(zhì)開(kāi)銷(xiāo)(overhead), 使得設(shè)計(jì)復(fù)雜化，并且在需要將更多處理單元加入至系統(tǒng)中的情況下不能 很好地?cái)U(kuò)展系統(tǒng)。

發(fā)明內(nèi)容
如上所述，使用任何串行或順序圖像處理的圖像處理系統(tǒng)不但會(huì)導(dǎo)致具有潛在的系統(tǒng)低效率(例如處理瓶頸)，還會(huì)導(dǎo)致系統(tǒng)無(wú)法擴(kuò)展
(non-scaleable)。因此，根據(jù)本發(fā)明的原理， 一種用于處理圖像序列以提 供已處理圖像序列的裝置，包括多個(gè)處理單元，每個(gè)處理單元對(duì)所述圖像 序列的各自圖像子區(qū)進(jìn)行處理以提供對(duì)應(yīng)的已處理圖像子區(qū)；數(shù)據(jù)存儲(chǔ) 器，用于將每個(gè)對(duì)應(yīng)的己處理圖像子區(qū)存儲(chǔ)在表示所述已處理圖像序列的 輸出文件的對(duì)應(yīng)部分中。
在本發(fā)明的一個(gè)說(shuō)明性實(shí)施方式中，圖像處理系統(tǒng)包括圖像處理管 理器；多個(gè)處理器，用于處理圖像序列(例如電影)；數(shù)據(jù)存儲(chǔ)器，用于 存儲(chǔ)(a)表示圖像序列(例如電影)的輸入文件(或流)和(b)表示己 處理圖像序列(例如(MPEG2， H.264)編碼的文件)的輸出文件(或流)。 所述圖像處理管理器將存儲(chǔ)的圖像序列的圖像子區(qū)分配給所述多個(gè)處理 器中的每一個(gè)以進(jìn)行處理。所述多個(gè)處理器中的每一個(gè)對(duì)分配的圖像子區(qū) 進(jìn)行處理并向所述輸出文件的一部分提供對(duì)應(yīng)的已處理圖像子區(qū)。
在本發(fā)明的另一個(gè)說(shuō)明性實(shí)施方式中，圖像處理系統(tǒng)包括圖像處理 管理器；多個(gè)處理器，用于處理輸入圖像序列(例如電影)；和分布式文 件系統(tǒng)，用于存儲(chǔ)表示已處理圖像序列的輸出文件。所述圖像處理管理器 將輸入圖像序列的圖像子區(qū)分配給所述多個(gè)處理器中的每一個(gè)以進(jìn)行處 理。所述多個(gè)處理器中的每一個(gè)對(duì)分配的圖像子區(qū)進(jìn)行處理并向所述分布 式文件系統(tǒng)提供對(duì)應(yīng)的己處理圖像子區(qū)。所述分布式文件系統(tǒng)將所述己處 理圖像子區(qū)從所述多個(gè)處理單元的每一個(gè)中寫(xiě)入至所述輸出文件的對(duì)應(yīng) 部分。


圖1顯示了根據(jù)本發(fā)明原理的說(shuō)明性圖像處理系統(tǒng)；
圖2顯示了根據(jù)本發(fā)明原理的圖像處理系統(tǒng)的說(shuō)明性實(shí)施方式；
圖3和圖4顯示了根據(jù)本發(fā)明原理的裝置所采用的流程圖5顯示了根據(jù)本發(fā)明原理的圖像處理系統(tǒng)的另一說(shuō)明性實(shí)施方式；
圖6顯示了根據(jù)本發(fā)明原理的圖像處理系統(tǒng)的另一說(shuō)明性實(shí)施方式；
和
圖7顯示了根據(jù)本發(fā)明原理的圖像處理系統(tǒng)的另一說(shuō)明性實(shí)施方式。
具體實(shí)施例方式
除了與本發(fā)明的原理相關(guān)內(nèi)容之外，附圖中所顯示的元件都是已知的 并且對(duì)其不進(jìn)行詳細(xì)說(shuō)明。并且，本說(shuō)明書(shū)假定讀者了解圖像處理過(guò)程并 且不對(duì)其進(jìn)行詳細(xì)說(shuō)明。例如，除了與本發(fā)明的原理相關(guān)內(nèi)容之外，本說(shuō) 明書(shū)假定讀者了解例如包括格式轉(zhuǎn)換、縮放和場(chǎng)景切換檢測(cè)在內(nèi)的圖像處 理過(guò)程并且不對(duì)其進(jìn)行詳細(xì)說(shuō)明。類(lèi)似地，本說(shuō)明書(shū)還假定讀者了解例如
包括(但不局限于)MPEG-1、 MPEG-2、 MPEG-4、 Motion JPEG (avi)、 3GP (視頻電話(huà)格式)在內(nèi)的視頻格式和音頻格式MP3和WMA并且不對(duì) 其進(jìn)行詳細(xì)說(shuō)明。另外，除了與本發(fā)明的原理相關(guān)內(nèi)容之外，分布式文件 系統(tǒng)是己知的并且對(duì)其不進(jìn)行詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，上述本發(fā)明的原理可 以使用傳統(tǒng)的編程技術(shù)來(lái)實(shí)現(xiàn)，本說(shuō)明書(shū)不對(duì)其進(jìn)行詳細(xì)說(shuō)明。最后，說(shuō) 明書(shū)中相似附圖標(biāo)記表示相似的元件。
圖1顯示了根據(jù)本發(fā)明原理的說(shuō)明性圖像處理系統(tǒng)100。在描述圖像 處理系統(tǒng)100的不同說(shuō)明性實(shí)施方式之前，將對(duì)系統(tǒng)操作進(jìn)行概要的說(shuō)明。圖像處理系統(tǒng)100接收輸入視頻信號(hào)101，該視頻信號(hào)101由表示圖像序 列(例如電影)的文件(或流)105表示，圖像處理系統(tǒng)100還提供輸出 文件(或流)115，該輸出文件(或流)115表示已處理圖像序列(例如電 影)，該已處理圖像序列由輸出視頻信號(hào)151表示。如上所述，由圖像處 理系統(tǒng)100進(jìn)行的特定類(lèi)型的圖像處理操作(例如格式轉(zhuǎn)換、縮放和場(chǎng)景 切換檢測(cè))對(duì)于本發(fā)明的原理并不重要，因此在此不進(jìn)行說(shuō)明。但是，重 要的是圖像處理系統(tǒng)100 "如何"處理圖像序列。具體而言，根據(jù)本發(fā)明 的原理，輸入文件被分為數(shù)個(gè)圖像子區(qū)(1至N)，每個(gè)圖像子區(qū)由圖像處 理系統(tǒng)100的對(duì)應(yīng)的處理單元(圖1中未示出)進(jìn)行處理以提供輸出文件 115的的各個(gè)已處理圖像子區(qū)(1至N)。換言之，輸出文件(或流)的各 個(gè)部分由每個(gè)對(duì)應(yīng)的處理單元自動(dòng)提供。結(jié)果，由圖像處理系統(tǒng)100表示 的多重處理設(shè)置提供了簡(jiǎn)單而又可擴(kuò)展的分布式處理方案，對(duì)于時(shí)間和空 間圖像處理算法都適用。作為實(shí)例，每個(gè)圖像子區(qū)包括一個(gè)或者多個(gè)例如 MPEG-2格式的圖像幀。
請(qǐng)參看圖2，圖2顯示了根據(jù)本發(fā)明原理的圖像處理系統(tǒng)的說(shuō)明性實(shí) 施方式。圖像處理系統(tǒng)100包括N個(gè)處理單元(PU) 110 (其中NM)、 數(shù)據(jù)存儲(chǔ)器(data storage) 130和圖像處理管理器125。數(shù)據(jù)存儲(chǔ)器130 提供對(duì)于輸入文件或流105以及輸出文件或流115的訪(fǎng)問(wèn)。輸入文件105 表示由輸入圖像序列組成的視頻信號(hào)101，輸出文件115表示由輸出圖像 序列組成的輸出視頻信號(hào)151。數(shù)據(jù)存儲(chǔ)器130例如可以表示硬盤(pán)驅(qū)動(dòng)器、 磁帶、內(nèi)存(meomory)等。應(yīng)當(dāng)指出，數(shù)據(jù)存儲(chǔ)器130可以提供一種類(lèi) 型或形式以上的數(shù)據(jù)存儲(chǔ)。N個(gè)處理單元(PU) 110的每一個(gè)和圖像處理管理器125表示一個(gè)或多個(gè)存儲(chǔ)了程序的控制處理器并可以包括或者不包 括內(nèi)存。應(yīng)當(dāng)指出，圖像處理管理器125可以控制本說(shuō)明書(shū)未描述的圖像 處理系統(tǒng)100的其他功能。在此方面，圖2中只顯示了圖像處理系統(tǒng)100 中與本發(fā)明原理相關(guān)的部分。例如，用于存儲(chǔ)由N個(gè)處理單元110的每一 個(gè)執(zhí)行的計(jì)算機(jī)程序或者軟件的內(nèi)存未示于圖2中。另外，為了簡(jiǎn)潔起見(jiàn)， 與連接圖像處理系統(tǒng)100的各個(gè)部件的地址、數(shù)據(jù)和控制相關(guān)的總線(xiàn)連接 未示于圖2中。應(yīng)當(dāng)指出，術(shù)語(yǔ)"內(nèi)存"在此處是表示數(shù)據(jù)存儲(chǔ)器，例如 隨機(jī)訪(fǎng)問(wèn)存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬盤(pán)、磁帶等，可以位 于圖像處理裝置100內(nèi)部和/或外部，并且可以根據(jù)需要為易失性或非易失 性。應(yīng)當(dāng)指出，輸入文件105是用于解釋本發(fā)明的文件輸入/輸出(I/O) 的簡(jiǎn)化。除了本發(fā)明的原理之外，文件I/0過(guò)程，例如信息的讀出流、處 理流和寫(xiě)入流，例如視頻流，在本領(lǐng)域中是已知的，本說(shuō)明書(shū)中不再贅述。 在圖2所示說(shuō)明性實(shí)施方式中，還將參照?qǐng)D3和圖4進(jìn)行說(shuō)明，圖3 和圖4顯示了用于根據(jù)本發(fā)明原理的圖像處理系統(tǒng)100的流程圖。在圖3 的步驟205中，圖像處理系統(tǒng)100通過(guò)控制路徑122訪(fǎng)問(wèn)輸入文件105。 (此處同樣是簡(jiǎn)化，例如表示從數(shù)據(jù)存儲(chǔ)器130請(qǐng)求信息以獲得文件的大 小)。在步驟210中，圖像處理管理器125 (通過(guò)控制路徑122)判斷圖像 幀中的輸入文件105的尺寸并將輸入文件105分成N個(gè)圖像子區(qū)，其中每 個(gè)圖像子區(qū)包括K個(gè)圖像幀，K〉0。圖2示出了圖像子區(qū)1 (也由附圖標(biāo) 記71表示)，其中圖像子區(qū)1包括圖像幀1至K。類(lèi)似地，圖像子區(qū)2包 括圖像幀K+1至2K+1等，這樣連續(xù)下去直至圖像子區(qū)N。在此實(shí)施例 中，假設(shè)所有N個(gè)處理單元都處理輸入文件105，因此，K的數(shù)值由圖像處理管理器125簡(jiǎn)單地通過(guò)將輸入文件105的尺寸除以N (即處理單元的 數(shù)量)的數(shù)值來(lái)確定。結(jié)果，在步驟210，圖像處理管理器125還判斷輸 入文件105中每個(gè)圖像子區(qū)的地址范圍，如圖2中的地址范圍72所示。 在本說(shuō)明書(shū)中，地址范圍與該圖像子區(qū)的圖像幀數(shù)量的范圍相對(duì)應(yīng)(其還 將進(jìn)一步映射至內(nèi)存的實(shí)地址或虛地址)。例如，圖像子區(qū)1的地址范圍 是圖像幀1至K;而圖像子區(qū)2的地址范圍是圖像幀K+1至2K。在步驟 215，圖像處理管理器125通過(guò)控制路徑127創(chuàng)建與在步驟210中確定的 輸入文件的尺寸相同的輸出文件115。最后，在步驟220，圖像處理管理 器225通過(guò)控制路徑126將各個(gè)圖像子區(qū)信息分配給N個(gè)處理單元110中 的每一個(gè)，從而N個(gè)處理單元110中的每一個(gè)開(kāi)始處理輸入文件105的不 同部分(將在下面結(jié)合圖4進(jìn)行說(shuō)明)。例如，N個(gè)處理單元110中的每 一個(gè)通過(guò)路徑109請(qǐng)求數(shù)據(jù)存儲(chǔ)器130提供輸入文件105的各個(gè)分配的圖 像子區(qū)。
請(qǐng)參看圖4，在步驟255中，N個(gè)處理單元110中的每一個(gè)通過(guò)控制 路徑126從圖像處理管理器125接收分配的圖像子區(qū)信息。在步驟260中， N個(gè)處理單元110中的每一個(gè)根據(jù)一個(gè)或者多個(gè)圖像處理操作(例如但不 局限于格式轉(zhuǎn)換、縮放和場(chǎng)景切換檢測(cè)等)獨(dú)立處理(通過(guò)路徑109提供 的)其各自的圖像子區(qū)以提供已處理圖像子區(qū)。在步驟265， N個(gè)處理單 元110中的每一個(gè)利用相同的分配地址范圍將其已處理圖像子區(qū)寫(xiě)入輸出 文件115。例如，如果N個(gè)處理單元110其中之一被分配用于處理與圖像 幀1至100對(duì)應(yīng)的圖像子區(qū)，則該處理單元將其已處理圖像子區(qū)寫(xiě)入輸出 文件115中與圖像幀1至IOO對(duì)應(yīng)的該部分中(在圖1中也用附圖標(biāo)記81表示)。換言之，N個(gè)處理單元110中的每一個(gè)寫(xiě)入輸出文件115的不同 部分中。
根據(jù)本發(fā)明的原理，上述用于圖像處理的并行方法為每個(gè)處理單元分 配圖像序列的一部分。每個(gè)處理單元獨(dú)立處理該部分并在輸出文件其自身 范圍內(nèi)直接寫(xiě)出結(jié)果。因此，與通過(guò)圖像處理管理器125進(jìn)行的圖像子區(qū) 信息的原始分配不同，處理單元不需要處理單元之間的任何通信(例如消 息傳遞或同步)，并且已處理圖像子區(qū)不需要通過(guò)單獨(dú)的處理器進(jìn)行后續(xù) 的結(jié)合以產(chǎn)生輸出文件。這將產(chǎn)生一種非常簡(jiǎn)單和可擴(kuò)展的分布式處理方 案，能夠用于時(shí)間和空間圖像處理算法。
請(qǐng)參考圖5，圖5顯示了根據(jù)本發(fā)明原理的圖像處理系統(tǒng)的另一說(shuō)明 性實(shí)施方式。圖5從高級(jí)軟件體系結(jié)構(gòu)方面說(shuō)明了本發(fā)明的原理。具體而 言，圖像處理系統(tǒng)100包括至少兩層軟件。并行圖像處理軟件層165包括 N個(gè)圖像處理，每個(gè)圖像處理對(duì)于輸入文件(或流)的對(duì)應(yīng)圖像子區(qū)之一 獨(dú)立地進(jìn)行一個(gè)或者多個(gè)處理操作以提供對(duì)應(yīng)的已處理圖像子區(qū)。如上所 述，圖像處理操作可以是但不局限于格式轉(zhuǎn)換、縮放和場(chǎng)景切換檢測(cè)等。 N個(gè)圖像處理的每一個(gè)通過(guò)DSF層170將其已處理圖像子區(qū)寫(xiě)入輸出文件 115的對(duì)應(yīng)部分，DSF層170是具有分布式文件系統(tǒng)(DSF)的操作系統(tǒng)。 DSF層170的一個(gè)實(shí)施例是由Cluster File Systems, Inc公司提供的"lustre" 文件系統(tǒng)。DSF其自身是并行的并且不真正將各個(gè)己處理圖像子區(qū)結(jié)合。 DSF層170確保各個(gè)已處理圖像子區(qū)(基于由N個(gè)圖像處理的每一個(gè)所提 供的圖像子區(qū)信息)被寫(xiě)入至輸出文件115中的正確位置，從而輸出文件 115中的已處理圖像的序列在以后可以按照正確的順序讀出，用輸出視頻信號(hào)151表示。換言之，本發(fā)明的原理是利用現(xiàn)代的操作系統(tǒng)的能力，其 中在文件中尋找特定位置在找到該位置之前并不導(dǎo)致實(shí)際的創(chuàng)建和寫(xiě)入
操作。因此，N個(gè)圖像處理的每一個(gè)都寫(xiě)入相同的輸出文件115但是寫(xiě)入 至輸出文件的不同的部分或者位置。應(yīng)當(dāng)指出，實(shí)際的DFS層170還可以 管理對(duì)于輸入文件115的訪(fǎng)問(wèn)。但是，為了說(shuō)明本發(fā)明的原理，上述內(nèi)容 在圖5中進(jìn)行了簡(jiǎn)化。
根據(jù)圖5所示的軟件體系結(jié)構(gòu)，圖6示出了實(shí)施此軟件體系結(jié)構(gòu)的說(shuō) 明性圖像處理系統(tǒng)。圖6所示實(shí)施方式與圖2所示實(shí)施方式相似，不同之 處在于N個(gè)處理單元110的每一個(gè)現(xiàn)在將其已處理圖像子區(qū)通過(guò)DFS140 寫(xiě)入輸出文件145的特定部分。應(yīng)當(dāng)指出，為了避免重復(fù)，(DFS 140寫(xiě)入 和讀出數(shù)據(jù)的)數(shù)據(jù)存儲(chǔ)器130在圖6中未明確示出，而是由輸入文件105 和輸出文件145表示。并且，還應(yīng)指出，實(shí)際的DFS 140也能夠管理對(duì)輸 入文件115的訪(fǎng)問(wèn)。但是，為了說(shuō)明本發(fā)明的原理，上述內(nèi)容在圖6中進(jìn) 行了簡(jiǎn)化。最后，與圖2所示實(shí)施方式相同，圖3和圖4所示流程圖也適 用于圖6所示實(shí)施方式。
圖7顯示了根據(jù)本發(fā)明原理的N=4的圖像處理系統(tǒng)的另一說(shuō)明性實(shí) 施方式。此實(shí)施方式與圖6所示實(shí)施方式相似。圖像處理系統(tǒng)100包括4 個(gè)處理單元(PU) 110-1、 110-2、 110-3和110-4、 DSF140和圖像處理管 理器125。如上所述，PU 110-1、 PU 110-2、 PU 110-3和PU 110-4和圖像 處理管理器125表示一個(gè)或多個(gè)存儲(chǔ)了程序的控制處理器并且可以包括或 者不包括內(nèi)存。并且，圖中并未示出用于減小雜波并由輸入文件105和輸 出文件145表示的數(shù)據(jù)存儲(chǔ)器130。應(yīng)當(dāng)指出，圖像處理管理器125還可以控制本說(shuō)明書(shū)中未描述的圖像處理系統(tǒng)100的其他功能。在此方面，圖
7中只示出了圖像處理系統(tǒng)100與本發(fā)明原理有關(guān)的部分。例如，用于存 儲(chǔ)處理單元PU 110-1、 PU 110-2、 PU 110-3和PU 110-4的每一個(gè)執(zhí)行的計(jì) 算機(jī)程序或者軟件的內(nèi)存在圖7中未示出。另外，為了簡(jiǎn)潔起見(jiàn)，與連接 圖像處理系統(tǒng)100的各個(gè)部件的地址、數(shù)據(jù)和控制相關(guān)的總線(xiàn)連接未示于 圖2中。
在下面對(duì)圖7所示說(shuō)明性實(shí)施方式進(jìn)行的進(jìn)一步說(shuō)明中，將再次參照 圖3和圖4，圖3和圖4顯示了用于根據(jù)本發(fā)明原理的圖像處理系統(tǒng)100 的流程圖。在圖3的步驟205中，圖像處理系統(tǒng)100通過(guò)控制路徑122訪(fǎng) 問(wèn)輸入文件105。(此處同樣是簡(jiǎn)化，例如表示從數(shù)據(jù)存儲(chǔ)器130請(qǐng)求信息 以獲得文件的大小)。在步驟210中，圖像處理管理器125 (通過(guò)控制路徑 122)判斷圖像幀中的輸入文件105的尺寸并將輸入文件105分成4個(gè)圖 像子區(qū)。為了說(shuō)明的目的，假設(shè)輸入文件105中的圖像幀的總數(shù)為400， 因此K二IOO，即每個(gè)圖像子區(qū)包括IOO個(gè)圖像幀。因此，圖像子區(qū)l對(duì) 應(yīng)于輸入文件105的圖像幀1至100;圖像子區(qū)2對(duì)應(yīng)于輸入文件105的 圖像幀101至200;圖像子區(qū)3對(duì)應(yīng)于輸入文件105的圖像幀201至300; 圖像子區(qū)4對(duì)應(yīng)于輸入文件105的圖像幀301至400。結(jié)果，在步驟210， 圖像處理管理器125還判斷輸入文件105中每個(gè)圖像子區(qū)的地址范圍。在 步驟215，圖像處理管理器125通過(guò)控制路徑127創(chuàng)建與在步驟210中確 定的輸入文件的尺寸相同的輸出文件145。最后，在步驟220，圖像處理 管理器125通過(guò)控制路徑126將各個(gè)圖像子區(qū)信息分配給4個(gè)處理單元PU 110-1、 PU 110-2、 PU 110-3和PU 110-4中的每一個(gè)。具體而言，圖像處理管理器125通過(guò)控制路徑126將輸入文件105的圖像幀1至100分配給 PU 110-1，將輸入文件105的圖像幀101至200分配給PU 110-2，將輸入 文件105的圖像幀201至300分配給PU 110-3，將輸入文件105的圖像幀 301至400分配給PU 110-4。因此，4個(gè)處理單元PU 110-1、 PU 110-2、 PU 110-3和PU 110-4中的每一個(gè)開(kāi)始處理輸入文件105的不同部分。
請(qǐng)參看圖4，在步驟255中，4個(gè)處理單元PU 110畫(huà)1、PU 110-2、PU 110-3 和PU 110-4中的每一個(gè)通過(guò)控制路徑126從圖像處理管理器125接收這些 分配的圖像子區(qū)信息。在步驟260中，4個(gè)處理單元PU110-1、 PU 110-2、 PU 110-3和PU 110-4中的每一個(gè)根據(jù)一個(gè)或者多個(gè)圖像處理操作(例如 但不局限于格式轉(zhuǎn)換、縮放和場(chǎng)景切換檢測(cè)等)獨(dú)立處理其各自的圖像子 區(qū)以提供已處理的圖像子區(qū)。在步驟265， 4個(gè)處理單元PU 110-1、 PU 110-2、 PU 110-3和PU 110-4中的每一個(gè)通過(guò)DFS 140利用相同的分配地 址范圍將其已處理圖像子區(qū)寫(xiě)入輸出文件145。例如，因?yàn)镻U 110-1被分 配用于處理與圖像幀1至100對(duì)應(yīng)的圖像子區(qū)，則PU 110-1通過(guò)DFS 140 將其已處理圖像子區(qū)寫(xiě)入輸出文件145與圖像幀1至IOO對(duì)應(yīng)的該部分中。 換言之，4個(gè)處理單元PU 110-1、 PU 110-2、 PU 110-3和PU 110-4中的每 一個(gè)寫(xiě)入輸出文件145的不同部分中。
如上所述，由于全部所需信息(即圖像子區(qū)信息)都在前面提供，根 據(jù)本發(fā)明原理的圖像處理系統(tǒng)消除了處理器之間的通信開(kāi)銷(xiāo) (communication overhead)。另外，并不額外要求各個(gè)已處理圖像參量串 行結(jié)合。因此，根據(jù)本發(fā)明原理的圖像處理系統(tǒng)理論上可以針對(duì)無(wú)限數(shù)量 的處理器進(jìn)行極大的擴(kuò)展。另外，本發(fā)明的原理適用于非時(shí)域(空域?yàn)V波和格式轉(zhuǎn)換)和時(shí)域(場(chǎng)景切換檢測(cè)和時(shí)域?yàn)V波)算法。例如，以圖7所
示實(shí)施例的情況中的處理單元(例如PU 110-3)進(jìn)行場(chǎng)景切換檢測(cè)為例進(jìn) 行說(shuō)明。為了判斷PU 110-3負(fù)責(zé)的范圍內(nèi)的第一圖像幀(例如圖像幀201) 是否是新場(chǎng)景的開(kāi)始，PU 110-3可以開(kāi)始分析少數(shù)前面的幀(即輸入文件 105的在前圖像子區(qū)的幀，例如圖像幀199和200)，從而PU 110-3能夠判 斷圖像幀201是否是新場(chǎng)景的開(kāi)始。但是，PU 110-3不需要從其他處理單 元(例如PU 110-2)獲得任何輸入或信息，即PU 110-3不需要與PU 110-2 進(jìn)行通信，也不需要等待PU 110-2的結(jié)果。
應(yīng)當(dāng)指出，雖然以N個(gè)處理單元處理輸入文件的情形為例對(duì)本發(fā)明的 原理進(jìn)行了說(shuō)明，但本發(fā)明的原理并不局限于此情形。例如，如果輸入文 件小于特定尺寸或者N個(gè)處理單元其中之一發(fā)生故障等，圖像處理管理器 125可以分配N(xiāo)個(gè)處理單元的一部分來(lái)處理輸入文件。另外，如上所述， N個(gè)處理單元的每一個(gè)并不局限于只處理其自己的圖像子區(qū)的圖像幀。如 上所述，例如，為了判斷分配的圖像子區(qū)是否是新場(chǎng)景的第一幀，處理單 元可以處理其他子區(qū)的圖像幀。
上述說(shuō)明僅僅解釋了本發(fā)明的原理，在本發(fā)明的原理和范圍之內(nèi)，本 領(lǐng)域普通技術(shù)人員可以設(shè)計(jì)出很多未在本說(shuō)明書(shū)中介紹的其他實(shí)施方式。 例如，雖然在本說(shuō)明書(shū)中介紹了分立的功能元件，而這些功能元件可以由 一個(gè)或多個(gè)集成電路(IC)來(lái)實(shí)現(xiàn)。類(lèi)似地，雖然本說(shuō)明書(shū)中介紹了分立 的功能元件，所有這些元件都可以在存儲(chǔ)程序控制的處理器(例如數(shù)字信 號(hào)處理器)中實(shí)現(xiàn)，所述處理器執(zhí)行例如與圖3和圖4所示一個(gè)或多個(gè)步 驟相對(duì)應(yīng)的相關(guān)軟件。因此可以理解，在由所附權(quán)利要求限定的范圍之內(nèi)，可以對(duì)本發(fā)明進(jìn)行修改以引入本說(shuō)明書(shū)未說(shuō)明的任何變化、改變、替換或 者等同設(shè)置。
權(quán)利要求
1.一種用于處理圖像序列以提供已處理圖像序列的裝置，包括多個(gè)處理單元，每個(gè)處理單元對(duì)所述圖像序列中其各自的圖像子區(qū)進(jìn)行處理以提供對(duì)應(yīng)的已處理圖像子區(qū)；數(shù)據(jù)存儲(chǔ)器，用于將每個(gè)對(duì)應(yīng)的已處理圖像子區(qū)存儲(chǔ)在表示所述已處理圖像序列的輸出文件的對(duì)應(yīng)部分中。
2. 根據(jù)權(quán)利要求l所述的裝置，其中每個(gè)圖像子區(qū)包括至少一個(gè)圖像幀。
3. 根據(jù)權(quán)利要求1所述的裝置，還包括-分布式文件系統(tǒng)，用于將所述多個(gè)處理單元的每一個(gè)的已處理圖像子 區(qū)寫(xiě)入至所述輸出文件的對(duì)應(yīng)部分。
4. 根據(jù)權(quán)利要求l所述的裝置，其中所述數(shù)據(jù)存儲(chǔ)器包括內(nèi)存。
5. 根據(jù)權(quán)利要求l所述的裝置，其中所述輸出文件表示電影。
6. 根據(jù)權(quán)利要求l所述的裝置，還包括用于為所述多個(gè)處理單元的每一個(gè)分配需要處理圖像子區(qū)的處理器。
7. —種用于處理圖像序列以提供已處理圖像序列的方法，包括 將所述圖像序列劃分為圖像子區(qū)，每個(gè)圖像子區(qū)具有至少一個(gè)圖像幀；并行處理每個(gè)所述圖像子區(qū)以提供已處理的圖像子區(qū)；和 將每個(gè)已處理圖像子區(qū)寫(xiě)入輸出文件的預(yù)先分配的部分， 其中所述輸出文件表示已處理圖像序列。
8. 根據(jù)權(quán)利要求7所述的方法，還包括用分布式文件系統(tǒng)創(chuàng)建所述輸出文件的步驟。
9. 根據(jù)權(quán)利要求7所述的方法，其中所述圖像序列和己處理圖像序列 表示電影。
10. 根據(jù)權(quán)利要求7所述的方法，其中所述劃分步驟包括為所述多個(gè)處理單元中的每一個(gè)分配特定的一個(gè)圖像子區(qū)。
11. 根據(jù)權(quán)利要求10所述的方法，其中所述處理步驟包括 所述多個(gè)處理單元的每一個(gè)將其己處理圖像子區(qū)寫(xiě)入其在所述輸出文件中預(yù)先分配的部分中。
12. 根據(jù)權(quán)利要求7所述的方法，其中所述寫(xiě)入步驟包括在內(nèi)存中存儲(chǔ)所述輸出文件。
全文摘要
本發(fā)明提出了一種圖像處理系統(tǒng)，包括圖像處理管理器；多個(gè)處理器，用于處理圖像序列(例如電影)；分布式文件系統(tǒng)，用于創(chuàng)建和存儲(chǔ)表示已處理圖像序列的輸出文件。所述圖像處理管理器將存儲(chǔ)的圖像序列的圖像子區(qū)分配給所述多個(gè)處理器中的每一個(gè)以進(jìn)行處理。所述多個(gè)處理器中的每一個(gè)對(duì)分配的圖像子區(qū)進(jìn)行處理并向所述分布式文件系統(tǒng)提供對(duì)應(yīng)的已處理圖像子區(qū)。所述分布式文件系統(tǒng)將所述多個(gè)處理單元的每一個(gè)的已處理圖像寫(xiě)入所述輸出文件的對(duì)應(yīng)部分。
文檔編號(hào)G06T1/20GK101595509SQ200780050203
公開(kāi)日2009年12月2日 申請(qǐng)日期2007年2月2日 優(yōu)先權(quán)日2007年2月2日
發(fā)明者奧克·舒爾德·范德沙爾 申請(qǐng)人:湯姆遜許可公司