專利名稱：視頻編輯設(shè)備和視頻編輯系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編輯設(shè)備，更具體地，涉及用于編輯在其上繪制有圖像信息的對象的視頻的視頻編輯設(shè)備以及包括該視頻編輯設(shè)備的視頻編輯系統(tǒng)。
背景技術(shù)：
通常，已知用于將繪制在例如用于會議、演講等的白板或黑板等對象上的圖像信息記錄為視頻的技術(shù)。然而，在對象的簡單拍攝(simply-shot)視頻中，捕捉了例如在對象上繪制圖像信息的人等移動體，因此，當(dāng)繪制的圖像信息被移動體所遮擋時，圖像信息的可見度降低。為了解決圖像信息可見度的這種降低，開發(fā)了一種用于從通過記錄黑板的視頻而獲得的黑板視頻中提取在作為對象的黑板上所寫的內(nèi)容的技術(shù)，以這種方式，從黑板視頻中定期地提取出現(xiàn)了內(nèi)容的增加或刪除的內(nèi)容區(qū)域，并且該技術(shù)在線檢測來自提取的內(nèi)容區(qū)域的內(nèi)容，然后產(chǎn)生矢量數(shù)據(jù)作為圖像信息(例如，參見專利文獻1 日本專利申請公開號 2006-162692)。然而，在以上傳統(tǒng)技術(shù)中，從黑板區(qū)域提取并保持其中演講者區(qū)域在一定時間段內(nèi)移動的整個區(qū)域范圍并且將從該范圍中移除當(dāng)前幀的演講者區(qū)域后的區(qū)域被確定為搜索寫在黑板上的字符的更新信息的搜索區(qū)域，因此，存在例如這樣的問題如果演講者區(qū)域長時間沒有移動，則寫在黑板上的字符即圖像信息的檢測時間顯著地滯后于實際繪制圖像信息時的時間。本發(fā)明用于解決上述問題，本發(fā)明的目的是提供一種視頻編輯設(shè)備，其能夠抑制在從對象的視頻中提取圖像信息時對于繪制圖像信息時的時間的檢測時間的延遲。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供了一種視頻編輯設(shè)備，該視頻編輯設(shè)備對繪制了圖像信息的對象的視頻進行編輯，該視頻編輯設(shè)備包括移動體幀檢測單元，用于對捕捉了遮擋所述對象的移動體的幀進行檢測；繪制幀識別單元，用于通過將后檢測幀與每一個檢測幀進行比較，來識別開始繪制圖像信息的幀，所述后檢測幀是由移動體幀檢測單元檢測出的遮擋幀，所述檢測幀是由移動體幀檢測單元檢測出的非遮擋幀；及合成處理單元，用于執(zhí)行合成處理，該合成處理將在后檢測幀中包括的圖像信息合成到由繪制幀檢測單元所識別的幀之前的幀。根據(jù)本發(fā)明，當(dāng)從對象的視頻中提取圖像信息時，通過將移動體不再遮擋對象的幀與移動體遮擋對象的每個幀進行比較，可以抑制檢測時間點和繪制圖像信息的時間點之間的間隔。因此，可以提供一種視頻編輯設(shè)備，其能夠抑制在從對象的視頻中提取圖像信息時對于繪制圖像信息時的時間的檢測時間的延遲。進一步，根據(jù)本發(fā)明的另一方面，提供了一種視頻編輯系統(tǒng)，包括繪制了圖像信息的對象；拍攝該對象的視頻拍攝設(shè)備；及編輯由視頻拍攝設(shè)備拍攝的視頻的視頻編輯設(shè)備，該視頻編輯設(shè)備包括移動體幀檢測單元，用于對捕捉了遮擋所述對象的移動體的幀進行檢測；繪制幀識別單元，用于通過將后檢測幀與每一個檢測幀進行比較，來識別開始繪制圖像信息的幀，所述后檢測幀是由移動體幀檢測單元檢測出的遮擋幀，所述檢測幀是由移動體幀檢測單元檢測出的非遮擋幀；及合成處理單元，用于執(zhí)行合成處理，該合成處理將在后檢測幀中包括的圖像信息合成到由繪制幀檢測單元所識別的幀之前的幀。根據(jù)本發(fā)明，用于通過對比移動體不再遮擋該對象的幀與移動體遮擋該對象的每個幀，使視頻編輯設(shè)備識別開始繪制圖像信息的幀，從而當(dāng)從該對象的視頻中提取圖像信息時，可能抑制檢測時間點和繪制圖像信息的時間點之間的間隔。


圖1是根據(jù)第一實施例的視頻編輯系統(tǒng)的框圖；圖2是根據(jù)第一實施例的視頻編輯設(shè)備的硬件結(jié)構(gòu)圖；圖3是根據(jù)第一實施例的視頻編輯設(shè)備的功能框圖；圖4是用于說明根據(jù)第一實施例的構(gòu)成視頻編輯系統(tǒng)的移動體檢測單元的檢測區(qū)域的第一概念圖；圖5是用于說明根據(jù)第一實施例的構(gòu)成視頻編輯系統(tǒng)的移動體檢測單元的檢測區(qū)域的第二概念圖；圖6是用于說明根據(jù)第一實施例的構(gòu)成視頻編輯系統(tǒng)的移動體檢測單元的檢測區(qū)域的第三概念圖；圖7是用于說明根據(jù)第一實施例的視頻編輯設(shè)備的操作的流程圖；圖8是用于說明根據(jù)第一實施例的視頻編輯設(shè)備的移動體檢測處理的流程圖；圖9是用于說明根據(jù)第一實施例的視頻編輯設(shè)備的繪制幀識別處理的流程圖；圖10是用于說明根據(jù)第一實施例的視頻編輯設(shè)備的合成處理的流程圖；圖11是用于說明根據(jù)第一實施例的視頻編輯設(shè)備的操作的概念圖；圖12是根據(jù)第一實施例的視頻編輯設(shè)備的另一種形式的功能框圖；圖13是用于說明根據(jù)第二實施例的視頻編輯設(shè)備的繪制幀識別處理的流程圖；圖14是用于說明根據(jù)第二實施例的視頻編輯設(shè)備的合成處理的流程圖；圖15是用于說明根據(jù)第三實施例的視頻編輯設(shè)備的繪制幀識別處理的流程圖；圖16是用于說明根據(jù)第三實施例的視頻編輯設(shè)備的操作的概念圖；圖17是用于說明根據(jù)第四實施例的視頻編輯設(shè)備的繪制幀識別處理的流程圖；圖18是用于說明根據(jù)第四實施例的視頻編輯設(shè)備的操作的概念圖；圖19是用于說明根據(jù)第四實施例的視頻編輯設(shè)備的操作的概念具體實施例方式下面將結(jié)合相應(yīng)

本發(fā)明有代表性的實施例。(第一實施例)如圖1所示，根據(jù)本發(fā)明第一實施例的視頻編輯設(shè)備1包括作為對象的白板2、拍攝包括該白板2的區(qū)域的視頻拍攝設(shè)備3、以及編輯由視頻拍攝設(shè)備3拍攝的視頻的視頻編輯設(shè)備4.
在本實施例中，說明了利用白板2作為對象的示例；然而，在本發(fā)明中，可利用黑板、投影屏幕、紙張等作為對象。視頻拍攝設(shè)備3由常用攝像機組成，該攝像機可以是在存儲介質(zhì)上記錄拍攝視頻的攝像機，存儲介質(zhì)例如是磁盤、磁帶、光盤和非易失性存儲器，也可以是將拍攝視頻轉(zhuǎn)換為電信號、無線電信號或光信號并輸出這些信號到例如視頻編輯設(shè)備4等外部設(shè)備的攝像機。相對于白板2固定視頻拍攝設(shè)備3，以使包括白板2的區(qū)域可作為拍攝范圍5。如圖2中所示，視頻編輯設(shè)備由常用計算機設(shè)備、組成，該種計算機設(shè)備包括 CPU(中央處理單元)10、RAM(隨機存取存儲器)11、R0M(只讀存儲器)12、硬盤設(shè)備13、由鍵盤、指向設(shè)備等組成的輸入設(shè)備14、由液晶顯示器等組成的顯示設(shè)備15、對例如光盤或非易失存儲器等介質(zhì)執(zhí)行數(shù)據(jù)讀/寫的介質(zhì)驅(qū)動器16、以及用于與外部設(shè)備建立通信的通信模塊17。在硬盤設(shè)備13中，存儲了使計算機設(shè)備作為視頻編輯設(shè)備4的程序。表示由視頻拍攝設(shè)備3拍攝的視頻的視頻數(shù)據(jù)通過介質(zhì)驅(qū)動器16或通信模塊17被輸入到視頻編輯設(shè)備4。在本實施例中，說明了將在硬盤設(shè)備13中存儲通過介質(zhì)驅(qū)動器16或通信模塊17 輸入到視頻編輯設(shè)備4的視頻數(shù)據(jù)。如圖3所示，通過執(zhí)行存儲在具有作為工作區(qū)域的RAM的硬盤設(shè)備13中的程序， CPU 10用作移動體檢測單元20、繪制幀識別單元21及合成處理單元22，移動體檢測單元 20檢測在其上從由存儲在硬盤設(shè)備13中的視頻數(shù)據(jù)表示的視頻中捕捉了例如遮擋白板2 的人(見圖1)等移動體的幀，繪制幀識別單元21識別其中開始在白板2上繪制圖像信息的幀；合成處理單元22合成幀中的圖像信息以將移動體6從視頻中移除。移動體檢測單元20被配置為基于由視頻中的白板2的至少一邊所(包括底部) 限定的的檢測區(qū)域的變化，檢測其上捕捉了遮擋白板2的移動體6的幀。另外，在本實施例中，移動體檢測單元20將基于由如圖4所示的視頻中的白板的底部和兩側(cè)所限定的檢測區(qū)域30的變化，檢測在其上捕捉了遮擋白板2的移動體6的幀， 替換地，可配置為使用輸入設(shè)備14設(shè)置檢測區(qū)域30。具體地，移動體檢測單元20計算初始幀與包括其上未捕捉到移動體2遮擋了白板6的幀的其它幀中的每個幀之間檢測區(qū)域30的圖像差異，該初始幀例如為視頻中的第一幀，并且基于計算出的差異檢測在其上捕捉了遮擋白板2的移動體6的幀。 在本實施例中，術(shù)語“圖像差異”在這里的含義為顏色空間中的亮度或距離尺度的差異的絕對值，移動體檢測單元20將檢測區(qū)域30分為預(yù)定尺寸的單元，如果存在其中幀之間的差異大于預(yù)定閾值THl的任何單元，則確定檢測到在其上捕捉了遮擋白板2的移動體 6的幀。例如，如圖5所示，當(dāng)移動體6存在于白板2之前時，如圖6所示，檢測到一組單元 31，其中的幀之間的差異大于預(yù)定閾值TH1，并且移動體檢測單元20確定檢測到在其上捕捉了遮擋白板2的移動體6的幀?；蛘撸苿芋w檢測單元20可被配置為基于視頻中運動向量的長度之和是否超出預(yù)定閾值檢測在其上捕捉了遮擋了白板2的移動體6的幀，或基于將檢測檢測區(qū)域30的變化和提取運動向量相結(jié)合，來檢測在其上捕捉了遮擋白板2的移動體6的幀。進一步，移動體檢測單元20可由在移動體遮擋白板2之前和之后進行切換的開關(guān)組成。繪制幀識別單元21被配置為將由移動體檢測單元檢測到的幀(下文中被稱為“檢測幀”的各個幀)、緊接在檢測幀部分之前的幀(下文中被稱為“預(yù)檢測幀”)、緊接在檢測幀部分之后的幀(下文中被稱為“后檢測幀”)二值化。進一步，繪制幀識別單元21被配置為通過將二值化的預(yù)檢測幀與二值化的后檢測幀進行異或O(OR)操作以生成差異圖像。同時，較佳的是，繪制幀識別單元在捕捉了白板 2的繪制區(qū)域的范圍內(nèi)對差異圖像進行修剪。作為替代通過將二值化的預(yù)檢測幀與二值化的后檢測幀進行異或操作生成差異圖像，繪制幀識別單元21可被配置為產(chǎn)生由預(yù)檢測幀和后檢測幀之間的亮度差組成的差異圖像。進一步，繪制幀識別單元21被配置為從差異圖像中提取黑像素的連通區(qū)域的外接矩形(如果差異圖像由亮度中的差異構(gòu)成，則像素的連通區(qū)域具有一定數(shù)值的亮度或較小的亮度)。例如，繪制幀識別單元21掃描差異圖像，通過標(biāo)記黑像素來關(guān)聯(lián)黑像素，并提取包含具有相同標(biāo)記的像素的最小矩形作為外接矩形。另外，通過繪制幀識別單元21 關(guān)聯(lián)像素為公知技術(shù)，因此省略對此的說明(例如，參見非專利文獻1 =Hideyuki Tamura, Computer Image Processing, pp 143—150，Ohmsha，Ltd.，2002)。繪制幀識別單元21確定二值化的后檢測幀中相應(yīng)于外接矩形的區(qū)域與任何二值化的檢測幀中相應(yīng)于外接矩形的區(qū)域是否匹配，并且如果二值化的后檢測幀中的區(qū)域與任何二值化的檢測幀中的區(qū)域相匹配時，更具體地，如果匹配結(jié)果超出預(yù)定閾值TH2，則識別該幀為外接矩形的更新幀。順便說一下，在每個檢測幀中相應(yīng)于外接矩形的區(qū)域的含義是指在每個檢測幀中與后檢測幀中的外接矩形相同的區(qū)域或關(guān)于該相同的區(qū)域在預(yù)定誤差范圍內(nèi)的周圍區(qū)域。合成處理單元22對移動體檢測單元20檢測的每部分幀，用緊接在檢測幀部分之前的幀替換每個檢測幀，并且如果檢測幀被繪制幀識別單元21識別為任何外接矩形的更新幀，則將后檢測幀中相應(yīng)于外接矩形的區(qū)域重疊到檢測幀中的相應(yīng)區(qū)域。通過連續(xù)執(zhí)行該處理，合成處理單元22生成移動體6的圖像被移除了的視頻，并且在硬盤設(shè)備13上記錄表示生成的視頻的視頻數(shù)據(jù)。順便說一下，較佳地是，在對移動體檢測單元20所檢測的每部分幀算出檢測幀的亮度的平均值后，合成處理單元22執(zhí)行以上所描述的處理，以使如果因移動體6遮擋白板2 時拍攝環(huán)境的變化、拍攝設(shè)備的特性變化等而使亮度變化，合成處理單元22則可生成不受這些變化影響的合成視頻。參照附圖7至10說明如以上所描述的配置的視頻編輯設(shè)備的操作。如圖7所示，圖像編輯設(shè)備4首先使移動體檢測單元20對通過輸入設(shè)備14從存儲在硬盤設(shè)備13中的視頻數(shù)據(jù)中選擇的視頻數(shù)據(jù)執(zhí)行移動體檢測處理(步驟Si)，接著使繪制幀識別單元21執(zhí)行繪制幀識別處理(步驟S2)，最后使合成處理單元執(zhí)行合成處理(步驟S； )，并且在硬盤設(shè)備13上記錄表示作為合成處理的結(jié)果而獲取的視頻的視頻數(shù)據(jù)(步驟 S4)。如圖8所示，在移動體檢測處理中，首先，視頻中的第一幀被記為初始幀(步驟 S10)，以下將說明在除初始幀外的每幀上執(zhí)行的步驟Sll至S14。
首先，移動體檢測單元20計算初始幀與基于單元接著單元的幀之間的檢測區(qū)域 30中的圖像差異(步驟S11)。接著，移動體檢測單元確定是否有所計算出的差異超出了閾值THl的任意單元(步驟S12)。如果確定了存在所計算出的差異超出了閾值THl的單元，則移動體檢測單元20確定檢測到在其上捕捉了遮擋白板2的移動體6的幀，并且將該幀記為檢測幀，并將該幀的幀號記錄在RAM等中(步驟S13)，并執(zhí)行關(guān)于下一幀的處理。另一方面，如果確定了不存在所計算出的差異超出了閾值THl的單元，則移動體檢測單元20確定沒有檢測到在其上捕捉了遮擋白板2的移動體6的幀，并將該幀記為初始幀(步驟S14)，并執(zhí)行關(guān)于下一幀的處理。如圖9所示，在繪制幀識別處理中，將在以下說明對移動體檢測單元20所檢測到的每部分檢測幀所執(zhí)行的步驟S20至S25。首先，繪制幀識別單元21對該部分中的從預(yù)檢測幀到后檢測幀的幀執(zhí)行二值化 (步驟S20)。接著，繪制幀識別單元21通過對二值化的預(yù)檢測幀和二值化的后檢測幀進行異或操作來生成差異圖像(步驟S21)，以及從差異圖像中提取外接矩形(步驟S22)。將在以下說明對于提取的外接矩形而對每個檢測幀執(zhí)行的步驟S23至S25。首先，繪制幀識別單元21確定在二值化的后檢測幀中相應(yīng)于外接矩形的區(qū)域是否匹配于二值化的檢測幀中相應(yīng)于外接矩形的區(qū)域(步驟S23)。如果二值化的后檢測幀中的相應(yīng)區(qū)域與二值化的檢測幀中的相應(yīng)區(qū)域匹配，則繪制幀識別單元21以關(guān)聯(lián)的方式在RAM等上記錄檢測幀的幀號和外接矩形(步驟S24)，并且將從差異圖像中提取的外接矩形除去(步驟S25)。另一方面，如果二值化的后檢測幀中的相應(yīng)區(qū)域與二值化的檢測幀中的相應(yīng)區(qū)域不相匹配，或者在除去了外接矩形之后，則執(zhí)行關(guān)于下一個外接矩形或下一個檢測幀的操作。如圖10所示，在合成處理中，將在以下說明對移動體檢測單元20所檢測到的每部分檢測幀中的每個檢測幀所執(zhí)行的步驟S30至S32。首先，合成處理單元22用緊接著檢測幀之前的幀替換該檢測幀(步驟S30)。接著，合成處理單元22確定該檢測幀是否被繪制幀識別單元21識別為任意外接矩形的更新幀，更具體地，該幀的幀號是否與外接矩形相關(guān)聯(lián)地被記錄在RAM等上(步驟S31)。如果該檢測幀被識別為任意外接矩形的更新幀，則將后檢測幀中相應(yīng)于外接矩形的區(qū)域重疊到檢測幀中的相應(yīng)區(qū)域(步驟S3》。另一方面，如果該檢測幀未被識別為任意外接矩形的更新幀，則執(zhí)行關(guān)于下一檢測幀的處理。例如，如圖11所示，當(dāng)如以上所述通過視頻編輯設(shè)備4的操作檢測在t4時刻的幀為后檢測幀時，在時刻tl檢測到幀中的字“W”，在時刻t2檢測到幀中的字“0”，在時刻t3 檢測到幀中的字“A”。即使在時刻t2字“W”被移動體6所遮擋，也基于tl時刻的幀記錄該字“W”，因此基于tl時刻的幀對字“W”進行合成。類似地，即使在時刻t3字“0”被移動體6所遮擋，也基于t2時刻的幀來記錄該字 “0”，因此基于t2時刻的幀對字“0”進行合成。如以上所說明的，根據(jù)本發(fā)明第一實施例的視頻編輯系統(tǒng)1，使視頻編輯設(shè)備4通過對比移動體6遮擋白板2的最后一幀的隨后的幀與移動體6遮擋白板2的每一幀，以識別開始繪制圖像信息的幀，因此當(dāng)從白板2的視頻中提取圖像信息時，可以抑制檢測時間點和繪制圖像信息的時間點之間的間隔。另外，在本發(fā)明中，如圖12所示，視頻編輯系統(tǒng)1可被配置為包括濾波單元23，濾波單元23對組成被編輯的視頻的每一幀的每個像素，添加根據(jù)中心圍繞該像素的預(yù)定區(qū)域的亮度平均值與該像素亮度之間的差值預(yù)定的某個背景顏色。例如，如在本實施例中，當(dāng)白板2用作繪制了圖像信息的對象時，繪制在白板2上的圖像信息降低對于繪制區(qū)域的亮度，因此濾波單元23在像素的亮度中減去圍繞每個像素的預(yù)定區(qū)域(例如，10至200像素X 10至200像素)的亮度平均值，并將減法結(jié)果超出 0的像素的亮度截取至0，并且之后在結(jié)果添加特定背景顏色(例如，[R，G，B] = [100至 255，100 至 255，100 至 255])。因此，視頻編輯系統(tǒng)1可從白板2的視頻中除去落在移除白板2上的環(huán)境光，以能夠?qū)崿F(xiàn)白板2的視頻的白平衡。(第二實施例)本發(fā)明的第二實施例通過由本發(fā)明第一實施例中的視頻編輯設(shè)備的CPUlO執(zhí)行改變了的程序來實現(xiàn)，并且以與實施例一同樣的方式來詳述功能塊，因此本發(fā)明的第二實施例通過圖1所示的視頻編輯系統(tǒng)1來說明。在本發(fā)明的第一實施例中，說明了繪制幀識別單元21從差異圖像中提取外接矩形。在本實施例中，繪制幀識別單元21被配置為將差異圖像劃分為相對大的預(yù)定尺寸的單元(例如，5像素X 5像素，或更大)。進一步，在本實施例中，對差異圖像中的包含黑像素的每個單元，繪制幀識別單元 21確定二值化的后檢測幀中的相應(yīng)區(qū)域是否匹配于每個二值化的檢測幀的相應(yīng)區(qū)域，并且如果在二值化的后檢測幀中的相應(yīng)區(qū)域匹配于任意的二值化的檢測幀中的相應(yīng)區(qū)域，則識別該幀為該單元的更新幀。此外，在本發(fā)明第一實施例中，說明了合成處理單元22對由移動體檢測單元20所檢測到的每部分幀，用緊接在檢測幀之前的幀替換每個檢測幀，并且如果由繪制幀識別單元21識別該檢測幀為任意外接矩形的更新幀，則將后檢測幀中與外接矩形相應(yīng)的區(qū)域重疊到檢測幀中的相應(yīng)區(qū)域。在本實施例中，合成處理單元22對由移動體檢測單元20所檢測到的每部分幀，用緊接在檢測幀之前的幀替換每個檢測幀，并且如果由繪制幀識別單元21識別該檢測幀為任意單元的更新幀，則將后檢測幀中的該單元的區(qū)域重疊到檢測幀中的相應(yīng)區(qū)域。參照圖13和14說明如上述配置的視頻編輯設(shè)備4的操作。另外，本實施例中的視頻編輯設(shè)備4的操作與本發(fā)明第一實施例中的視頻編輯設(shè)備4的操作僅區(qū)別在于移動體檢測處理和合成處理，因此對這些處理進行說明。如圖13所示，在繪制幀識別處理中，在以下說明對由移動體檢測單元20所檢測的每部分檢測幀執(zhí)行的步驟S40至S45。首先，繪制幀識別單元21對某個部分中的從預(yù)檢測幀到后檢測幀的幀進行二值化(步驟S40)。接著，繪制幀識別單元21通過對二值化的預(yù)檢測幀和二值化的后檢測幀執(zhí)行異或操作來生成差異圖像(步驟S41)，并將差異圖像劃分為多個單元(步驟S42)。
以下將說明對于在差異圖像中包含黑像素的每個單元對每個檢測幀所執(zhí)行的步驟 S43 至 S45。首先，繪制幀識別單元21確定在二值化的后檢測幀中相應(yīng)于該單元的區(qū)域是否匹配于二值化的檢測幀中相應(yīng)于該單元的區(qū)域(步驟S43)。如果在二值化的后檢測幀中的相應(yīng)區(qū)域匹配于二值化的檢測幀中的相應(yīng)區(qū)域，則繪制幀識別單元21以關(guān)聯(lián)方式在RAM等上記錄該檢測幀的幀號和該單元(步驟S44)，并且該單元從差異圖像中去除(步驟S45)。另一方面，如果在二值化的后檢測幀中的相應(yīng)區(qū)域與二值化的檢測幀中的相應(yīng)區(qū)域不匹配，或者在該單元被去除之后，執(zhí)行關(guān)于下一單元或下一檢測幀的處理。如圖14所示，在合成處理中，以下將說明在由移動體檢測單元20所檢測的每部分檢測幀中的每個檢測幀上所執(zhí)行的步驟S50至S52。首先，合成處理單元22用緊接在檢測幀之前的幀替換該檢測幀(步驟S50)。接著，合成處理單元確定該檢測幀是否被繪制幀識別單元21識別為任意單元的更新幀，更具體地，該幀的幀號是否與該單元相關(guān)聯(lián)地被記錄在RAM等上(步驟S51)。如果該檢測幀被識別為任意單元的更新幀，則將后檢測幀中的與該單元相應(yīng)的區(qū)域重疊到檢測幀中相應(yīng)區(qū)域上(步驟S5》。另一方面，如果該檢測幀未被識別為任意單元的更新幀，則執(zhí)行關(guān)于下一檢測幀的處理。如以上說明，以與根據(jù)本發(fā)明第一實施例的視頻編輯系統(tǒng)1相同的方式，根據(jù)本發(fā)明第二實施例的視頻編輯系統(tǒng)1，使視頻編輯設(shè)備4通過對比移動體6遮擋白板2的最后一幀的隨后的幀與移動體6遮擋白板2的每一幀，以識別開始繪制圖像信息的幀，因此當(dāng)從白板2的視頻中提取圖像信息時，可以抑制檢測時間點和繪制圖像信息的時間點之間的間隔。(第三實施例)本發(fā)明的第三實施例通過由本發(fā)明第一和第二實施例中的視頻編輯設(shè)備的CPU 10執(zhí)行改變了的程序來實現(xiàn)，并且以與實施例一同樣的方式來詳述功能塊，因此本發(fā)明的第三實施例通過圖1所示的視頻編輯系統(tǒng)1來說明。在本發(fā)明的第二實施例中，說明了繪制幀識別單元21將差異圖像劃分為相對大的預(yù)定尺寸的單元。在本實施例中，繪制幀識別單元21被配置為將差異圖像劃分為相對小的預(yù)定尺寸的單元(例如，小于5像素X5像素)。另外，這些單元的尺寸可為1像素Xl像素。進一步，在本實施例中，對差異圖像中的包含黑像素的每個單元，繪制幀識別單元 21確定二值化的后檢測幀中的相應(yīng)區(qū)域是否匹配于每個二值化的檢測幀的相應(yīng)區(qū)域，并且如果在二值化的后檢測幀中的相應(yīng)區(qū)域匹配于任意的二值化的檢測幀中的相應(yīng)區(qū)域，則識別該幀為該單元的更新幀。然而，如果在二值化的后檢測幀中的相應(yīng)區(qū)域與匹配的檢測幀的隨后的幀的相應(yīng)區(qū)域不匹配，則繪制幀識別單元21排除該幀作為該單元的更新幀。與本發(fā)明第二實施例相同的方式，合成處理單元22對由移動體檢測單元20所檢測到的每部分幀，用緊接在檢測幀之前的幀替換每個檢測幀，并且如果由繪制幀識別單元 21識別該檢測幀為任意單元的更新幀，則將后檢測幀中的該單元的區(qū)域重疊到檢測幀中的相應(yīng)區(qū)域。參照圖15說明如上述配置的視頻編輯設(shè)備4的操作。另外，本實施例中的視頻編輯設(shè)備4的操作與本發(fā)明第二實施例中的視頻編輯設(shè)備4的操作僅區(qū)別在于繪制幀識別處理，因此對該處理進行說明。如圖15所示，在繪制幀識別處理中，對由移動體檢測單元20所檢測的每部分檢測幀執(zhí)行以下說明的步驟S60至S66。首先，繪制幀識別單元21對某個部分中的從預(yù)檢測幀到后檢測幀的幀進行二值化(步驟S60)。接著，繪制幀識別單元21通過對二值化的預(yù)檢測幀和二值化的后檢測幀執(zhí)行異或操作來生成差異圖像(步驟S61)，并將差異圖像劃分為多個單元(步驟S62)。以下將說明對于在差異圖像中包含黑像素的每個單元對每個檢測幀所執(zhí)行的步驟 S63 至 S66。首先，繪制幀識別單元21確定在二值化的后檢測幀中相應(yīng)于該單元的區(qū)域是否匹配于二值化的檢測幀中相應(yīng)于該單元的區(qū)域(步驟S63)。如果在二值化的后檢測幀中的相應(yīng)區(qū)域匹配于二值化的檢測幀中的相應(yīng)區(qū)域，則繪制幀識別單元21以關(guān)聯(lián)方式在如RAM的記錄介質(zhì)上記錄該檢測幀的幀號和該單元(步驟S64)，并且執(zhí)行關(guān)于下一單元或下一檢測幀的處理。另一方面，如果在二值化的后檢測幀中的相應(yīng)區(qū)域與二值化的檢測幀中的相應(yīng)區(qū)域不匹配，繪制幀識別單元21確定是否以關(guān)聯(lián)方式在記錄介質(zhì)上記錄了該檢測幀的幀號和該單元(步驟S65)。如果確定該單元與該檢測幀的幀號被相關(guān)聯(lián)地記錄在記錄介質(zhì)上，則從記錄介質(zhì)上消除該檢測幀與該單元之間的關(guān)聯(lián)(步驟S66)。另一方面，如果確定該單元與該檢測幀的幀號沒有被相關(guān)聯(lián)地被記錄在記錄介質(zhì)上，或在從記錄介質(zhì)上消除該檢測幀與該單元之間的關(guān)聯(lián)之后，執(zhí)行關(guān)于下一單元或下一檢測幀的處理。例如，如示出了放大的白板2的一部分的圖16所示，當(dāng)通過如上述的視頻編輯設(shè)備4的操作檢測在t4時刻的幀為后檢測幀時，在tl時刻在幀中檢測到單元c5至c9上的字，并且記錄在tl時刻該幀中的單元c5至c9上的字。然后，當(dāng)按照移動體6的運動，在t2時刻在幀中沒有檢測到單元c5上的字時，從記錄中消除在tl時刻在該幀中的單元c5上的字。移動體6進一步運動，并且在t3時刻在幀中檢測到單元c5至c9上的字，并且隨后記錄t3時刻在該幀中的單元c5至c9上的字。因此，基于tl時刻的幀對單元c6至c9進行合成，并且基于t3時刻的幀對單元cl 至c5進行合成。如以上所說明的，根據(jù)本發(fā)明第三實施例的視頻編輯系統(tǒng)1，能夠?qū)ο鄬π〕叽绲拿總€單元，通過對比幀來高準(zhǔn)確性地檢測開始繪制圖像信息的時刻。(第四實施例)本發(fā)明的第四實施例通過由本發(fā)明第一至第三實施例中的視頻編輯設(shè)備的CPU 10執(zhí)行改變了的程序來實現(xiàn)，并且以與實施例一同樣的方式來詳述功能塊，因此本發(fā)明的第四實施例通過圖1所示的視頻編輯系統(tǒng)1來說明。在本發(fā)明的第一實施例中，說明了繪制幀識別單元21從差異圖像中提取外接矩形。在本實施例中，繪制幀識別單元21則將提取的外接矩形劃分為相對小的預(yù)定尺寸的單元(例如，5像素X 5像素，或更小)。另外，這些單元的尺寸可為1像素Xl像素。進一步，在本實施例中，繪制幀識別單元21以差異圖像中的外接矩形為單位來確定二值化的后檢測幀中的相應(yīng)區(qū)域是否匹配于每個二值化的檢測幀中的相應(yīng)區(qū)域，并且如果在二值化的后檢測幀中的相應(yīng)區(qū)域匹配于任意二值化的檢測幀的相應(yīng)區(qū)域，則識別該幀為該外接矩形的更新幀。此外，對組成被識別的幀的外接矩形的每個單元，繪制幀識別單元21確定外接矩形的更新幀中的相應(yīng)區(qū)域是否匹配于每個二值化的檢測幀中的相應(yīng)區(qū)域，并且如果在更新幀中的相應(yīng)區(qū)域匹配于任何二值化的檢測幀的相應(yīng)區(qū)域，則識別該幀為該單元的更新幀。然而，如果更新幀中的相應(yīng)區(qū)域與該匹配的幀的隨后的幀中的相應(yīng)區(qū)域不匹配， 則繪制幀識別單元21從該單元的更新幀中排除該幀。以與本發(fā)明第二實施例相同的方式，合成處理單元22對由移動體檢測單元20所檢測到的每部分幀，用緊接在檢測幀之前的幀替換每個檢測幀，并且如果由繪制幀識別單元21識別該檢測幀為任意單元的更新幀，則將后檢測幀中的該單元的區(qū)域重疊到檢測幀中的相應(yīng)區(qū)域。參照圖17和18說明如上述配置的視頻編輯設(shè)備4的操作。另外，本實施例中的視頻編輯設(shè)備4的操作與本發(fā)明第二實施例中的視頻編輯設(shè)備4的操作僅區(qū)別在于繪制幀識別處理，因此對此處理進行說明。如圖17所示，在繪制幀識別處理中，在以下說明對由移動體檢測單元20所檢測的每部分檢測幀執(zhí)行的步驟S70至S75。首先，繪制幀識別單元21對某個部分中的從預(yù)檢測幀到后檢測幀的幀進行二值化(步驟S70)。接著，繪制幀識別單元21通過對二值化的預(yù)檢測幀和二值化的后檢測幀執(zhí)行異或操作來生成差異圖像(步驟S71)，并從該差異圖像中提取外接矩形(步驟S72)。以下將說明對于每個所提取的外接矩形對每個檢測幀所執(zhí)行的步驟S73至S75。首先，繪制幀識別單元21確定二值化的后檢測幀中相應(yīng)于外接矩形的區(qū)域是否匹配于二值化的檢測幀中相應(yīng)于外接矩形的區(qū)域(S73)。如果二值化的后檢測幀中的相應(yīng)區(qū)域匹配于二值化的檢測幀中的相應(yīng)區(qū)域，則執(zhí)行下面描述的繪制幀識別處理(步驟S74)，并將該外接矩形從從該差異圖像中提取的外接矩形中排除(步驟S75)。另一方面，如果二值化的后檢測幀中的相應(yīng)區(qū)域與二值化的檢測幀中的相應(yīng)區(qū)域不匹配，或在該外接矩形被排除之后，執(zhí)行關(guān)于下一外接矩形或下一檢測幀的處理。如圖18所示，在繪制幀識別處理中，首先，繪制幀識別單元21將外接矩形分為多個單元(步驟S80)。對于差異圖像中的包含黑像素的每個單元，對一直到在其上繪制了外接矩形的繪制幀(匹配外接矩形的幀)的前一幀的檢測幀中的每一個執(zhí)行步驟S81至S84。首先，繪制幀識別單元21確定在二值化的后檢測幀中與單元相應(yīng)的區(qū)域是否匹配于二值化的檢測幀中與單元相應(yīng)的區(qū)域(步驟S81)。如果二值化的后檢測幀中的相應(yīng)區(qū)域匹配于二值化的檢測幀的相應(yīng)區(qū)域，則繪制幀識別單元21將檢測幀的幀號和該單元以關(guān)聯(lián)方式記錄在如RAM的記錄介質(zhì)上(如果沒被記錄)(步驟S8》，并且執(zhí)行關(guān)于下一單元或下一檢測幀的處理。另一方面，如果如果二值化的后檢測幀中的相應(yīng)區(qū)域與二值化的檢測幀的相應(yīng)區(qū)域不匹配，則檢測幀識別單元21確定是否將該檢測幀的幀號和該單元以關(guān)聯(lián)方式記錄在記錄介質(zhì)上(步驟S83)。如果確定該單元與該幀的幀號被相關(guān)聯(lián)地記錄在記錄介質(zhì)上，則從記錄介質(zhì)上消除該檢測幀與該單元之間的關(guān)聯(lián)(步驟S84)。另一方面，如果確定該單元與該檢測幀的幀號沒有被相關(guān)聯(lián)地記錄在記錄介質(zhì)上，或在從記錄介質(zhì)上消除該檢測幀與該單元之間的關(guān)聯(lián)之后，執(zhí)行關(guān)于下一單元或下一檢測幀的處理。例如，如在其下部示出了白板2并在其上部示出了放大的白板2的一部分的圖19 所示，當(dāng)通過如上述的視頻編輯設(shè)備4的操作檢測到在t3時刻的幀中的字“H”時，在tl時刻在幀中檢測到的單元c5至c9上的字，并且記錄tl時刻在該幀中的單元c5至c9上的字。然后，當(dāng)按照移動體6的運動，在t2時刻在幀中沒有檢測到單元c5上的字時，從記錄中消除在tl時刻在該幀中的單元c5上的字。移動體6進一步運動，并且在t3時刻在幀中檢測到單元c5至c9上的字，并且隨后記錄t3時刻在該幀中的單元c5至c9上的字。因此，基于tl時刻的幀對單元c6至c9進行合成，并且基于t3時刻的幀對單元cl 至c5進行合成。如以上所說明的，根據(jù)本發(fā)明第四實施例的視頻編輯系統(tǒng)1，能夠通過以矩形為單位將幀進行對比來高速地檢測開始繪制圖像信息的時刻，并且能夠以相對小尺寸的單元為單位，通過將幀進行對比來高準(zhǔn)確性地檢測開始繪制圖像信息的時刻。另外，如以上所述，在本實施例中的繪制幀識別處理為由本發(fā)明第一實施例中的繪制幀識別處理與本發(fā)明第三實施例的繪制幀識別處理的組合所組成的處理。同樣地，在本發(fā)明中，可使用由本發(fā)明第二實施例中的繪制幀識別處理與本發(fā)明第三實施例的繪制幀識別處理的組合所組成的處理。
權(quán)利要求
1.一種視頻編輯設(shè)備，該視頻編輯設(shè)備對繪制了圖像信息的對象的視頻進行編輯，該視頻編輯設(shè)備包括移動體幀檢測單元，用于對捕捉了遮擋所述對象的移動體的幀進行檢測； 繪制幀識別單元，用于通過將后檢測幀與每一個檢測幀進行比較，來識別開始繪制圖像信息的幀，所述后檢測幀是由移動體幀檢測單元檢測出的遮擋幀，所述檢測幀是由移動體幀檢測單元檢測出的非遮擋幀；及合成處理單元，用于執(zhí)行合成處理，該合成處理將在后檢測幀中包括的圖像信息合成到由繪制幀檢測單元所識別的幀之前的幀。
2.根據(jù)權(quán)利要求1所述的視頻編輯設(shè)備，其中移動體幀檢測單元基于由視頻中的對象的至少一邊所限定的區(qū)域的變化，來檢測捕捉了遮擋所述對象的移動體的幀，所述視頻中的對象的至少一邊包括所述對象的底部。
3.根據(jù)權(quán)利要求1所述的視頻編輯設(shè)備，其中移動體幀檢測單元基于視頻中運動向量的長度之和是否超出預(yù)定閾值，來檢測捕捉了遮擋所述對象的移動體的幀。
4.根據(jù)權(quán)利要求1所述的視頻編輯設(shè)備，其中移動體幀檢測單元由在移動體遮擋所述對象之前和之后之間進行切換的開關(guān)組成。
5.根據(jù)權(quán)利要求1所述的視頻編輯設(shè)備，其中繪制幀識別單元以矩形為單位來將幀進行比較。
6.根據(jù)權(quán)利要求5所述的視頻編輯設(shè)備，其中所述繪制幀識別單元，產(chǎn)生預(yù)檢測幀和后檢測幀之間的差異圖像，預(yù)檢測幀是由移動體幀檢測單元檢測到的幀前面的幀，從所產(chǎn)生的差異圖形中提取具有特定值的亮度或少于特定值的亮度的像素的連通區(qū)域的外接矩形，及以提取的外接矩形為單位將幀進行比較。
7.根據(jù)權(quán)利要求5所述的視頻編輯設(shè)備，其中所述繪制幀識別單元，產(chǎn)生預(yù)檢測幀和后檢測幀之間的差異圖像，預(yù)檢測幀是由移動體幀檢測單元檢測到的幀前面的幀，將所產(chǎn)生的差異圖像劃分為預(yù)定尺寸的單元，及以與所劃分的單元中的差異區(qū)域重疊的單元為單位將幀進行比較。
8.根據(jù)權(quán)利要求5所述的視頻編輯設(shè)備，其中所述繪制幀識別單元，以被設(shè)置為模板的后檢測幀的每一個矩形來對于每一個檢測幀執(zhí)行模板匹配，及將最前面的幀識別為矩形被作為模板的繪制幀，在最前面的幀中模板匹配的結(jié)果超出預(yù)定閾值的矩形存在于相同區(qū)域或周圍區(qū)域中。
9.根據(jù)權(quán)利要求5所述的視頻編輯設(shè)備，其中， 所述繪制幀識別單元，在通過矩形識別了繪制幀之后，將在被識別的繪制幀的矩形中包括的每一個像素與位于每一個檢測幀中的相同位置上的對應(yīng)像素進行比較，及從像素具有超出預(yù)定閾值的一致性并且一直到繪制了矩形的幀都連續(xù)存在的檢測幀中，識別最前面的幀作為繪制了像素的幀。
10.根據(jù)權(quán)利要求1所述的視頻編輯設(shè)備，其中所述繪制幀識別單元以像素為單位將幀進行比較。
11.根據(jù)權(quán)利要求10所述的視頻編輯設(shè)備，其中， 所述繪制幀識別單元，產(chǎn)生預(yù)檢測幀和后檢測幀之間的差異圖像，預(yù)檢測幀是由移動體幀檢測單元檢測到的幀前面的幀，為了在差異圖像中包括的每一個像素而將幀進行比較。
12.根據(jù)權(quán)利要求10所述的視頻編輯設(shè)備，其中所述繪制幀識別單元，將在后檢測幀中包括的每一個像素與位于每一個檢測幀中的相同位置上的對應(yīng)像素進行比較，及從像素具有超出預(yù)定閾值的一致性并且一直到后檢測幀都連續(xù)存在的檢測幀中，識別最前面的幀作為繪制了像素的幀。
13.根據(jù)權(quán)利要求1所述的視頻編輯設(shè)備，其中合成處理單元在移動體幀檢測單元所檢測的幀的亮度被平均后，執(zhí)行合成處理。
14.根據(jù)權(quán)利要求1所述的視頻編輯設(shè)備，進一步包括濾波單元，用于關(guān)于組成要被編輯的視頻的每一幀的每一個像素，對中心圍繞像素的預(yù)定區(qū)域的亮度平均值與被中心圍繞的像素的亮度之間的差值添加預(yù)定的特定背景顏色。
15.一種視頻編輯系統(tǒng)，包括 繪制了圖像信息的對象； 拍攝該對象的視頻拍攝設(shè)備；及編輯由視頻拍攝設(shè)備拍攝的視頻的視頻編輯設(shè)備，該視頻編輯設(shè)備包括 移動體幀檢測單元，用于對捕捉了遮擋所述對象的移動體的幀進行檢測； 繪制幀識別單元，用于通過將后檢測幀與每一個檢測幀進行比較，來識別開始繪制圖像信息的幀，所述后檢測幀是由移動體幀檢測單元檢測出的遮擋幀，所述檢測幀是由移動體幀檢測單元檢測出的非遮擋幀；及合成處理單元，用于執(zhí)行合成處理，該合成處理將在后檢測幀中包括的圖像信息合成到由繪制幀檢測單元所識別的幀之前的幀。
全文摘要
本發(fā)明提供一種視頻編輯設(shè)備和視頻編輯系統(tǒng)。該視頻編輯設(shè)備對繪制了圖像信息的對象的視頻進行編輯，該視頻編輯設(shè)備包括移動體幀檢測單元，用于對捕捉了遮擋所述對象的移動體的幀進行檢測；繪制幀識別單元，用于通過將后檢測幀與每一個檢測幀進行比較，來識別開始繪制圖像信息的幀，所述后檢測幀是由移動體幀檢測單元檢測出的遮擋幀，所述檢測幀是由移動體幀檢測單元檢測出的非遮擋幀；及合成處理單元，用于執(zhí)行合成處理，該合成處理將在后檢測幀中包括的圖像信息合成到由繪制幀檢測單元所識別的幀之前的幀。
文檔編號G06T1/00GK102349294SQ20108001155
公開日2012年2月8日 申請日期2010年3月3日 優(yōu)先權(quán)日2009年3月13日
發(fā)明者糟谷勇兒 申請人:株式會社理光