專利名稱：移動廣角視頻記錄系統的制作方法
技術領域：
本發(fā)明涉及一種具有一 組攝像頭模塊、陀螺儀和記錄或傳輸單元的視頻記錄、傳輸和再現系統。相關步驟包含從一系列方向穩(wěn)定的(directional stabilized)主圖像(masterimages)中選擇所得視頻的格式和對焦，其中在后期制作中通過傾斜校正、對準和拼接來自攝像頭模塊的一系列單張圖像以形成所述主圖像。
背景技術：
通常使用架設在攝影師面前的攝影機進行移動視頻記錄，其中攝影師透過取景器或屏幕觀看來控制場景。該系統中存在根本性的不足首先攝影師獨自的話必然疲于在觀察整體場景和查看取景器或屏幕上的畫面的同時，還要選擇畫面細節(jié)、變焦和對焦(尤其是校正不恰當的自動對焦)以及攝像頭設置。在攝制組中，這些工作由導演、攝影師和技術人員共同承擔。然而，在措手不及的場景的現場攝制中，即便是老于此道的團隊也常常窮于應付。這在空間穩(wěn)定性較差的現場直播中非常明顯，尤其是如果必須在移動中進行錄制的話，這時現有的防震方法失效。無團隊的業(yè)余愛好者和單個記者應對這些同步任務時面臨著更大的問題。因而相較于專業(yè)攝制，盡管裝備的技術標準相差無幾，結果卻往往不如人意。常規(guī)的攝像頭使用中的另一個嚴重不足是可見的瞄準作為攝制目標的個人一旦
意識到他們在被錄影，一般就有不同的反應，不管是“茄子......笑......一個”并招手
致意還是呲牙咧嘴、神態(tài)僵硬、反應夸張還是背轉身，而且往往不會再繼續(xù)其本來欲被錄制的正?；顒?。另一個主要問題(尤其對于業(yè)余愛好者和單個記者來說)是手持攝像頭的必要帶來了諸多不便不管是其需要親自手持，還是必須要同時操作其它物體，還是譬如小孩子不能理解為什么爸爸/媽媽舉著那個怪匣子對著他們?，F有技術如GB 2456587A所公開的隨身攝像頭在本技術領域中廣為人知，所述隨身攝像頭通常附著于制服翻蓋(flaps)上或安裝在頭盔中。它們一般包含廣角甚至是魚眼鏡頭系統且通常用來記錄甚至用于任務的遠程導引。這些系統的缺點在于，超廣角鏡頭系統呈現出嚴重失真。這些失真可在一定程度上得到電子校正(即如US 7. 277. 118B2所公布的)，但那又導致某種會妨礙達到高視頻分辨率的分化。此外，單個鏡頭覆蓋的廣角對遠處物體所提供的放大倍率明顯不夠，而近處物體則被過度放大。這能給出令人印象深刻的視覺效果，但會遮蓋遠處物體并減小恢復其細節(jié)的機
其它如US 2009109292 (Al)中包括多個攝像頭的隨身攝像頭系統是意圖提供另外的視覺效果，而不是拼接的或合成的圖像。其它系統可能包含多攝像頭應用，但通常不便于攜帶，且多數是指如W099/35850中的環(huán)繞對象的攝像頭，尤其如果是如在WO 02/096096A1、CN 101321302A、WO2007/048197A1中安裝來獲取3D景象的攝像頭，或至少如在US 7.420. 590B2中用于改善前景和背景內容的對比的攝像頭，要么就是如在US 7. 542. 073B2中旋轉安裝的用于記錄其他3D內容的攝像頭。此外一些方案涉及如US 7. 298. 392B2中一組攝像頭的全景，以及好幾個以前的電影攝像頭裝置，它們都不針對也不能用于便攜式攝制，但需要的話可在滑架上沿鐵軌運行。其它帶有一組水平或垂直地設置的攝像頭模塊的多攝像頭裝置還涉及如US7. 015. 954中在后處理階段進行淘選(panning)和變焦，但水平和垂直地拼接相鄰圖像則要求如US 7. 277. 118B2中所述的對每個單巾貞進行去扭曲(dewarping)和重對準的繁瑣技術。為了達到完美的效果，往往還需要手動潤色關鍵過渡區(qū)，這過于費力從而除了靜態(tài)攝影外幾乎無法操作。所以它們并不針對移動應用，尤其不用來穿在人體上，且不包含運動補
\-ΖΧ ο此外，存在已知用于改進(例如X光系統的)分辨率的多攝像頭系統(如US
6.002. 743和US 6. 921. 200B1中所述)，但那需要保持固定位置從而不涉及移動錄像。即便有其他移動錄像技術，如使用復雜的廣角鏡頭系統和詳盡的圖像傳感器技術，仍然有即便是最佳的物鏡(objective)分辨能力的限制以及單個圖像傳感器的像素分辨率和色噪聲或亮度噪聲的限制。通過增加攝像頭模塊和對所得圖像內容進行電子拼接，此處公開的方案中克服了上述限制。

發(fā)明內容
要解決的問題所以在此所公開的發(fā)明旨在找到一種視頻記錄方法，該方法不但能避免用手持攝像機并以可見的方式瞄準目標，還能免卻或方便在攝制的同時對焦和設置。本發(fā)明的基本描述本方案是把攝像頭系統象錄制全部可見范圍的隨身攝像頭(bodycam) —樣穿在身上，但使用多個相同的攝像頭模塊(類似于移動電話中所使用的攝像頭模塊)，但具有更長的焦距、縱向格式對準且優(yōu)選設置為彼此間具有恒定的水平夾角，以便所取得的圖像分辨率允許在后期制作中充分變焦和再構。在個人電腦(PC)上將該系列單次攝制拼接到一起以構成主圖像集合，在選擇想要的顯示窗口之前根據所記錄的動作傳感器的信號重對準該主圖像集合。


附圖的簡單說明
圖I描述從單個攝像頭到終剪的一般運作流程。圖2、圖3和圖4展示作為頭箍、掛在項鏈上以及置于胸側衣袋內的微型攝像頭模塊的可能應用。圖5顯示由6個攝像頭元件構成的 攝像頭集合的構造。附圖的詳細說明圖I顯示六個攝像頭的陣列(元件I至6)以及兩個麥克風13和14，它們的信號傳輸到壓縮元件7至12，所述壓縮元件的輸出傳送到FPGA 15，該FPGA根據互聯信號對其排序以便將其輸入閃存元件16，其中該閃存元件可能由幾個閃存模塊(此處未示出)構成。通過USBII連接后處理系統23來完成讀出，其中這些信號被拼接為一套整體圖像20。輸出17包含水平18和垂直19方向以及滾動或扭轉(未示出)的運動檢測信號，根據該輸出從整體圖像20中選擇主圖像21。可移動框22顯示使用常規(guī)視頻編輯軟件從主圖像21中選擇格式和具體取景的可能性。圖2顯示頭箍29上攜帶的一組用于環(huán)繞攝制的攝像頭，其中模塊50至57可見而另外五個位于背面。圖3顯示佩戴項鏈31上的攝像頭集合30。圖4顯示胸側衣袋33內的另一攝像頭集合32。圖5揭示6個攝像頭模塊34至39的可能裝配，(示例地)安裝到印制板40的每個模塊包含幾層和電子部件(未示出)，以及連接銷41、42?？蓪⑦@些印制板安裝到固定橋43和44，而連接銷41、42通向柔性互聯45，該互聯也可攜帶一些電子設備(未示出)且兩端有另一組互聯銷46和47，所述互聯銷可插入主機板(未不出)。
具體實施例簡單實施例的描述在個人視角(150° )錄像的基本實施例中，攝像頭集合包含六個元件，每個元件至少覆蓋25°水平角，而為了更好地拼接，可在兩個重疊側上都加上至少5°的重疊視角，且尤其若為此應用了輪廓識別技術的話，可在兩個重疊側上都再加上半個圖像尺寸的
重疊視角。這些視角(從30°直到50° )涉及相當遠程的物鏡，相當于35毫米的攝像頭上75到90毫米的焦距(具有24X36毫米的圖像尺寸)，其失真度通常很小。由于這些元件應該盡量小巧輕便并有最小的工作能耗，單個攝像頭元件的圖像數據最容易無壓縮地(以原始格式)通過標準處理器或優(yōu)選以可構形互聯等級(即現場可編程門陣列——FPGA)輸入到一組閃存芯片中，其中根據速度和存儲容量選擇所述芯片。如果例如六個攝像頭芯片每個給出I. 2MP(mega pixel，兆像素)，其中O. 5MP將以10bit(比特)色深和每秒25幀用全分辨率攝制，在通常的5/4格式下應該有約15MB/S (megabit/s，兆比特/秒)的數據流，連同攝像頭模塊設置，來自陀螺儀的約IOkB/s (kilobit/s,千比特/秒)的數據和高保真立體聲音響系統的260b/s (比特/秒)，必須要將少于16MB/S的總量傳輸到存儲單元。這通過標準性能FPGA是完全可行的。爾后可將圖像通過USBII通用串行總線連接器以60MB/S，或者更好，通過標準IEEE1394火線接口 (FireWire )傳輸以高達3Gibit/s(gigabit/s,千兆比特/秒)的
速率傳輸到用來處理的計算機，其中商用程序會適于拼接全景圖像并根據一起傳輸的數據進行所有必要的校正，且根據格式設置、顯示窗口和所使用的具體視頻增強技術來處理所得的視頻主圖像。另一個用于全景記錄的實施例中，應用六個或更多的攝像頭來覆蓋整個環(huán)繞視角。優(yōu)選攝像頭模塊為全同并設置有定焦和恒定光圈(因為當前能很容易地在CMOS (Complementary Metal Oxide Semiconductor,互補金屬氧化物半導體)圖像傳感器上自動調節(jié)光敏感度)，并且相對 于彼此以恒定水平夾角設置，以避免聚焦深度差異以及拼接前繁瑣的去扭曲和手動潤色圖像的必要。可將攝像頭集合設置于頭盔或頭箍內，或者裝在項鏈或波洛領帶式飾鏈上的小匣子里以及攝影師胸口或后背上的領帶夾上，不過該系統也可以置于胸側衣袋內，而讓攝像頭條從上方探出。該系統還配備有三軸加速傳感器和線性加速傳感器陀螺儀以便共同記錄攝像頭集合的精確空間位置和移動的數據。市面上很容易買到使用迷你MEMS (Micro-Electro-Mechanism System,微機電系統)慣性傳感器的合適元件。在后處理主圖像時，只要視圖的內幀不交纏，在垂直或水平地扭轉圖像或對圖像進行切邊時，應用上述元件來穩(wěn)定水平和方位角視角。只要光學失真度保持極小(如使用亞遠程照相鏡頭時)或者如目前通常提供的已經在圖像傳感器系統中進行了電子補償，后處理中的圖像拼接可通過對準圖像邊緣用小重疊區(qū)輕易地完成。這通常通過校正透鏡畸變，如CN101064780(A)中所述的那樣，來實現?？捎涗洈z像頭模塊的信號(優(yōu)選記錄到閃錄元件上)并隨后進行傳輸，或者通過電纜或無線通信立即發(fā)射到基站，在基站將圖像和一道傳送的圖像傳感器電子設置(敏感度、白平衡等)以及錄音和位置及加速數據的信號一起進行處理。優(yōu)選實施例的描述在優(yōu)選實施例中，每個攝像頭元件的信號被實時壓縮，例如利用本領域中很好地確立了的且當前可使用低能耗的標準集成電路實現的H. 264codec(H. 264視頻編解碼器)來實時壓縮。這允許以可接受的無線傳輸速率以及適度的數據存儲容量來應用高分辨率圖像傳感器。由于50 I以下的壓縮率對觀察者來說幾乎是不可分辨的，但應該在保證所得數據品質的前提下使壓縮產物保持較小，我們發(fā)現對于上述裝置，30 I的壓縮率能產生較好的總體圖像。然而，雖然存儲所要求的存儲器不會變，必須允許單個處理器有500mW(毫瓦)的能耗，從而我們6個攝像頭的樣本的3W(瓦)能耗則要求有另一個lW/h (瓦/小時)的電池容量，這意味著在I. 2伏特的操作中為了運行30分鐘時間，要攜帶另一個IAh(安培小時)的電池從而要至少多攜帶40克——這看來依然是相當可接受的。進一步的處理包括上述的校正單個圖像畸變和拼接來自不同的攝像頭模塊的同期圖像的主幀序列。此處可通過后處理中應用圖像分析和輪廓識別方法來使用為了拼接而精確對準圖像的更詳細的概念，為了加速這個過程，所述方法將與上述的常規(guī)預對準一起應用。
此外將根據從陀螺儀和加速傳感器中得到的校正信號來執(zhí)行主圖像位置的重對準，以便在屏幕上取得穩(wěn)定的主圖像。市面上有多種版本的圖像拼接 軟件(例如如CN 101146231(A)中所總結的)而校正攝像頭抖動的技術在本領域中是廣為人知的——而到目前為止用于在后處理中與攝制而不與所記錄的移動的數據一同校正。然而，在高級實施例中也可能應用常規(guī)防抖系統并將其與后處理中利用所記錄的陀螺儀數據的圖像穩(wěn)定(image stabilization)相結合，因為后者主要用于在更大尺寸上穩(wěn)定圖像，以免因攝影師的身體移動而把觀察者搞糊涂。如果通過鏡頭或目標移動提供快速在線防抖從而避免低曝光時間下攝像頭抖動的拖尾(smearing)效應的話,兩種技術的結合會特別有利。這只需要一次額外攝制以及隨后在后處理中從圖像穩(wěn)定中預測(extrapolate)移動數據。最后可通過可用的圖像編輯軟件選擇圖像格式并從主圖像中剪切出想要的圖像內容供進一步記錄和處理。
權利要求
1.一種便攜式廣角視頻記錄和處理系統，該系統具有相同的攝像頭模塊的陣列，其中所述攝像頭模塊的系列圖像被無線發(fā)射或記錄，并與所附的陀螺儀傳感器的輸出一起被處理，以便利用預測所述攝像頭陣列的運動來進行電子拼接。
2.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中所述攝像頭系統僅用于記錄或無線發(fā)射，而所述圖像的處理是在所述攝像頭集合以外的計算機系統中進行的。
3.根據權利要求I和2所述的便攜式廣角視頻記錄和處理系統，其中將所述攝像頭模塊的圖像內容依次傳輸并儲存到閃存裝置中。
4.根據權利要求3所述的便攜式廣角視頻記錄和處理系統，其中由現場可編程門陣列(FPGA)提供所述依次傳輸。
5.根據權利要求2所述的便攜式視頻記錄和處理系統，其中通過超高頻(UHF)通信執(zhí)行無線發(fā)射。
6.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中從集成三軸陀螺儀傳感器中記錄或傳輸所述攝像頭集合的運動。
7.根據權利要求6所述的便攜式視頻記錄和處理系統，其中所述陀螺儀傳感器的類型為微機電系統慣性傳感器。
8.根據權利要求I所述的便攜式視頻記錄和處理系統，其中所有視頻記錄頭模塊包含單獨的防抖裝置。
9.根據權利要求8所述的便攜式視頻記錄和處理系統，其中通過校正鏡頭的移動來執(zhí)行防抖。
10.根據權利要求8所述的便攜式視頻記錄和處理系統，其中通過校正所述圖像傳感器的位置來執(zhí)行防抖。
11.根據權利要求I以及6至10所述的便攜式視頻記錄和處理系統，其中單個防抖裝置的跟蹤數據隨單個視頻流一起被記錄和被處理，以便隨后與所述攝像頭陣列的陀螺儀數據一起被處理。
12.根據權利要求I所述的便攜式視頻記錄和處理系統，其中所述所有攝像頭模塊的輸出在發(fā)射或記錄前先進行壓縮。
13.根據權利要求12所述的便攜式視頻記錄和處理系統，其中使用H.264視頻編解碼器執(zhí)行視頻壓縮。
14.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中所述攝影的水平角覆蓋環(huán)繞視角。
15.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中所述整個成像角度與人的主要視野范圍重疊，所以至少為150° X80°。
16.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中所述相鄰攝像頭模塊的圖像部分地重疊。
17.根據權利要求16所述的便攜式廣角視頻記錄和處理系統，其中所述重疊數據除了用于改善拼接，還用于色噪聲和拖尾的電子校正。
18.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中對所述單個攝像頭模塊的圖像進行傾斜校正、去暈影和拼接以便形成一套整體圖像。
19.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中通過有至少5°的重疊區(qū)的恰當角度對準來配置用于拼接的圖像區(qū)域。
20.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中通過對重疊的圖片內容例如可區(qū)分的輪廓和形式進行識別和共焦定心來對準所述圖像區(qū)域。
21.根據權利要求19和20所述的便攜式廣角視頻記錄和處理系統，其中兩個步驟被結口 ο
22.根據權利要求18和11所述的便攜式廣角視頻記錄和處理系統，其中在預測所述攝像頭集合的運動以及單個防抖校正時，從所述整體圖像中選擇內幀以建立主圖像。
23.根據權利要求I和19所述的便攜式廣角視頻記錄和處理系統，其中所述主圖像包含超過標準視頻格式的水平和垂直視野角度，以便允許聚焦于或剪切出所選擇的內容。
24.根據權利要求I所述的便攜式視頻記錄和處理系統，其中從所述合成的主圖像中提取不同的視頻格式和屏幕窗口。
25.根據權利要求I所述的便攜式廣角視頻記錄和處理系統，其中將所述攝像頭模塊的所有自調參數記錄在記憶裝置中或發(fā)射到控制中心以便在后處理中進行充分轉換。
全文摘要
本發(fā)明公開了一種包括攝像頭模塊陣列的便攜式視頻記錄系統。該裝置配備有陀螺儀以便能從拼接廣角再現中預測攝像頭的移動?？蓮暮铣傻囊幌盗兄鲌D像通過后期制作選擇影片的格式和對焦，從而不必在攝制中瞄準和手動設置。
文檔編號H04N5/232GK102714690SQ200980162334
公開日2012年10月3日 申請日期2009年9月4日 優(yōu)先權日2009年9月4日
發(fā)明者P·安瓦日, 岡特·湯豪塞 申請人:布瑞特布里克有限公司