專利名稱：變焦拍攝裝置圖像融合技術的制作方法
變焦拍攝裝置圖像融合技術背景技術
已經開發(fā)用于通過處理和組合來自兩個鏡頭(其具有兩個不同的固定焦距或視場)的圖像而產生變焦拍攝裝置圖像的技術(參見2009年12月30日提交的國際專利申請PCT/US2009/069804)。來自較長焦距(例如，窄視場)鏡頭的圖像可產生最終圖像的中心部分，而較短焦距(例如，寬視場)鏡頭可產生最終圖像的剩余部分。數字處理可調整這兩個部分來產生相當于來自具有中間焦距的鏡頭的圖像的單個圖像。盡管該過程可使兩個固定鏡頭能夠仿效變焦鏡頭的效果，最終圖像的兩個部分之間的分界線可以是可見并且分散的。


本發(fā)明的一些實施例可參考下列說明和用于圖示本發(fā)明的實施例的附圖而更好理解。在圖中: 圖1示出根據本發(fā)明的實施例具有兩個鏡頭(其具有不同的視場)的裝置。
圖2A、2B示出根據本發(fā)明的實施例圖像如何可從每個鏡頭所接收的原始圖像來構造。
圖3A、3B示出根據本發(fā)明的實施例在中間帶內的測量。
圖4示出根據本發(fā)明的實施例在合成圖像中融合像素的方法的流程圖。
具體實施方式
在下列說明中，闡述許多具體細節(jié)。然而，理解可在沒有這些具體細節(jié)的情況下實踐本發(fā)明的實施例。在其它實例中，未詳細示出眾所周知的電路、結構和技術以便不混淆對該說明的理解。
對“一個實施例”、“實施例”、“示例實施例”、“各種實施例”等的引用指示這樣描述的本發(fā)明的實施例可包括特定特征、結構或特性，但是不是每個實施例必須包括該特定特征、結構或特性。此外，一些實施例可具有對其它實施例描述的特征中的一些、全部或沒有這樣的特征。
在下列說明和權利要求中，可使用術語“耦合”和“連接”連同它們的派生詞。要理解這些術語不規(guī)定為是彼此的同義詞。相反，在特定實施例中，“連接”用于指示兩個或以上的元件彼此直接物理或電接觸?！榜詈稀庇糜谥甘緝蓚€或以上的元件彼此共同操作或相互作用，但它們可直接物理或電接觸或可不直接物理或電接觸。
如在權利要求中使用的，除非另外規(guī)定，使用序數形容詞“第一”、“第二”、“第三”等來描述共同元件，這僅指示指代類似元件的不同實例，并且不意在暗指這樣描述的元件必須在時間上、空間上采用排序或任何其它方式處于給定的序列中。
本發(fā)明的各種實施例可在硬件、固件和軟件中的一個或任何組合中實現。本發(fā)明還可實現為包含在計算機可讀介質中或上的指令，其可被一個或多個處理器讀取和執(zhí)行來實現本文描述的操作的性能。計算機可讀介質可包括用于存儲采用可由一個或多個計算機讀取的形式的信息的任何機構。例如，計算機可讀介質可包括有形存儲介質，例如但不限于只讀存儲器(ROM);隨機存取存儲器(RAM);磁盤存儲介質；光存儲介質；閃速存儲器裝置，坐寸O
本發(fā)明的各種實施例關于在圖像上使用的融合技術，圖像從來自具有窄視場的固定鏡頭(在本文稱為“窄視場鏡頭”)的第一數字化圖像和來自具有寬視場的固定鏡頭(在本文稱為“寬視場鏡頭”)的第二數字化圖像來創(chuàng)建。在該文獻中，術語“窄”和“寬”意指相對于彼此，而不意指任何外部參考或工業(yè)標準。在該文獻內，“圖像”是代表視覺圖片的像素值的集合。這些像素典型地被認為設置在矩形陣列中來獲得容易理解的圖像與圖片之間對應性，但其它實施例可使用像素的其它設置。即使圖像未被顯示，處理像素可描述為好像圖像被顯示一樣，其中例如“內部”、“外部”、“變焦”、“縮小” “放大”等術語描述處理該數據將如何影響視覺圖片(如果其被顯示的話)。
一旦已經從兩個鏡頭獲得圖像，其中由窄視場鏡頭描繪的場景的全部或至少一部分是由寬視場鏡頭描繪的場景的子集，合成圖像可通過使用來自窄視場圖像的像素形成合成的內部分(例如，中心部分)并且使用來自寬視場圖像的像素形成合成的外部分而形成。內和外部分可重疊來形成中間部分。該中間部分內的像素可通過處理來自窄視場圖像的像素與來自寬視場圖像的關聯(lián)像素而得出，以采用減少內和外部分之間的視覺不連續(xù)的方式逐漸從內部分過渡到外部分。
圖1示出根據本發(fā)明的實施例具有兩個鏡頭(其具有不同的視場)的裝置。在一些實施例中，裝置110可主要是拍攝裝置，而在其它實施例中裝置110可以是多功能裝置，其包括拍攝裝置的功能性。一些實施例還可包括光源140 (例如閃光燈)，用于照亮正被拍照的場景。盡管鏡頭120和130在裝置110上的特定位點示出，它們可位于任何可行的地方。在優(yōu)選實施例中，每個鏡頭可具有固定視場，但在其它實施例中，鏡頭中的至少一個可具有可變視場。在一些實施例中，兩個鏡頭的光軸可近似平行，使得來自每個鏡頭的圖像將以場景中的相同點或附近為中心。備選地，窄視場圖像可以不在寬視場圖像中心的場景部分為中心。通過兩個鏡頭捕獲的數字圖像可采用仿效通過具有中間視場(其處于這兩個鏡頭的視場之間)的鏡頭捕獲的圖像這樣的方式組合和處理。通過適當的處理，該組合圖像可仿效由具有可變視場的變焦鏡頭產生的圖像。該技術的另一個優(yōu)勢是最終圖像可在圖片的某些部分中示出比單獨用寬視場鏡頭將可能具有的更多細節(jié)，但仍將包含初始場景中比單獨用窄視場鏡頭將可能具有的更多內容。
圖2A、2B示出根據本發(fā)明的實施例如何可從每個鏡頭所接收的兩個原始圖像構造合成圖像。在一些實施例中，原始圖像可以是個體靜態(tài)圖像，但在其它實施例中，可使用來自視頻序列的個體幀。觀看的實際場景從這些圖中省略以避免圖中過度的混亂，并且僅示出圖像的各種區(qū)域。在圖2A中，圖像的外部分可從寬視場鏡頭得出，而圖像的內部分可從窄視場鏡頭得出。因為兩個初始圖像的“尺度”不同(例如，用寬視場鏡頭捕獲的場景中的對象將比用窄視場鏡頭捕獲的相同場景顯得小)，這兩個圖像可被配準來獲得相同的尺度。如本文使用的，“圖像配準”牽涉裁剪寬視場圖像以及對剩余像素過采樣來增加用于描繪該部分的場景的像素的數量。在一些實施例中，圖像配準還可牽涉對窄視場圖像降采樣來減少用于描繪該部分的場景的像素的數量。術語“重采樣”可用于包括過采樣和/或降采樣。當場景中的給定對象由兩個圖像中近似相同數量的像素描繪時，這兩個圖像可視為配準。在其中兩個鏡頭具有固定視場的實施例中，可預先確定裁剪和重取樣的量。如果任一個或兩個鏡頭具有可變視場，裁剪和重取樣的量可以是變化的。一旦被配準，通過使用來自配準的窄視場圖像的像素形成合成圖像的內部分并且使用來自配準的寬視場圖像的像素形成合成圖像的外部分，來自兩個圖像的像素可組合而形成合成圖像。合成圖像然后應該始終以相同的尺度描繪連續(xù)場景。然而，因為涉及重采樣的各種光學因素和/或不同的光傳感器可已經用于采集圖像中的每個這一事實，兩個部分之間的不連續(xù)在內和外部分之間的邊界(示出為虛線)處可以是可見的。這些不連續(xù)可采用未對準的形式，和/或采用色差、売度差和/或對比差的形式。
如在圖2B中示出的，中間部分可通過使內和外部分重疊并且使用重疊區(qū)域作為中間部分而創(chuàng)建。然后合成圖像可由以下組成:外帶A，其具有從寬視場圖像得出的像素(通過裁剪和過采樣);內帶B，其具有從窄視場圖像得出的像素(采用或不采用裁剪和/或降采樣);以及中間帶C，其具有從來自寬視場和窄視場圖像兩者的像素的組合(如適合的話，在那些像素已經被裁剪和/或重取樣后)得出的像素。在該中間帶中的圖像部分然后可“融合”來產生從外帶到內帶的逐漸過渡。在該文獻內，術語“融合”指示通過改變從窄視場圖像得出的像素以及從寬視場圖像得出的像素的相對影響而產生逐漸過渡來創(chuàng)建最終像素值。如果這樣的融合在足夠大的空間距離上發(fā)生，則對準差、色差、亮度差以及對比差可變得難以肉眼檢測并且因此不易察覺。
中間帶、內帶和外帶相對于彼此的大小可取決于各種因素，并且在一些實施例中可動態(tài)變化。在其它實施例中，這些相對大小可是固定的。中間帶示出為具有中空矩形形狀，但可具有任何其它可行的形狀，例如但不限于環(huán)形圈。在一些實施例中，中間帶中的每個像素可被單獨處理，而在其它實施例中，多像素組可在一起被處理。在包含多要素像素(例如，由紅色、藍色和綠色要素或黃色、品紅和青色要素組成的彩色像素)的一些實施例中，每個要素可與該像素中的其它要素分開被處理。在該文獻(其包括權利要求)內，描述為在像素上進行的任何處理可單獨在像素內的個體要素上進行，并且逐要素過程應該被說明和/或權利要求所包含。
在一個實施例中，接近內帶的中間帶中的每個像素可被處理以便產生與如果它在內帶中則將具有的值幾乎相同的值(即，僅從窄視場圖像得出)。采用相似的方式，接近外帶的中間帶中的每個像素可被處理以便產生與如果它在外帶則將具有的值幾乎相同的值(即，僅從寬視場圖像得出)。隨著每個像素的位點較遠離內帶并且較接近外帶，它可采用較少地受從窄視場圖像得出的像素影響而較多地受從寬視場圖像得出的關聯(lián)像素影響這樣的方式被處理。
圖3A、3B示出根據本發(fā)明的實施例的中間帶內的測量。在一個實施例中，用于產生中間帶中每個像素的值的公式可以是:Pf - (X *Pw) + {l —X: * Pu 其中Pf是最終像素值， Pw是從寬視場圖像得出的關聯(lián)像素值， Pn是從窄視場圖像得出的關聯(lián)像素值， X是在O和I之間、與內帶和外帶之間的像素的相對空間位置相關的值。在一個實施例中，X可跨從內帶到外帶的距離而線性變化(即，代表分數距離)，而在其它實施例中它可非線性變化(即， 在中間帶的邊界附近比在該帶的中間部分慢或快地變化)。
在該示例中，在內帶和中間帶之間的邊界處X=O，而在外帶和中間帶之間的邊界處X=I。
在一些實施例(例如，其中中間帶具有如在圖3A中示出的中空矩形形狀)中，X可指示相對水平或垂直距離。可需要在拐角(例如，“D”)通過考慮水平和垂直測量確定X值來做出調整。在其它實施例(例如，其中中間帶是如在圖3B中示出的環(huán)形)中，X可指示離中心的相對徑向距離。在一些實施例中，X可隨著從中間帶到外帶的距離而線性變化。在其它實施例中，X可隨該距離非線性地變化。在一些實施例中，X可對于多要素像素的不同要素(例如，不同的顏色)采用不同的方式變化。這些只是對中間帶中的特定像素可確定X值的方式中的一些。主要考慮是X指示跨內帶和外帶之間的中間帶測量的每個像素的相對位置。
圖4示出根據本發(fā)明的實施例在合成圖像中融合像素的方法的流程圖。在圖示的實施例中，在410裝置可捕獲兩個圖像，一個通過窄視場鏡頭并且一個通過寬視場鏡頭，其中由窄視場鏡頭捕獲的場景中的至少一部分是由寬視場鏡頭捕獲的場景的子集。在一些實施例中，兩個圖像都可采用非壓縮的數字化格式存儲來等待進一步的處理。
在420，可調整兩個圖像的尺度使得它們都反映相同的尺度。例如，可使用先前描述的通過裁剪和重采樣的圖像配準方法使得來自一個圖像的場景的給定部分由它在另一圖像中近似相同數量的像素表示。在一些實例中，可采用該方式僅對寬視場圖像剪裁/過采樣。在其它實例中，還可對窄視場圖像裁剪和/或降采樣。為了決定要裁剪和重采樣多少，在一些實施例中首先確定最終圖像的視場和像素尺寸可以是必要的。在其它實施例中，這可被預先確定。
在430，可通過將修改的寬視場圖像的外部分與(修改或未修改的)窄視場圖像組合來創(chuàng)建合成圖像。這兩個部分可被限定使得它們重疊來形成包含來自二者的對應像素的中間帶。在一些實施例中，該中間帶的大小和位點可被固定和預先確定。在其它實施例中，該中間帶的大小和/或位點可是變化的，并且通過自動過程或由用戶確定。
在440，可確定用于在中間帶中融合像素的算法。在一些實施例中，將僅存在一個算法，并且可跳過該步驟。在其它實施例中，可存在自動或由用戶從其中選擇的多個算法。在一些實施例中，可在相同處理期間并行或相繼使用多個算法。
在450，算法可用于處理中間帶中的像素。結合內帶和外帶中的像素，這些像素然后可在460產生最終圖像。在470，該最終圖像然后可被轉換成圖片以供在屏幕上顯示(例如，以供拍照人員查看)，但最終圖像可備選地發(fā)送到打印機，或被簡單地保存以供在稍后的時間使用。在一些實施例中，用戶可檢查裝置的顯示器上的最終圖像并且決定是否需要使用相同的算法或不同的算法來進一步處理圖像。
在一些實施例中，這里描述的融合過程可未產生令人滿意的最終圖像改進，并且如果可以預測到該確定，可(自動或由用戶)做出不使用融合過程的決定。在一些情形中，合并寬視場圖像和窄視場圖像(采用或不采用融合)可未產生令人滿意的最終圖像改進，并且可(自動或由用戶)做出不組合這兩個初始圖像的決定。如果這些情形中的任一個是真實的，則可按原樣使用初始圖像中的一個，可采用一些方式修改初始圖像中的一個，或兩個圖像可都不使用。
前面的說明意在為說明性而非限制性的。本領域內技術人員將想到變化形式。那些變化形式意在包括在本發(fā)明的各種實施例中，本發(fā)明的各種實施例僅受下列權利要求的范圍所限制。
權利要求
1.一種方法，其包括: 通過組合外帶的像素、內帶的像素以及位于所述外帶與內帶之間的中間帶的像素來創(chuàng)建數字圖像，所述外帶的像素由來自第一鏡頭的第一圖像得出，所述內帶的像素由來自第二鏡頭的第二圖像得出，所述中間帶包含通過處理從第一圖像和第二圖像得出的像素而產生的像素； 其中所述中間帶中的像素在所述內帶和外帶之間融合。
2.如權利要求1所述的方法，其中所述中間帶具有環(huán)形形狀。
3.如權利要求1所述的方法，其中所述中間帶具有中空矩形形狀。
4.如權利要求1所述的方法，其中所述中間帶中的像素用相當于Pf= (K * Pw) + (1-X Pn的公式處理，其中Pw代表來自所述寬視場鏡頭的像素值，Pn代表來自所述窄視場鏡頭的像素值，X與所述內帶和外帶之間的Pf的相對空間位置相關，并且O 〈 X 〈 I。
5.如權利要求1所述的方法，其中: 所述中間帶中的每個像素包含多個要素；并且 特定像素中的每個要素與所述特定像素中的其它要素分開處理。
6.如權利要求1所述的方法，其中所述第一鏡頭是寬視場鏡頭，并且所述第二鏡頭是窄視場鏡頭。
7.一種設備，其包括: 具有處理器、存儲器、光傳感器、寬視場鏡頭和窄視場鏡頭的裝置，所述裝置用于: 通過所述寬視場鏡頭接收場景的第一圖像并且通過所述窄視場鏡頭接收所述場景的第二圖像； 對所述第一圖像裁剪和降采 樣來產生第三圖像； 處理所述第二圖像來產生第四圖像，其中所述第三圖像中的對象具有與所述第四圖像中的相同對象相同的尺度； 將所述第三圖像的外部分與所述第四圖像組合來形成合成圖像，其中所述第三圖像的部分與所述第四圖像的部分重疊來形成中間帶；以及 在所述中間帶內，處理來自所述第三圖像的每個像素與來自所述第四圖像的對應像素以產生所述中間帶中的最終像素； 其中所述處理每個像素包括融合。
8.如權利要求7所述的設備，其中所述中間帶具有環(huán)形形狀。
9.如權利要求7所述的設備，其中所述中間帶具有中空矩形形狀。
10.如權利要求7所述的設備，其中所述中間帶中的至少一些像素用相當于Pf= {X * Fw) ( (1-X )* Pn的公式處理，其中Pw代表來自所述第三圖像的像素值，Pn代表來自所述第四圖像的對應像素值，X與所述中間帶的內外邊界之間的Pf的相對空間位置相關，并且O〈 X〈 I。
11.如權利要求7所述的設備，其中: 所述中間帶中的每個像素包含多個要素；并且 特定像素中的每個要素與所述特定像素中的其它要素分開處理。
12.如權利要求7所述的設備，其中所述裝置包括用于無線通信的無線電設備。
13.一種物品，包括: 計算機可讀存儲介質，其包含指令，所述指令在由一個或多個處理器執(zhí)行時導致執(zhí)行操作，所述操作包括: 通過組合外帶的像素、內帶的像素以及位于所述外帶與內帶之間的中間帶的像素來創(chuàng)建數字圖像，所述外帶的像素由來自第一鏡頭的第一圖像得出，所述內帶的像素由來自第二鏡頭的第二圖像得出，所述中間帶包含通過處理從第一圖像和第二圖像得出的像素而產生的像素； 其中所述中間帶中的像素在所述內帶和外帶之間融合。
14.如權利要求13所述的物品，其中所述中間帶具有環(huán)形形狀。
15.如權利要求13所述的物品，其中所述中間帶具有中空矩形形狀。
16.如權利要求13所述的物品，其中所述中間帶中的像素用相當于Pf = (X * Pw) —- X > * Pn的公式處理，其中Pw代表來自所述寬視場鏡頭的像素值，Pn代表來自所述窄視場鏡頭的像素值，X與所述內帶和外帶之間的Pf的相對空間位置相關，并且O〈 X〈 I。
17.如權利要求13所述的物品，其中: 所述中間帶中的每個像素包含多個要素；并且 特定像素中的每個要素與所述特定像素中的其它要素分開處理。
18.如權利要求13所述的物品，其中所述第一鏡頭是寬視場鏡頭，并且所述第二鏡頭 是窄視場鏡頭。
全文摘要
在通過將來自第一鏡頭的外帶與來自第二鏡頭的內帶組合而創(chuàng)建的數字圖像中，這兩個帶可在中間帶中融合在一起，中間帶通過處理來自外帶和內帶兩者的像素而創(chuàng)建。融合可通過創(chuàng)建中間帶中的像素而執(zhí)行，中間帶中的像素隨著中間像素的位點從外帶過渡到內帶而逐漸地較少受到來自第一鏡頭的像素的影響并且逐漸地較多受到來自第二鏡頭的像素的影響。圖像配準可用于在融合前獲得相同的尺度。
文檔編號H04N5/225GK103109524SQ201180045666
公開日2013年5月15日 申請日期2011年9月26日 優(yōu)先權日2010年9月24日
發(fā)明者H.K.尼施哈拉 申請人:英特爾公司