用于捕獲圖像的方法、裝置和計算機程序產(chǎn)品的制作方法
【專利摘要】根據(jù)各個示例實施例，提供了方法、裝置和計算機程序產(chǎn)品。一種方法包括接收從全色圖像傳感器捕獲的場景的全色圖像、接收從彩色圖像傳感器捕獲的場景的彩色圖像，以及至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。該裝置包括至少一個處理器和至少一個存儲器，至少一個處理器和至少一個存儲器被配置用于使該裝置執(zhí)行接收從全色圖像傳感器捕獲的場景的全色圖像、接收從彩色圖像傳感器捕獲的場景的彩色圖像并且至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。
【專利說明】用于捕獲圖像的方法、裝置和計算機程序產(chǎn)品
【技術(shù)領(lǐng)域】
[0001]各種實現(xiàn)方式總體涉及用于圖像捕獲應(yīng)用的方法、裝置和計算機程序產(chǎn)品。
【背景技術(shù)】
[0002]各種電子設(shè)備(比如相機、移動電話和其它設(shè)備)集成有捕獲二維(2-D)和三維(3-D)圖像、視頻、動畫的能力。這些設(shè)備經(jīng)常使用具有彩色圖像傳感器的立體相機對，該立體相機對實現(xiàn)場景的多視角(view)捕獲，該多視角捕獲可以用來構(gòu)造場景的3-D視圖。通過使用兩個相機，在這樣的設(shè)備中除了捕獲場景的3-D圖像之外無其它益處。

【發(fā)明內(nèi)容】

[0003]在權(quán)利要求中闡述示例實施例的各個方面。
[0004]在第一方面，提供了一種方法，該方法包括:接收從全色圖像傳感器捕獲的場景的全色圖像；接收從彩色圖像傳感器捕獲的場景的彩色圖像；并且至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。
[0005]在第二方面，提供了一種裝置，該裝置包括:至少一個處理器和至少一個存儲器，被配置用于使該裝置執(zhí)行接收從全色圖像傳感器捕獲的場景的全色圖像；接收從彩色圖像傳感器捕獲的場景的彩色圖像；并且至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。
[0006]在第三方面，提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括至少一個計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)包括指令集，指令集在由一個或者多個處理器執(zhí)行時使裝置至少執(zhí)行:接收從全色圖像傳感器捕獲的場景的全色圖像；接收從彩色圖像傳感器捕獲的場景的彩色圖像；并且至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。
[0007]在第四方面，提供了一種設(shè)備，該設(shè)備包括:用于接收從全色圖像傳感器捕獲的場景的全色圖像的裝置；用于接收從彩色圖像傳感器捕獲的場景的彩色圖像的裝置；以及用于至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像的裝置。
[0008]在第五方面，提供了一種包括程序指令的計算機程序，這些程序指令在由裝置執(zhí)行時使該裝置:接收從全色圖像傳感器捕獲的場景的全色圖像；接收從彩色圖像傳感器捕獲的場景的彩色圖像；并且至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。
【專利附圖】

【附圖說明】
[0009]在附圖的各圖中通過示例而非限制的方式來舉例說明本發(fā)明的實施例:
[0010]圖1圖示根據(jù)一個示例實施例的設(shè)備；
[0011]圖2圖示根據(jù)一個示例實施例的用于捕獲圖像的裝置；
[0012]圖3是描繪根據(jù)另一示例實施例的用于捕獲圖像的示例方法的流程圖；[0013]圖4是代表根據(jù)一個示例實施例的捕獲圖像的示例的流程圖；
[0014]圖5是代表根據(jù)另一示例實施例的捕獲圖像的示例的流程圖；
[0015]圖6是代表根據(jù)一個示例實施例的捕獲3-D圖像的示例的流程圖；并且
[0016]圖7是代表根據(jù)另一示例實施例的捕獲3-D圖像的示例的流程圖。
【具體實施方式】
[0017]通過參照附圖的圖1至7理解示例實施例及其潛在效果。
[0018]圖1圖示根據(jù)一個示例實施例的設(shè)備100。然而應(yīng)當理解如圖所示和下文描述的設(shè)備100僅舉例說明可以從各個實施例受益的一個類型的設(shè)備、因此不應(yīng)解讀為限制實施例的范圍。這樣，應(yīng)當理解以下結(jié)合設(shè)備100所描述的部件中的至少一些部件可以是可選的，因此在一個示例實施例中可以包括比結(jié)合圖1的示例實施例描述的部件更多、更少或者不同的部件。設(shè)備100可以是多個類型的移動電子設(shè)備中的任何類型的移動電子設(shè)備，例如便攜數(shù)字助理(PDA)、尋呼機、移動電視、游戲設(shè)備、蜂窩電話、所有類型的計算機(例如膝上型計算機、移動計算機或者桌面型計算機)、相機、音頻/視頻播放器、無線電、全球定位系統(tǒng)(GPS)設(shè)備、媒體播放器、移動數(shù)字助理或者前述各項的任何組合以及其它類型的通信設(shè)備。
[0019]設(shè)備100可以包括與發(fā)射器104和接收器106可操作通信的天線102 (或者多個天線)。設(shè)備100還可以包括分別向發(fā)射器104提供信號和從接收器106接收信號的裝置(比如控制器108或者其它處理設(shè)備)。信號可以包括根據(jù)適用的蜂窩系統(tǒng)的空中接口標準的信令信息和/或也可以包括與用戶語音、接收的數(shù)據(jù)和/或用戶生成的數(shù)據(jù)對應(yīng)的數(shù)據(jù)。就此而言，設(shè)備100可以能夠用一個或者多個空中接口標準、通信協(xié)議、調(diào)制類型和接入類型操作。舉例而言，設(shè)備100可以能夠根據(jù)多個第一代、第二代、第三代和/或第四代通信協(xié)議等中的任何通信協(xié)議操作。例如，設(shè)備100可以能夠根據(jù)第二代(2G)無線通信協(xié)議IS-136(時分多址接入(TDMA))、GSM(全球移動通信系統(tǒng))和IS_95(碼分多址接入(CDMA))或者根據(jù)第三代(3G)無線通信標準、比如通用移動電信系統(tǒng)(UMTS)、CDMA1000、寬帶CDMA(WCDMA)和時分同步CDMA(TD-SCDMA)、根據(jù)3.9G無線通信協(xié)議、比如演進型-通用地面無線電接入網(wǎng)絡(luò)(E-UTRAN)、根據(jù)第四代(4G)無線通信協(xié)議等操作。作為備選(或者附加地)，設(shè)備100可以能夠根據(jù)非蜂窩通信機制操作。例如計算機網(wǎng)絡(luò)、比如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)等；短程無線通信網(wǎng)絡(luò)、比如包括BI uetooth?網(wǎng)絡(luò)、Z i gbee?網(wǎng)絡(luò)、電氣和電子工程師協(xié)會(IEEE)802.1lx網(wǎng)絡(luò)等；有線電信網(wǎng)絡(luò)、比如公用交換電話網(wǎng)絡(luò)(PSTN)。
[0020]控制器108可以包括實施設(shè)備100的音頻和邏輯功能以及其它功能的電路裝置。例如，控制器108可以包括但不限于一個或者多個數(shù)字信號處理器設(shè)備、一個或者多個微處理器設(shè)備、具有附帶數(shù)字信號處理器的一個或者多個處理器、無附帶數(shù)字信號處理器的一個或者多個處理器、一個或者多個專用計算機芯片、一個或者多個現(xiàn)場可編程門陣列(FPGA)、一個或者多個控制器、一個或者多個專用集成電路(ASIC)、一個或者多個計算機、各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器和/或其它支持電路。根據(jù)這些設(shè)備的相應(yīng)能力在它們之間分配設(shè)備100的控制和信號處理功能?？刂破?08因此也可以包括用于在調(diào)制和發(fā)送之前對消息和數(shù)據(jù)進行卷積編碼和交織的功能?？刂破?08還可以包括內(nèi)部語音編碼器并且可以包括內(nèi)部數(shù)據(jù)調(diào)制器。另外，控制器108可以包括用于操作可以在存儲器中存儲的一個或者多個軟件程序的功能。例如，控制器108可以能夠操作連接程序、比如常規(guī)Web瀏覽器。連接程序然后可以允許設(shè)備100根據(jù)無線應(yīng)用協(xié)議(WAP)、超文本傳輸協(xié)議(HTTP)等發(fā)送和接收Web內(nèi)容、比如基于位置的內(nèi)容和/或其它網(wǎng)頁內(nèi)容。在一個示例實施例中，控制器108可以被體現(xiàn)為多核處理器、比如雙核或者四核處理器。然而可以在控制器108中包括任何數(shù)目的處理器。
[0021]設(shè)備100也可以包括用戶接口，該用戶接口包括可以耦合到控制器108的輸出設(shè)備(比如振鈴器110、耳機或者揚聲器112、麥克風114、顯示器116)和用戶輸入接口。允許設(shè)備100接收數(shù)據(jù)的用戶輸入接口可以包括允許設(shè)備100接收數(shù)據(jù)的多個設(shè)備中的任何設(shè)備、比如鍵區(qū)118、觸摸顯示器、麥克風或者其它輸入設(shè)備。在包括鍵區(qū)118的實施例中，鍵區(qū)118可以包括數(shù)字鍵(0-9)和相關(guān)鍵(#、*)以及用于操作設(shè)備100的其它硬鍵和軟鍵。備選地或者附加地，鍵區(qū)118可以包括常規(guī)QWERTY鍵區(qū)布置。鍵區(qū)118也可以包括具有關(guān)聯(lián)功能的各種軟鍵。附加地或者備選地，設(shè)備100可以包括接口設(shè)備、比如操縱桿或者其它用戶輸入接口。設(shè)備100還包括電池120(比如振動電池組)該電池用于向用來操作設(shè)備100的各種電路供電以及可選地提供機械振動作為可檢測輸出。
[0022]在一個示例實施例中，設(shè)備100包括與控制器108通信的媒體捕獲單元、比如相機、視頻和/或音頻模塊。媒體捕獲單元可以是用于捕獲圖像、視頻和/或音頻用于存儲、顯示或者發(fā)送的任何裝置。在媒體捕獲單元是相機模塊122的一個示例實施例中，相機模塊122可以包括能夠根據(jù)捕獲的圖像形成數(shù)字圖像文件的數(shù)字相機。這樣，相機模塊122包括用于根據(jù)捕獲的圖像創(chuàng)建數(shù)字圖像文件的所有硬件、比如透鏡或者其它光學部件以及軟件。備選地，相機模塊122可以包括為了查看圖像所需的硬件，而設(shè)備100的存儲器設(shè)備以用于根據(jù)捕獲的圖像創(chuàng)建數(shù)字圖像文件的軟件這一形式存儲用于由控制器108執(zhí)行的指令。在一個示例實施例中，相機模塊122還可以包括輔助控制器108處理圖像數(shù)據(jù)的處理單元(比如協(xié)同處理器)以及用于壓縮和/或解壓圖像數(shù)據(jù)的編碼器和/或解碼器。編碼器和/或解碼器可以根據(jù)JPEG標準格式或者另一類似格式編碼和/或解碼。對于視頻，編碼器和/或解碼器可以運用多個標準格式、如比如與H.261、H.262/MPEG-2、H.263、H.264、
H.264/MPEG-4、MPEG-4等關(guān)聯(lián)的標準中的任何標準格式。在一些情況下，相機模塊122可以向顯示器116提供實況圖像數(shù)據(jù)。另外，在一個示例實施例中。顯示器可以位于設(shè)備100的一側(cè)，并且相機模塊122可以包括定位于設(shè)備100的相對于顯示器116的相對側(cè)的透鏡以使相機模塊122能夠捕獲在設(shè)備100的一側(cè)的圖像并且向定位于設(shè)備100的另一側(cè)的用戶呈現(xiàn)這樣的圖像的視圖。
[0023]設(shè)備100還可以包括用戶身份模塊(ΠΜ) 124。UIM124可以是具有內(nèi)置處理器的存儲器設(shè)備。ΠΜ124可以例如包括訂戶身份模塊(SM)、通用集成電路卡(UICC)、通用訂戶身份模塊(USM)、可拆卸用戶身份模塊(R-UM)或者任何其它智能卡。UM124通常存儲與移動用戶有關(guān)的信元。除了 ΠΜ124之外，設(shè)備100還可以配備有存儲器。例如，設(shè)備100可以包括易失性存儲器126、比如易失性隨機存取存儲器(RAM)，該易失性存儲器包括用于暫時存儲數(shù)據(jù)的高速緩存區(qū)域。設(shè)備100也可以包括可以嵌入和/或可以可拆卸的其它非易失性存儲器128。非易失性存儲器128可以附加地或者備選地包括電可擦除可編程只讀存儲器(EEPROM)、閃速存儲器、硬驅(qū)動等。存儲器可以存儲設(shè)備100用來實施設(shè)備100的功能的任何條數(shù)的信息和數(shù)據(jù)。[0024]圖2圖示根據(jù)一個示例實施例的用于捕獲圖像的裝置200?？梢岳缭趫D1的設(shè)備100中運用裝置200。然而應(yīng)當注意也可以在多種其它移動和固定設(shè)備上運用裝置200，因此實施例不應(yīng)限于在設(shè)備(比如圖1的設(shè)備100)上應(yīng)用。在一個示例實施例中，裝置200是移動電話,該移動電話可以是通信設(shè)備的示例。備選地或者附加地,可以在例如包括以上列舉的設(shè)備的設(shè)備組合上運用實施例。因而可以完全在單個設(shè)備、例如設(shè)備100或者在設(shè)備組合中體現(xiàn)各個實施例。應(yīng)當注意以下描述的一些設(shè)備或者單元可以不是必需的，因此可以在某些實施例中省略一些設(shè)備或者單元。
[0025]裝置200包括至少一個處理器202和至少一個存儲器204或者另外與至少一個處理器202和至少一個存儲器204通信。至少一個存儲器204的示例包括但不限于易失性和/或非易失性存儲器。易失性存儲器的一些示例包括但不限于隨機存取存儲器、動態(tài)隨機存取存儲器、靜態(tài)隨機存取存儲器等。非易失性存儲器的一些示例包括但不限于硬盤、磁帶、光盤、可編程只讀存儲器、可擦除可編程只讀存儲器、電可擦除可編程只讀存儲器、閃速存儲器等。存儲器204可以被配置用于存儲用于使裝置200能夠執(zhí)行根據(jù)各個示例實施例的各種功能的信息、數(shù)據(jù)、應(yīng)用、指令等。例如，存儲器204可以被配置用于緩沖包括以供處理器202處理的媒體內(nèi)容的輸入數(shù)據(jù)。附加地或者備選地，存儲器204可以被配置用于由處理器執(zhí)行202的指令。
[0026]處理器202的示例可以包括控制器108。處理器202可以被體現(xiàn)為多核處理器、單核處理器；或者多核處理器和單核處理器的組合。例如，處理器202可以被體現(xiàn)為各種處理裝置、比如協(xié)同處理器、微處理器、控制器、數(shù)字信號處理器(DSP)、圖形處理單元(GPU)、有或者無附帶DSP的處理電路裝置或者包括集成電路(如比如專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、微控制器單元(MCU)、硬件加速器、專用計算機芯片等)的各種其它處理設(shè)備中的一個或者多個各種處理裝置。在一個示例實施例中，多核處理器可以被配置用于執(zhí)行在存儲器204中存儲或者另外可由處理器202訪問的指令。備選或者附加地，處理器202可以被配置用于執(zhí)行硬編碼的功能。這樣，無論是通過硬件還是軟件方法或者通過其組合來配置，處理器202可以代表例如在電路裝置中物理地體現(xiàn)的實體，該實體能夠在被相應(yīng)地配置之時根據(jù)各個實施例執(zhí)行操作。例如,如果處理器202被體現(xiàn)為ASIC、FPGA等中的兩項或者多項時，則處理器202可以是用于進行這里描述的操作的具體配置的硬件。備選地，作為另一示例，如果處理器202被體現(xiàn)為軟件指令的執(zhí)行器，則指令可以具體地配置處理器202以在執(zhí)行指令時執(zhí)行這里描述的算法和/或操作。然而在一些情況下，處理器202可以是具體設(shè)備(例如移動終端或者網(wǎng)絡(luò)設(shè)備)的處理器，該設(shè)備被適配用于通過指令進一步配置處理器202來實施例，這些指令用于執(zhí)行這里描述的算法和/或操作。處理器202可以包括被配置用于支持處理器202的操作的時鐘、算術(shù)邏輯單元(ALU)和邏輯門以及其它部件。
[0027]用戶接口 206可以與處理器202通信。用戶接口 206的示例包括但不限于輸入接口和/或輸出用戶接口。輸入接口被配置用于接收用戶輸入的指示。輸出用戶接口向用戶提供可聽、可視、機械或者其它輸出和/或反饋。輸入接口的示例可以包括但不限于鍵盤、鼠標、操縱桿、鍵區(qū)、觸屏、軟鍵等。輸出接口的示例可以包括但不限于顯示器、比如發(fā)光二極管顯示器、薄膜晶體管(TFT)顯示器、液晶顯示器、有源矩陣有機發(fā)光二極管(AMOLED)顯示器、麥克風、揚聲器、振鈴器、振動器等。在一個示例實施例中，用戶接口 206可以包括揚聲器、麥克風、顯示器和鍵盤、觸屏等中的任何或者所有項以及其它設(shè)備或者單元。就此而言，例如處理器202可以包括被配置用于控制用戶接口 206的一個或者多個單元(如比如揚聲器、振鈴器、麥克風、顯示器等)的至少一些功能的用戶接口電路裝置。處理器202和/或包括處理器202的用戶接口電路裝置可以被配置用于通過在可由處理器202訪問的存儲器(例如至少一個存儲器204和/或類似存儲器)上存儲的計算機程序指令(例如軟件和/或固件)控制用戶接口 206的一個或者多個單元的一個或者多個功能。
[0028]在一個示例實施例中，裝置200可以包括電子設(shè)備。電子設(shè)備的一些示例包括通信設(shè)備、具有通信能力的媒體捕獲設(shè)備、計算設(shè)備等。電子設(shè)備的一些示例可以是相機。通信設(shè)備的一些示例可以包括移動電話、個人數(shù)字助理(PDA)等。計算設(shè)備的一些示例可以包括膝上型計算機、個人計算機等。在一個示例實施例中，通信設(shè)備可以包括用戶接口(例如Π206)，該用戶接口具有用戶接口電路裝置和用戶接口軟件，該用戶接口電路裝置和用戶接口軟件被配置用于有助于用戶通過使用顯示器來控制通信設(shè)備的至少一個功能并且還被配置用于對用戶輸入做出響應(yīng)。在一個示例實施例中，通信設(shè)備可以包括被配置用于顯示通信設(shè)備的用戶接口的至少一部分的顯示電路裝置。顯示器和顯示器電路裝置可以被配置用于有助于用戶控制通信設(shè)備的至少一個功能。
[0029]在一個示例實施例中，通信設(shè)備可以被體現(xiàn)為包括收發(fā)器。收發(fā)器可以是根據(jù)軟件操作的任何設(shè)備或者操作的電路裝置或者另外體現(xiàn)于硬件或者硬件和軟件的組合中。例如，在軟件控制之下操作的處理器202、或者體現(xiàn)為被具體配置用于執(zhí)行這里描述的操作的ASIC或者FPGA或者其組合的處理器202由此配置裝置或者電路裝置以執(zhí)行收發(fā)器的功能。收發(fā)器可以被配置用于接收媒體內(nèi)容。媒體內(nèi)容的示例可以包括音頻內(nèi)容、視頻內(nèi)容、數(shù)據(jù)及其組合。
[0030]在一個示例實施例中，通信設(shè)備和/或媒體捕獲設(shè)備可以被體現(xiàn)為包括彩色圖像傳感器、比如彩色圖像傳感器208。彩色圖像傳感器208可以與處理器202和/或裝置200的其它部件通信。彩色圖像傳感器208可以與其它成像電路裝置和/或軟件通信并且被配置用于捕獲數(shù)字圖像或者制作視頻或者其它圖形媒體文件。彩色圖像傳感器208和其它電路裝置組合可以是設(shè)備100的相機模塊122的示例。在一個示例實施例中，彩色圖像傳感器208可以是在其上設(shè)置濾色器陣列(CFA)的圖像傳感器。使用半導體材料構(gòu)造的圖像傳感器(比如基于CMOS的傳感器或者電荷耦合器件(CCD)傳感器)對顏色或者波長不靈敏，因此在彩色圖像傳感器(比如彩色圖像傳感器208)中，在圖像傳感器之上設(shè)置CFA。在一個示例實施例中，CFA可以是在圖像傳感器上設(shè)置的用于對原色進行采樣的濾色器鑲嵌(mosaic)。原色的示例可以非窮舉地包括紅色、綠色和藍色(RGB)以及青色、品紅色和黃色(CMY) ο
[0031]在一個示例實施例中，通信設(shè)備可以被體現(xiàn)為包括全色圖像傳感器、比如全色圖像傳感器210。全色圖像傳感器210可以與處理器202和/或裝置200的其它部件通信。全色圖像傳感器210可以與其它成像電路裝置和/或軟件通信并且被配置用于捕獲數(shù)字圖像或者制作視頻或者其它圖形媒體文件。全色圖像傳感器208和其它電路裝置組合地可以是設(shè)備100的相機模塊122的示例。在一個示例實施例中，全色圖像傳感器可以是包括全色像素的圖像傳感器。在一個示例實施例中，可以修改濾色器陣列圖案以除了三原色(RGB)之外還包含‘P’像素(全色像素)。優(yōu)點在于P像素比利用RGB濾色器的像素對光靈敏若干倍。作為結(jié)果，在低光時，從全色圖像傳感器210捕獲的圖像質(zhì)量顯著好于具有CFA的彩色圖像傳感器208的圖像質(zhì)量。
[0032]這些部件(202-210)可以經(jīng)由用于捕獲2_D和3_D圖像的集中式電路系統(tǒng)212相互通信。集中式電路系統(tǒng)212可以是被配置用于提供或者實現(xiàn)在裝置200的部件(202-212)之間的通信以及其它功能的各種設(shè)備。在某些實施例中，集中式電路系統(tǒng)212可以是中央印刷電路板(PCB)、比如母板、主板、系統(tǒng)板或者邏輯板。集中式電路系統(tǒng)212可以也包括或者備選地包括其它印刷電路組件(PCA)或者通信信道介質(zhì)。
[0033]在一個示例實施例中，處理器202被配置用于用存儲器204的內(nèi)容并且可選地用這里描述的其它部件使裝置200捕獲圖像。在一個示例實施例中，使裝置200接收從全色圖像傳感器捕獲的場景的全色圖像。在一個示例實施例中，全色圖像傳感器可以是作為裝置200的部分的全色圖像傳感器210的示例。在一些示例實施例中，全色圖像傳感器21可以在裝置200外部、但是可由裝置200訪問和/或控制。在一個示例實施例中，由全色圖像傳感器捕獲的全色圖像是亮度或者灰度圖像。在一個示例實施例中，與全色圖像傳感器210對應(yīng)的像素比與彩色圖像傳感器208 (具有覆蓋在基于半導體的圖像傳感器上面的CFA)對應(yīng)的像素對光靈敏。在這一描述中，全色圖像也稱為‘亮度圖像’。場景可以包括在全色圖像傳感器202的可以由圖像傳感器捕獲的包圍區(qū)域中展開的至少一個對象、例如在全色圖像傳感器202前面存在的個人或者集會、鳥類、書籍、操場、自然風景(如山)等。
[0034]在一個示例實施例中，處理器202被配置用于用存儲器204的內(nèi)容并且可選地用這里描述的其它部件使裝置200接收場景的彩色圖像。在一個示例實施例中，彩色圖像由彩色圖像傳感器(比如裝置200的彩色圖像傳感器208)捕獲。在某些示例實施例中，彩色圖像傳感器210可以在裝置200外部、但是可由裝置200訪問和/或控制。在一個示例實施例中，使裝置200從彩色圖像傳感器208接收圖像樣本并且執(zhí)行對圖像樣本的去馬賽克以生成彩色圖像。在某些示例實施例中，也可以利用其它技術(shù)以根據(jù)從彩色圖像傳感器208接收的不完整圖像樣本生成彩色圖像。在一個示例實施例中，彩色圖像可以是以原色格式、比如RGB圖像等。
[0035]在一個示例實施例中，處理器202被配置用于用存儲器204的內(nèi)容并且可選地用這里描述的其它部件使裝置200至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。在一個示例實施例中，修改的圖像可以是場景在低光條件中捕獲的情況下在質(zhì)量方面比彩色圖像改善的2-D圖像。與全色圖像傳感器210對應(yīng)的全色像素與具有CFA的彩色圖像傳感器(比如彩色圖像傳感器208)對應(yīng)的經(jīng)濾色的像素相比對光顯著更靈敏。例如，在不能增加曝光時間超出限制(因為運動模糊可以影響捕獲的圖像)的低光場景中，用于由全色傳感器210捕獲的圖像的信噪比(SNR)高于由彩色圖像傳感器208捕獲的圖像的SNR0由于全色像素比經(jīng)濾色的像素對光更靈敏，所以可以從全色像素捕獲圖像的更動態(tài)范圍。在各個示例實施例中，使裝置200利用來自全色像素的亮度圖像和來自彩色圖像的色度分量以生成在質(zhì)量上比從彩色圖像傳感器208接收的彩色圖像更優(yōu)的修改的圖像(2-D圖像)。對于場景，在正常光照條件下，由于全色圖像傳感器210比常規(guī)相機靈敏，所以可以針對可比較的圖像質(zhì)量而用比常規(guī)相機低的曝光時間捕獲場景。由于曝光或者快門時間減少，這造成減少或者消除運動模糊(在場景中的相機運動或者對象運動)。如果可以使用更低曝光時間，則數(shù)字增益或者ISO可以是低的，并且這造成在捕獲的圖像中的減少的噪聲或者顆粒。
[0036]在一個示例實施例中，使裝置200通過基于與全色圖像關(guān)聯(lián)的特征點和與彩色圖像關(guān)聯(lián)的特征點確定彎曲(warp)矩陣來生成修改的圖像。特征點的示例可以包括但不限于圖像的拐角、邊緣或者其它興趣區(qū)域、比如場景的背景。在一個示例實施例中，使裝置200確定與彩色圖像關(guān)聯(lián)的色度分量并且使用彎曲矩陣對應(yīng)于全色圖像彎曲彩色圖像的色度分量，使裝置200基于處理全色圖像和被彎曲的色度圖像來生成修改的圖像。在一個示例實施例中，使裝置200組合全色圖像和被彎曲的色度分量以生成修改的圖像。
[0037]在一個示例實施例中，使裝置200通過確定與全色圖像和彩色圖像關(guān)聯(lián)的特征點來確定彎曲矩陣。在一個示例實施例中，使裝置200通過確定與彩色圖像的灰度圖像關(guān)聯(lián)的特征點來確定與彩色圖像關(guān)聯(lián)的特征點。在一個示例實施例中，使裝置200執(zhí)行對彩色圖像的灰度轉(zhuǎn)換以生成灰度圖像并且確定與灰度圖像關(guān)聯(lián)的特征點。在一個示例實施例中，可以使裝置200使用算法(比如比例不變特征變化(SIFT)、哈里斯拐角檢測器、最小同值分割吸收核(SUSAN)拐角檢測器、來自加速分割測試的特征(FAST))以用于確定與灰度圖像和全色圖像(例如亮度圖像)關(guān)聯(lián)的特征點。在一個示例實施例中，使裝置200確定與灰度圖像關(guān)聯(lián)的特征點和與全色圖像關(guān)聯(lián)的特征點之間的對應(yīng)關(guān)系(correspondence)信息。在一個示例實施例中，使裝置200使用算法(比如隨機樣本一致性(RANSAC))來確定對應(yīng)關(guān)系信息。在一個示例實施例中，使裝置200基于對應(yīng)關(guān)系信息計算彎曲矩陣。
[0038]在一個示例實施例中，使裝置200通過將彩色圖像分解成亮度-色度格式來確定彩色圖像的色度分量。在一個示例實施例中，彩色圖像是采用原色格式的彩色圖像、比如RGB圖像。在一個示例實施例中，使裝置200執(zhí)行對從彩色圖像傳感器208接收的圖像樣本的去鑲嵌(demosaicing)以生成彩色圖像,其中彩色圖像采用原色格式、比如RGB或者CMY。在一個示例實施例中，可以將彩色圖像的色度分量(例如RGB圖像)去噪以生成平滑色度分量。在各個實施例中，彩色圖像的色度分量與彩色圖像的亮度分量相比平滑地變化。一些示例實施例在將色度分量去噪時利用色度分量的這樣的性質(zhì)而彩色圖像的銳利度無大量可感知損失。
[0039]在一個示例實施例中，使裝置200使用彎曲矩陣、對應(yīng)于全色圖像彎曲彩色圖像的色度分量。在一個示例實施例中，可以使裝置200使用彎曲矩陣、對應(yīng)于全色圖像彎曲去噪的色度分量。
[0040]在一個示例實施例中，使裝置200基于全色圖像和被彎曲的色度分量、從全色圖像傳感器210的視角生成修改的圖像。在一個示例實施例中，可以通過組合亮度圖像(例如全色圖像)和被彎曲的色度分量來生成修改的圖像。在一個示例實施例中，修改的圖像是采用原色格式之一(比如RGB格式)的彩色圖像的修改的彩色圖像。在一個示例實施例中，修改的圖像是根據(jù)從全色圖像傳感器210和彩色圖像傳感器208單獨接收的圖像在質(zhì)量方面改善的圖像。例如，修改的圖像是根據(jù)處理全色圖像傳感器210的亮度圖像和被彎曲的色度分量(也就是按照從全色圖像傳感器210捕獲的圖像)生成的彩色圖像，這又比具有從彩色通信傳感器208接收的彩色圖像(RGB)更高的SNR的修改的圖像。在一個示例實施例中，修改的圖像可以具有全色圖像傳感器210和彩色圖像傳感器208另外捕獲的圖像更佳的質(zhì)量，因為它是基于全色圖像(對光更靈敏)的亮度和彩色圖像的彩色分量(例如色度分量)生成的。[0041]在另一示例實施例中，也可以通過處理對應(yīng)的(彩色圖像的)色度分量和對應(yīng)于彩色圖像傳感器208的視角的被彎曲的全色圖像來從彩色圖像傳感器208的視角生成修改的圖像。例如在這一示例實施例中，使裝置200使用彎曲矩陣、對應(yīng)于(彩色圖像的)色度分量彎曲全色圖像。在一個示例實施例中，可以使裝置200使用彎曲矩陣、對應(yīng)于去噪的色度分量彎曲全色圖像。在一個示例實施例中，使裝置200基于被彎曲的全色圖像和色度分量生成修改的圖像。在一個示例實施例中，修改的圖像采用原色格式之一(比如RGB格式)的彩色圖像的修改的彩色圖像。在一個示例實施例中，修改的圖像是在質(zhì)量方面由從彩色圖像傳感器208和全色圖像傳感器210單獨接收的圖像改善的圖像。
[0042]在一個示例實施例中，使裝置200基于與全色圖像關(guān)聯(lián)的特征點和與彩色圖像的灰度圖像關(guān)聯(lián)的特征點生成深度圖。在一個示例實施例中，可以使裝置200使用與全色圖像關(guān)聯(lián)的特征點和與灰度圖像關(guān)聯(lián)的特征點之間的對應(yīng)關(guān)系信息。在各個示例實施例中，使裝置200基于使用深度圖來處理從全色圖像傳感器的視角的修改的圖像和從彩色圖像傳感器的視角的修改的圖像來生成3-D圖像。由于3-D圖像是根據(jù)彩色圖像以及全色圖像的亮度二者生成的，所以3-D圖像生成有高SNR(因為使用的全色圖像)。在另一示例實施例中，使裝置200基于使用深度圖來處理(從彩色圖像傳感器208接收的)彩色圖像和(通過組合來自全色圖像傳感器210的亮度圖像和被彎曲的色度分量而生成的)修改的圖像來生成場景的3-D圖像。
[0043]從各個示例實施例獲得的3-D圖像與從彩色圖像傳感器(各自具有設(shè)置在圖像傳感器之上的CFA)的立體對生成的3-D圖像相比質(zhì)量更優(yōu)。例如在各個示例實施例中，使裝置200通過處理一個亮度圖像(全色圖像)和一個RGB圖像(彩色圖像)來生成3-D圖像。在各個示例實施例中，使裝置200使用來自兩個傳感器(傳感器208和210)的亮度或者灰度圖像來確定深度圖，并且還使裝置200通過使用彎曲矩陣從彩色圖像傳感器208的彩色圖像獲得對應(yīng)于全色圖像傳感器的彩色圖像來生成3-D圖像。在各個示例實施例中，3-D圖像通過利用在低光條件中具有較高靈敏度的亮度圖像(由傳感器210捕獲)和彩色圖像傳感器208的彩色圖像來生成，并且因而通過各個示例實施例生成的3-D圖像與從彩色圖像傳感器的立體對生成的3-D圖像相比提供更優(yōu)的質(zhì)量。在各個示例實施例中，3-D圖像可以根據(jù)第一彩色圖像(通過組合被彎曲和去噪的色度分量以及全色圖像來生成)并且根據(jù)第二彩色圖像(通過組合被彎曲的全色圖像和去噪的全色分量來接收)來生成。
[0044]在一個示例實施例中，傳感器(比如彩色圖像傳感器208和全色圖像傳感器210)的像素計數(shù)可以有所不同。例如，全色圖像傳感器210可以具有8兆像素的像素計數(shù)，并且彩色圖像傳感器208可以具有2兆像素的像素計數(shù)。由于各個示例實施例僅利用從彩色圖像傳感器208接收的彩色圖像的色度分量，所以彩色圖像傳感器208的像素計數(shù)可以少于全色圖像傳感器210的像素計數(shù)。由于由彩色圖像傳感器208捕獲的圖像的信噪比(SNR)低于由全色圖像傳感器210捕獲的圖像，因此這可以通過減少彩色圖像傳感器208的像素計數(shù)(例如增加像素的像素面積)來緩解。隨著彩色圖像傳感器208的像素面積增加，由彩色圖像傳感器208捕獲的圖像的SNR也增加。在這樣的示例實施例中，使裝置200在使用彎曲矩陣彎曲對應(yīng)于全色圖像彎曲彩色圖像的色度分量之前、關(guān)于全色圖像的像素計數(shù)對彩色圖像的色度分量進行上采樣。在一個示例實施例中，色度分量可以按照全色圖像傳感器210的像素計數(shù)與彩色圖像傳感器208的像素計數(shù)之比(例如按照4)被上采樣。由于色度圖像是低通信號，所以對色度圖像進行上采樣不引入偽影(artifact)或者對色度圖像的銳利度具有不利影響。
[0045]在各個示例實施例中，一種裝置(比如裝置200)可以包括各種部件、比如用于接收從全色圖像傳感器捕獲的場景的全色圖像的裝置、用于接收從彩色圖像傳感器捕獲的場景的彩色圖像的裝置以及用于至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像的裝置。這樣的部件可以單獨利用硬件、固件和軟件部件或者這些部件的組合來配置。這樣的裝置的示例可以包括但不限于處理器202，以及存儲器204、Π206、彩色圖像傳感器208和全色圖像傳感器210。
[0046]在一個示例實施例中，用于生成修改的圖像的裝置包括用于基于與全色圖像關(guān)聯(lián)的特征點和與彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣的裝置、用于確定與彩色圖像關(guān)聯(lián)的色度分量的裝置、用于使用彎曲矩陣、對應(yīng)于全色圖像彎曲彩色圖像的色度分量的裝置以及用于基于處理全色圖像和被彎曲的色度分量來生成修改的圖像的裝置。在一個示例實施例中，該裝置還包括用于彎曲全色分量以對應(yīng)于彩色圖像的視圖的裝置以及用于基于處理去噪的色度分量和被彎曲的全色圖像來生成修改的圖像的裝置。在一個示例實施例中，用于接收彩色圖像的裝置包括用于執(zhí)行對從彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成彩色圖像的裝置，其中彩色圖像采用原色格式。這樣的裝置的示例可以非窮舉地包括處理器202，以及存儲器204、UI206、彩色圖像傳感器208和全色圖像傳感器210。
[0047]在一個示例實施例中，用于生成彎曲矩陣的裝置包括用于執(zhí)行對全色圖像的灰度轉(zhuǎn)換以生成彩色圖像的灰度圖像的裝置、用于通過確定與灰度圖像關(guān)聯(lián)的特征點來確定與彩色圖像關(guān)聯(lián)的特征點的裝置、和用于確定與全色圖像關(guān)聯(lián)的特征點的裝置、用于確定與灰度圖像關(guān)聯(lián)的特征點和與全色圖像關(guān)聯(lián)的特征點之間的對應(yīng)關(guān)系信息的裝置，以及用于基于對應(yīng)關(guān)系信息計算彎曲矩陣的裝置。在一個示例實施例中，用于生成色度分量的裝置包括用于執(zhí)行對從彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成彩色圖像的裝置，和用于執(zhí)行對彩色圖像的分解以確定亮度分量和色度分量的裝置。在一個示例實施例中，用于彎曲的裝置包括用于將色度分量去噪的裝置和用于使用彎曲矩陣、對應(yīng)于全色圖像彎曲去噪的色度分量的裝置。全色圖像也可以對應(yīng)于彩色圖像傳感器208的視角而被彎曲。這樣的裝置的示例可以非窮舉地包括處理器202，以及存儲器204、Π206、彩色圖像傳感器208和全色圖像傳感器210。
[0048]在一個實施例中，該裝置還包括用于基于與全色圖像關(guān)聯(lián)的特征點和與彩色圖像關(guān)聯(lián)的特征點確定深度圖的裝置，和用于基于使用深度圖來處理彩色圖像和修改的圖像來生成場景的三維圖像的裝置。在這一示例實施例中，該裝置還包括用于在彎曲色度分量之前對彩色圖像的色度分量進行上采樣的裝置，其中彩色圖像傳感器的像素計數(shù)少于全色圖像傳感器的像素計數(shù)。這樣的裝置的示例可以非窮舉地包括處理器202，以及存儲器204、Π206、彩色圖像傳感器208和全色圖像傳感器210。
[0049]圖3是描繪根據(jù)一個示例實施例的示例方法300的流程圖。在流程圖中描繪的方法300可以例如由裝置200執(zhí)行?？梢岳斫鉃榱嗣枋龇椒?00，這里可以參照圖1和2。
[0050]在塊302，方法300包括從全色圖像傳感器(比如如圖2中描述的全色圖像傳感器210)捕獲的場景的全色圖像。在一個示例實施例中，全色圖像是具有更高SNR的亮度圖像和灰度圖像。在塊304，方法300包括接收從彩色圖像傳感器捕獲的場景的彩色圖像。在一個示例實施例中，彩色圖像通過從彩色圖像傳感器(比如如圖2中描述的彩色圖像傳感器208)接收的圖像樣本來生成。在一個示例實施例中，彩色圖像通過將圖像樣本去鑲嵌成采用原色格式的彩色圖像(比如RGB圖像)來生成。在塊306，方法300包括至少部分基于處理全色圖像和彩色圖像來生成場景的修改的圖像。在一個示例實施例中，修改的圖像通過組合全色圖像(例如亮度圖像)和對應(yīng)于彩色圖像的被彎曲的色度分量(使用彎曲矩陣)來生成。這樣的修改的圖像可以對應(yīng)于具有全色圖像傳感器的視角的改善的圖像。在另一示例實施例中，修改的圖像也可以通過組合色度圖像和被彎曲的全色圖像(這樣的彎曲使全色圖像對應(yīng)于彩色圖像傳感器的視角)來生成。在圖4和5中進一步描述捕獲圖像的各個示例實施例。
[0051]圖4是根據(jù)一個示例實施例的捕獲圖像的示例方法400的流程圖。捕獲圖像的示例方法400可以在例如裝置200中實施或者由裝置200控制或者執(zhí)行?？梢岳斫鉃榱嗣枋龇椒?00，這里可以參照圖1至3。應(yīng)當注意雖然方法400的流程圖示出特定順序，但是順序無需限于所示順序并且可以執(zhí)行更多或者更少塊而不提供對各個示例實施例的范圍的實質(zhì)性改變。
[0052]在示例方法400的流程圖中，圖像傳感器由輸入塊410(全色圖像傳感器)和450 (彩色圖像傳感器)代表。在一個示例實施例中，全色圖像傳感器410比具有CFA的傳感器(例如彩色圖像傳感器450)對來自場景的入射光(402所示)更靈敏。在一個示例實施例中，從全色圖像傳感器410接收的輸入圖像是全色圖像。在一個示例實施例中，全色圖像是高SNR亮度圖像或者灰度圖像。在塊452，將來自彩色圖像傳感器450的輸入(彩色圖像樣本)去鑲嵌以獲得采用原色格式的彩色圖像、比如RGB圖像。
[0053]在一個示例實施例 中，在塊454，將(通過將來自彩色圖像傳感器450的圖像樣本去鑲嵌來接收的)彩色圖像(比如RGB圖像)轉(zhuǎn)換為灰度圖像。在一個示例實施例中，在塊456，通過確定與彩色圖像的灰度圖像關(guān)聯(lián)的特征點來確定與彩色圖像關(guān)聯(lián)的特征點。在一個示例實施例中，在塊412，也從全色圖像傳感器410接收的輸入(例如全色圖像)中提取特征點。在一個示例實施例中，與全色圖像(例如亮度圖像)關(guān)聯(lián)的特征點和與彩色圖像的灰度圖像關(guān)聯(lián)的特征點被用來確定彎曲矩陣。如圖2中描述的那樣，算法(比如比例不變特征變化(SIFT)、哈里斯拐角檢測器、最小同值分割吸收核(SUSAN)拐角檢測器、來自加速分割測試的特征(FAST)可以用來于確定與(彩色圖像的)灰度圖像和亮度圖像(例如全色圖像)關(guān)聯(lián)的特征點。
[0054]在一個示例實施例中，在塊414確定與亮度圖像關(guān)聯(lián)的特征點和與灰度圖像關(guān)聯(lián)的特征點之間的對應(yīng)關(guān)系信息。在一個示例實施例中，對應(yīng)關(guān)系信息可以由算法(比如隨機樣本一致性(RANSAC))確定。在一個示例實施例中，灰度圖像(從彩色圖像傳感器450獲得)和從全色圖像傳感器410獲得的亮度圖像用來計算彎曲矩陣(塊416所示)。
[0055]在一個示例實施例中，在塊458，以亮度-色度格式分解彩色圖像(例如RGB圖像)以確定亮度和色度分量。這樣的格式的示例包括肥￥、肥1^、1^13、￥爪^、￥03(>等。在塊460，將彩色圖像的色度分量(從塊458獲得)去噪以生成平滑色度分量。在一個示例實施例中，在塊462，使用彎曲矩陣，對應(yīng)于全色圖像彎曲去噪的色度分量。在一個示例實施例中，對色度分量的彎曲使彩色圖像的色度分量變換成如從全色圖像傳感器410捕獲的模擬的色度圖像分量。[0056]在一個示例實施例中，在塊464，處理來自全色圖像傳感器410的亮度圖像和被彎曲的色度分量以生成從全色圖像傳感器410的視角的修改的圖像466。在一個示例實施例中，可以組合亮度圖像和被彎曲的色度圖像以生成修改的圖像466。在一個示例實施例中，組合亮度圖像與被彎曲的色度分量提供采用原色格式(比如采用RGB格式)的場景的圖像。在一個示例實施例中，修改的圖像466 (例如RGB圖像)與從全色圖像傳感器410和彩色圖像傳感器450單獨接收的圖像相比改善的圖像。例如，修改的圖像466是通過全色圖像傳感器410的亮度圖像和按照亮度圖像的被彎曲的色度分量生成的圖像，這又提供具有比從彩色圖像傳感器450獲得的彩色圖像高的SNR的圖像。由于在低光條件中，從全色圖像傳感器410接收的亮度圖像提供比來自彩色圖像傳感器450的亮度圖像更佳的SNR，所以修改的圖像466通過處理亮度圖像和彩色圖像的被彎曲的色度分量來生成。
[0057]在某些示例實施例中，全色圖像傳感器410和彩色圖像傳感器450的像素計數(shù)(分辨率)可以有所不同。例如，彩色圖像傳感器450的像素計數(shù)可以低于全色圖像傳感器410的像素計數(shù)，以用于為由彩色圖像傳感器450捕獲的圖像提供更佳的信噪比(SNR)。例如，彩色圖像傳感器450的像素面積通過減少彩色圖像傳感器450的像素計數(shù)而增加，由彩色圖像傳感器208捕獲的圖像的SNR也增加。在這樣的示例實施例中，示例方法400可以包括在使用彎曲矩陣、對應(yīng)于全色圖像彎曲彩色圖像的色度分量之前，對彩色圖像的色度分量進行上采樣(例如按照全色圖像傳感器410的像素計數(shù)與彩色圖像傳感器450的像素計數(shù)之比)。
[0058]圖5是根據(jù)另一示例實施例的捕獲圖像的示例方法500的流程圖。捕獲圖像的示例方法500可以在例如裝置200中實施或者由裝置200控制或者執(zhí)行?？梢岳斫鉃榱嗣枋龇椒?00，這里可以參照圖1至4。應(yīng)當注意雖然圖5的方法500示出特定順序，但是順序無需限于所示順序并且可以執(zhí)行更多或者更少塊而不提供對各個示例實施例的范圍的實質(zhì)性改變。
[0059]如已經(jīng)在圖4中描述的那樣，方法500包括處理塊412至416和塊452至456以生成彎曲矩陣。方法500包括，在塊562使用彎曲矩陣、對應(yīng)于彩色圖像的視圖彎曲全色圖像。在一個示例實施例中，對應(yīng)于彩色圖像的視圖彎曲全色圖像使全色圖像變換成如從彩色圖像傳感器450接收的模擬的彩色圖像。在一個示例實施例中，在塊564，處理被彎曲的亮度圖像(從處理塊562來接收)和去噪的色度分量(從處理塊458和460來接收)以生成從彩色圖像傳感器450的視角的修改的圖像566。在一個示例實施例中，可以組合被彎曲的亮度圖像和色度分量以生成修改的圖像566。在一個示例實施例中，組合被彎曲的亮度圖像與色度分量提供采用原色格式(比如采用RGB格式的)場景的圖像。在一個示例實施例中，修改的圖像566 (例如RGB圖像)是與從全色圖像傳感器410和彩色圖像傳感器450單獨接收的圖像相比改善的圖像。
[0060]在一些不例實施例中，修改的圖像466和修改的圖像566 二者可以通過從全色傳感器410和彩色傳感器450接收的圖像為場景同時生成。各個示例實施例提供如圖6和7中描述的那樣生成3-D圖像。
[0061]圖6是描繪根據(jù)一個示例實施例的用于生成3-D圖像的示例方法600的流程圖。在流程圖中描繪的方法600可以例如由裝置200執(zhí)行?？梢岳斫鉃榱嗣枋龇椒?00，這里可以參照圖1至5。應(yīng)當注意雖然圖6的方法600示出特定順序，但是順序無需限于所示順序并且可以執(zhí)行更多或者更少塊而不提供對各個示例實施例的范圍的實質(zhì)性改變。
[0062]如已經(jīng)在圖4和5中描述的那樣，方法600包括處理塊412至416和452至464以生成修改的圖像466以及處理附加塊562和564以生成修改的圖像566。如在圖4和5中描述的那樣，修改的圖像466和566 二者是與從全色圖像傳感器410和彩色圖像傳感器450單獨接收的圖像相比改善的圖像。
[0063]在塊610，方法600包括基于與全色圖像關(guān)聯(lián)的特征點(通過處理塊412來接收)和與彩色圖像的灰度圖像關(guān)聯(lián)的特征點(通過處理塊456來接收)確定深度圖。在塊620，方法600包括基于使用深度圖(從處理塊610來接收)處理修改的圖像466 (從處理塊464來接收)和修改的圖像566 (從處理塊564來接收)來生成3-D圖像。從各個示例實施例獲得的3-D圖像與從彩色圖像傳感器的立體對生成的3-D圖像相比質(zhì)量更優(yōu)。如在各個示例實施例中那樣，方法600包括使用來自兩個傳感器(傳感器410和450)的亮度或者灰度圖像確定深度圖，并且方法600還包括根據(jù)通過組合彎曲并去噪的色度分量和全色圖像而生成的第一彩色圖像(例如修改的圖像466)以及通過組合被彎曲的全色圖像和去噪的色度分量而生成的第二彩色圖像(例如修改的圖像566)來生成3-D圖像。
[0064]圖7是描繪根據(jù)另一示例實施例的用于生成3-D圖像的示例方法700的流程圖。在流程圖中描繪的方法700可以例如由裝置200執(zhí)行?？梢岳斫鉃榱嗣枋龇椒?00，這里可以參照圖1至6。應(yīng)當注意雖然圖7的方法700示出特定順序，但是順序無需限于所示順序并且可以執(zhí)行更多或者更少塊而不提供對各個示例實施例的范圍的實質(zhì)性改變。
[0065]如已經(jīng)在圖4和5中描繪的那樣，方法700包括處理塊412至416和452至464以生成修改的圖像466。在塊610，方法700包括基于與全色圖像關(guān)聯(lián)的特征點(通過處理塊412來接收)和與彩色圖像的灰度圖像關(guān)聯(lián)的特征點(通過處理塊456來接收)確定深度圖。在塊720，方法700包括基于使用深度圖(從處理塊610來接收)處理彩色圖像(從處理塊452來接收)和修改的圖像466 (從處理塊464來接收)來生成3-D圖像。作為結(jié)果，通過利用亮度圖像(由傳感器410捕獲)在低光條件中的較高靈敏度和彩色圖像傳感器450的彩色圖像來生成3-D圖像，并且因而通過各種示例實施例生成的3-D圖像與從彩色圖像傳感器的立體對生成的3-D圖像相比提供更優(yōu)質(zhì)量。
[0066]流程圖300-700的操作、和流程圖300-700中的操作組合可以通過與包括對一個或者多個計算機程序指令的軟件的執(zhí)行關(guān)聯(lián)的各種裝置(比如硬件、固件、處理器、電路裝置和/或其它設(shè)備)實施。例如，在各個實施例中描述的過程中的一個或者多個過程可以由計算機程序指令體現(xiàn)。在一個示例實施例中，實現(xiàn)在各個實施例中描述的過程的計算機程序指令可以由裝置的至少一個存儲器設(shè)備存儲并且由裝置中的至少一個處理器執(zhí)行?？梢韵蛴嬎銠C或者其它可編程裝置(例如硬件)上加載任何這樣的計算機程序指令以產(chǎn)生機器，從而所得計算機或者其它可編程裝置體現(xiàn)用于實施在流程圖300至700中指定的操作的裝置。也可以在計算機可讀存儲器(與傳輸介質(zhì)、比如載波或者電磁信號對比)中存儲這些計算機程序指令，該計算機可讀存儲器可以指引計算機或者其它可編程裝置以特定方式工作，從而在計算機可讀存儲器中存儲的指令產(chǎn)生制造品，該制造品的執(zhí)行實施在流程圖中指定的操作。計算機程序指令也可以加載到計算機或者其它可編程裝置上以使系列操作在計算機或者其它可編程裝置上執(zhí)行以產(chǎn)生計算機實現(xiàn)的過程，從而在計算機或者其它可編程裝置上執(zhí)行的指令提供用于實施流程圖中的操作的操作。借助于裝置200描述方法300至700的操作。然而可以通過使用任何其它裝置來描述和/或?qū)崿F(xiàn)方法300至700的操作。
[0067]可以在軟件、硬件、應(yīng)用邏輯或者軟件、硬件和應(yīng)用邏輯的組合中實施以上描述的各個實施例。軟件、應(yīng)用邏輯和/或硬件可以在至少一個存儲器、至少一個處理器、裝置或者計算機程序產(chǎn)品上駐留。在一個示例實施例中，應(yīng)用邏輯、軟件或者指令集被維持在在各種常規(guī)計算機可讀介質(zhì)中的任何一個計算機可讀介質(zhì)上。在本文的上下文中，“計算機可讀介質(zhì)”可以是可以包含、存儲、傳達、傳播或者傳送用于由指令執(zhí)行系統(tǒng)、裝置或者設(shè)備(比如計算機)使用或者與其結(jié)合的指令的任何介質(zhì)或者裝置而在圖1和/或2中描述和描繪該裝置的一個示例。計算機可讀介質(zhì)可以包括計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)可以是可以包含或者存儲用于由指令執(zhí)行系統(tǒng)、裝置或者設(shè)備(比如計算機)使用或者與其結(jié)合的指令的任何介質(zhì)或者裝置。
[0068]如果希望，則這里討論的不同功能可以按照不同順序和/或與其它功能并行執(zhí)行。另外，如果希望，則以上描述的功能中的一個或者多個功能可以是可選的或者可以被組
口 ο
[0069]雖然在獨立權(quán)利要求中闡述實施例的各種方面，但是其它方面包括來自描述的實施例和/或從屬權(quán)利要求的特征與獨立權(quán)利要求的特征的其它組合而并非僅為在權(quán)利要求中明確地闡述的組合。
[0070]也將注意盡管以上描述示例實施例，但是不應(yīng)在限制意義上看待這些描述。實際上，存在可以在不脫離如在所附權(quán)利要求中限定的本公開內(nèi)容的范圍時做出的若干變化和修改。
【權(quán)利要求】
1.一種方法，包括: 接收從全色圖像傳感器捕獲的場景的全色圖像； 接收從彩色圖像傳感器捕獲的所述場景的彩色圖像；以及 至少部分基于處理所述全色圖像和所述彩色圖像來生成所述場景的修改的圖像。
2.如權(quán)利要求1所述的方法，其中生成所述修改的圖像包括: 基于與全色圖像關(guān)聯(lián)的特征點和與所述彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣； 確定與所述彩色圖像關(guān)聯(lián)的色度分量； 使用所述彎曲矩陣，對應(yīng)于所述全色圖像彎曲與所述彩色圖像關(guān)聯(lián)的所述色度分量；以及 基于處理所述全色圖像和被彎曲的所述色度分量，從所述全色圖像傳感器的視角生成所述修改的圖像。
3.如權(quán)利要求1或2所述的方法，其中生成所述修改的圖像包括: 基于與全色圖像關(guān)聯(lián)的特征點和與所述彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣； 確定與所述彩色圖像關(guān)聯(lián)的色度分量； 使用所述彎曲矩陣，對應(yīng)于所述色度分量的視圖彎曲所述全色圖像；以及基于處理所述色度分量和被彎曲的所述全色圖像，從所述彩色圖像傳感器的視角生成所述修改的圖像。
4.如權(quán)利要求1所述的方法，其中接收所述彩色圖像包括執(zhí)行對從所述彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成所述彩色圖像，其中所述彩色圖像采用原色格式。
5.如權(quán)利要求2或3所述的方法，其中生成所述彎曲矩陣包括: 執(zhí)行對所述彩色圖像的灰度轉(zhuǎn)換以生成所述彩色圖像的灰度圖像； 通過確定與所述灰度圖像關(guān)聯(lián)的特征點來確定與所述彩色圖像關(guān)聯(lián)的所述特征點； 確定與所述全色圖像關(guān)聯(lián)的所述特征點； 確定與所述灰度圖像關(guān)聯(lián)的所述特征點和與所述全色圖像關(guān)聯(lián)的所述特征點之間的對應(yīng)關(guān)系信息；以及 基于所述對應(yīng)關(guān)系信息計算所述彎曲矩陣。
6.如權(quán)利要求2或3所述的方法，其中生成所述色度分量包括: 執(zhí)行對從所述彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成所述彩色圖像，其中所述彩色圖像采用原色格式；以及 執(zhí)行對所述彩色圖像的分解以確定亮度分量和所述色度分量。
7.如權(quán)利要求2或6所述的方法，其中彎曲所述色度分量包括: 將所述色度分量去噪；以及 使用所述彎曲矩陣，對應(yīng)于所述全色圖像彎曲去噪的所述色度分量。
8.如權(quán)利要求2或3或5所述的方法,還包括: 基于與所述全色圖像關(guān)聯(lián)的所述特征點和與所述彩色圖像關(guān)聯(lián)的所述特征點確定深度圖；以及 基于使用所述深度圖來處理從所述全色圖像傳感器的所述視角的所述修改的圖像和從所述彩色圖像傳感器的所述視角的所述修改的圖像，來生成所述場景的三維圖像。
9.如權(quán)利要求2或3 或5所述的方法,還包括:基于與所述全色圖像關(guān)聯(lián)的所述特征點和與所述彩色圖像關(guān)聯(lián)的所述特征點確定深度圖；以及 基于處理所述彩色圖像和從所述全色圖像傳感器的所述視角的所述修改的圖像來生成所述場景的三維圖像。
10.如權(quán)利要求1或2或3或7所述的方法，還包括: 在彎曲所述色度分量之前對所述彩色圖像的所述色度分量進行上采樣，其中所述彩色圖像傳感器的像素計數(shù)少于所述全色圖像傳感器的像素計數(shù)。
11.如權(quán)利要求10所述的方法，其中所述色度分量按照所述全色圖像傳感器的所述像素計數(shù)與所述彩色圖像傳感器的所述像素計數(shù)之比被上采樣。
12.如權(quán)利要求1至11中任一項所述的方法，其中所述彩色圖像是紅-綠-藍圖像。
13.一種裝置，包括: 至少一個處理器；以及 包括計算機程序代碼的至少一個存儲器，所述至少一個存儲器和所述計算機程序代碼被配置用于與所述至少一個處理器一起使所述裝置至少執(zhí)行: 接收從全色圖像傳感器捕獲的場景的全色圖像； 接收從彩色圖像傳感器捕獲的所述場景的彩色圖像；以及 至少部分基于處理所述全色圖像和所述彩色圖像來生成所述場景的修改的圖像。
14.如權(quán)利要求13所述的裝置，其中還至少部分地使所述裝置通過以下操作來執(zhí)行生成所述修改的圖像: 基于與全色圖像關(guān)聯(lián)的特征點和與所述彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣； 確定與所述彩色圖像關(guān)聯(lián)的色度分量； 使用所述彎曲矩陣，對應(yīng)于所述全色圖像彎曲所述彩色圖像的所述色度分量；以及基于處理所述全色圖像和被彎曲的所述色度分量，從所述全色圖像傳感器的視角生成所述修改的圖像。
15.如權(quán)利要求13或14所述的裝 置，其中還至少部分地使所述裝置通過以下操作來執(zhí)行生成所述修改的圖像: 基于與全色圖像關(guān)聯(lián)的特征點和與所述彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣； 確定與所述彩色圖像關(guān)聯(lián)的色度分量； 使用所述彎曲矩陣，對應(yīng)于所述色度分量的視圖彎曲所述全色圖像；以及基于處理所述色度分量和被彎曲的所述全色圖像，從所述彩色圖像傳感器的視角生成所述修改的圖像。
16.如權(quán)利要求13所述的裝置，其中還至少部分地使所述裝置通過執(zhí)行對從所述彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成所述彩色圖像來執(zhí)行接收所述彩色圖像，其中所述彩色圖像采用原色格式。
17.如權(quán)利要求14或15所述的裝置，其中還至少部分地使所述裝置通過以下操作來生成所述彎曲矩陣: 執(zhí)行對所述彩色圖像的灰度轉(zhuǎn)換以生成所述彩色圖像的灰度圖像； 通過確定與所述灰度圖像關(guān)聯(lián)的特征點來確定與所述彩色圖像關(guān)聯(lián)的所述特征點； 確定與所述全色圖像關(guān)聯(lián)的所述特征點；確定與所述灰度圖像關(guān)聯(lián)的所述特征點和與所述全色圖像關(guān)聯(lián)的所述特征點之間的對應(yīng)關(guān)系信息；以及 基于所述對應(yīng)關(guān)系信息計算所述彎曲矩陣。
18.如權(quán)利要求14或15所述的裝置，其中還至少部分地使所述裝置通過以下操作來生成所述色度分量: 執(zhí)行對從所述彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成所述彩色圖像，其中所述彩色圖像采用原色格式；以及 執(zhí)行對所述彩色圖像的分解以確定亮度分量和所述色度分量。
19.如權(quán)利要求14或18所述的裝置，其中還至少部分地使所述裝置通過以下操作來彎曲所述色度分量: 將所述色度分量去噪；以及 使用所述彎曲矩陣，對應(yīng)于所述全色圖像彎曲去噪的所述色度分量。
20.如權(quán)利要求14或15或17所述的裝置，其中還至少部分地使所述裝置執(zhí)行: 基于與所述全色圖像關(guān)聯(lián)的所述特征點和與所述彩色圖像關(guān)聯(lián)的所述特征點確定深度圖；以及 基于使用所述深度圖來處理從所述全色圖像傳感器的所述視角的所述修改的圖像和從所述彩色圖像傳感器的所述視角的所述修改的圖像，來生成所述場景的三維圖像。
21.如權(quán)利要求14或15或17所述的裝置，其中還至少部分地使所述裝置執(zhí)行: 基于與所述全色圖像關(guān)聯(lián)的所述特征點和與所述彩色圖像關(guān)聯(lián)的所述特征點確定深度圖；以及 基于處理所述彩色圖像和從所述全色圖像傳感器的所述視角的所述修改的圖像來生成所述場景的三維圖像。
22.如權(quán)利要求13或14或15或19所述的裝置，其中還至少部分地使所述裝置執(zhí)行: 在彎曲所述色度分量之前對所述彩色圖像的所述色度分量進行上采樣，其中所述彩色圖像傳感器的像素計數(shù)少于所述全色圖像傳感器的像素計數(shù)。
23.如權(quán)利要求22所述的裝置，其中所述色度分量按照所述全色圖像傳感器的所述像素計數(shù)與所述彩色圖像傳感器的所述像素計數(shù)之比被上采樣。
24.如權(quán)利要求13至23中任一項所述的裝置，其中所述彩色圖像是紅-綠-藍圖像。
25.如權(quán)利要求13所述的裝置，其中所述裝置包括電子設(shè)備，所述電子設(shè)備包括: 用戶接口電路裝置和用戶接口軟件，被配置用于有助于用戶通過使用顯示器來控制所述通信設(shè)備的至少一個功能并且還被配置用于對用戶輸入做出響應(yīng)；以及 顯示器電路裝置，被配置用于顯示所述通信設(shè)備的用戶接口的至少一部分，所述顯示器和所述顯示器電路裝置被配置用于有助于所述用戶控制所述通信設(shè)備的至少一個功能。
26.如權(quán)利要求25所述的裝置，其中所述電子設(shè)備包括: 所述全色圖像傳感器，被配置用于捕獲所述場景的所述全色圖像；以及 所述彩色圖像傳感器，被配置用于提供所述場景的彩色圖像樣本。
27.如權(quán)利要求26所述的裝置，其中所述電子設(shè)備包括移動電話。
28.如權(quán)利要求26所述的裝置，其中所述電子設(shè)備包括相機。
29.—種包括指令集的計算機程序，所述指令集在由一個或者多個處理器執(zhí)行時使裝置至少執(zhí)行: 接收從全色圖像傳感器捕獲的場景的全色圖像； 接收從彩色圖像傳感器捕獲的所述場景的彩色圖像；以及 至少部分基于處理所述全色圖像和所述彩色圖像來生成所述場景的修改的圖像。
30.如權(quán)利要求29所述的計算機程序，其中還至少部分地使所述裝置通過以下操作來執(zhí)行生成所述修改的圖像: 基于與全色圖像關(guān)聯(lián)的特征點和與所述彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣； 確定與所述彩色圖像關(guān)聯(lián)的色度分量； 使用所述彎曲矩陣，對應(yīng)于所述全色圖像彎曲所述彩色圖像的所述色度分量；以及基于處理所述全色圖像和被彎曲的所述色度分量，從所述全色圖像傳感器的視角生成所述修改的圖像。
31.如權(quán)利要求29或30所述的計算機程序，其中還至少部分地使所述裝置通過以下操作來執(zhí)行生成所述修改的圖像: 基于與全色圖像關(guān)聯(lián)的特征點和與所述彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣； 確定與所述彩色圖像關(guān)聯(lián)的色度分量； 使用所述彎曲矩陣，對應(yīng)于所述色度分量的視圖彎曲所述全色圖像；以及基于處理所述色度分量和被彎曲的所述全色圖像，從所述彩色圖像傳感器的視角生成所述修改的圖像。
32.如權(quán)利要求29所述的計算機程序，其中還至少部分地使所述裝置通過執(zhí)行對從所述彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成所述彩色圖像來執(zhí)行接收所述彩色圖像，其中所述彩色圖像采用原色格式。
33.如權(quán)利要求30或31所述的計算機程序，其中還至少部分地使所述裝置通過以下操作來生成所述彎曲矩陣: 執(zhí)行對所述彩色圖像的灰度轉(zhuǎn)換以生成所述彩色圖像的灰度圖像； 通過確定與所述灰度圖像關(guān)聯(lián)的特征點來確定與所述彩色圖像關(guān)聯(lián)的所述特征點； 確定與所述全色圖像關(guān)聯(lián)的所述特征點； 確定與所述灰度圖像關(guān)聯(lián)的所述特征點和與所述全色圖像關(guān)聯(lián)的所述特征點之間的對應(yīng)關(guān)系信息；以及 基于所述對應(yīng)關(guān)系信息計算所述彎曲矩陣。
34.如權(quán)利要求30或31所述的計算機程序，其中還至少部分地使所述裝置通過以下操作來生成所述色度分量: 執(zhí)行對從所述彩色圖像傳感器接收的圖像樣本的去鑲嵌以生成所述彩色圖像，其中所述彩色圖像采用原色格式； 執(zhí)行對所述彩色圖像的分解以確定亮度分量和所述色度分量。
35.如權(quán)利要求30或34所述的計算機程序，其中還至少部分地使所述裝置通過以下操作來彎曲所述色度分量: 將所述色度分量去噪；以及 使用所述彎曲矩陣，對應(yīng)于所述全色圖像彎曲去噪的所述色度分量。
36.如權(quán)利要求30或31或33所述的計算機程序，其中還至少部分地使所述裝置執(zhí)行:基于與所述全色圖像關(guān)聯(lián)的所述特征點和與所述彩色圖像關(guān)聯(lián)的所述特征點確定深度圖；以及 基于使用所述深度圖來處理從所述全色圖像傳感器的所述視角的所述修改的圖像和從所述彩色圖像傳感器的所述視角的所述修改的圖像，來生成所述場景的三維圖像。
37.如權(quán)利要求30或31或33所述的計算機程序，其中還至少部分地使所述裝置執(zhí)行: 基于與所述全色圖像關(guān)聯(lián)的所述特征點和與所述彩色圖像關(guān)聯(lián)的所述特征點確定深度圖；以及 基于處理所述彩色圖像和從所述全色圖像傳感器的所述視角的所述修改的圖像來生成所述場景的三維圖像。
38.如權(quán)利要求29或30或31或35所述的計算機程序，其中還至少部分地使所述裝置執(zhí)行: 在彎曲所述色度分量之前對所述彩色圖像的所述色度分量進行上采樣，其中所述彩色圖像傳感器的像素計數(shù)少于所述全色圖像傳感器的像素計數(shù)。
39.如權(quán)利要求38所述的計算機程序，其中所述色度分量按照所述全色圖像傳感器的所述像素計數(shù)與所述彩色圖像傳感器的所述像素計數(shù)之比被上采樣。
40.如權(quán)利要求29至39中任一項所述的計算機程序，其中所述彩色圖像是紅-綠-藍圖像。
41.如前述權(quán)利要求中任一項所述的計算機程序，其中所述計算機程序被包括在計算機可讀存儲介質(zhì)中。
42.一種裝置，包括: 用于接收從全色圖像傳感器捕獲的場景的全色圖像的裝置； 用于接收從彩色圖像傳感器捕獲的所述場景的彩色圖像的裝置；以及用于至少部分地基于處理所述全色圖像和所述彩色圖像來生成所述場景的修改的圖像的裝置。
43.如權(quán)利要求42所述的設(shè)備，其中用于生成所述修改的圖像的所述裝置包括: 用于基于與全色圖像關(guān)聯(lián)的特征點和與所述彩色圖像關(guān)聯(lián)的特征點確定彎曲矩陣的裝置； 用于確定與所述彩色圖像關(guān)聯(lián)的色度分量的裝置； 用于使用所述彎曲矩陣、對應(yīng)于所述全色圖像彎曲所述彩色圖像的所述色度分量的裝置；以及 用于基于處理所述全色圖像和被彎曲的所述色度分量從所述全色圖像傳感器的視角生成所述修改的圖像的裝置。
【文檔編號】G06T5/50GK103930923SQ201280055685
【公開日】2014年7月16日 申請日期:2012年11月19日 優(yōu)先權(quán)日:2011年12月2日
【發(fā)明者】K·A·戈文達拉奧, J·H·阿拉卡呂 申請人:諾基亞公司