專利名稱：使用圖像傳感器接口定時(shí)信號(hào)的閃光同步的制作方法
使用圖像傳感器接口定時(shí)信號(hào)的閃光同步技術(shù)領(lǐng)域
本公開一般涉及數(shù)字成像設(shè)備，更具體地說(shuō)，涉及用于處理利用數(shù)字成像設(shè)備的圖像傳感器獲得的圖像數(shù)據(jù)的系統(tǒng)和方法。
背景技術(shù)：
背景技術(shù)部分旨在向讀者介紹與下面描述和/或要求保護(hù)的本發(fā)明技術(shù)的各個(gè)方面相關(guān)的技術(shù)的各個(gè)方面。相信下面的討論有助于向讀者提供背景信息，以便于更好地理解本公開的各個(gè)方面。因此，應(yīng)明白要就此而論理解這些陳述，而不應(yīng)理解成對(duì)于現(xiàn)有技術(shù)的承認(rèn)。
近年來(lái)，至少部分由于普通消費(fèi)者越來(lái)越負(fù)擔(dān)得起數(shù)字成像設(shè)備的費(fèi)用，因此數(shù)字成像設(shè)備變得日益普及。此外，除了目前可從市場(chǎng)上獲得的許多獨(dú)立的數(shù)字照相機(jī)之外， 作為另一個(gè)電子設(shè)備(比如桌上型或筆記本計(jì)算機(jī)、蜂窩電話或便攜式媒體播放器)的一部分而被集成的數(shù)字成像設(shè)備也不罕見。
為了獲得圖像數(shù)據(jù)，多數(shù)數(shù)字成像設(shè)備包括提供許多光檢測(cè)元件(例如，光電檢測(cè)器)的圖像傳感器，所述光檢測(cè)元件被配置成把圖像傳感器檢測(cè)的光轉(zhuǎn)換成電信號(hào)。圖像傳感器還可包括過(guò)濾圖像傳感器捕捉的光，從而捕捉顏色信息的顏色濾光器陣列。圖像傳感器捕捉的圖像數(shù)據(jù)隨后由圖像處理管線處理，所述圖像處理管線可對(duì)圖像數(shù)據(jù)應(yīng)用多種不同的圖像處理操作，從而生成可顯示在顯示設(shè)備(比如監(jiān)視器)上以供觀看的全色圖像。
雖然常規(guī)的圖像處理技術(shù)的目的通常在于產(chǎn)生在客觀和主觀方面令觀看者滿意的值得一看的圖像，不過(guò)這樣的常規(guī)技術(shù)可能沒有充分解決由成像設(shè)備和/或圖像傳感器引入的圖像數(shù)據(jù)的錯(cuò)誤和/或畸變。例如，圖像傳感器上的歸因于制造缺陷或操作故障的有缺陷像素不能精確地感測(cè)光級(jí)，如果未被校正，那么會(huì)表現(xiàn)為出現(xiàn)在最后得到的經(jīng)處理的圖像中的偽像。另外，在圖像傳感器邊緣處的光強(qiáng)降低(可能歸因于透鏡的制造缺陷) 可能不利地影響特性測(cè)量，并且可能導(dǎo)致整體光強(qiáng)度不均勻的圖像。圖像處理管線還可進(jìn)行銳化圖像的一種或多種處理。不過(guò)，常規(guī)的銳化技術(shù)可能未充分解決現(xiàn)有的圖像信號(hào)中的噪聲，或者可能不能把噪聲和圖像中的邊緣和紋理化區(qū)域區(qū)分開。在這種情況下，常規(guī)的銳化技術(shù)實(shí)際上可能會(huì)增加圖像中的噪聲的出現(xiàn)，這通常是不可取的。此外，還可進(jìn)行各種另外的圖像處理步驟，其中的一些圖像處理步驟依賴于用統(tǒng)計(jì)信息收集引擎收集的圖像統(tǒng)計(jì)fe息。
可對(duì)圖像傳感器捕捉的圖像數(shù)據(jù)應(yīng)用的另一種圖像處理操作是去馬賽克操作。由于色彩濾鏡陣列通常每個(gè)傳感器像素一個(gè)波長(zhǎng)地提供顏色數(shù)據(jù)，因此為了再現(xiàn)全色圖像 (例如，RGB圖像)，通常對(duì)于每個(gè)顏色通道內(nèi)插完整的一組顏色數(shù)據(jù)。常規(guī)的去馬賽克技術(shù)通?；谀撤N類型的固定閾值，沿著水平或垂直方向內(nèi)插丟失的顏色數(shù)據(jù)的值。不過(guò)，這種常規(guī)的去馬賽克技術(shù)可能未充分考慮圖像內(nèi)的邊緣的位置和方向，這可能會(huì)導(dǎo)致將邊緣偽像(比如混疊(aliasing))、棋盤格偽像、或者彩虹偽像引入全色圖像，尤其是沿著圖像5內(nèi)的對(duì)角邊緣引入。
因此，當(dāng)處理利用數(shù)字照相機(jī)或其它成像設(shè)備獲得的數(shù)字圖像時(shí)，應(yīng)專注于各種考慮因素，以改善最后得到的圖像的外觀。特別地，下面的本公開的某些方面解決了上面簡(jiǎn)要提及的一個(gè)或多個(gè)缺陷。發(fā)明內(nèi)容
下面陳述這里公開的某些實(shí)施例的概要。應(yīng)明白介紹這些方面只是為了向讀者提供所述這些實(shí)施例的簡(jiǎn)明概要，所述這些方面并不意圖限制本公開的范圍。實(shí)際上，本公開可包含未在下面陳述的各個(gè)方面。
本公開提供和舉例說(shuō)明圖像信號(hào)處理技術(shù)的各個(gè)實(shí)施例。特別地，本公開的公開實(shí)施例可涉及利用后端圖像處理單元的圖像數(shù)據(jù)的處理，實(shí)現(xiàn)原始像素處理邏輯器的線緩沖器的布置和結(jié)構(gòu)，在存在溢出(也稱為過(guò)速(overrun))狀態(tài)的情況下，管理像素?cái)?shù)據(jù)的移動(dòng)的技術(shù)，使視頻和音頻數(shù)據(jù)同步的技術(shù)，以及涉及可用于把像素?cái)?shù)據(jù)保存到存儲(chǔ)器和從存儲(chǔ)器讀取像素?cái)?shù)據(jù)的各種像素存儲(chǔ)器格式的使用的技術(shù)。
就后端處理來(lái)說(shuō)，公開的實(shí)施例提供一種圖像信號(hào)處理系統(tǒng)，它包括接收由前端像素處理單元和像素處理管線中的至少一個(gè)處理之后的像素?cái)?shù)據(jù)的后端像素處理單元。在一些實(shí)施例中，后端處理單元接收亮度/色度圖像數(shù)據(jù)，并且可被配置成應(yīng)用面部檢測(cè)操作，局部色調(diào)映射，明度(brightness)、對(duì)比度和顏色調(diào)整以及比例縮放。此外，后端處理單元還可包括可收集頻率統(tǒng)計(jì)信息的后端統(tǒng)計(jì)單元。頻率統(tǒng)計(jì)信息可被提供給編碼器，并且可用于確定將應(yīng)用于圖像幀的量化參數(shù)。
本公開的另一方面涉及利用一組線緩沖器的原始像素處理單元的實(shí)現(xiàn)。在一個(gè)實(shí)施例中，所述一組線緩沖器可包括第一子集和第二子集?？砂凑展灿玫姆绞?，利用線緩沖器的第一子集和第二子集，實(shí)現(xiàn)原始像素處理單元的各個(gè)邏輯器單元。例如，在一個(gè)實(shí)施例中，可利用線緩沖器的第一子集實(shí)現(xiàn)缺陷像素校正和檢測(cè)邏輯器。線緩沖器的第二子集可用于實(shí)現(xiàn)透鏡陰影校正邏輯器，增益、偏移和箝位邏輯器，和去馬賽克邏輯器。此外，也可分別利用線緩沖器的第一子集和第二子集的至少一部分實(shí)現(xiàn)降噪。
本公開的另一方面涉及一種圖像信號(hào)處理系統(tǒng)，包括當(dāng)傳感器輸入隊(duì)列和/或前端處理單元接收到來(lái)自下游目的地單元的背壓時(shí)，檢測(cè)出目的地單元出現(xiàn)溢出狀態(tài)的溢出控制邏輯器。圖像信號(hào)處理系統(tǒng)還可以包括閃光控制器，所述閃光控制器被配置成利用傳感器定時(shí)信號(hào)，在目標(biāo)圖像幀開始之前啟用閃光設(shè)備。在一個(gè)實(shí)施例中，閃光控制器接收延遲的傳感器定時(shí)信號(hào)，并如下確定閃光啟用開始時(shí)間利用延遲的傳感器定時(shí)信號(hào)識(shí)別與前一幀的結(jié)束對(duì)應(yīng)的時(shí)間，使所述時(shí)間增大垂直消隱間隔時(shí)間，隨后減去第一偏移量，以補(bǔ)償傳感器定時(shí)信號(hào)和延遲的傳感器定時(shí)信號(hào)之間的延遲。隨后，閃光控制器減去第二偏移量，以確定閃光啟用時(shí)間，從而確保在接收目標(biāo)幀的第一個(gè)像素之前，閃光被啟用。本公開的其它方面提供涉及音頻-視頻同步的技術(shù)。在一個(gè)實(shí)施例中，當(dāng)被采樣時(shí)，時(shí)間碼寄存器提供當(dāng)前時(shí)間戳。可根據(jù)圖像信號(hào)處理系統(tǒng)的時(shí)鐘，每隔一定時(shí)間間隔遞增時(shí)間碼寄存器的值。在圖像傳感器獲得的當(dāng)前幀開始時(shí)，對(duì)時(shí)間碼寄存器采樣，把時(shí)間戳保存在與圖像傳感器相關(guān)的時(shí)間戳寄存器中。隨后從時(shí)間戳寄存器讀出時(shí)間戳，并將其寫入與當(dāng)前幀相關(guān)的一組元數(shù)據(jù)中。隨后可以使用保存在幀元數(shù)據(jù)中的時(shí)間戳以使當(dāng)前幀與對(duì)應(yīng)的一組音頻數(shù)據(jù)同步。
本公開的另一個(gè)方面提供一種靈活的存儲(chǔ)器輸入/輸出控制器，所述控制器被配置成支持多種像素和像素存儲(chǔ)器格式的保存和讀取。例如，存儲(chǔ)器I/O控制器可支持各種比特精度，例如8比特，10比特，12比特，14比特和16比特的原始圖像像素的存儲(chǔ)和讀取。 可按照緊縮方式，保存未與存儲(chǔ)器字節(jié)對(duì)準(zhǔn)(例如，不是8比特的倍數(shù))的像素格式。存儲(chǔ)器I/O控制器還可以支持各種格式的RGB像素組和YCC像素組。
本公開的各個(gè)方面存在上面提及的特征的各種修改。在這些各個(gè)方面中也可結(jié)合另外的特征。這些修改和另外的特征可單獨(dú)存在或任意組合地存在。例如，下面關(guān)于一個(gè)或多個(gè)舉例說(shuō)明的實(shí)施例討論的各個(gè)特征可以單獨(dú)地或者任意組合地結(jié)合到本公開的上述各個(gè)方向任意之一中。同樣，上面給出的簡(jiǎn)要概述只是用來(lái)使讀者熟悉本公開的實(shí)施例的某些方面和上下文，而不是對(duì)要求保護(hù)的主題的限制。


本專利或申請(qǐng)文件包含至少一個(gè)彩色附圖。在支付必要費(fèi)用的情況下，事務(wù)所將應(yīng)請(qǐng)求提供本專利或?qū)＠暾?qǐng)公開的帶彩色附圖的副本。
參考附圖，閱讀下面的詳細(xì)說(shuō)明，可更好地理解本公開的各個(gè)方面，其中
圖1是描述電子設(shè)備的一個(gè)例子的組件的簡(jiǎn)化方框圖，所述電子設(shè)備包括成像設(shè)備和配置成實(shí)現(xiàn)在本公開中陳述的一種或多種圖像處理技術(shù)的圖像處理電路；
圖2表示可在圖1的成像設(shè)備中實(shí)現(xiàn)的Bayer色彩濾鏡矩陣的2X2像素塊的圖形表示。
圖3是按照本公開的各個(gè)方面的圖1的呈膝上型計(jì)算設(shè)備形式的電子設(shè)備的透視圖4是按照本公開的各個(gè)方面的圖1的呈桌上型計(jì)算設(shè)備形式的電子設(shè)備的正視圖5是按照本公開的各個(gè)方面的圖1的呈手持便攜式電子設(shè)備形式的電子設(shè)備的正視圖6是圖5中所示的電子設(shè)備的后視圖7是按照本公開的各個(gè)方面，圖解說(shuō)明的圖1的圖像處理電路的一個(gè)實(shí)施例的方框圖，所述圖像處理電路包括前端圖像信號(hào)處理(ISP)邏輯器和ISP管道(pipe)處理邏輯器；
圖8是按照本公開的各個(gè)方面，圖解說(shuō)明圖1的圖像處理電路的另一個(gè)實(shí)施例的方框圖，所述圖像處理電路包括前端圖像信號(hào)處理(ISP)邏輯器、ISP管道(管線)處理邏輯器和ISP后端處理邏輯器；
圖9是按照本公開的各個(gè)方面，描述利用圖7或圖8的圖像處理電路處理圖像數(shù)據(jù)的方法的流程圖10是按照本公開的各個(gè)方面，表示可在圖7或圖8中實(shí)現(xiàn)的ISP前端邏輯器的一個(gè)實(shí)施例的更詳細(xì)方框圖11是按照一個(gè)實(shí)施例，表示用于在圖10的ISP前端邏輯器中處理圖像數(shù)據(jù)的方法的流程圖12是按照一個(gè)實(shí)施例，圖解說(shuō)明可用于在ISP前端邏輯器中處理圖像數(shù)據(jù)的雙緩沖寄存器和控制寄存器的結(jié)構(gòu)的方框圖13-15是按照本發(fā)明技術(shù)的實(shí)施例，描述觸發(fā)圖像幀的處理的不同模式的時(shí)序圖16是按照一個(gè)實(shí)施例，更詳細(xì)地描述控制寄存器的示圖17是描述當(dāng)圖10的ISP前端邏輯器按照單傳感器模式工作時(shí)，使用前端像素處理單元處理圖像幀的方法的流程圖18是描述當(dāng)圖10的ISP前端邏輯器按照雙傳感器模式工作時(shí)，使用前端像素處理單元處理圖像幀的方法的流程圖19是描述當(dāng)圖10的ISP前端邏輯器按照雙傳感器模式工作時(shí)，使用前端像素處理單元處理圖像幀的方法的流程圖20是按照一個(gè)實(shí)施例，描述其中兩個(gè)圖像傳感器都有效的方法的流程圖，不過(guò)其中第一圖像傳感器在向前端像素處理單元發(fā)送圖像幀，而第二圖像傳感器在向統(tǒng)計(jì)信息處理單元發(fā)送圖像幀，以致當(dāng)?shù)诙D像傳感器稍后繼續(xù)向前端像素處理單元發(fā)送圖像幀時(shí)，可立即得到第二傳感器的成像統(tǒng)計(jì)信息；
圖21是按照本公開的各個(gè)方面，可應(yīng)用于保存在圖1的電子設(shè)備的存儲(chǔ)器中的像素格式的線性存儲(chǔ)器尋址格式的圖形描述；
圖22是按照本公開的各個(gè)方面，可應(yīng)用于保存在圖1的電子設(shè)備的存儲(chǔ)器中的像素格式的分塊(tiled)存儲(chǔ)器尋址格式的圖形描述；
圖23是按照本公開的各個(gè)方面，在圖像傳感器捕捉的源圖像幀內(nèi)定義的各個(gè)成像區(qū)的圖形描述；
圖M是使用ISP前端處理單元處理圖像幀的重疊垂直條紋的技術(shù)的圖形描述；
圖25是描述按照本公開的各個(gè)方面，如何利用交換代碼，把字節(jié)交換應(yīng)用于來(lái)自存儲(chǔ)器的進(jìn)入(incoming)圖像像素?cái)?shù)據(jù)的示圖沈-四表示按照本公開的各個(gè)實(shí)施例，可由圖7或圖8的圖像處理電路支持的原始圖像數(shù)據(jù)的存儲(chǔ)器格式的例子；
圖30-34表示按照本公開的各個(gè)實(shí)施例，可由圖7或圖8的圖像處理電路支持的全色RGB圖像數(shù)據(jù)的存儲(chǔ)器格式的例子；
圖35-36表示按照本公開的各個(gè)實(shí)施例，可由圖7或圖8的圖像處理電路支持的亮度/色度圖像數(shù)據(jù)(YUV/YC1C2)的存儲(chǔ)器格式的例子；
圖37表示按照本公開的各個(gè)方面，如何確定線性尋址格式的存儲(chǔ)器中的幀位置的例子；
圖38表示按照本公開的各個(gè)方面，如何確定分塊尋址格式的存儲(chǔ)器中的幀位置的例子；
圖39是描述按照本公開的一個(gè)實(shí)施例，如何進(jìn)行溢出處理的圖8的ISP電路的方框圖40是描述按照本公開的各個(gè)方面，在從圖片存儲(chǔ)器讀取圖像像素?cái)?shù)據(jù)的同時(shí)， 當(dāng)發(fā)生溢出情況時(shí)用于溢出處理的方法的流程圖41是描述按照本公開的一個(gè)實(shí)施例，在從圖像傳感器接口讀入圖像像素?cái)?shù)據(jù)的同時(shí)，當(dāng)發(fā)生溢出情況時(shí)用于溢出處理的方法的流程圖42是描述按照本公開的另一個(gè)實(shí)施例，在從圖像傳感器接口讀入圖像像素?cái)?shù)據(jù)的同時(shí)，當(dāng)發(fā)生溢出情況時(shí)的另一種用于溢出處理的方法的流程圖43是可由圖1的電子設(shè)備捕捉和保存的圖像(例如，視頻)和對(duì)應(yīng)音頻數(shù)據(jù)的圖形描述；
圖44圖解說(shuō)明按照一個(gè)實(shí)施例，可用于提供使圖43的音頻和視頻數(shù)據(jù)同步的時(shí)間戳的一組寄存器；
圖45是按照本公開的各個(gè)方面，可捕捉為圖43的視頻數(shù)據(jù)的一部分的圖像幀的簡(jiǎn)化表示，并且說(shuō)明如何把時(shí)間戳信息保存為圖像幀元數(shù)據(jù)的一部分；
圖46是描述按照一個(gè)實(shí)施例，利用基于VSYNC信號(hào)的時(shí)間戳使圖像數(shù)據(jù)與音頻數(shù)據(jù)同步的方法的流程圖47是描述按照本公開的一個(gè)實(shí)施例，可如何進(jìn)行閃光計(jì)時(shí)控制的圖8的ISP電路的方框圖48是描述按照本公開的一個(gè)實(shí)施例，用于確定閃光啟用和停用時(shí)間的技術(shù)；
圖49是描述根據(jù)圖48中所示的技術(shù)，確定閃光啟用時(shí)間的方法的流程圖50是描述按照本公開的各個(gè)方面，在利用閃光獲取圖像場(chǎng)景之前，使用預(yù)閃光更新圖像統(tǒng)計(jì)信息的方法的流程圖51是按照本公開的各個(gè)方面，提供如在圖10的ISP前端邏輯器中所示的ISP 前端像素處理單元的一個(gè)實(shí)施例的更詳細(xì)的視圖的方框圖52是圖解說(shuō)明按照一個(gè)實(shí)施例，可如何對(duì)圖51中所示的ISP前端像素處理單元接收的圖像像素?cái)?shù)據(jù)應(yīng)用時(shí)域?yàn)V波的處理圖53圖解說(shuō)明可用于確定圖52中所示的時(shí)域?yàn)V波處理的一個(gè)或多個(gè)參數(shù)的一組參考圖像像素和一組對(duì)應(yīng)的當(dāng)前圖像像素；
圖M是圖解說(shuō)明按照一個(gè)實(shí)施例，對(duì)一組圖像數(shù)據(jù)的中的當(dāng)前圖像像素應(yīng)用時(shí)域?yàn)V波的處理的流程圖55是表示按照一個(gè)實(shí)施例，計(jì)算供圖M的當(dāng)前圖像像素的時(shí)域?yàn)V波之用的運(yùn)動(dòng)增量值的技術(shù)的流程圖56是圖解說(shuō)明按照另一個(gè)實(shí)施例，對(duì)一組圖像數(shù)據(jù)中的當(dāng)前圖像像素應(yīng)用時(shí)域?yàn)V波的另一種處理的流程圖，所述另一種處理包括對(duì)圖像數(shù)據(jù)的每個(gè)顏色分量使用不同的增益；
圖57是圖解說(shuō)明按照又一個(gè)實(shí)施例，對(duì)圖51中所示的ISP前端像素處理單元接收的圖像像素?cái)?shù)據(jù)的每個(gè)顏色分量使用單獨(dú)的運(yùn)動(dòng)表和亮度表的時(shí)域?yàn)V波技術(shù)的處理圖58是圖解說(shuō)明按照又一個(gè)實(shí)施例，利用圖57中所示的運(yùn)動(dòng)表和亮度表，對(duì)一組圖像數(shù)據(jù)中的當(dāng)前圖像像素應(yīng)用時(shí)域?yàn)V波的處理的流程圖59描述按照本公開的各個(gè)方面，可用圖像傳感器捕捉的全分辨率原始圖像數(shù)據(jù)的樣本；
圖60圖解說(shuō)明按照本公開的一個(gè)實(shí)施例，可被配置成對(duì)圖59的全分辨率原始圖像數(shù)據(jù)應(yīng)用箱化(binning)，以輸出箱化的原始圖像數(shù)據(jù)的樣本的圖像傳感器；
圖61描述按照本公開的各個(gè)方面，可由圖60的圖像傳感器提供的箱化的原始圖像數(shù)據(jù)的樣本；
圖62描述按照本公開的各個(gè)方面，在用箱化補(bǔ)償濾波器重新采樣之后的圖61的箱化的原始圖像數(shù)據(jù)；
圖63描述按照一個(gè)實(shí)施例，可在圖51的ISP前端像素處理單元中實(shí)現(xiàn)的箱化補(bǔ)償濾波器；
圖64是按照本公開的各個(gè)方面，可應(yīng)用于微分分析器，以選擇用于箱化補(bǔ)償濾波的中心輸入像素和索引/相位的各個(gè)步長(zhǎng)的圖形描述；
圖65是圖解說(shuō)明按照一個(gè)實(shí)施例，利用圖63的箱化補(bǔ)償濾波器，比例縮放圖像數(shù)據(jù)的處理的流程圖66是圖解說(shuō)明按照一個(gè)實(shí)施例，確定圖63的箱化補(bǔ)償濾波器的水平和垂直濾波的當(dāng)前輸入源中心像素的處理的流程圖67是圖解說(shuō)明按照一個(gè)實(shí)施例，確定用于選擇圖63的箱化補(bǔ)償濾波器的水平和垂直濾波的濾波系數(shù)的指數(shù)的處理的流程圖68是表示按照本公開的各個(gè)方面，可在如圖10中所示的ISP前端處理邏輯器中實(shí)現(xiàn)的統(tǒng)計(jì)信息處理單元的一個(gè)實(shí)施例的更詳細(xì)的方框圖69表示按照本公開的各個(gè)方面，當(dāng)在圖68的統(tǒng)計(jì)信息處理單元的統(tǒng)計(jì)信息處理中，應(yīng)用檢測(cè)和校正缺陷像素時(shí)可以考慮的各個(gè)圖像幀邊界情況；
圖70是圖解說(shuō)明按照一個(gè)實(shí)施例，在統(tǒng)計(jì)信息處理期間進(jìn)行缺陷像素檢測(cè)和校正的處理的流程圖71表示描述成像設(shè)備的常規(guī)透鏡的光強(qiáng)度與像素位置的關(guān)系的三維輪廓；
圖72是表現(xiàn)整個(gè)圖像內(nèi)的非均勻光強(qiáng)度(可能由于透鏡陰影不規(guī)則性)的彩圖73是按照本公開的各個(gè)方面，包括透鏡陰影校正區(qū)和增益網(wǎng)格的原始成像幀的圖示；
圖74圖解說(shuō)明按照本公開的各個(gè)方面，由四個(gè)邊界網(wǎng)格增益點(diǎn)圍繞的圖像像素的增益值的內(nèi)插；
圖75是圖解說(shuō)明按照本技術(shù)的一個(gè)實(shí)施例，確定在透鏡陰影校正操作期間，可應(yīng)用于成像像素的內(nèi)插增益值的處理的流程圖76是描述按照本公開的各個(gè)方面，當(dāng)進(jìn)行透鏡陰影校正時(shí)，可應(yīng)用于表現(xiàn)出圖 71中所示的光強(qiáng)度特性的圖像的內(nèi)插增益值的三維輪廓；
圖77表示按照本公開的各個(gè)方面，在應(yīng)用透鏡陰影校正操作之后的表現(xiàn)出改進(jìn)的光強(qiáng)度均勻性的圖72的彩圖78圖示按照一個(gè)實(shí)施例，如何計(jì)算當(dāng)前像素和圖像的中心之間的徑向距離，并且將其用于確定透鏡陰影校正的徑向增益分量；
圖79是圖解說(shuō)明按照本發(fā)明技術(shù)的一個(gè)實(shí)施例，使用增益網(wǎng)格的徑向增益和內(nèi)插增益來(lái)確定在透鏡陰影校正操作中，可應(yīng)用于成像像素的總增益的處理的流程圖80是表示顏色空間中的白色區(qū)域及低色溫軸和高色溫軸的圖示；
圖81是表示按照一個(gè)實(shí)施例，如何關(guān)于各種參考照明條件設(shè)定白平衡增益的表；
圖82是表示按照本公開的一個(gè)實(shí)施例，可在ISP前端處理邏輯器中實(shí)現(xiàn)的統(tǒng)計(jì)信息收集引擎的方框圖83圖解說(shuō)明按照本公開的各個(gè)方面，原始Bayer RGB數(shù)據(jù)的下采樣；
圖84描述按照一個(gè)實(shí)施例，可利用圖82的統(tǒng)計(jì)信息收集引擎收集的二維顏色直方圖85描述二維顏色直方圖內(nèi)的變焦和搖攝；
圖86是按照一個(gè)實(shí)施例，更詳細(xì)地表示用于實(shí)現(xiàn)統(tǒng)計(jì)信息收集引擎的像素濾波器的邏輯器的示圖87是按照一個(gè)實(shí)施例，可如何根據(jù)為像素濾波器定義的像素條件，評(píng)估像素在 C1-C2顏色空間內(nèi)的位置的圖形描述；
圖88是按照另一個(gè)實(shí)施例的可如何根據(jù)為像素濾波器定義的像素條件，評(píng)估像素在C1-C2顏色空間內(nèi)的位置的圖形描述；
圖89是按照又一個(gè)實(shí)施例，如何根據(jù)為像素濾波器定義的像素條件，評(píng)估像素在 C1-C2顏色空間內(nèi)的位置的圖形描述；
圖90是表示按照一個(gè)實(shí)施例，可以如何確定圖像傳感器積分時(shí)間，以補(bǔ)償閃爍的圖示；
圖91是詳細(xì)表示按照一個(gè)實(shí)施例，可在圖82的統(tǒng)計(jì)信息收集引擎中實(shí)現(xiàn)的，并被配置成收集自動(dòng)聚焦統(tǒng)計(jì)信息的邏輯器的方框圖92是描述按照一個(gè)實(shí)施例，利用粗調(diào)和微調(diào)自動(dòng)聚焦評(píng)分值進(jìn)行自動(dòng)聚焦的技術(shù)的圖示；
圖93是描述按照一個(gè)實(shí)施例，利用粗調(diào)和微調(diào)自動(dòng)聚焦評(píng)分值進(jìn)行自動(dòng)聚焦的處理的流程圖94和95表示獲得白平衡亮度值的原始Bayer數(shù)據(jù)的抽選(decimation)；
圖96表示按照一個(gè)實(shí)施例，利用每個(gè)顏色分量的相對(duì)自動(dòng)聚焦評(píng)分值進(jìn)行自動(dòng)聚焦的技術(shù)；
圖97是表示按照一個(gè)實(shí)施例，如何使用Bayer RGB直方圖數(shù)據(jù)幫助黑電平補(bǔ)償?shù)膱D68的統(tǒng)計(jì)信息處理單元的更詳細(xì)示圖98是表示按照本公開的各個(gè)方面，圖7的ISP管道處理邏輯器的實(shí)施例的方框圖99是表示按照本公開的各個(gè)方面，可在圖98的ISP管道處理邏輯器中實(shí)現(xiàn)的原始像素處理塊的實(shí)施例的更詳細(xì)的視圖100是表示按照本公開的各個(gè)方面，當(dāng)在圖99中所示的原始像素處理塊的處理期間，應(yīng)用檢測(cè)和校正缺陷像素的技術(shù)時(shí)，可考慮的各種圖像幀邊界情況；
圖101-103是描述按照一個(gè)實(shí)施例，可在圖99的原始像素處理塊中進(jìn)行的檢測(cè)和校正缺陷像素的各種處理的流程圖104表示按照本公開的各個(gè)方面，當(dāng)在圖99的原始像素處理塊的處理中，應(yīng)用綠色不均勻校正技術(shù)時(shí)，可內(nèi)插的Bayer圖像傳感器的2X2像素塊中的兩個(gè)綠色像素的位置；
圖105圖解說(shuō)明按照本公開的各個(gè)方面，可用作降噪用水平濾波處理的一部分的，包括中央像素和相關(guān)聯(lián)的水平相鄰像素的一組像素；11
圖106圖解說(shuō)明按照本公開的各個(gè)方面，可用作降噪用垂直濾波處理的一部分的，包括中央像素和相關(guān)聯(lián)的垂直相鄰像素的一組像素；
圖107是描述如何把去馬賽克應(yīng)用于原始Bayer圖像模式，以產(chǎn)生全色RGB圖像的簡(jiǎn)化流程圖108描述按照一個(gè)實(shí)施例，在Bayer圖像模式的去馬賽克期間，可從中得到水平和垂直能量分量，以便內(nèi)插綠色顏色值的Bayer圖像模式的一組像素；
圖109表示按照本發(fā)明技術(shù)的各個(gè)方面，在Bayer圖像模式的去馬賽克期間，可對(duì)其應(yīng)用濾波，以確定內(nèi)插綠色顏色值的水平分量的一組水平像素；
圖110表示按照本發(fā)明技術(shù)的各個(gè)方面，在Bayer圖像模式的去馬賽克期間，可對(duì)其應(yīng)用濾波，以確定內(nèi)插綠色顏色值的垂直分量的一組垂直像素；
圖111表示按照本發(fā)明技術(shù)的各個(gè)方面，在Bayer圖像模式的去馬賽克期間，可對(duì)其應(yīng)用濾波，以確定內(nèi)插的紅色和藍(lán)色值的各個(gè)3X3像素塊；
圖112-115提供描述按照一個(gè)實(shí)施例，在Bayer圖像模式的去馬賽克期間，內(nèi)插綠色、紅色和藍(lán)色顏色值的各種處理的流程圖116表示可用圖像傳感器捕捉，并按照這里公開的去馬賽克技術(shù)的各個(gè)方面處理的原始圖像場(chǎng)景的彩圖117表示圖116中所示的圖像場(chǎng)景的Bayer圖像模式的彩圖118表示根據(jù)圖117的Bayer圖像模式，利用常規(guī)的去馬賽克技術(shù)重構(gòu)的RGB 圖像的彩圖119表示按照這里公開的去馬賽克技術(shù)的各個(gè)方面，從圖117的Bayer圖像模式重構(gòu)的RGB圖像的彩圖120-123描述按照一個(gè)實(shí)施例，可用于實(shí)現(xiàn)圖99的原始像素處理塊的線緩沖器的結(jié)構(gòu)和布置；
圖IM是表示按照一個(gè)實(shí)施例，利用圖120-123中所示的線緩沖器結(jié)構(gòu)，處理原始像素?cái)?shù)據(jù)的方法的流程圖125是表示按照本公開的各個(gè)方面，可在圖98的ISP管道處理邏輯器中實(shí)現(xiàn)的 RGB處理塊的一個(gè)實(shí)施例的更詳細(xì)的示圖1 是表示按照本公開的各個(gè)方面，可在圖98的ISP管道處理邏輯器中實(shí)現(xiàn)的 YCbCr處理塊的一個(gè)實(shí)施例的更詳細(xì)的示圖127是按照本公開的各個(gè)方面，在利用1-平面格式的源緩沖器內(nèi)定義的亮度和色度的激活源區(qū)的圖形描述；
圖1 是按照本公開的各個(gè)方面，在利用2-平面格式的源緩沖器內(nèi)定義的亮度和色度的激活源區(qū)的圖形描述；
圖1 是圖解說(shuō)明按照一個(gè)實(shí)施例，可在如圖126中所示的YCbCr處理塊中實(shí)現(xiàn)的圖像銳化邏輯器的方框圖130是圖解說(shuō)明按照一個(gè)實(shí)施例，可在如圖126中所示的YCbCr處理塊中實(shí)現(xiàn)的邊緣增強(qiáng)邏輯器的方框圖131是表示按照本公開的各個(gè)方面，色度衰減因子與銳化的亮度值的關(guān)系的圖示；
圖132是圖解說(shuō)明按照一個(gè)實(shí)施例，可在如圖126中所示的YCbCr處理塊中實(shí)現(xiàn)的圖像明度(brightness)、對(duì)比度和顏色(BCC)調(diào)整邏輯器的方框圖133表示定義可在圖132的BCC調(diào)整邏輯器中的顏色調(diào)整期間應(yīng)用的各種色相角和飽和度值的YCbCr顏色空間中的色相和飽和度色輪；
圖134是表示按照本公開的各個(gè)方面，圖8的ISP后端處理邏輯器的一個(gè)實(shí)施例的方框圖，所述ISP后端處理邏輯器可被配置成進(jìn)行ISP管線下游的各個(gè)后處理步驟；
圖135是表示一種常規(guī)的全局色調(diào)映射技術(shù)的圖形表示；
圖136是表示另一種常規(guī)的全局色調(diào)映射技術(shù)的圖形表示；
圖137描述按照本公開的各個(gè)方面，為了應(yīng)用局部色調(diào)應(yīng)用技術(shù)，可如何分割圖像的各個(gè)區(qū)域；
圖138圖形地圖解說(shuō)明常規(guī)的局部色調(diào)映射如何導(dǎo)致輸出色調(diào)范圍的有限利用；
圖139圖形地圖解說(shuō)明按照本公開的實(shí)施例，用于局部色調(diào)映射的技術(shù)；
圖140是按照本公開的各個(gè)方面，表示局部色調(diào)映射LTM邏輯器的一個(gè)實(shí)施例的更詳細(xì)的方框圖，所述局部色調(diào)映射LTM邏輯器可被配置成實(shí)現(xiàn)圖134的ISP后端邏輯器中的色調(diào)映射處理；
圖141是表示按照一個(gè)實(shí)施例，利用圖134的ISP后端處理邏輯器處理圖像數(shù)據(jù)的方法的流程圖142是表示按照一個(gè)實(shí)施例，利用圖140中所示的LTM邏輯器，應(yīng)用色調(diào)映射的方法的流程圖。
具體實(shí)施方式
下面將說(shuō)明本公開的一個(gè)或多個(gè)具體實(shí)施例。這些說(shuō)明的實(shí)施例只是目前公開的技術(shù)的例子。另外，在致力于提供這些實(shí)施例的簡(jiǎn)明描述的過(guò)程中，在說(shuō)明書中可能未描述實(shí)際實(shí)現(xiàn)的所有特征。應(yīng)意識(shí)到，在任何這種實(shí)際實(shí)現(xiàn)的開發(fā)中，和任何工程或設(shè)計(jì)項(xiàng)目中一樣，為了實(shí)現(xiàn)開發(fā)人員的可能因?qū)崿F(xiàn)而異的特定目標(biāo)，比如遵守與系統(tǒng)相關(guān)的和與商業(yè)相關(guān)的約束條件，必須做出各種特定于實(shí)現(xiàn)的決策。此外，應(yīng)意識(shí)到這樣的開發(fā)工作可能復(fù)雜和費(fèi)時(shí)，不過(guò)對(duì)受益于本公開內(nèi)容的普通技術(shù)人員來(lái)說(shuō)，這樣的開發(fā)工作不過(guò)是常規(guī)的設(shè)計(jì)、加工和生產(chǎn)任務(wù)。
當(dāng)介紹本公開的各個(gè)實(shí)施例的部件時(shí)，冠詞“一個(gè)”等旨在意味存在一個(gè)或多個(gè)所述部件。用語(yǔ)“包含”、“包括”和“具有”旨在是開放的，并且意味可以存在除列舉的部件以外的其它部件。另外，應(yīng)明白本公開的對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的引用并不意圖被解釋成排除也包含所引用特征的其它實(shí)施例的存在。
如下所述，本公開一般涉及處理利用一個(gè)或多個(gè)圖像感測(cè)設(shè)備獲得的圖像數(shù)據(jù)的技術(shù)。特別地，本公開的某些方面可以涉及檢測(cè)和校正缺陷像素的技術(shù)，對(duì)原始圖像模式去馬賽克的技術(shù)，利用多尺度非銳化掩膜銳化亮度圖像的技術(shù)，和應(yīng)用透鏡陰影增益校正透鏡陰影不規(guī)則性的技術(shù)。此外，應(yīng)明白，目前公開的技術(shù)可應(yīng)用于靜止圖像和運(yùn)動(dòng)圖像(例如，視頻)，并且可用在任何適當(dāng)類型的成像應(yīng)用中，比如數(shù)字照相機(jī)、具有一體化數(shù)字照相機(jī)的電子設(shè)備、安全或視頻監(jiān)視系統(tǒng)、醫(yī)療成像系統(tǒng)等等。
在記住以上內(nèi)容的同時(shí)，圖1是圖解說(shuō)明通過(guò)利用上面簡(jiǎn)要提及的一種或多種圖像處理技術(shù)，提供圖像數(shù)據(jù)的處理的電子設(shè)備10的例子的方框圖。電子設(shè)備10 可以是被配置成接收和處理圖像數(shù)據(jù)，比如利用一個(gè)或多個(gè)圖像感測(cè)組件獲得的數(shù)據(jù)的任意類型的電子設(shè)備，比如膝上型或桌上型計(jì)算機(jī)、移動(dòng)電話、數(shù)字媒體播放器等等。例如，電子設(shè)備10可以是便攜式電子設(shè)備，比如可從Cupertino，California的蘋果公司獲得的某種型號(hào)的iPod 或iPhone 。另外，電子設(shè)備10可以是桌上型或膝上型計(jì)算機(jī)，比如可從蘋果公司獲得的某種型號(hào)的MacBook 、MacBook Pro、 MacBook Air 、iMac 、Mac Mini或Mac Pro 。在其它實(shí)施例中，電子設(shè)備 ο也可以是另一家制造商的能夠獲得和處理圖像數(shù)據(jù)的某種型號(hào)的電子設(shè)備。
與其形式(例如，便攜式或非便攜式)無(wú)關(guān)，應(yīng)明白，電子設(shè)備10可利用上面簡(jiǎn)要討論的一種或多種圖像處理技術(shù)提供圖像數(shù)據(jù)的處理，所述圖像處理技術(shù)可包括缺陷像素校正和/或檢測(cè)技術(shù)、透鏡陰影校正技術(shù)、去馬賽克技術(shù)或者圖像銳化技術(shù)等等。在一些實(shí)施例中，電子設(shè)備10可把這樣的圖像處理技術(shù)應(yīng)用于保存在電子設(shè)備10的存儲(chǔ)器中的圖像數(shù)據(jù)。在另外的實(shí)施例中，電子設(shè)備10可包括被配置成獲取圖像數(shù)據(jù)的一個(gè)或多個(gè)成像設(shè)備，比如一體的或者外部的數(shù)字照相機(jī)，電子設(shè)備10隨后可利用一種或多種上述圖像處理技術(shù)處理所述圖像數(shù)據(jù)。下面在圖3-6中進(jìn)一步討論表示電子設(shè)備10的便攜式和非便攜式實(shí)施例的各個(gè)實(shí)施例。
如圖1中所示，電子設(shè)備10可包括為設(shè)備10的功能作出貢獻(xiàn)的各個(gè)內(nèi)部和/或外部組件。本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到圖1中所示的各個(gè)功能塊可包含硬件部件(包括電路)、軟件部件(包括保存在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)代碼)、或者硬件部件和軟件部件的組合。例如，在目前舉例說(shuō)明的實(shí)施例中，電子設(shè)備10可包括輸入/輸出(1/0)端口 12、輸入結(jié)構(gòu)14、一個(gè)或多個(gè)處理器16、存儲(chǔ)設(shè)備18、非易失性存儲(chǔ)設(shè)備20、擴(kuò)展卡22、 連網(wǎng)設(shè)備24、電源沈和顯示器28。另外，電子設(shè)備10可包括一個(gè)或多個(gè)成像設(shè)備30 (比如數(shù)字照相機(jī))和圖像處理電路32。如下進(jìn)一步所述，圖像處理電路32可被配置成在處理圖像數(shù)據(jù)時(shí)實(shí)現(xiàn)一種或多種上述圖像處理技術(shù)。可認(rèn)識(shí)到，圖像處理電路32處理的圖像數(shù)據(jù)可以取自存儲(chǔ)器18和/或非易失性存儲(chǔ)設(shè)備20，或者可以利用成像設(shè)備30獲得。
在繼續(xù)進(jìn)行說(shuō)明之前，應(yīng)明白圖1中所示的設(shè)備10的系統(tǒng)方框圖旨在是描述可包括在這樣的設(shè)備10中的各個(gè)組件的高級(jí)控制圖。S卩，圖1中表示的各個(gè)單獨(dú)組件之間的連接線不一定必須代表數(shù)據(jù)流經(jīng)的，或者在設(shè)備10的各個(gè)組件之間傳送數(shù)據(jù)的路徑或方向。事實(shí)下，如下所述，在一些實(shí)施例中，描述的處理器16可包括多個(gè)處理器，比如主處理器(例如，CPU)和專用圖像和/或視頻處理器。在這樣的實(shí)施例中，圖像數(shù)據(jù)的處理主要可由這些專用處理器負(fù)責(zé)，從而有效地從主處理器(CPU)卸載這些任務(wù)。
就圖1中例示的每個(gè)組件來(lái)說(shuō)，1/0端口 12可包括被配置成與各個(gè)外部設(shè)備連接的端口，所述外部設(shè)備比如是電源、音頻輸出設(shè)備(例如，頭戴式聽筒或頭戴式收話器)、或者其它電子設(shè)備(比如手持設(shè)備和/或計(jì)算機(jī)、打印機(jī)、投影儀、外部顯示器、調(diào)制解調(diào)器、 擴(kuò)展塢等等)。在一個(gè)實(shí)施例中，1/0端口 12可被配置成連接到外部成像設(shè)備，比如數(shù)字照相機(jī)，以便獲得可利用圖像處理電路32處理的圖像數(shù)據(jù)。1/0端口 12可支持任何適當(dāng)?shù)慕涌陬愋?，比如通用串行總線(USB)端口、串行連接端口、IEEE-1394(火線)端口、以太網(wǎng)或調(diào)制解調(diào)器端口、和/或AC/DC電力連接端口。
在一些實(shí)施例中，某些1/0端口 12可被配置成提供不止一種功能。例如，在一個(gè)實(shí)施例中，I/O端口 12可包括蘋果公司的專用端口，所述專用端口不僅能夠使數(shù)據(jù)在電子設(shè)備10和外部源之間的傳送更容易，而且能夠使設(shè)備10與充電接口(比如用于從壁裝電源插座提供電力的電源適配器，或者被配置成從另一個(gè)電設(shè)備，比如桌上型或膝上型計(jì)算機(jī)抽取電力的接口電纜)耦接，以便對(duì)電源26 (它可包括一個(gè)或多個(gè)可再充電電池)充電。 因此，I/O端口 12可被配置成基于經(jīng)I/O端口 12與設(shè)備10耦接的外部組件，既起數(shù)據(jù)傳送端口的作用，又起AC/DC電源連接端口的作用。
輸入結(jié)構(gòu)14可向處理器16提供用戶輸入或反饋。例如，輸入結(jié)構(gòu)14可被配置成控制電子設(shè)備10的一個(gè)或多個(gè)功能，比如在電子設(shè)備10上運(yùn)行的應(yīng)用程序。例如，輸入結(jié)構(gòu)14可以包括按鈕、滑動(dòng)器、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等，或者它們的組合。在一個(gè)實(shí)施例中，輸入結(jié)構(gòu)14允許用戶操縱顯示在設(shè)備10上的圖形用戶界面(GUI)。另外，輸入結(jié)構(gòu)14可包括結(jié)合顯示器觀設(shè)置的觸敏機(jī)構(gòu)。在這樣的實(shí)施例中， 用戶可以利用觸敏機(jī)構(gòu)選擇或與顯示的界面部件互動(dòng)。
輸入結(jié)構(gòu)14可包括向一個(gè)或多個(gè)處理器16提供用戶輸入或反饋的各種設(shè)備、電路和通道。這種輸入結(jié)構(gòu)14可被配置成控制設(shè)備10的功能，在設(shè)備10上運(yùn)行的應(yīng)用，和 /或與電子設(shè)備10連接或者由電子設(shè)備10使用的任意接口或設(shè)備。例如，輸入結(jié)構(gòu)14可以允許用戶操縱顯示的用戶界面或應(yīng)用界面。輸入結(jié)構(gòu)14的例子可包括按鈕、滑動(dòng)器、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等。
在一些實(shí)施例中，輸入結(jié)構(gòu)14和顯示器設(shè)備觀可以設(shè)置在一起，比如在“觸摸屏” 的情況下，從而與顯示器觀相結(jié)合地設(shè)置觸敏機(jī)構(gòu)。在這種實(shí)施例中，用戶可借助觸敏機(jī)構(gòu)，選擇或與顯示的界面部件互動(dòng)。這樣，顯示的界面可提供交互式功能，從而允許用戶通過(guò)觸摸顯示器觀來(lái)操縱顯示的界面。例如，用戶與輸入結(jié)構(gòu)14的交互，比如與顯示在顯示器觀上的用戶或者應(yīng)用界面互動(dòng)可生成表示用戶輸入的電信號(hào)。這些輸入信號(hào)可以經(jīng)由適當(dāng)?shù)耐ǖ?，比如輸入集線器或數(shù)據(jù)總線路由到一個(gè)或多個(gè)處理器16，以供進(jìn)一步處理。
在一個(gè)實(shí)施例中，輸入結(jié)構(gòu)14可包括音頻輸入設(shè)備。例如，電子設(shè)備10可以配有一個(gè)或多個(gè)音頻捕捉設(shè)備，比如一個(gè)或多個(gè)麥克風(fēng)。音頻捕捉設(shè)備可以與電子設(shè)備10—體化，或者可以是比如通過(guò)I/O端口 12與電子設(shè)備10耦接的外部設(shè)備。如下進(jìn)一步所述，電子設(shè)備10可以既是音頻輸入設(shè)備又是成像設(shè)備30，以捕捉聲音和圖像數(shù)據(jù)(例如，視頻數(shù)據(jù))，并且可以包括被配置成提供使捕捉的視頻數(shù)據(jù)和音頻數(shù)據(jù)同步的邏輯器。
除了處理經(jīng)輸入結(jié)構(gòu)14接收的各種輸入信號(hào)外，處理器16可控制設(shè)備10的一般操作。例如，處理器16可提供執(zhí)行操作系統(tǒng)、程序、用戶界面和應(yīng)用界面、和電子設(shè)備10 的任何其它功能的處理能力。處理器16可包括一個(gè)或多個(gè)微處理器，比如一個(gè)或多個(gè)“通用”微處理器、一個(gè)或多個(gè)專用微處理器和/或?qū)Ｓ梦⑻幚砥?ASIC)，或者這些處理組件的組合。例如，處理器16可包括一個(gè)或多個(gè)指令集(例如，RISC)處理器、以及圖形處理器 (GPU)、視頻處理器、音頻處理器和/或相關(guān)的芯片集。應(yīng)認(rèn)識(shí)到，處理器16可以與一個(gè)或多個(gè)數(shù)據(jù)總線耦接，以便在設(shè)備10的各個(gè)組件之間傳送數(shù)據(jù)和指令。在一些實(shí)施例中，處理器16可提供在電子設(shè)備 ο上運(yùn)行成像應(yīng)用，比如可從蘋果公司獲得的W1OtO Booth 、 Aperture 、iPhoto 或preview ，或者由蘋果公司提供的存在于各種型號(hào)的 iPhone 上的“照相機(jī)”和/或“照片”應(yīng)用的處理能力。
將由處理器16處理的指令或數(shù)據(jù)可被保存在計(jì)算機(jī)可讀介質(zhì)，比如存儲(chǔ)器裝置18中。可以易失性存儲(chǔ)器(比如隨機(jī)存取存儲(chǔ)器(RAM))，或者以非易失性存儲(chǔ)器(比如只讀存儲(chǔ)器(ROM))，或者以一個(gè)或多個(gè)RAM和ROM設(shè)備的組合的形式提供存儲(chǔ)器裝置18。存儲(chǔ)器18可保存各種信息，并且可用于各種用途。例如，存儲(chǔ)器18可保存電子設(shè)備10的固件，比如基本輸入/輸出系統(tǒng)(BIOS)、操作系統(tǒng)、各種程序、應(yīng)用、或者可在電子設(shè)備10上運(yùn)行的任何其它例程，包括用戶接口功能、處理器功能等等。另外，在電子設(shè)備10的工作期間，存儲(chǔ)器18可用于緩存或高速緩存。例如，在一個(gè)實(shí)施例中，存儲(chǔ)器18包括當(dāng)視頻數(shù)據(jù)被輸出給顯示器觀時(shí)，緩存視頻數(shù)據(jù)的一個(gè)或多個(gè)幀緩沖器。
除了存儲(chǔ)器裝置18之外，電子設(shè)備10還可包括用于永久保存數(shù)據(jù)和/或指令的非易失性存儲(chǔ)設(shè)備20。非易失性存儲(chǔ)設(shè)備20可包括閃速存儲(chǔ)器，硬盤驅(qū)動(dòng)器，或者任何其它光、磁和/或固態(tài)存儲(chǔ)介質(zhì)，或者它們的某種組合。從而，盡管為了清楚起見，在圖1中被描述成單個(gè)設(shè)備，但應(yīng)明白，非易失性存儲(chǔ)設(shè)備20可包括結(jié)合處理器16工作的一個(gè)或多個(gè)上面列舉的存儲(chǔ)設(shè)備的組合。非易失性存儲(chǔ)器20可被用于保存固件、數(shù)據(jù)文件、圖像數(shù)據(jù)、 軟件程序和應(yīng)用、無(wú)線連接信息、個(gè)人信息、用戶首選項(xiàng)、和任何其它適當(dāng)?shù)臄?shù)據(jù)。按照本公開的各個(gè)方面，在顯示器上被輸出之前，保存在非易失性存儲(chǔ)設(shè)備20和/或存儲(chǔ)器裝置18 中的圖像數(shù)據(jù)可被圖像處理電路32處理。
圖1中圖解說(shuō)明的實(shí)施例還包括一個(gè)或多個(gè)卡或者擴(kuò)展槽?？ú劭杀慌渲贸山蛹{擴(kuò)展卡22，擴(kuò)展卡22可用于向電子設(shè)備10增添功能，比如額外的存儲(chǔ)器、I/O功能或者連網(wǎng)能力。這種擴(kuò)展卡22可通過(guò)任意種類的適當(dāng)連接器與設(shè)備連接，并且可相對(duì)于電子設(shè)備 10的機(jī)殼在外部或內(nèi)部被訪問(wèn)。例如，在一個(gè)實(shí)施例中，擴(kuò)展卡22可以是閃速存儲(chǔ)卡，比如安全數(shù)字卡(SD)卡、小型或微型SD、緊湊式閃存卡等，或者可以是PCMCIA設(shè)備。另外，擴(kuò)展卡22可以是供電子設(shè)備10的提供移動(dòng)電話能力的實(shí)施例使用的用戶識(shí)別模塊(SIM)卡。
電子設(shè)備10還包括網(wǎng)絡(luò)設(shè)備對(duì)，它可以是通過(guò)無(wú)線802. 11標(biāo)準(zhǔn)，或者任何其它適當(dāng)?shù)倪B網(wǎng)標(biāo)準(zhǔn)提供網(wǎng)絡(luò)連通性的網(wǎng)絡(luò)控制器或網(wǎng)絡(luò)接口卡(NIC)，其它適當(dāng)?shù)倪B網(wǎng)標(biāo)準(zhǔn)比如是局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)，例如增強(qiáng)數(shù)據(jù)速率GSM演進(jìn)(EDGE)網(wǎng)絡(luò)，3G數(shù)據(jù)網(wǎng)絡(luò)或因特網(wǎng)。在一些實(shí)施例中，網(wǎng)絡(luò)設(shè)備M可提供與在線數(shù)字媒體內(nèi)容提供者，比如可從蘋果公司得到的iTunes 音樂服務(wù)的連接。
設(shè)備10的電源沈可包括按非便攜式和便攜式設(shè)置向設(shè)備10供電的能力。例如， 在便攜式設(shè)置中，設(shè)備10可包括向設(shè)備10供電的一個(gè)或多個(gè)電池，比如鋰離子電池。通過(guò)把設(shè)備10連接到外部電源，比如連接到壁裝電源插座，電池可被再充電。在非便攜式設(shè)置中，電源沈可包括被配置成從壁裝電源插座抽取電力，并且向非便攜式電子設(shè)備(比如桌上型計(jì)算系統(tǒng))的各個(gè)組件分配電力的電源單元(PSU)。
顯示器觀可用于顯示設(shè)備10生成的各種圖像，比如操作系統(tǒng)的⑶I，或者圖像處理電路32處理的圖像數(shù)據(jù)(包括靜止圖像和視頻數(shù)據(jù))，如下進(jìn)一步所述。如上所述，圖像數(shù)據(jù)可包括利用成像設(shè)備30獲得的圖像數(shù)據(jù)，或者從存儲(chǔ)器18和/或非易失性存儲(chǔ)設(shè)備20取回的圖像數(shù)據(jù)。顯示器觀可以是任何適當(dāng)類型的顯示器，比如，例如液晶顯示器 (LCD)、等離子體顯示器、或者有機(jī)發(fā)光二極管(OLED)顯示器。另外，如上所述，可以結(jié)合上述觸敏機(jī)構(gòu)(例如，觸摸屏)設(shè)置顯示器觀，所述觸敏機(jī)構(gòu)起電子設(shè)備10的控制界面的一部分的作用。
可以被配置成獲得靜止圖像和運(yùn)動(dòng)圖像(例如視頻)的數(shù)字照相機(jī)的形式，提供CN 102547302 A圖解所示的成像設(shè)備30。照相機(jī)30可包括鏡頭，和被配置成捕捉光并把光轉(zhuǎn)換成電信號(hào)的一個(gè)或多個(gè)圖像傳感器。例如，圖像傳感器可包括CMOS圖像傳感器(例如，CMOS有源像素傳感器(APQ)或者CCD(電荷耦合器件)傳感器。通常，照相機(jī)30中的圖像傳感器包括具有像素陣列的集成電路，其中，每個(gè)像素包括感測(cè)光的光電探測(cè)器。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，成像像素中的光電探測(cè)器通常探測(cè)經(jīng)照相機(jī)鏡頭捕捉的光的強(qiáng)度。不過(guò)，光電探測(cè)器本身通常不能檢測(cè)捕捉的光的波長(zhǎng)，從而不能確定顏色信息。
因此，圖像傳感器還包括覆蓋或者置于圖像傳感器的像素陣列上，以捕捉顏色信息的色彩濾鏡陣列(CFA)。色彩濾鏡陣列可包括微小色彩濾鏡的陣列，每個(gè)色彩濾鏡可重疊在圖像傳感器的相應(yīng)像素上，并按波長(zhǎng)過(guò)濾捕捉的光。從而，當(dāng)結(jié)合使用時(shí)，色彩濾鏡陣列和光電探測(cè)器可提供關(guān)于通過(guò)照相機(jī)捕捉的光的波長(zhǎng)和強(qiáng)度信息，所述光可以代表捕捉的圖像。
在一個(gè)實(shí)施例中，色彩濾鏡陣列可包括Bayer色彩濾鏡陣列，它提供為50 %綠色元素，25%紅色元素和25%藍(lán)色元素的濾波模式。例如，圖2表示Bayer CFA的2X2像素塊，它包括2個(gè)綠色元素(Gr和(ib)、l個(gè)紅色元素(R)和一個(gè)藍(lán)色元素(B)。從而，利用 Bayer色彩濾鏡陣列的圖像傳感器可提供關(guān)于照相機(jī)30在綠色、紅色和藍(lán)色波長(zhǎng)下接收的光的強(qiáng)度有關(guān)的信息，從而每個(gè)圖像像素只記錄三種顏色(RGB)之一。隨后可利用一種或多種去馬賽克技術(shù)處理該信息(可被稱為“原始圖像數(shù)據(jù)”或者“原始域”中的數(shù)據(jù))，以把原始圖像數(shù)據(jù)轉(zhuǎn)換成全色圖像，通常是通過(guò)對(duì)于每個(gè)像素內(nèi)插一組紅色、綠色和藍(lán)色值進(jìn)行的。如下進(jìn)一步所述，這種去馬賽克技術(shù)由圖像處理電路32執(zhí)行。
如上所述，圖像處理電路32可提供各種圖像處理步驟，比如缺陷像素檢測(cè)/校正、 透鏡陰影校正、去馬賽克、圖像銳化、降噪、伽馬校正、圖像增強(qiáng)、顏色空間變換、圖像壓縮、 色度子采樣和圖像比例縮放操作等等。在一些實(shí)施例中，圖像處理電路32可包括各種子組件和/或離散邏輯器單元，所述子組件和/或離散邏輯器單元共同構(gòu)成執(zhí)行各種圖像處理步驟中的每一種的圖像處理“管線”。這些子組件可以利用硬件(例如，數(shù)字信號(hào)處理器或 ASIC)或者軟件實(shí)現(xiàn)，或者借助硬件和軟件組件的組合實(shí)現(xiàn)。圖像處理電路32可提供的各種圖像處理操作，尤其是與缺陷像素檢測(cè)/校正、透鏡陰影校正、去馬賽克和圖像銳化相關(guān)的那些處理操作將在下面更詳細(xì)地說(shuō)明。
在繼續(xù)進(jìn)行說(shuō)明之前，應(yīng)注意，雖然下面說(shuō)明的各種圖像處理技術(shù)的各個(gè)實(shí)施例可利用Bayer CFA，不過(guò)目前公開的技術(shù)并不意圖局限于此。事實(shí)上，本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到這里提供的圖像處理技術(shù)適合于任何適當(dāng)類型的色彩濾鏡陣列，包括RGBW濾鏡、 CYGM濾鏡等等。
重新參見電子設(shè)備10，圖3-6圖解說(shuō)明電子設(shè)備10可以采取的各種形式。如上所述，電子設(shè)備10可以采取計(jì)算機(jī)的形式，包括通常便攜的計(jì)算機(jī)(比如膝上型、筆記本和平板計(jì)算機(jī))，以及通常不便攜的計(jì)算機(jī)(比如桌上型計(jì)算機(jī)、工作站和/或服務(wù)器)，或者其它類型的電子設(shè)備，比如手持便攜式電子設(shè)備(例如，數(shù)字媒體播放器或移動(dòng)電話機(jī))。特別地，圖3和4分別描述呈膝上型計(jì)算機(jī)40和桌上型計(jì)算機(jī)50形式的電子設(shè)備10。圖5 和6分別表示呈手持便攜式設(shè)備60形式的電子設(shè)備10的正視圖和后視圖。
如圖3中所示，描述的膝上型計(jì)算機(jī)40包括機(jī)殼42、顯示器觀、1/0端口 12和輸入結(jié)構(gòu)14。輸入結(jié)構(gòu)14可包括與機(jī)殼42 —體化的鍵盤和觸摸板鼠標(biāo)。另外，輸入結(jié)構(gòu)14可包括各種其它按鈕和/或開關(guān)，所述各種其它按鈕和/或開關(guān)可用于與計(jì)算機(jī)40交互， 比如使計(jì)算機(jī)通電或啟動(dòng)計(jì)算機(jī)，操作GUI或者在計(jì)算機(jī)40上運(yùn)行的應(yīng)用，以及調(diào)整與計(jì)算機(jī)40的操作相關(guān)的各個(gè)其它方面(例如，音量、顯示明度等)。計(jì)算機(jī)40還可包括提供與如上所述的其它設(shè)備的連通性的各種I/O端口 12，比如FireWire 或USB端口、高分辨率多媒體接口(HDMI)端口、或者適合于連接到外部設(shè)備的任何其它類型的端口。另外，如上關(guān)于圖1所述，計(jì)算機(jī)40可包括網(wǎng)絡(luò)連通性(例如，網(wǎng)絡(luò)設(shè)備沈)、存儲(chǔ)器(例如，存儲(chǔ)器 20)，和存儲(chǔ)能力(例如，存儲(chǔ)設(shè)備22)。
此外，在圖解說(shuō)明的實(shí)施例中，膝上型計(jì)算機(jī)40可包括一體式成像設(shè)備30 (例如，照相機(jī))。在其它實(shí)施例中，代替或者除了一體式照相機(jī)30之外，膝上型計(jì)算機(jī)40可以利用連接到一個(gè)或多個(gè)I/O端口 12的外部照相機(jī)(例如，外部USB照相機(jī)或“網(wǎng)絡(luò)照相機(jī)(webcam)”)。例如，外部照相機(jī)可以是可從蘋果公司獲得的iSight 照相機(jī)。照相機(jī)30(不論是一體的，還是外部的)可提供圖像的捕捉和記錄。這樣的圖像隨后可由用戶利用圖像觀看應(yīng)用觀看，或者可被其它應(yīng)用使用，所述其它應(yīng)用包括視頻會(huì)議應(yīng)用(比如 iChat )和圖像編輯 / 觀看應(yīng)用(比如 Photo Booth 、Aperture 、iPhoto 或者Preview )，這些應(yīng)用程序可從蘋果公司獲得。在一些實(shí)施例中，描述的膝上型計(jì)算機(jī)40可以是可從蘋果公司獲得的某種型號(hào)的MacBook 、MacBook Pro, MacBook Air 或者PowerBook 。另外，在一個(gè)實(shí)施例中，計(jì)算機(jī)40可以是便攜式平板計(jì)算設(shè)備，比如也可從蘋果公司獲得的某種型號(hào)的iPad 平板計(jì)算機(jī)。
圖4還圖解說(shuō)明其中以桌上型計(jì)算機(jī)50的形式提供電子設(shè)備10的實(shí)施例。要認(rèn)識(shí)到，桌上型計(jì)算機(jī)50可包括許多大體與圖4中所示的膝上型計(jì)算機(jī)40提供的那些特征類似的特征，不過(guò)可具有通常更大的整體形狀因子。如圖所示，桌上型計(jì)算機(jī)50可被置于外殼42中，所述外殼42包括顯示器觀，以及上面關(guān)于圖1中所示的方框圖討論的各種其它組件。此外，桌上型計(jì)算機(jī)50可包括可以通過(guò)一個(gè)或多個(gè)1/0端口 12(例如，USB)與計(jì)算機(jī)50耦接，或者可以與計(jì)算機(jī)50無(wú)線(例如，RF、藍(lán)牙等)通信的外部鍵盤和鼠標(biāo)(輸入結(jié)構(gòu)14)。桌上型計(jì)算機(jī)50還包括成像設(shè)備30，如上所述，成像設(shè)備30可以是一體式或外部照相機(jī)。在一些實(shí)施例中，描述的桌上型計(jì)算機(jī)50可以是可從蘋果公司獲得的某種型號(hào)的iMac 、Mac mini 或 Mac Pro 。
如圖進(jìn)一步所示，顯示器觀可被配置成生成可由用戶觀看的各種圖像。例如，在計(jì)算機(jī)50的工作期間，顯示器觀可顯示圖形用戶界面(“⑶1”)52，⑶I 52允許用戶與在計(jì)算機(jī)50上運(yùn)行的操作系統(tǒng)和/或應(yīng)用交互。GUI 52可包括可以顯示在整個(gè)或者部分顯示器觀中的各種層、窗口、屏幕、模板或其它圖形元素。例如，在描述的實(shí)施例中，操作系統(tǒng) GUI 52可包括各種圖形圖標(biāo)M，每個(gè)圖形圖標(biāo)M對(duì)應(yīng)于當(dāng)檢測(cè)到用戶選擇(例如，借助鍵盤/鼠標(biāo)或觸摸屏輸入)時(shí)，被打開或執(zhí)行的各種應(yīng)用。圖標(biāo)討可被顯示在塢站(dock) 56 中，或者被顯示在顯示于屏幕上的一個(gè)或多個(gè)圖形窗口元素58內(nèi)。在一些實(shí)施例中，圖標(biāo) 54的選擇可通向分級(jí)導(dǎo)航處理，從而圖標(biāo)M的選擇通向屏幕，或者打開包括一個(gè)或多個(gè)另外的圖標(biāo)或其它GUI元素的另一個(gè)圖形窗口。例如，顯示在圖4中的操作系統(tǒng)GUI 52可以源自可從蘋果公司獲得的某種版本的Mac OS 操作系統(tǒng)。
繼續(xù)參見圖5和6，圖中進(jìn)一步以便攜式手持電子設(shè)備60的形式圖解說(shuō)明了電子設(shè)備10，所述便攜式手持電子設(shè)備60可以是可從蘋果公司獲得的某種型號(hào)的iPod 或iPhone 。在所描述的實(shí)施例中，手持設(shè)備60包括殼體42，殼體42可保護(hù)內(nèi)部組件免受物理?yè)p壞，和屏蔽內(nèi)部組件使其不受電磁干擾的影響。殼體42可以用任何適當(dāng)?shù)牟牧?，或者多種材料的組合構(gòu)成，所述材料比如是塑料、金屬或復(fù)合材料，并且可以允許某些頻率的電磁輻射(比如無(wú)線連網(wǎng)信號(hào))通過(guò)，從而到達(dá)置于殼體42內(nèi)的無(wú)線通信電路(例如，網(wǎng)絡(luò)設(shè)備M)，如圖5中所示。
殼體42還包括各種用戶輸入結(jié)構(gòu)14，通過(guò)用戶輸入結(jié)構(gòu)14，用戶可以與手持設(shè)備 60交互。例如，每個(gè)輸入結(jié)構(gòu)14可被配置成當(dāng)被按下或啟動(dòng)時(shí)，控制一個(gè)或多個(gè)相應(yīng)設(shè)備功能。例如，一個(gè)或多個(gè)輸入結(jié)構(gòu)14可被配置成調(diào)用“主”屏幕，或者要顯示的菜單，在睡眠、喚醒或者通電/斷電模式之間切換，使蜂窩電話機(jī)應(yīng)用的鈴聲靜音，增大或減小音量輸出等等。應(yīng)明白，圖解說(shuō)明的輸入結(jié)構(gòu)14僅僅是例證性的，并且手持設(shè)備60可包括以各種形式(包括按鈕、開關(guān)、按鍵、旋鈕、滾輪等)存在的許多適當(dāng)?shù)挠脩糨斎虢Y(jié)構(gòu)。
如圖5中所示，手持設(shè)備60可包括各種I/O端口 12。例如，描述的I/O端口 12可包括傳送和接收數(shù)據(jù)文件，或者對(duì)電源沈充電的專用連接端口 12a，和使設(shè)備60與音頻輸出設(shè)備(例如，頭戴式收話器或揚(yáng)聲器)連接的音頻連接端口 12b。此外，在手持設(shè)備60提供移動(dòng)電話功能的實(shí)施例中，設(shè)備60可包括接納用戶識(shí)別模塊(SIM)卡(例如，擴(kuò)展卡22) 的 I/O 端口 12c。
顯示器設(shè)備觀(它可以是IXD、OLED或者任何適當(dāng)類型的顯示器)可以顯示手持設(shè)備60生成的各種圖像。例如，顯示器觀可顯示向用戶提供關(guān)于手持設(shè)備60的一個(gè)或多個(gè)狀態(tài)(比如電源狀態(tài)、信號(hào)強(qiáng)度、外部設(shè)備連接等等)的反饋的各種系統(tǒng)指示符64。顯示器還可顯示如下參考圖4所述，允許用戶與設(shè)備60交互的⑶I 52。⑶I 52可包括圖形元素，比如圖標(biāo)54，圖標(biāo)M與當(dāng)檢測(cè)到用戶選擇相應(yīng)圖標(biāo)M時(shí)，可被打開或運(yùn)行的各種應(yīng)用相對(duì)應(yīng)。例如，圖標(biāo)M之一可代表可以結(jié)合照相機(jī)30(圖5中用虛線表示)使用，以便獲得圖像的照相機(jī)應(yīng)用66。簡(jiǎn)要地參見圖6，圖中圖解說(shuō)明了圖5中所示的手持電子設(shè)備60 的后視圖，該圖把照相機(jī)30表示成與機(jī)殼42 —體化，并被置于手持設(shè)備60的背面。
如上所述，利用圖像處理電路32可以處理利用照相機(jī)30獲得的圖像數(shù)據(jù)，圖像處理電路32可包括硬件(例如，置于殼體42內(nèi))和/或保存在設(shè)備60的一個(gè)或多個(gè)存儲(chǔ)器 (例如，存儲(chǔ)器18或非易失性存儲(chǔ)設(shè)備20)上的軟件。利用照相機(jī)應(yīng)用66和照相機(jī)30獲得的圖像可保存在設(shè)備60上(例如，保存在存儲(chǔ)設(shè)備20中)，并且可在稍后利用照片觀看應(yīng)用68觀看。
手持設(shè)備60還可包括各種音頻輸入和輸出部件。例如，由附圖標(biāo)記70表示的音頻輸入/輸出部件可包括輸入接收器，比如一個(gè)或多個(gè)麥克風(fēng)。例如，在手持設(shè)備60包括蜂窩電話功能的情況下，輸入接收器可被配置成接收用戶音頻輸入，比如用戶的話音。另外， 音頻輸入/輸出部件70可包括一個(gè)或多個(gè)輸出發(fā)送器。這樣的輸出發(fā)送器可包括一個(gè)或多個(gè)揚(yáng)聲器，所述揚(yáng)聲器可用于向用戶傳送音頻信號(hào)，比如在利用媒體播放器應(yīng)用72重放音樂數(shù)據(jù)期間。此外，在手持設(shè)備60包括蜂窩電話應(yīng)用的實(shí)施例中，可以設(shè)置另外的音頻輸出發(fā)送器74，如圖5中所示。類似于音頻輸入/輸出部件70的輸出發(fā)送器，輸出發(fā)送器 74也包括被配置成向用戶傳送音頻信號(hào)，比如在電話通話期間接收的話音數(shù)據(jù)的一個(gè)或多個(gè)揚(yáng)聲器。從而，音頻輸入/輸出部件70和74可以一起工作，起電話機(jī)的音頻接收和發(fā)送部件的作用。
在提供了關(guān)于電子設(shè)備10可以采取的各種形式的一些背景的情況下，下面的討論將專注于圖1中描述的圖像處理電路32。如上所述，圖像處理電路32可以利用硬件和/ 或軟件組件實(shí)現(xiàn)，并且可包括定義圖像信號(hào)處理(ISP)管線的各種處理單元。特別地，下面討論將專注于在本公開中陳述的圖像處理技術(shù)的各個(gè)方面，尤其是涉及缺陷像素檢測(cè)/校正技術(shù)、透鏡陰影校正技術(shù)、去馬賽克技術(shù)和圖像銳化技術(shù)的方面。
現(xiàn)在參見圖7，按照目前公開技術(shù)的一個(gè)實(shí)施例，圖解說(shuō)明描述可實(shí)現(xiàn)成圖像處理電路32的一部分的若干功能組件的簡(jiǎn)化高級(jí)方框圖。特別地，圖7意解說(shuō)明按照至少一個(gè)實(shí)施例，圖像數(shù)據(jù)是如何流過(guò)圖像處理電路32的。為了提供圖像處理電路32的概述， 這里參考圖7提供了這些功能組件如何工作以處理圖像數(shù)據(jù)的一般性描述，而每個(gè)圖解說(shuō)明的功能組件的更具體說(shuō)明以及它們相應(yīng)的子組件將在下面進(jìn)一步提供。
參見圖解說(shuō)明的實(shí)施例，圖像處理電路32可以包括圖像信號(hào)處理(ISP)前端處理邏輯器80、ISP管道處理邏輯器82和控制邏輯器84。成像設(shè)備30捕捉的圖像數(shù)據(jù)可以首先由ISP前端邏輯器80處理，并對(duì)其進(jìn)行分析以捕捉可用于確定ISP管道邏輯器82和/或成像設(shè)備30的一個(gè)或多個(gè)控制參數(shù)的圖像統(tǒng)計(jì)信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號(hào)捕捉圖像數(shù)據(jù)。例如，如圖7中所示，成像設(shè)備30可包括具有一個(gè)或多個(gè)透鏡88和圖像傳感器90的照相機(jī)。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個(gè)成像像素捕捉的光強(qiáng)度和波長(zhǎng)信息， 以提供可由ISP前端邏輯器80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可被傳感器接口 94接收，傳感器接口 94接著可基于例如傳感器接口類型把原始圖像數(shù)據(jù)96 提供給ISP前端邏輯器80。例如，傳感器接口 94可以利用標(biāo)準(zhǔn)移動(dòng)成像架構(gòu)(SMIA)接口或者其它串行或并行照相機(jī)接口，或者它們的某種組合。在一些實(shí)施例中，ISP前端邏輯器 80可在它自己的時(shí)鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小和定時(shí)要求不同的圖像傳感器。在一些實(shí)施例中，傳感器接口 94可包括在傳感器側(cè)的子接口(例如，傳感器側(cè)接口)和在ISP前端側(cè)的子接口，所述子接口構(gòu)成傳感器接口 94。
原始圖像數(shù)據(jù)96可被提供給ISP前端邏輯器80，并按多種格式逐個(gè)像素地處理。 例如，每個(gè)圖像像素可具有8、10、12或14比特的位深度。表示在存儲(chǔ)器中如何保存和尋址像素?cái)?shù)據(jù)的存儲(chǔ)格式的各種例子將在下面進(jìn)一步詳細(xì)討論。ISP前端邏輯器80可對(duì)原始圖像數(shù)據(jù)96進(jìn)行一個(gè)或多個(gè)圖像處理操作，以及收集關(guān)于圖像數(shù)據(jù)96的統(tǒng)計(jì)信息?？砂聪嗤虿煌奈簧疃染冗M(jìn)行圖像處理操作，以及統(tǒng)計(jì)數(shù)據(jù)的收集。例如，在一個(gè)實(shí)施例中， 可以14比特的精度進(jìn)行原始圖像像素?cái)?shù)據(jù)96的處理。在這種實(shí)施例中，ISP前端邏輯器 80接收的位深度小于14比特(例如，8比特、10比特、12比特)的原始像素?cái)?shù)據(jù)可被上采樣到14比特，以便進(jìn)行圖像處理。在另一個(gè)實(shí)施例中，可以8比特的精度進(jìn)行統(tǒng)計(jì)處理，從而，具有較高位深度的原始像素?cái)?shù)據(jù)可被下采樣成8比特格式，以供統(tǒng)計(jì)。要認(rèn)識(shí)到，下采樣到8比特可減小硬件尺寸(例如，面積)，還降低關(guān)于統(tǒng)計(jì)數(shù)據(jù)的處理/計(jì)算復(fù)雜性。另外，可在空間上平均原始圖像數(shù)據(jù)，以使統(tǒng)計(jì)數(shù)據(jù)對(duì)噪聲的魯棒性更高。
此外，如圖7中所示，ISP前端邏輯器80還可從存儲(chǔ)器108接收像素?cái)?shù)據(jù)。例如， 如附圖標(biāo)記98所示，原始像素?cái)?shù)據(jù)可從傳感器接口 94被發(fā)送給存儲(chǔ)器108。駐留在存儲(chǔ)器108中的原始像素?cái)?shù)據(jù)隨后可被提供給ISP前端邏輯器80以供處理，如附圖標(biāo)記100所示。存儲(chǔ)器108可以是存儲(chǔ)器裝置18的一部分、存儲(chǔ)設(shè)備20，或者可以是電子設(shè)備10內(nèi)20的獨(dú)立的專用存儲(chǔ)器，并且可包括直接存儲(chǔ)器存取(DMA)特征。此外，在一些實(shí)施例中，ISP 前端邏輯器80可在它自己的時(shí)鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小不同并且具有不同的定時(shí)要求的傳感器。
當(dāng)收到原始圖像數(shù)據(jù)96 (來(lái)自傳感器接口 94)或100 (來(lái)自存儲(chǔ)器108)時(shí)，ISP前端邏輯器80可進(jìn)行一個(gè)或多個(gè)圖像處理操作，比如時(shí)域?yàn)V波和/或箱化補(bǔ)償濾波。處理后的圖像數(shù)據(jù)隨后可被提供給ISP管道邏輯器82 (輸出信號(hào)109)，以便在被顯示(例如，顯示在顯示器設(shè)備觀上)之前進(jìn)行另外的處理，或者可被發(fā)送給存儲(chǔ)器(輸出信號(hào)110)。ISP 管道邏輯器82或者直接從ISP前端邏輯器80接收“前端”處理數(shù)據(jù)，或者從存儲(chǔ)器108接收“前端”處理數(shù)據(jù)(輸入信號(hào)112)，并且可提供原始域中以及RGB和YCbCr顏色空間中的圖像數(shù)據(jù)的其它處理。ISP管道邏輯器82處理的圖像數(shù)據(jù)隨后可被輸出給顯示器觀(信號(hào) 114)，以供用戶觀看和/或可由圖形引擎或GPU進(jìn)一步處理。另外，ISP管道邏輯器82的輸出可被發(fā)送給存儲(chǔ)器108 (信號(hào)11 ，并且顯示器觀可從存儲(chǔ)器108讀取圖像數(shù)據(jù)(信號(hào)116)，在一些實(shí)施例中，存儲(chǔ)器108可被配置成實(shí)現(xiàn)一個(gè)或多個(gè)幀緩沖器。此外，在一些實(shí)現(xiàn)中，ISP管道邏輯器82的輸出可被提供給壓縮/解壓縮引擎118 (信號(hào)117)，以便編碼 /解碼圖像數(shù)據(jù)。編碼的圖像數(shù)據(jù)可被保存，稍后在被顯示在顯示器設(shè)備觀上(信號(hào)119) 之前被解壓縮。例如，壓縮引擎或“編碼器” 118可以是用于編碼靜止圖像的JPEG壓縮引擎、或者編碼視頻圖像的H. 264壓縮引擎、或者它們的某種組合、以及解碼圖像數(shù)據(jù)的對(duì)應(yīng)解壓縮引擎。關(guān)于可在ISP管道邏輯器82中提供的圖像處理操作的額外信息將在下面參考圖98-133更詳細(xì)地討論。另外，應(yīng)注意，ISP管道邏輯器82還可從存儲(chǔ)器108接收原始圖像數(shù)據(jù)，如由輸入信號(hào)112所示。
ISP前端邏輯器80確定的統(tǒng)計(jì)數(shù)據(jù)102可被提供給控制邏輯器單元84。例如，統(tǒng)計(jì)數(shù)據(jù)102可包括涉及自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)聚焦、閃爍檢測(cè)、黑電平補(bǔ)償(BLC)、透鏡陰影校正等等的圖像傳感器統(tǒng)計(jì)信息?？刂七壿嬈?4可包括被配置成執(zhí)行一個(gè)或多個(gè)例程(例如，固件)的處理器和/或微控制器，所述一個(gè)或多個(gè)例程可以被配置成根據(jù)接收的統(tǒng)計(jì)數(shù)據(jù)102，確定成像設(shè)備30的控制參數(shù)104，以及ISP管道邏輯器82的控制參數(shù)106。 例如，控制參數(shù)104可包括傳感器控制參數(shù)(例如，增益、曝光控制的積分時(shí)間)、照相機(jī)閃光控制參數(shù)、透鏡控制參數(shù)(例如，聚焦或變焦用焦距)、或者這些參數(shù)的組合。ISP控制參數(shù)106可包括用于自動(dòng)白平衡和顏色調(diào)整(例如，在RGB處理期間)的增益水平和色彩校正矩陣(CCM)，以及透鏡陰影校正參數(shù)，如下所述，透鏡陰影校正參數(shù)可以是根據(jù)白點(diǎn)平衡參數(shù)確定的。在一些實(shí)施例中，除了分析統(tǒng)計(jì)數(shù)據(jù)102之外，控制邏輯器84還可以分析歷史統(tǒng)計(jì)信息，所述歷史統(tǒng)計(jì)信息可保存在電子設(shè)備10上(例如，保存在存儲(chǔ)器18或存儲(chǔ)設(shè)備20中)。
參見圖解說(shuō)明的實(shí)施例，圖像處理電路32可包括信號(hào)處理(ISP)前端處理邏輯器 80、ISP管道處理邏輯器82和控制邏輯器84。成像設(shè)備30捕捉的圖像數(shù)據(jù)首先可由ISP 前端邏輯器80處理，并被分析以捕捉可用于確定ISP管道邏輯器82和/或成像設(shè)備30的一個(gè)或多個(gè)控制參數(shù)的圖像統(tǒng)計(jì)信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號(hào)中捕捉圖像數(shù)據(jù)。例如，如圖7中所示，成像設(shè)備30可包括具有一個(gè)或多個(gè)透鏡88和圖像傳感器90的照相機(jī)。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個(gè)成像像素捕捉的光強(qiáng)度和波長(zhǎng)信息，以提供可由ISP前端邏輯器80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可被傳感器接口 94接收，傳感器接口 94隨后把原始圖像數(shù)據(jù)96提供給基于例如傳感器接口類型的ISP 前端邏輯器80。例如，傳感器接口 94可以利用標(biāo)準(zhǔn)移動(dòng)成像架構(gòu)(SMIA)接口，或者其它串行或并行照相機(jī)接口，或者它們的某種組合。在一些實(shí)施例中，ISP前端邏輯器80可在它自己的時(shí)鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小和定時(shí)要求不同的圖像傳感器。
圖8表示描述圖像處理電路32的另一個(gè)實(shí)施例的方框圖，其中，相同的組件用相同的附圖標(biāo)記表示。一般來(lái)說(shuō)，圖8的圖像處理電路32的操作和功能與圖7的圖像處理電路32類似，除了圖8中所示的實(shí)施例還包括ISP后端處理邏輯器單元120之外，ISP后端處理邏輯器單元120可耦接在ISP管線82的下游并且提供另外的后處理步驟。
在圖解說(shuō)明的實(shí)施例中，ISP后端邏輯器120可從ISP管線82接收輸出114，并對(duì)接收的數(shù)據(jù)114進(jìn)行后處理。另外，ISP后端120可直接從存儲(chǔ)器108接收?qǐng)D像數(shù)據(jù)，如輸入IM所示。如下參考圖134-142進(jìn)一步所述，ISP后端邏輯器120的一個(gè)實(shí)施例可提供圖像數(shù)據(jù)的動(dòng)態(tài)范圍壓縮(通常稱為“色調(diào)映射”)、明度、對(duì)比度和顏色調(diào)整、以及把圖像數(shù)據(jù)比例縮放到期望的尺寸或分辨率(例如，根據(jù)輸出顯示器設(shè)備的分辨率)的比例縮放邏輯器。此外，ISP后端邏輯器120還可包括檢測(cè)圖像數(shù)據(jù)中的某些特征的特征檢測(cè)邏輯器。 例如，在一個(gè)實(shí)施例中，特征檢測(cè)邏輯器可包括被配置成識(shí)別圖像數(shù)據(jù)內(nèi)，面部和/或面部特征位于和/或置于的區(qū)域的面部檢測(cè)邏輯器。面部檢測(cè)數(shù)據(jù)可被提供給前端統(tǒng)計(jì)信息處理單元，作為用于確定自動(dòng)白平衡、自動(dòng)聚焦、閃爍和自動(dòng)曝光統(tǒng)計(jì)信息的反饋數(shù)據(jù)。例如， ISP前端80中的統(tǒng)計(jì)信息處理單元(下面在圖68-97中更詳細(xì)地討論)可被配置成根據(jù)確定的圖像數(shù)據(jù)中的面部和/或面部特征的位置，選擇用于統(tǒng)計(jì)信息處理的窗口。
在一些實(shí)施例中，代替或者除了被反饋給ISP前端統(tǒng)計(jì)信息反饋控制回路之外， 面部檢測(cè)數(shù)據(jù)也可被提供給局部色調(diào)映射處理邏輯器、ISP后端統(tǒng)計(jì)信息單元、或者編碼器 /解碼器單元118中至少之一。如下進(jìn)一步所述，提供給后端統(tǒng)計(jì)信息單元的面部檢測(cè)數(shù)據(jù)可被用于控制量化參數(shù)。例如，當(dāng)編碼或壓縮輸出圖像數(shù)據(jù)(例如，在宏塊中)時(shí)，對(duì)于圖像的已確定為包括面部和/或面部特征的區(qū)域，可以減少量化，從而當(dāng)用戶顯示和觀看圖像時(shí)，提高面部和面部特征的視覺質(zhì)量。
在其它實(shí)施例中，特征檢測(cè)邏輯器還可被配置成檢測(cè)圖像幀中的對(duì)象的角落的位置。該數(shù)據(jù)可用于識(shí)別連續(xù)圖像幀中的特征的位置，以確定各幀之間的全局運(yùn)動(dòng)的估計(jì)，這可用于進(jìn)行某些圖像處理操作，比如圖像配準(zhǔn)。在一個(gè)實(shí)施例中，角落特征等的識(shí)別可能對(duì)于組合多個(gè)圖像幀的算法(比如某些高動(dòng)態(tài)范圍(HDR)成像算法，以及某些全景拼接算法) 特別有用。
此外，如圖8中所示，ISP后端邏輯器120處理的圖像數(shù)據(jù)可被輸出給顯示器設(shè)備 28(信號(hào)126)，以供用戶觀看，和/或可被圖形引擎或GPU進(jìn)一步處理。另外，ISP后端邏輯器120的輸出可被發(fā)送給存儲(chǔ)器108 (信號(hào)12 ，并且顯示器觀可從存儲(chǔ)器108讀取圖像數(shù)據(jù)(信號(hào)116)，在一些實(shí)施例中，存儲(chǔ)器108可被配置成實(shí)現(xiàn)一個(gè)或多個(gè)幀緩沖器。在圖解說(shuō)明的實(shí)施例中，ISP后端邏輯器120的輸出還可被提供給壓縮/解壓縮引擎118 (信號(hào)117)，以編碼/解碼圖像數(shù)據(jù)，供存儲(chǔ)和隨后重放之用，如上面大體在圖7中所述。在其它實(shí)施例中，圖8的ISB子系統(tǒng)32可具有旁路ISP后端處理單元120的選項(xiàng)。在這樣的實(shí)施例中，如果后端處理單元120被旁路，那么圖8的ISP子系統(tǒng)32可按照和圖7中所示類似的方式工作，即，ISP管線82的輸出被直接/間接發(fā)送到存儲(chǔ)器108、編碼器/解碼器118 或顯示器觀中的一個(gè)或多個(gè)。
在圖7和圖8中所示的實(shí)施例中描述的圖像處理技術(shù)可大體利用圖9中的流程圖中描述的方法130概述。如圖所示，方法130始于方框132，在方框132，利用傳感器接口， 從圖像傳感器(例如，90)接收原始圖像數(shù)據(jù)(例如，Bayer模式數(shù)據(jù))。在方框134，利用 ISP前端邏輯器80處理在步驟132接收的原始圖像數(shù)據(jù)。如上所述，ISP前端邏輯器80可被配置成應(yīng)用時(shí)域?yàn)V波、箱化補(bǔ)償濾波。隨后在步驟136，ISP前端邏輯器80處理的原始圖像數(shù)據(jù)可被ISP管線82進(jìn)一步處理，ISP管線82可進(jìn)行各種處理步驟，以把原始圖像數(shù)據(jù)去馬賽克成全色RGB數(shù)據(jù)，并且進(jìn)一步把RGB顏色數(shù)據(jù)轉(zhuǎn)換到Y(jié)UV或YC1C2顏色空間(其中Cl和C2代表不同的色度差顏色，其中，在一個(gè)實(shí)施例中，Cl和C2可代表藍(lán)色色差(Cb) 和紅色色差(Cr)色度)。
從步驟136，方法130可以繼續(xù)到步驟138，或者繼續(xù)到步驟140。例如，在ISP管線82的輸出被提供給顯示器設(shè)備觀的實(shí)施例(圖7)中，方法130繼續(xù)到步驟140，在步驟 140，利用顯示器設(shè)備觀顯示YC1C2圖像數(shù)據(jù)(或者把YC1C2圖像數(shù)據(jù)從ISP管線82發(fā)送給存儲(chǔ)器108)。另一方面，在用ISP后端單元120對(duì)ISP管線82的輸出進(jìn)行后處理的實(shí)施例(圖8)中，方法130可從步驟136繼續(xù)到步驟138，在步驟138，利用ISP后端處理邏輯器120處理ISP管線182的YC1C2輸出，隨后在步驟140用顯示器設(shè)備顯示。
由于這里所示的圖像處理電路32的一般復(fù)雜的設(shè)計(jì)，有益的是把ISP前端邏輯器 80、ISP管道處理邏輯器82 (或ISP管線)和ISP后端處理邏輯器120的討論分成多個(gè)獨(dú)立的部分，如下所示。特別地，本申請(qǐng)的圖10-97可以涉及ISP前端邏輯器80的各個(gè)實(shí)施例和各個(gè)方面的討論，本申請(qǐng)的圖98-133可以涉及ISP管道處理邏輯器82的各個(gè)實(shí)施例和各個(gè)方面的討論，圖134-142可以涉及ISP后端邏輯器120的各個(gè)實(shí)施例和各個(gè)方面的討論。
ISP前端處理邏輯器
圖10是按照一個(gè)實(shí)施例，更詳細(xì)地表示可在ISP前端邏輯器80中實(shí)現(xiàn)的功能邏輯器塊的方框圖?；诔上裨O(shè)備30和/或傳感器接口 94的結(jié)構(gòu)，如上在圖7中所述，原始圖像數(shù)據(jù)可由一個(gè)或多個(gè)圖像傳感器90提供給ISP前端邏輯器80。在描述的實(shí)施例中， 原始圖像數(shù)據(jù)可由第一圖像傳感器90a(knSor0)和第二圖像傳感器90b(knsOrl)提供給 ISP前端邏輯器80。如下進(jìn)一步所述，每個(gè)圖像傳感器90a和90b可被配置成對(duì)全分辨率圖像數(shù)據(jù)應(yīng)用箱化，以便提高圖像信號(hào)的信噪比。例如，可以應(yīng)用諸如2X2箱化之類的箱化技術(shù)，所述箱化技術(shù)可以內(nèi)插以相同顏色的4個(gè)全分辨率圖像像素為基礎(chǔ)的“箱化的”原始圖像像素。在一個(gè)實(shí)施例中，這會(huì)導(dǎo)致相對(duì)于單個(gè)噪聲分量，存在與箱化的像素相關(guān)的4個(gè)累積信號(hào)分量，從而提高圖像數(shù)據(jù)的信噪比，不過(guò)降低總分辨率。另外，箱化還會(huì)可能導(dǎo)致圖像數(shù)據(jù)的不均勻或不一致的空間采樣，這可利用箱化補(bǔ)償濾波來(lái)校正，如下更詳細(xì)所述。
如圖所示，圖像傳感器90a和90b可分別提供作為信號(hào)SifO和Sifl的原始圖像數(shù)據(jù)。每個(gè)圖像傳感器90a和90b可大體與相應(yīng)的統(tǒng)計(jì)信息處理單元142 (StatsPipeO) 和 144 (StatsPipel)關(guān)聯(lián)，統(tǒng)計(jì)信息處理單元 142 (StatsPipeO)和 144 (StatsPipel)可被配置成處理圖像數(shù)據(jù)，以確定一組或多組統(tǒng)計(jì)信息(如信號(hào)MatsO和Matsl所示)，包括與自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)聚焦、閃爍檢測(cè)、黑電平補(bǔ)償和透鏡陰影校正等等相關(guān)的統(tǒng)計(jì)信息。在一些實(shí)施例中，當(dāng)只有傳感器90a或90b之一在有效地獲取圖像時(shí)，如果需要另外的統(tǒng)計(jì)信息，那么圖像數(shù)據(jù)可被發(fā)給MatsPipeO和MatsPipel。例如，舉例來(lái)說(shuō)，如果MatsPipeO和MatsPipel都可用，那么可以利用MatsPipeO收集一個(gè)顏色空間(例如 RGB)的統(tǒng)計(jì)信息，并且利用MatsPipel收集另一個(gè)顏色空間(例如，YUV或YCbCr)的統(tǒng)計(jì)信息。即，統(tǒng)計(jì)信息處理單元142和144可以并行工作，以收集有效傳感器獲得的圖像數(shù)據(jù)的每一幀的多組統(tǒng)計(jì)信息。
在本實(shí)施例中，在ISP前端80中提供5個(gè)異步數(shù)據(jù)源。這些包括(1)來(lái)自對(duì)應(yīng)于knsOr0(90a)的傳感器接口的直接輸入(稱為SifO或knsO)，(2)來(lái)自對(duì)應(yīng)于 Sensorl (90b)的傳感器接口的直接輸入(稱為Sif 1或knsl)，(3)來(lái)自存儲(chǔ)器108的 SensorO數(shù)據(jù)輸入(稱為SifInO或knsODMA)，存儲(chǔ)器108可包括DMA接口，(4)來(lái)自存儲(chǔ)器108的Sensorl數(shù)據(jù)輸入(稱為SifInO或knslDMA)，和(5)具有來(lái)自從存儲(chǔ)器108取回的knsorO和Sensorl數(shù)據(jù)輸入的各幀的一組圖像數(shù)據(jù)(稱為!^eProch或ProcInDMA)。 ISP前端80還可包括來(lái)自多個(gè)源的圖像數(shù)據(jù)可被發(fā)送到的多個(gè)目的地，其中，每個(gè)目的地可以是存儲(chǔ)器(例如，108)中的存儲(chǔ)位置，或者是處理單元。例如，在本實(shí)施例中，ISP前端80包括6個(gè)目的地(1)接收存儲(chǔ)器108中的SensorO數(shù)據(jù)的SifODMA，(2)接收存儲(chǔ)器 108中的Sensorl數(shù)據(jù)的SiflDMA, (3)第一統(tǒng)計(jì)信息處理單元142 (StatsPipeO)，(4)第二統(tǒng)計(jì)信息處理單元144 (MatsPipel)，(5)前端像素處理單元(FEProc) 150, ^P (6)到存儲(chǔ)器108或ISP管線82的!^eOut (或FEftOcOut)(下面更詳細(xì)討論)。在一個(gè)實(shí)施例中，ISP前端80可被配置成使得只有某些目的地對(duì)于特定數(shù)據(jù)源有效，如下面的表1中所示。
SIfODMASIflDMAStatsPipeOStatsPipelFEProcFEOutSensOXXXXXSenslXXXXXSensODMAXSenslDMAXProcInDMAXX
表1每個(gè)源的ISP前端有效目的地的例子
例如，按照表1，源SensO (SensorO的傳感器接口 )可被配置成把數(shù)據(jù)提供給目的地 SIf ODMA (信號(hào) 154)、MatsPipeO(信號(hào) 156)、MatsPipel (信號(hào) 158)、FEProc (信號(hào)160)或FEOut (信號(hào)16 。對(duì)于FEOut，在一些情況下，源數(shù)據(jù)可被提供給FEOut，從而利用FEftOC繞開比如用于調(diào)試或測(cè)試目的的像素處理。另外，源knsl (Sensorl的傳感器接口)可被配置成把數(shù)據(jù)提供給目的地SIflDMA (信號(hào)164)、StatsPipeO (信號(hào)166)、 StatsPipel (信號(hào) 168)、FEftx)c (信號(hào) 170)或 FEOut (信號(hào) 172)，源 knsODMA (來(lái)自存儲(chǔ)器 108的SensorO數(shù)據(jù))可被配置成把數(shù)據(jù)提供給MatsPipeO (信號(hào)174)，源knslDMA (來(lái)自存儲(chǔ)器108的Sensorl數(shù)據(jù))可被配置成把數(shù)據(jù)提供給MatsPipel (信號(hào)176)，并且源ftOchDMA (來(lái)自存儲(chǔ)器108的SensorO和Sensorl數(shù)據(jù))可被配置成把數(shù)據(jù)提供給 FEProc (信號(hào) 178)和 FEOut (信號(hào) 182)。
應(yīng)注意，目前舉例說(shuō)明的實(shí)施例被配置成使得％11800·(來(lái)自存儲(chǔ)器108的 SensorO幀)和SenslDMA (來(lái)自存儲(chǔ)器108的Sensorl幀)只分別被提供給StatsPipeO和 StatesPipel0這種結(jié)構(gòu)允許ISP前端80把一定數(shù)目的在先幀(例如，5個(gè)幀)保留在存儲(chǔ)器中。例如，由于用戶發(fā)起利用圖像傳感器的捕捉事件(例如，使圖像系統(tǒng)從預(yù)覽模式轉(zhuǎn)變到捕捉或記錄模式，或者甚至只是開啟或初始化圖像傳感器)的時(shí)間到捕捉圖像場(chǎng)景的時(shí)間之間的延遲或滯后，并不是用戶意圖拍攝的每一幀都可以被拍攝和基本實(shí)時(shí)地處理。從而，通過(guò)在存儲(chǔ)器108中保留一定數(shù)目的在先幀(例如，來(lái)自預(yù)覽階段)，可在響應(yīng)捕捉事件實(shí)際拍攝的各幀之后或者并排地處理這些在先幀，從而補(bǔ)償任何這樣的滯后，并提供更完整的一組圖像數(shù)據(jù)。
就圖10的圖解說(shuō)明的結(jié)構(gòu)來(lái)說(shuō)，應(yīng)注意MatSPipe0142被配置成接收由選擇邏輯器146，比如多路復(fù)用器，確定的輸入156(來(lái)自SensO)、166(來(lái)自Sensl)和174(來(lái)自 SensODMA)之一。類似地，選擇邏輯器148可以從信號(hào)158、176和168中選擇輸出以提供給 MatsPipel，選擇邏輯器152可從信號(hào)160、170和178中選擇輸入以提供給FEftx)C。如上所述，統(tǒng)計(jì)數(shù)據(jù)可被提供給控制邏輯器84，以便確定可用于操作成像設(shè)備30和/或ISP管道處理邏輯器82的各種控制參數(shù)。可認(rèn)識(shí)到，圖10中所示的選擇邏輯器塊(146、148和15 可由任何適當(dāng)類型的邏輯器提供，所述邏輯器比如是響應(yīng)控制信號(hào)選擇多個(gè)輸入信號(hào)之一的多路復(fù)用器。
像素處理單元(FEftOC) 150可被配置成逐個(gè)像素地對(duì)原始圖像數(shù)據(jù)進(jìn)行各種圖像處理操作。如圖所示，作為目的地處理單元的FEftOC 150可通過(guò)選擇邏輯器152從源 knsO (信號(hào)160)、SenSl (信號(hào)170)或ftxx^nDMA(信號(hào)178)接收?qǐng)D像數(shù)據(jù)。當(dāng)進(jìn)行像素處理操作時(shí)，F(xiàn)Eft~OC150還可接收和輸出各種信號(hào)(例如，可代表在時(shí)域?yàn)V波期間使用的運(yùn)動(dòng)歷史和亮度數(shù)據(jù)的RiruHiruHout和^ut)，所述像素處理操作可包括時(shí)域?yàn)V波和箱化補(bǔ)償濾波，如下進(jìn)一步所述。像素處理單元150的輸出109 (FEftOcOut)隨后可比如借助一個(gè)或多個(gè)先入先出(FIFO)隊(duì)列被轉(zhuǎn)發(fā)給ISP管道邏輯器82，或者可被發(fā)送給存儲(chǔ)器108。
此外，如圖10中所示，除了接收信號(hào)160、170和178之外，選擇邏輯器152還可接收信號(hào)180和184。信號(hào)180可代表來(lái)自MatsPipeO的“預(yù)處理”原始圖像數(shù)據(jù)，信號(hào)184 可代表來(lái)自MatsPipel的“預(yù)處理”原始圖像數(shù)據(jù)。如下所述，在收集統(tǒng)計(jì)信息之前，每個(gè)統(tǒng)計(jì)信息處理單元可對(duì)原始圖像數(shù)據(jù)應(yīng)用一個(gè)或多個(gè)預(yù)處理操作。在一個(gè)實(shí)施例中，每個(gè)統(tǒng)計(jì)信息處理單元可進(jìn)行一定程度的缺陷像素檢測(cè)/校正、透鏡陰影校正、黑電平補(bǔ)償和逆黑電平補(bǔ)償。從而，信號(hào)180和184可代表已利用上述預(yù)處理操作處理的原始圖像數(shù)據(jù)(如下在圖68中更詳細(xì)所述)。從而，選擇邏輯器152賦予ISP前端處理邏輯器80提供來(lái)自knsorO (信號(hào)160)和knsorl (信號(hào)170)的未預(yù)處理的原始圖像數(shù)據(jù)，或者來(lái)自 StatsPipeO (信號(hào)180)和StatsPipel (信號(hào)184)的預(yù)處理的原始圖像數(shù)據(jù)的靈活性。另外，如選擇邏輯器單元186和188所示，ISP前端處理邏輯器80還具有把來(lái)自SensorO (信號(hào)154)或％11801~1(信號(hào)164)的未預(yù)處理的原始圖像數(shù)據(jù)寫入存儲(chǔ)器108中，或者把來(lái)自 MatsPipeO (信號(hào)180)或MatsPipel (信號(hào)184)的預(yù)處理的原始圖像數(shù)據(jù)寫入存儲(chǔ)器108中的靈活性。為了控制ISP前端邏輯器80的操作，設(shè)置前端控制單元190。控制單元190可被配置成初始化和程控用于配置和啟動(dòng)圖像幀的處理的寄存器(這里稱為“執(zhí)行(go)寄存器”)，和選擇用于更新雙緩沖數(shù)據(jù)寄存器的一個(gè)或多個(gè)適當(dāng)寄存器組。在一些實(shí)施例中，控制單元190還可提供記錄時(shí)鐘周期、存儲(chǔ)器等待時(shí)間和服務(wù)質(zhì)量(Q0Q信息的性能監(jiān)視邏輯器。此外，控制單元190還可控制動(dòng)態(tài)時(shí)鐘門控，當(dāng)在來(lái)自有源傳感器的輸入隊(duì)列中不存在足夠的數(shù)據(jù)時(shí)，動(dòng)態(tài)時(shí)鐘門控可被用于禁用關(guān)于ISP前端80的一個(gè)或多個(gè)部分的時(shí)鐘。通過(guò)利用上述“執(zhí)行寄存器”，控制單元190能夠控制每個(gè)處理單元(例如， StatsPipeO,StatsPipel和FEftx)C)的各個(gè)參數(shù)的更新，并且可與傳感器接口對(duì)接，以控制處理單元的啟動(dòng)和停止。通常，每個(gè)前端處理單元逐幀地工作。如上所述(表1)，處理單元的輸入可以來(lái)自傳感器接口(SensO或kns 1)，或者來(lái)自存儲(chǔ)器108。此外，處理單元可以利用保存在對(duì)應(yīng)的數(shù)據(jù)寄存器中的各種參數(shù)和配置數(shù)據(jù)。在一個(gè)實(shí)施例中，與每個(gè)處理單元或目的地相關(guān)的數(shù)據(jù)寄存器可被分成構(gòu)成寄存器組分組的多個(gè)塊。在圖10的實(shí)施例中，在 ISP 前端中可以定義 7 個(gè)寄存器組分組SIfO、SIfU StatsPipeO、StatsPipeU ProcPipe、 FEOut和ftOch。每個(gè)寄存器塊地址空間被復(fù)制，以提供兩個(gè)寄存器組。在第二個(gè)寄存器組中只實(shí)例化被雙緩沖的寄存器。如果寄存器未被雙緩沖，那么第二個(gè)寄存器組中的地址可被映射到第一個(gè)寄存器組中的相同寄存器的地址。對(duì)被雙緩沖的寄存器來(lái)說(shuō)，一個(gè)寄存器組的寄存器被激活，并且被處理單元使用，而另一個(gè)寄存器組的寄存器被遮蔽(shadowed)。在硬件在使用激活的寄存器的時(shí)候，在當(dāng)前幀間隔內(nèi)，控制單元190可更新遮蔽的寄存器。在特定幀，關(guān)于哪個(gè)寄存器組用于特定處理單元的確定可由與向該處理單元提供圖像數(shù)據(jù)的源對(duì)應(yīng)的執(zhí)行寄存器中的 "NextBk"(下一個(gè)寄存器組)字段指定。本質(zhì)上，Nextm^是允許控制單元190控制關(guān)于下一幀的觸發(fā)事件，哪個(gè)寄存器組變得激活的字段。在詳細(xì)討論執(zhí)行寄存器的操作之前，圖11提供按照本發(fā)明的技術(shù)，逐幀地處理圖像數(shù)據(jù)的一般方法200。從步驟202開始，被數(shù)據(jù)源(例如，SensO, SensU SensODMA, SenslDMA或ftxx^nDMA)作為目標(biāo)的目的地處理單元進(jìn)入空閑狀態(tài)。這可以指示關(guān)于當(dāng)前幀的處理已完成，于是，控制單元190可準(zhǔn)備處理下一幀。例如，在步驟204，每個(gè)目的地處理單元的可編程參數(shù)被更新。這可包括，例如，更新與源對(duì)應(yīng)的執(zhí)行寄存器中的Nextm^字段，以及更新與目的地單元對(duì)應(yīng)的數(shù)據(jù)寄存器中的任何參數(shù)。之后，在步驟206，觸發(fā)事件可以使目的地單元進(jìn)入運(yùn)行狀態(tài)。此外，如在步驟208所示，被源作為目標(biāo)的每個(gè)目的地單元完成其關(guān)于當(dāng)前幀的處理操作，方法200隨后可返回步驟202，以便處理下一幀。圖12描述表示ISP前端的各個(gè)目的地單元可使用的兩個(gè)數(shù)據(jù)寄存器組210和212 的方框圖。例如，BankO (210)可包括數(shù)據(jù)寄存器1-n (210a-210d), Bankl (212)可包括數(shù)據(jù)寄存器l-r^212a-212d)。如上所述，圖10中所示的實(shí)施例可利用具有7個(gè)寄存器組分組(例如，SIfO, SIfU StatsPipeO, StatsPipeU ProcPipe、FEOut 和 Proch)的寄存器組 (BankO)。從而，在這樣的實(shí)施例中，每個(gè)寄存器的寄存器塊地址空間被復(fù)制，以提供第二寄存器組(Bankl)。圖12還圖解說(shuō)明對(duì)應(yīng)于多個(gè)源之一的執(zhí)行寄存器214。如圖所示，執(zhí)行寄存器214 包括“NextVld”字段216和上述“NextBk”字段218。這些字段可在開始當(dāng)前幀的處理之前被編程。特別地，NextVld指示來(lái)自數(shù)據(jù)源的數(shù)據(jù)將被發(fā)送到的目的地。如上所述，NextBk 可為用NextVld指示的每個(gè)目標(biāo)目的地，從BankO或Bankl中選擇對(duì)應(yīng)的數(shù)據(jù)寄存器。盡管圖12中未示出，不過(guò)，執(zhí)行寄存器214還可包括可被設(shè)定以使執(zhí)行寄存器作好準(zhǔn)備的準(zhǔn)備 (arming)比特(這里稱為“執(zhí)行比特”)。當(dāng)檢測(cè)到關(guān)于當(dāng)前幀的觸發(fā)事件226時(shí)，NextVld 和Nextmc可被復(fù)制到對(duì)應(yīng)的當(dāng)前或“激活”寄存器220的CurrVld字段222和Curi^k字段224中。在一個(gè)實(shí)施例中，一個(gè)或多個(gè)當(dāng)前寄存器220可以是可由硬件設(shè)定的只讀寄存器，同時(shí)保持對(duì)于ISP前端80內(nèi)的軟件指令不可訪問(wèn)。應(yīng)理解，對(duì)于每個(gè)ISP前端源，可以提供對(duì)應(yīng)的執(zhí)行寄存器。對(duì)本公開來(lái)說(shuō)，對(duì)應(yīng)于上述源knsO、Sensl、SensODMA、SenslDMA和ProcInDMA的執(zhí)行寄存器可分別被稱為 SensOGo, SenslGo, SensODMAGo, SenslDMAGo 和 ProcInDMAGo。如上所述，控制單元可利用執(zhí)行寄存器控制ISP前端80內(nèi)的幀處理的排序。每個(gè)執(zhí)行寄存器包含分別指示對(duì)于下一幀，哪些目的地有效和哪個(gè)寄存器組(O或1)將被使用的NextVld字段和Nextm^字段。當(dāng)發(fā)生下一幀的觸發(fā)事件226時(shí)，NextVld和Nex^k字段被復(fù)制到指示當(dāng)前有效目的地和寄存器組編號(hào)的對(duì)應(yīng)激活只讀寄存器220，如上在圖12中所示。每個(gè)源可被配置成異步工作， 并且能夠把數(shù)據(jù)發(fā)給它的任意有效目的地。此外，應(yīng)明白，對(duì)于每個(gè)目的地，在當(dāng)前幀期間， 通常只有一個(gè)源可以是激活的。就執(zhí)行寄存器214的準(zhǔn)備和觸發(fā)來(lái)說(shuō)，確認(rèn)執(zhí)行寄存器214中的準(zhǔn)備比特或“執(zhí)行比特”借助相關(guān)聯(lián)的NextVld和Nextm^字段使對(duì)應(yīng)數(shù)據(jù)源作好準(zhǔn)備。對(duì)于觸發(fā)，基于源輸入數(shù)據(jù)是讀取自存儲(chǔ)器(例如，SensODMA、SenslDMA或ftOchDMA)，還是來(lái)自傳感器接口 (例如，361180或％1181)存在各種模式。例如，如果所述輸入來(lái)自存儲(chǔ)器108，那么使執(zhí)行比特本身作好準(zhǔn)備可充當(dāng)觸發(fā)事件，因?yàn)榭刂茊卧?90能控制從存儲(chǔ)器108讀取數(shù)據(jù)的時(shí)間。如果傳感器接口正在輸入圖像幀，那么觸發(fā)事件可取決于相對(duì)于從傳感器接口接收數(shù)據(jù)的時(shí)間，使對(duì)應(yīng)的執(zhí)行寄存器作好準(zhǔn)備的定時(shí)。按照本實(shí)施例，圖13-15中表示了根據(jù)傳感器接口輸入觸發(fā)定時(shí)的三種不同技術(shù)。首先參見圖13，圖中舉例說(shuō)明了第一種情形，其中，一旦被源作為目標(biāo)的所有目的地從忙或運(yùn)行狀態(tài)轉(zhuǎn)變成空閑狀態(tài)，就發(fā)生觸發(fā)。這里，數(shù)據(jù)信號(hào)VVALID (228)代表來(lái)自源的圖像數(shù)據(jù)信號(hào)。脈沖230代表圖像數(shù)據(jù)的當(dāng)前幀，脈沖236代表圖像數(shù)據(jù)的下一幀，間隔 232代表垂直消隱間隔(VBLANK) 232 (例如，代表當(dāng)前幀230的最后一行和下一幀236之間的時(shí)間差)。脈沖230的上升沿和下降沿之間的時(shí)間差代表幀間隔234。從而，在圖13中， 源可被配置成當(dāng)所有目標(biāo)目的地都已完成對(duì)當(dāng)前幀230的處理操作，并轉(zhuǎn)變成空閑狀態(tài)時(shí)進(jìn)行觸發(fā)。在這種情形下，在目的地完成處理之前，使源作好準(zhǔn)備(例如，通過(guò)設(shè)定準(zhǔn)備或 “執(zhí)行”比特)，以致一旦目標(biāo)目的地變得空閑，源就能夠觸發(fā)和開始下一幀236的處理。在垂直消隱間隔232期間，在傳感器輸入數(shù)據(jù)到達(dá)之前，可以利用由與源對(duì)應(yīng)的執(zhí)行寄存器指定的寄存器組，為下一幀236設(shè)置和配置處理單元。例如，在下一幀236到達(dá)之前，可以填充由FEftOC 150使用的讀取緩沖器。在這種情況下，在觸發(fā)事件之后，可以更新與激活寄存器組對(duì)應(yīng)的遮蔽寄存器，從而允許全幀間隔為下一幀(例如，在幀236之后)設(shè)置雙緩沖寄存器。圖14圖解說(shuō)明第二種情形，其中，通過(guò)使與源對(duì)應(yīng)的執(zhí)行寄存器中的執(zhí)行比特作好準(zhǔn)備來(lái)觸發(fā)源。在這種“執(zhí)行時(shí)觸發(fā)(trigger-on-go)”配置中，被源作為目標(biāo)的目的地單元已空閑，并且使執(zhí)行比特作好準(zhǔn)備是觸發(fā)事件。這種觸發(fā)模式可用于未被雙緩沖，于是在垂直消隱期間被更新的寄存器(例如，與在幀間隔234期間更新雙緩沖遮蔽寄存器相反)。圖15圖解說(shuō)明第三種觸發(fā)模式，其中，當(dāng)檢測(cè)到下一幀的開始，即，上升的VSYNC 時(shí)，觸發(fā)數(shù)據(jù)源。不過(guò)應(yīng)注意，在這種模式下，如果在下一幀236已開始處理之后，執(zhí)行寄存器作好了準(zhǔn)備(通過(guò)設(shè)置執(zhí)行比特)，那么源將使用對(duì)應(yīng)于前一幀的目標(biāo)目的地和寄存器組，因?yàn)樵谀康牡亻_始處理之前，CurrVld和Cun^k字段未被更新。這未給設(shè)置目的地處理單元留下任何垂直消隱間隔，并且可能潛在地導(dǎo)致掉幀，尤其是當(dāng)以雙傳感器模式工作時(shí)。不過(guò)應(yīng)注意，如果圖像處理電路32在按照對(duì)每一幀都使用相同寄存器組的單傳感器模式(例如，目的地(NextVld)和寄存器組(NextBk)不變化)工作，那么這種模式仍然可產(chǎn)生精確的操作?，F(xiàn)在參見圖16，圖中更詳細(xì)地圖解說(shuō)明控制寄存器(或者“執(zhí)行寄存器”)214。執(zhí)行寄存器214包括作好準(zhǔn)備的“執(zhí)行”比特238，以及NextVld字段216和NextBk字段218。 如上所述，ISP 前端 80 的每個(gè)源(例如，knsO Jensl JensODMA JenslDMA 或 ProcInDMA) 可具有對(duì)應(yīng)的執(zhí)行寄存器214。在一個(gè)實(shí)施例中，執(zhí)行比特238可以是單比特字段，通過(guò)把執(zhí)行比特238設(shè)為1，可使執(zhí)行寄存器214作好準(zhǔn)備。NextVld字段216可包含與ISP前端 80的目的地的數(shù)目相對(duì)應(yīng)的多個(gè)比特。例如，在圖10中所示的實(shí)施例中，ISP前端包括6 個(gè)目的地SifODMA、SiflDMA、StatsPipeO, StatsPipeUFEProc 和 FEOut。從而，執(zhí)行寄存器214可在NextVld字段216中包括6個(gè)比特，一個(gè)比特對(duì)應(yīng)于一個(gè)目的地，并且其中目標(biāo)目的地被設(shè)定為1。類似地，NextBk字段218可包含與ISP前端80中的數(shù)據(jù)寄存器的數(shù)目對(duì)應(yīng)的多個(gè)比特。例如，如上所述，圖10中所示的ISP前端80的實(shí)施例可包括7個(gè)數(shù)據(jù)寄存器:SIfO> SIfU StatsPipeO、StatsPipeU ProcPipe、FEOut 禾Π Procln。從而，NextBk 字段218可包括7個(gè)比特，一個(gè)比特對(duì)應(yīng)于一個(gè)數(shù)據(jù)寄存器，并且其中，通過(guò)把其相應(yīng)的比特值設(shè)定為0或1，選擇對(duì)應(yīng)于BankO和Bankl的數(shù)據(jù)寄存器。從而，通過(guò)利用執(zhí)行寄存器 214，當(dāng)觸發(fā)時(shí)，源明確地知道哪些目的地單元將要接收幀數(shù)據(jù)，哪些寄存器組將被用于配置目標(biāo)目的地單元。另外，由于ISP電路32支持的雙傳感器結(jié)構(gòu)，ISP前端可按照單傳感器結(jié)構(gòu)模式 (例如，只有一個(gè)傳感器在獲取數(shù)據(jù))和雙傳感器結(jié)構(gòu)模式(例如，兩個(gè)傳感器都在獲取數(shù)據(jù))工作。在典型的單傳感器結(jié)構(gòu)中，來(lái)自傳感器接口(比如義??！勸)的輸入數(shù)據(jù)被發(fā)給 StatsPipeO (用于統(tǒng)計(jì)信息處理)和FEftx)C (用于像素處理)。另外，傳感器幀也可被發(fā)給存儲(chǔ)器(SIfODMA)，以便以后處理，如上所述。下面在表2中描述了當(dāng)按單傳感器模式工作時(shí)，如何配置與ISP前端80的每個(gè)源對(duì)應(yīng)的NextVld字段的例子。
SIfODMA~ SIflDMA~~ StatsPipeOl StatsPipelIFEProc~FEOut SensOGo X 0 0
SenslGoX00000
28
權(quán)利要求
1.一種方法，該方法包括以下步驟接收與利用數(shù)字圖像傳感器獲取圖像幀相關(guān)聯(lián)的傳感器定時(shí)信號(hào)，其中，所述傳感器定時(shí)信號(hào)表示獲取所述圖像幀的時(shí)間間隔；向所述數(shù)字圖像傳感器與圖像信號(hào)處理系統(tǒng)之間的接口提供第一延遲定時(shí)信號(hào)，其中，所述第一延遲定時(shí)信號(hào)相對(duì)于所述傳感器定時(shí)信號(hào)被延遲第一時(shí)間量；向所述圖像信號(hào)處理系統(tǒng)的閃光控制邏輯器提供第二延遲定時(shí)信號(hào)，其中，所述第二延遲定時(shí)信號(hào)相對(duì)于所述第一延遲定時(shí)信號(hào)被延遲第二時(shí)間量，并且相對(duì)于所述傳感器定時(shí)信號(hào)被延遲第三時(shí)間量；確定在通過(guò)所述數(shù)字圖像傳感器獲取所述圖像幀中的目標(biāo)圖像幀的獲取期間是否應(yīng)用閃光照明；如果要向所述目標(biāo)圖像幀提供閃光照明，那么利用所述第二延遲定時(shí)信號(hào)來(lái)標(biāo)識(shí)與緊接在所述目標(biāo)圖像幀之前的前一圖像幀的結(jié)束相對(duì)應(yīng)的第一時(shí)間，將第四時(shí)間量添加至所述第一時(shí)間以獲取第二時(shí)間，從所述第二時(shí)間減去第一偏移量以獲取第三時(shí)間，從所述第三時(shí)間減去第二偏移量以獲取第四時(shí)間，并且在第四時(shí)間啟用閃光模塊。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述第四時(shí)間量等于和所述前一圖像幀的結(jié)束與所述目標(biāo)圖像幀的結(jié)束之間的垂直消隱間隔相對(duì)應(yīng)的時(shí)間。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述第一偏移量等于所述第二時(shí)間量。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述第二偏移量對(duì)應(yīng)于第五時(shí)間量，所述第五時(shí)間量足以允許所述閃光模塊在按所述第四時(shí)間啟用時(shí)，在所述傳感器定時(shí)信號(hào)所表示的所述目標(biāo)圖像幀開始之前達(dá)到全強(qiáng)度。
5.根據(jù)權(quán)利要求1所述的方法，所述方法進(jìn)一步包括以下步驟按至少部分地基于第五時(shí)間的時(shí)間，在所述目標(biāo)幀結(jié)束之后停用所述閃光模塊，所述第五時(shí)間被標(biāo)識(shí)為對(duì)應(yīng)于所述第二延遲定時(shí)信號(hào)所表示的所述目標(biāo)幀的結(jié)束。
6.根據(jù)權(quán)利要求5所述的方法，其中，在所述目標(biāo)幀結(jié)束之后停用所述閃光模塊的步驟包括按所述第五時(shí)間停用所述閃光模塊。
7.根據(jù)權(quán)利要求5所述的方法，其中，在所述目標(biāo)幀結(jié)束之后停用所述閃光模塊的步驟包括以下步驟將第三偏移量添加至所述第五時(shí)間以獲取第六時(shí)間，其中，所述第六時(shí)間在如所述傳感器定時(shí)信號(hào)所表示的緊接著所述目標(biāo)圖像幀的后一圖像幀開始之前出現(xiàn)；和按所述第六時(shí)間停用所述閃光模塊。
8.根據(jù)權(quán)利要求5所述的方法，其中，在所述目標(biāo)幀結(jié)束之后停用所述閃光模塊的步驟包括以下步驟從所述第五時(shí)間減去第四偏移量以獲取第七時(shí)間，其中，所述第四偏移量對(duì)應(yīng)于比所述第二時(shí)間量小的第六時(shí)間量；和按所述第七時(shí)間停用所述閃光模塊。
9.一種圖像信號(hào)處理系統(tǒng)，該圖像信號(hào)處理系統(tǒng)包括圖像傳感器接口，被配置成基于通過(guò)圖像傳感器所提供的傳感器定時(shí)信號(hào)，接收從所述圖像傳感器獲取的圖像數(shù)據(jù)作為多個(gè)圖像幀，并且被配置成提供所接收的圖像數(shù)據(jù)；圖像信號(hào)處理邏輯器，被配置成從所述圖像傳感器接口接收所述圖像數(shù)據(jù)，并且處理通過(guò)所述圖像傳感器獲取的所述圖像數(shù)據(jù)；閃光燈設(shè)備，被配置成當(dāng)啟用時(shí)照明被所述圖像傳感器捕捉的圖像場(chǎng)景；以及閃光燈控制器，被配置成通過(guò)以下步驟確定何時(shí)啟用所述閃光燈來(lái)照明所述多個(gè)圖像幀中的選定圖像幀利用相對(duì)于所述傳感器定時(shí)信號(hào)被延遲第一間隔的第一定時(shí)信號(hào)，來(lái)標(biāo)識(shí)與緊接在所述選定圖像幀之前的前一圖像幀的結(jié)束相對(duì)應(yīng)的第一時(shí)間；將所述選定圖像幀與所述前一圖像幀之間的垂直消隱間隔添加至所述第一時(shí)間，以確定第二時(shí)間；從所述第二時(shí)間減去第一間隔，以確定第三時(shí)間； 從所述第三時(shí)間減去第二間隔，以確定第四時(shí)間；以及按所述第四時(shí)間啟用所述閃光燈設(shè)備。
10.根據(jù)權(quán)利要求9所述的圖像信號(hào)處理系統(tǒng)，其中，按所述第四時(shí)間啟用所述閃光燈設(shè)備的步驟確保在通過(guò)所述圖像傳感器獲取所述選定圖像幀的第一像素之前，所述閃光燈設(shè)備被啟用至全亮度。
11.根據(jù)權(quán)利要求9所述的圖像信號(hào)處理系統(tǒng)，其中，所述圖像處理邏輯器被配置成: 確定是否要針對(duì)所述選定圖像幀啟用所述閃光燈設(shè)備，并且向所述閃光燈控制器提供表示要針對(duì)所述選定圖像幀啟用所述閃光燈設(shè)備的信號(hào)。
12.根據(jù)權(quán)利要求11所述的圖像信號(hào)處理系統(tǒng)，其中，確定是否要針對(duì)所述選定圖像幀啟用所述閃光燈設(shè)備的步驟包括以下步驟確定針對(duì)所述選定圖像幀的目標(biāo)曝光級(jí)是否可以通過(guò)改變與所述圖像傳感器相關(guān)聯(lián)的積分時(shí)間和通過(guò)所述圖像傳感器提供的增益中的至少一個(gè)來(lái)實(shí)現(xiàn)；和如果不能實(shí)現(xiàn)所述目標(biāo)曝光級(jí)，則向所述閃光燈控制器提供所述信號(hào)，以表示要針對(duì)所述選定圖像幀啟用所述閃光燈設(shè)備。
13.根據(jù)權(quán)利要求9所述的圖像信號(hào)處理系統(tǒng)，包括圖像傳感器，被配置成獲取所述多個(gè)圖像幀，并且提供所述傳感器定時(shí)信號(hào)。
14.一種方法，包括以下步驟在具有圖像信號(hào)處理子系統(tǒng)的電子設(shè)備上接收用于存儲(chǔ)來(lái)自一組圖像幀中的目標(biāo)圖像幀的請(qǐng)求，所述目標(biāo)圖像幀對(duì)應(yīng)于在所述圖像信號(hào)處理子系統(tǒng)按預(yù)覽模式操作時(shí)通過(guò)數(shù)字圖像傳感器獲取的圖像場(chǎng)景；確定是否利用閃光設(shè)備來(lái)照明所述圖像場(chǎng)景；如果要照明所述圖像場(chǎng)景，則在獲取在所述目標(biāo)圖像幀之前出現(xiàn)的前一圖像幀期間啟用閃光設(shè)備；處理所述前一圖像幀，以基于所照明的場(chǎng)景獲取一組更新圖像統(tǒng)計(jì)信息； 按捕捉模式操作所述電子設(shè)備的所述圖像信號(hào)處理子系統(tǒng)，以利用所述一組更新圖像統(tǒng)計(jì)信息并且利用啟用的所述閃光設(shè)備來(lái)獲取所述目標(biāo)幀；以及將所述目標(biāo)圖像幀存儲(chǔ)在所述電子設(shè)備的存儲(chǔ)器裝置中。
15.根據(jù)權(quán)利要求14所述的方法，其中，所述一組更新圖像統(tǒng)計(jì)信息包括基于所照明的所述前一圖像幀的自動(dòng)白平衡參數(shù)。
16.根據(jù)權(quán)利要求14所述的方法，其中，響應(yīng)于所述電子設(shè)備的用戶對(duì)圖像捕捉輸入結(jié)構(gòu)的觸發(fā)來(lái)接收存儲(chǔ)所述目標(biāo)圖像幀的請(qǐng)求。
17.根據(jù)權(quán)利要求16所述的方法，其中，所述圖像捕捉輸入結(jié)構(gòu)包括所述電子設(shè)備上的物理輸入結(jié)構(gòu)，或設(shè)置在顯示在所述電子設(shè)備的顯示設(shè)備上的圖形用戶界面上的圖形輸入結(jié)構(gòu)。
18.一種方法，該方法包括以下步驟在具有圖像信號(hào)處理子系統(tǒng)的電子設(shè)備上接收用于捕捉來(lái)自一組圖像幀中的目標(biāo)圖像幀的請(qǐng)求，所述目標(biāo)圖像幀對(duì)應(yīng)于通過(guò)數(shù)字圖像傳感器獲取的圖像場(chǎng)景； 確定是否在所述目標(biāo)圖像幀期間利用閃光設(shè)備來(lái)照明所述圖像場(chǎng)景； 如果要在所述目標(biāo)圖像幀期間照明所述圖像場(chǎng)景，則在不啟用所述閃光設(shè)備的情況下獲取未照明的第一圖像，并且基于所述第一圖像獲取一組顏色特性，其中，所述第一圖像幀在所述目標(biāo)圖像幀之前出現(xiàn)；啟用所述閃光設(shè)備，以獲取所述目標(biāo)圖像幀；利用基于所述第一圖像的所述一組顏色特性處理所述目標(biāo)幀；以及將所處理的所述目標(biāo)幀存儲(chǔ)在所述電子設(shè)備的存儲(chǔ)器裝置中。
19.根據(jù)權(quán)利要求18所述的方法，其中，利用基于所述第一圖像的所述一組顏色特性處理所述目標(biāo)幀的步驟包括應(yīng)用調(diào)色板傳遞操作。
20.一種包括如權(quán)利要求9-13中任一項(xiàng)所述的圖像信號(hào)處理系統(tǒng)的電子設(shè)備。
全文摘要
本公開涉及使用圖像傳感器接口定時(shí)信號(hào)的閃光同步。本公開涉及本公開的某些方面涉及包括閃光控制器(550)的圖像信號(hào)處理系統(tǒng)(32)，該閃光控制器(550)被設(shè)置成，利用傳感器定時(shí)信號(hào)在目標(biāo)圖像幀開始之前啟用閃光裝置。在一個(gè)實(shí)施方式中，該閃光控制器(550)接收延遲傳感器定時(shí)信號(hào)，并利用該延遲傳感器定時(shí)信號(hào)來(lái)識(shí)別與前一幀的結(jié)束相對(duì)應(yīng)的時(shí)間，將該時(shí)間增加垂直消隱時(shí)間，并接著減去第一偏移量以補(bǔ)償該傳感器定時(shí)信號(hào)與延遲傳感器定時(shí)信號(hào)之間的延遲來(lái)確定閃光啟用開始時(shí)間。接著，該閃光控制器(550)減去第二偏移量來(lái)確定閃光啟用時(shí)間，由此確保在接收到目標(biāo)幀的第一像素之前啟用閃光。
文檔編號(hào)G06T5/00GK102547302SQ201110305719
公開日2012年7月4日 申請(qǐng)日期2011年9月30日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者G·科泰, J·E·弗雷德里克森 申請(qǐng)人:蘋果公司