本發(fā)明涉及通信技術(shù)領(lǐng)域,尤其涉及一種圖像的處理方法和移動終端。
背景技術(shù):
隨著拍照技術(shù)的發(fā)展,已經(jīng)可以拍出更清晰、美觀的圖像,尤其是暗光下的圖像已經(jīng)成為衡量一個手機(jī)等移動終端拍照能力的主要方面之一。如何讓用戶拍到更真實(shí)美觀的圖像,是我們不斷提高拍照水平的極致追求。
目前局限于一些拍照場景,特別是較暗的場景,為了獲取更好的圖像,既要展現(xiàn)暗部區(qū)域的細(xì)節(jié),又需要較廣的動態(tài)范圍將夜景中高亮區(qū)域的部分也展現(xiàn)出來。所以目前的主要方案一個是使用多個normal幀(也稱為正常曝光圖像)合成的方案,另一個就是normal幀加長曝光幀(也稱為長曝光圖像)加短曝光幀(也稱為短曝光圖像)的合成的方案,這兩個方案具體細(xì)節(jié)如下所示:
方案1:相機(jī)打開,如果在拍攝預(yù)覽狀態(tài)下,在預(yù)覽的時候儲存當(dāng)前攝像頭采集的最新的n幀圖像,當(dāng)用戶按下拍照鍵將這幾幀作為圖像的輸入圖像。然后通過isp處理之后,在yuv域進(jìn)行合成。圖像處理時保留較多的細(xì)節(jié)與噪點(diǎn),yuv域合成之后會一定程度上降低噪點(diǎn),并加強(qiáng)細(xì)節(jié),也避免了直接提亮的方式加強(qiáng)細(xì)節(jié)噪點(diǎn)過大的情況。但是這種yuv域的多幀合成在暗區(qū)細(xì)節(jié)上的提升有限,并且大部分夜景具有高動態(tài)范圍,如裝飾燈、亮的門牌等,圖像中總是出現(xiàn)過曝區(qū)域。
方案2:為了提高圖像的動態(tài)范圍,使用一幀normal幀展現(xiàn)正常亮度區(qū)域的細(xì)節(jié),再加一幀長曝光幀獲取暗光區(qū)域的細(xì)節(jié),一幀短曝光幀獲取高亮區(qū)域的細(xì)節(jié),類似于方案1,經(jīng)過isp處理后,在yuv域合成。通過這種方式同時將過暗區(qū)和高亮區(qū)的細(xì)節(jié)展現(xiàn)出來,一定程度上提高了動態(tài)范圍。但這種提高動態(tài)范圍的方法一般用于白天,對于夜景來說,提高暗區(qū)的亮度會產(chǎn)生嚴(yán)重的噪點(diǎn),畫質(zhì)的影響較大。因此,如何在夜景或者其他較暗的場景下的獲得更真實(shí)美觀的圖像是亟待解決的問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供一種圖像數(shù)據(jù)的方法和移動終端,以解決依靠isp處理,在夜景或者其他較暗的場景下的無法獲得更真實(shí)美觀的圖像的問題。
第一方面,提供了一種圖像的處理方法,應(yīng)用于移動終端,所述移動終端包括攝像頭、圖像信號處理器isp和分別與所述攝像頭以及所述isp連接的數(shù)字信號處理器dsp,所述方法包括:
在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù);
控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述時序數(shù)據(jù)采集的多幀預(yù)覽圖像;
若接收到拍照指令,則確定當(dāng)前拍攝場景;
基于所述當(dāng)前拍攝場景,從所述多幀預(yù)覽圖像中篩選出輸入圖像;
對所述輸入圖像進(jìn)行圖像合成,生成合成圖像;
將所述合成圖像輸出至所述isp。
第二方面,提供了一種圖像的處理移動終端,應(yīng)用于移動終端,所述移動終端包括攝像頭、圖像信號處理器isp和分別與所述攝像頭以及所述isp連接的數(shù)字信號處理器dsp,所述移動終端包括:
時序數(shù)據(jù)確定模塊,用于在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù);
預(yù)覽圖像獲取模塊,用于控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述時序數(shù)據(jù)采集的多幀預(yù)覽圖像;
當(dāng)前拍攝場景確定模塊,用于若接收到拍照指令,則確定當(dāng)前拍攝場景;
輸入圖像篩選模塊,用于基于所述當(dāng)前拍攝場景,從所述多幀預(yù)覽圖像中篩選出輸入圖像;
圖像合成模塊,用于對所述輸入圖像進(jìn)行圖像合成,生成合成圖像;
合成圖像輸出模塊,用于將所述合成圖像輸出至所述isp。
第三方面,還提供一種移動終端,包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被所述處理器執(zhí)行時實(shí)現(xiàn)上述圖像的處理方法的步驟。
這樣,本發(fā)明實(shí)施例中,首先在拍攝預(yù)覽狀態(tài)下,控制攝像頭基于預(yù)設(shè)的時序數(shù)據(jù)連續(xù)循環(huán)進(jìn)行圖像采集,并控制dsp接收采集的多幀預(yù)覽圖像,若接收到用戶發(fā)出的拍照指令,則確定當(dāng)前拍攝場景后基于當(dāng)前拍攝場景,從多幀預(yù)覽圖像中篩選出合適的輸入圖像進(jìn)行圖像合成,生成合成圖像,隨后可以輸出至所述isp進(jìn)行其他的處理。應(yīng)用本發(fā)明實(shí)施例可以根據(jù)不同的拍攝場景選擇合適的輸入圖像,從而能夠在不同場景下獲得更真實(shí)美觀的圖像。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案,下面將對本發(fā)明實(shí)施例的描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實(shí)施例提供的圖像的處理方法實(shí)施例的流程圖之一;
圖2是本發(fā)明實(shí)施例提供的圖像的處理方法實(shí)施例的流程圖之二;
圖3是本發(fā)明實(shí)施例的一種預(yù)覽圖像的直方圖;
圖4a是本發(fā)明實(shí)施例的一種移動終端實(shí)施例的結(jié)構(gòu)框圖之一;
圖4b是本發(fā)明實(shí)施例的一種移動終端實(shí)施例的結(jié)構(gòu)框圖之二;
圖5是本發(fā)明另一個實(shí)施例的移動終端的框圖;
圖6是本發(fā)明又一個實(shí)施例的移動終端的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
參照圖1,示出了本發(fā)明的一種圖像數(shù)據(jù)的處理方法實(shí)施例的步驟流程圖,所述移動終端包括攝像頭、圖像信號處理器isp和分別與所述攝像頭以及所述isp連接的數(shù)字信號處理器dsp。
在移動終端的相機(jī)系統(tǒng)中,設(shè)置有與攝像頭的傳感器sensor連接的dsp(digitalsignalprocessing,數(shù)字信號處理器),可以對于攝像頭傳輸?shù)膱D像數(shù)據(jù)進(jìn)行圖像處理。在實(shí)際應(yīng)用中,dsp芯片的內(nèi)部采用程序和數(shù)據(jù)分開的哈佛結(jié)構(gòu),具有專門的硬件乘法器,廣泛采用流水線操作,提供特殊的dsp指令,可以用來快速的實(shí)現(xiàn)各種數(shù)字信號處理算法。其中,dsp可以以內(nèi)置或外置的方式設(shè)置于移動終端,根據(jù)實(shí)際需求設(shè)置即可,本發(fā)明實(shí)施例對此不加以限制。在本發(fā)明實(shí)施例中,dsp可以是獨(dú)立的芯片。
需要說明的是,本發(fā)明實(shí)施例在原有的移動終端的硬件框架基礎(chǔ)上,添加dsp,使得圖像數(shù)據(jù)在進(jìn)入isp(imagesignalprocessing,圖像信號處理器)之前,能夠?qū)崿F(xiàn)更多的圖像處理功能,提升圖像數(shù)據(jù)的圖像質(zhì)量。其中,isp是可以集成于cpu(centralprocessingunit,中央處理器)中,也可以是獨(dú)立的芯片,本發(fā)明實(shí)施例對此無需加以限制。
所述方法具體可以包括如下步驟:
步驟101,在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù)。
在具體實(shí)現(xiàn)中,啟動移動終端的相機(jī)應(yīng)用時,通常會進(jìn)入預(yù)覽狀態(tài),此時攝像頭會采集預(yù)覽圖像,并將采集的預(yù)覽圖像發(fā)送到移動終端的顯示屏進(jìn)行預(yù)覽。具體地,攝像頭會根據(jù)已經(jīng)設(shè)置好的時序數(shù)據(jù),去完成采集圖像的工作。
步驟102,控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述時序數(shù)據(jù)采集的多幀預(yù)覽圖像。
在本發(fā)明實(shí)施例中,攝像頭會按照已經(jīng)設(shè)置好的時序數(shù)據(jù)去循環(huán)獲取多幀預(yù)覽圖像,按照時序數(shù)據(jù)中的各個時序段有序根據(jù)時序段對應(yīng)的曝光時間去采集預(yù)覽圖像,而攝像頭采集的預(yù)覽圖像,將傳輸?shù)絛sp中進(jìn)行緩存。
步驟103,若接收到拍照指令,則確定當(dāng)前拍攝場景。
如果接收到拍照指令,則首先確定當(dāng)前拍攝場景,例如是夜景或者白天場景,換句話說,就是當(dāng)前拍攝場景是比較暗還是比較亮。
步驟104,基于所述當(dāng)前拍攝場景,從所述多幀預(yù)覽圖像中篩選出輸入圖像;
在本發(fā)明實(shí)施例中,針對不同的拍攝場景,會相應(yīng)使用不同的預(yù)覽圖像來作為輸入圖像。具體地來說,當(dāng)確定當(dāng)前拍攝場景后,就可以根據(jù)當(dāng)前拍攝場景從dsp緩存的多幀預(yù)覽圖像中,篩選出可以后續(xù)用于圖像合成的輸入圖像。
步驟105,對所述輸入圖像進(jìn)行圖像合成,生成合成圖像。
在確定輸入圖像后,控制dsp對于這些圖像基于dsp內(nèi)置的合成算法進(jìn)行合成,從而得到合成圖像。
步驟106,將所述合成圖像輸出至所述isp。
控制dsp計(jì)算出合成圖像時,就可以將合成圖像發(fā)送至isp進(jìn)行其他的圖像處理。
這樣,本發(fā)明實(shí)施例中,首先在拍攝預(yù)覽狀態(tài)下,控制攝像頭基于預(yù)設(shè)的時序數(shù)據(jù)連續(xù)循環(huán)進(jìn)行圖像采集,并控制dsp接收采集的多幀預(yù)覽圖像,若接收到用戶發(fā)出的拍照指令,則確定當(dāng)前拍攝場景后基于當(dāng)前拍攝場景,從多幀預(yù)覽圖像中篩選出合適的輸入圖像進(jìn)行圖像合成,生成合成圖像,隨后可以輸出至所述isp進(jìn)行其他的處理。應(yīng)用本發(fā)明實(shí)施例可以根據(jù)不同的拍攝場景選擇合適的輸入圖像,從而能夠在不同場景下獲得更真實(shí)美觀的圖像。
參照圖2,示出了本發(fā)明的一種圖像數(shù)據(jù)的處理方法實(shí)施例的步驟流程圖,所述移動終端包括攝像頭、圖像信號處理器isp和分別與所述攝像頭以及所述isp連接的數(shù)字信號處理器dsp,所述方法包括:
步驟201,在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù)。
在拍照前,攝像頭所采集到的圖像通常會在智能終端上進(jìn)行預(yù)覽,而攝像頭是根據(jù)預(yù)設(shè)的時序數(shù)據(jù)有序采集的。
步驟202,按序獲取所述時序數(shù)據(jù)中的時序段對應(yīng)的曝光時間。
在具體應(yīng)用中,所述預(yù)覽圖像包括欠曝光圖像、長曝光圖像和正常曝光圖像;所述時序數(shù)據(jù)包括時序段,所述時序段具有對應(yīng)的曝光時間。
所述時序包括特殊時序和普通時序,所述普通時序?qū)?yīng)正常曝光圖像的曝光時間,所述特殊時序?qū)?yīng)欠曝光圖像和長曝光圖像的曝光時間;
在具體實(shí)現(xiàn)中,時序數(shù)據(jù)就是一個由多個時序段組合成的數(shù)據(jù),每個時序段可以對應(yīng)執(zhí)行一個操作。在本發(fā)明實(shí)施例中,可以基于時序段去獲取曝光時間。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述步驟202可以包括:
若所述時序數(shù)據(jù)中的時序?yàn)樘厥鈺r序段,則計(jì)算所述欠曝光圖像和長曝光圖像的曝光時間;
若所述時序數(shù)據(jù)中的時序?yàn)槠胀〞r序段,則從預(yù)設(shè)曝光表中獲取所述正常曝光圖像的曝光時間。
比如,假設(shè)一個時序數(shù)據(jù)由1,2,3,4,5,6,7和8這幾個時序段組成,其中1到6可以認(rèn)為是普通時序段,7和8可以認(rèn)為是特殊時序段。那么當(dāng)獲取到的時序段是1到6時,就從預(yù)設(shè)的曝光表曝光獲取正常曝光圖像的曝光時間,使得攝像頭能夠根據(jù)這個曝光時間,采集到正常曝光圖像;當(dāng)獲取到的時序段是7時就計(jì)算欠曝光圖像的曝光時間,使得攝像頭能夠根據(jù)這個曝光時間,采集到欠曝光圖像;當(dāng)獲取到的時序段是8時計(jì)算長曝光圖像的曝光時間,使得攝像頭能夠根據(jù)這個曝光時間,采集到長曝光圖像。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述曝光時間包括欠曝光圖像、長曝光圖像和正常曝光圖像分別對應(yīng)的曝光時間;
所述計(jì)算所述欠曝光圖像和長曝光圖像的曝光時間的步驟,包括:
從預(yù)設(shè)曝光表中,獲取所述正常曝光圖像的曝光時間;
生成所述正常曝光圖像的直方圖,所述直方圖包括所述正常曝光圖像中每個像素點(diǎn)的亮度分布數(shù)據(jù);
從所述直方圖中,篩選出預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù);
基于所述預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù),通過線性回歸,計(jì)算出一直線;
確定所述直線與所述直方圖的橫坐標(biāo)形成的傾斜角度;
計(jì)算所述傾斜角度的正弦值;
將所述正弦值乘以預(yù)設(shè)常量得到曝光比值;
根據(jù)所述曝光時間和所述曝光比值,計(jì)算出所述欠曝光圖像的曝光時間和長曝光圖像的曝光時間;
其中,所述直方圖中,橫坐標(biāo)為亮度,縱坐標(biāo)為所述亮度的像素點(diǎn)數(shù)量。
本發(fā)明實(shí)施例的移動終端上增加dsp硬件芯片,從而可以連續(xù)實(shí)時儲存多幀張raw域的圖像。目前根據(jù)實(shí)際dsp設(shè)計(jì)的需求,可以連續(xù)獲取八幀圖像。
用戶打開相機(jī)時,在cpu確定時序數(shù)據(jù),使預(yù)覽中連續(xù)產(chǎn)生六幀正常曝光圖像、一幀欠曝光圖像、一幀長曝光圖像,不斷循環(huán)。并在isp中根據(jù)時序數(shù)據(jù)對預(yù)覽中的欠曝光圖像、長曝光圖像加上不同的曝光增益,使這兩幀圖像的最終預(yù)覽效果與正常曝光圖像的效果一致。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述預(yù)設(shè)區(qū)域包括高亮區(qū)域和暗光區(qū)域,所述高亮區(qū)域是指直方圖中亮度大于或等于200的區(qū)域,所述暗光區(qū)域是指直方圖中亮度小于或等于130的區(qū)域。
本發(fā)明實(shí)施例的曝光圖像、長曝光圖像的曝光時間,可以根據(jù)正常曝光圖像的曝光時間計(jì)算得到。具體地,假設(shè)正常曝光圖像的曝光時間t,欠曝光的曝光時間t為,則:
t=t/m(m為常數(shù),根據(jù)正常曝光圖像的直方圖計(jì)算獲得)
根據(jù)預(yù)覽圖像中各個像素點(diǎn)在亮度上的分布情況得到一個直方圖,如果直方圖的高亮區(qū)域存在較多像素點(diǎn),并且越亮數(shù)量越多,則認(rèn)為高亮區(qū)還有更多細(xì)節(jié),如圖3。則將m調(diào)整為更大數(shù)值,獲取更為欠曝的圖像展現(xiàn)高亮區(qū)細(xì)節(jié)。圖3直方圖中的亮度為橫坐標(biāo),每個亮度上的像素點(diǎn)數(shù)為縱坐標(biāo),通過線性回歸算法基于高亮區(qū)域(亮度達(dá)到230到255的像素點(diǎn)的分布區(qū)域)的分布情況得到一條直線,然后再得到這條直線與橫坐標(biāo)的傾斜角度,并基于傾斜角度進(jìn)一步地計(jì)算出曝光比值m。
當(dāng)傾斜角度大于15度并小于80度時,認(rèn)為該場景的過曝區(qū)還存在一定的細(xì)節(jié),并根據(jù)傾斜角度r計(jì)算欠曝光比值m=n*sinr。n為固定常量,可以根據(jù)實(shí)際情況設(shè)定。
計(jì)算出曝光比值m后,就可以基于正常曝光圖像的曝光時間t,套入公式t=t/m計(jì)算出欠曝光圖像的曝光時間了。
長曝光圖像的曝光時間計(jì)算方式類似短曝光幀,只是線性回歸算法中的斜率為負(fù)值,就不再贅述了。
步驟203,控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述曝光時間采集的多幀預(yù)覽圖像。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述方法還包括:
控制所述isp按照所述時序數(shù)據(jù),調(diào)整每個預(yù)覽圖像的曝光增益。
本發(fā)明實(shí)施例的時序數(shù)據(jù)會同時對應(yīng)isp輸出的預(yù)覽圖像上,經(jīng)過isp為預(yù)覽圖像調(diào)整另一種數(shù)字曝光增益(digitalgain),強(qiáng)制把欠曝光圖像和長曝光圖像的亮度調(diào)整到正常曝光圖像的亮度,使預(yù)覽不會出現(xiàn)亮暗變化的異常。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述dsp包括存儲器;在所述步驟204之前,還可以包括:
將所述多幀預(yù)覽圖像循環(huán)更新至所述dsp的存儲器中。
在處于相機(jī)預(yù)覽狀態(tài)時,相機(jī)應(yīng)用按照時序數(shù)據(jù)使攝像頭連續(xù)循環(huán)產(chǎn)生八幀預(yù)覽圖像,分別是一幀欠曝光圖像、一幀長曝光圖像、六幀正常曝光圖像。dsp還會將這些預(yù)覽圖像不斷更新到dsp的存儲器中。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述步驟203之后,所述步驟204之前,還可以包括:
若接收到預(yù)設(shè)數(shù)量的預(yù)覽圖像,則檢測當(dāng)前拍攝場景。
在一種優(yōu)選方案中,可以接收到預(yù)設(shè)數(shù)量的預(yù)覽圖像,就去檢測一次當(dāng)前拍攝場景,具體地,可以在接收到三幀預(yù)覽圖像,就去檢測一次當(dāng)前拍攝場景。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述檢測當(dāng)前拍攝場景的步驟,包括:
判斷是否開啟高動態(tài)光照渲染模式;
若未開啟高動態(tài)光照渲染模式,則確定當(dāng)前拍攝場景為正常拍攝場景。
在本發(fā)明實(shí)施例中,可以首先確定移動終端是否有開啟高動態(tài)光照渲染模式,即hdr模式,如果沒有開啟,則可以直接確定前拍攝場景為正常拍攝場景。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述判斷是否開啟高動態(tài)光照渲染模式的步驟之后,還包括:
若開啟高動態(tài)光照渲染模式,則獲取所述正常曝光圖像的曝光增益;
若所述正常曝光圖像的曝光增益大于或等于n倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景;
若所述正常曝光圖像的曝光增益小于或等于m倍增益,且所述正常曝光圖像存在第二暗光區(qū)域和第二高亮區(qū)域,則確定當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景;
其中,所述暗光區(qū)域包括第一暗光區(qū)域和第二暗光區(qū)域,所述第一暗光區(qū)域的亮度低于所述第二暗光區(qū)域的亮度;所述述高亮區(qū)域包括第一高亮區(qū)域和第二高亮區(qū)域,所述第一高亮區(qū)域的亮度高于所述第二高亮區(qū)域的亮度;所述n和m的取值范圍為2~30。
在本發(fā)明實(shí)施例中,如果確定移動終端開啟高動態(tài)光照渲染模式,即hdr模式,則可以進(jìn)一步去判斷是白天hdr模式,或是夜景hdr模式。
具體地,可以通過正常曝光圖像的曝光增益來確定,其中,曝光增益是移動終端根據(jù)當(dāng)前的環(huán)境光亮度調(diào)整的。曝光增益越大,圖像亮度越大,反之,曝光增益越小,圖像亮度越小。
在本發(fā)明實(shí)施例中,如果正常曝光圖像使用的曝光增益大于2~10倍時,并且具有一定的暗光區(qū)域(小于50~20)和高亮區(qū)域(大于240),則判斷為夜景hdr模式。如果正常曝光圖像使用曝光增益小于2倍時,并且具有一定暗區(qū)暗光區(qū)域(小于120~60)和高亮區(qū)域(大于200~220)則認(rèn)為是白天hdr模式。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述判斷是否開啟高動態(tài)光照渲染模式的步驟之后,還包括:
若所述正常曝光圖像的曝光增益大于或等于n倍增益,小于或等于m倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景。
在實(shí)際應(yīng)用中,有可能同時滿足夜景高動態(tài)光照渲染場景和白天高動態(tài)光照渲染場景的條件。具體地,一開始的時候正常曝光圖像是曝光增益大于2倍增益,加上符合第一暗亮區(qū),可以確定是夜景hdr,此時,曝光增益小于20倍增益加上符合第二暗亮區(qū),可以確定是白天hdr。
所以,如果曝光增益大于2倍增益小于20倍增益時,加上第一暗亮區(qū)的條件既符合夜景hdr又符合白天hdr,因?yàn)榈谝话盗羺^(qū)分別屬于第二暗亮區(qū),此時可以確定為夜景hdr。
步驟204,若接收到拍照指令,則確定當(dāng)前拍攝場景。
在接收到拍照指令后,就可以根據(jù)前面檢測出的當(dāng)前拍攝場景,去確定出當(dāng)前拍攝場景。
步驟205,基于所述當(dāng)前拍攝場景,從所述多幀預(yù)覽圖像中篩選出輸入圖像。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述預(yù)覽圖像包括欠曝光圖像、長曝光圖像和正常曝光圖像;所述步驟205可以包括:
若所述當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像和正常曝光圖像作為輸入圖像;
若所述當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像、長曝光圖像和正常曝光圖像作為輸入圖像;
若所述當(dāng)前拍攝場景為正常拍攝場景,則從所述多幀預(yù)覽圖像中篩選出正常曝光圖像作為輸入圖像。
在本發(fā)明中,如果是檢測到的場景為白天hdr場景則使用正常曝光圖像、長曝圖像、短曝光圖像作為輸入圖像,如果檢測到的場景為夜景hdr場景則使用正常曝光圖像、短曝光圖像作為輸入圖像。另外,如果是正常拍攝場景,則可以只使用正常曝光圖像作為輸入圖像即可。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述若所述當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景,則所述步驟205的步驟之后,還包括:
判斷所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中是否均存在運(yùn)動物體;
若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均不存在運(yùn)動物體,則舍棄所述欠曝光圖像的暗光區(qū)域,并重新將所述舍棄暗光區(qū)域的欠曝光圖像和所述正常曝光圖像作為輸入圖像;
若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均存在運(yùn)動物體,則舍棄所述欠曝光圖像,并重新將所述正常曝光圖像作為輸入圖像。
在基于當(dāng)前拍攝場景初步確定了輸入圖像后,為了提高合成圖像的質(zhì)量,還可以進(jìn)一步對于這些輸入圖像做去噪。
具體地,判斷輸入圖像中欠曝圖像與正常曝光圖像是否均存在運(yùn)動物體,如果沒有將六幀正常曝光圖像和欠曝光圖像發(fā)送至dsp芯片中,舍棄欠曝光圖像的暗光區(qū)部分,進(jìn)行快速的合成處理。如果欠曝光圖像和正常曝光圖像均存在運(yùn)動物體或欠曝光圖像與正常曝光圖像匹配不準(zhǔn)時,則只使用六幀正常曝光圖像作為輸入圖像,可以避免出現(xiàn)拖影。
正常曝光圖像中的細(xì)節(jié)在相同的位置,不同圖像的噪點(diǎn)卻是隨機(jī)的,在合成中,細(xì)節(jié)部分會進(jìn)一步疊加增強(qiáng),噪點(diǎn)會相互抵消,相加后的數(shù)據(jù)再除以合成的幀數(shù)獲得結(jié)果幀。圖像中由一個個像素點(diǎn)構(gòu)成,最小數(shù)據(jù)值為0,最大數(shù)據(jù)值為255,分別對應(yīng)最暗的像素點(diǎn)和最亮的像素點(diǎn),當(dāng)正常曝光圖像中的亮度達(dá)到230左右時,就認(rèn)為該區(qū)域已經(jīng)趨于過曝,需要欠曝光圖像中相同區(qū)域的數(shù)據(jù)補(bǔ)充細(xì)節(jié)。但是,當(dāng)欠曝光圖像中的存在小于亮度小于100的像素點(diǎn)的情況下,再與正常曝光圖像合成時就會拉低圖像的亮度,所以小于100的像素點(diǎn)直接舍去。
在本發(fā)明的一種優(yōu)選實(shí)施例中,在所述若存在運(yùn)動物體,則舍棄所述欠曝光圖像,并重新將所述正常曝光圖像作為輸入圖像的步驟之后,還包括:
獲取每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像;
對所述每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像進(jìn)行圖像合成,得到目標(biāo)運(yùn)動區(qū)域圖像;
計(jì)算所述正常曝光圖像的灰度圖;
基于所述灰度圖,篩選出清晰度最高的正常曝光圖像作為基準(zhǔn)圖像;
采用所述目標(biāo)運(yùn)動區(qū)域圖像替換所述基準(zhǔn)圖像中的運(yùn)動區(qū)域圖像。
當(dāng)拍攝的場景中存在運(yùn)動的車或人等運(yùn)動物體時,首先選定最清晰的圖像為基準(zhǔn)圖像,確定在基準(zhǔn)圖像的運(yùn)動物體的位置。然后以運(yùn)動物體為分析點(diǎn),將所有圖像中的運(yùn)動區(qū)域圖像重合疊加,盡可能還原運(yùn)動物體的細(xì)節(jié),然后將還原后的運(yùn)動物體圖像放置在基準(zhǔn)圖像中運(yùn)動物體的位置中。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述步驟205之前,還包括:
確定所述正常曝光圖像的高亮區(qū)域;
獲取所述高亮區(qū)域中的每個像素點(diǎn)和所述像素點(diǎn)的鄰近像素點(diǎn);
若存在目標(biāo)像素點(diǎn)的亮度與鄰近像素點(diǎn)的亮度差異超過預(yù)設(shè)閾值,則采用所述鄰近像素點(diǎn)的亮度,對所述目標(biāo)像素點(diǎn)進(jìn)行平滑處理。
在實(shí)際中,當(dāng)正常曝光圖像的中有像素點(diǎn)或者區(qū)域亮度大于230時,需要欠曝光圖像的對應(yīng)區(qū)域補(bǔ)充細(xì)節(jié)時,該區(qū)域會提升一定的亮度滿足整個圖像的亮度調(diào)整需求。但是提升亮度的同時會引起較多的噪點(diǎn),因此本發(fā)明實(shí)施例會針對這一區(qū)域加強(qiáng)去噪,首先找出正常曝光圖像的亮度大于230的高亮區(qū)域,然后分析這個高亮區(qū)域每個像素點(diǎn)與附近像素點(diǎn)的關(guān)系,如果是像素點(diǎn)和附近像素點(diǎn)的亮度差異較大,則說明該像素點(diǎn)是單個的黑點(diǎn)或亮點(diǎn),是隨機(jī)的,則可以利用這個像素點(diǎn)附近的像素點(diǎn)的數(shù)據(jù)進(jìn)行差值處理,使該像素點(diǎn)在整個圖像中平滑一點(diǎn),即不至于過暗或者過亮。
在本發(fā)明的一種優(yōu)選實(shí)施例中,所述預(yù)覽圖像的像素點(diǎn)包括顏色分量,所述顏色分量包括紅色分量、綠色分量和藍(lán)色分量;在步驟205之后,所述步驟206之前,還可以包括:
確定所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域;
計(jì)算所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比;
若所述占比超過預(yù)設(shè)比例,則降低所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比。
在實(shí)際中,如果圖像中存在純紅色的高亮區(qū)域,若該區(qū)域亮度和面積均達(dá)到一定數(shù)值,并且紅色分量達(dá)到一定占比,則需要加強(qiáng)紅色抑制。
首先檢測圖像中高亮區(qū)域,亮度大于200時容易引起紅色溢出。大于200的區(qū)域認(rèn)為是高亮區(qū)域,然后檢測該區(qū)域的紅色分量在全部顏色分量(r、g和b)的比例,如果紅色分量與藍(lán)色分量、綠色分量相比,紅色占比b達(dá)到60%以上時,該區(qū)域的紅色分量r乘以一個系數(shù)d進(jìn)行降低,假設(shè)d為0.7,則修改后的紅色分量r=0.7*b*r。
步驟206,對所述輸入圖像進(jìn)行圖像合成,生成合成圖像。
在確定輸入圖像后,控制dsp對于這些圖像基于dsp內(nèi)置的合成算法進(jìn)行合成,從而得到合成圖像。
步驟207,將所述合成圖像輸出至所述isp。
控制dsp計(jì)算出合成圖像時,就可以將合成圖像發(fā)送至isp進(jìn)行其他的圖像處理,例如去噪等操作。
這樣,本發(fā)明實(shí)施例中,在拍攝預(yù)覽狀態(tài)下,控制攝像頭基于預(yù)設(shè)的時序數(shù)據(jù)中的時序段去連續(xù)循環(huán)進(jìn)行圖像采集,并控制dsp接收采集的多幀預(yù)覽圖像,若接收到用戶發(fā)出的拍照指令,則確定當(dāng)前拍攝場景后基于當(dāng)前拍攝場景,從多幀預(yù)覽圖像中篩選出合適的輸入圖像進(jìn)行圖像合成,生成合成圖像,隨后可以輸出至所述isp進(jìn)行其他的處理。由于本發(fā)明實(shí)施例可以依靠dsp硬件芯片處理數(shù)據(jù),因此速度快,可以提高整體處理效率,以及最終的合成圖像展示效果。
為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明,以下采用具體的示例進(jìn)行說明。在本示例中,isp和dsp中的至少一項(xiàng)為獨(dú)立芯片;isp集成于中央處理器cpu內(nèi)。
步驟1:在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù)。
步驟2:按序獲取時序數(shù)據(jù)中的時序段對應(yīng)的曝光時間。若時序數(shù)據(jù)中的時序?yàn)樘厥鈺r序段,則計(jì)算欠曝光圖像和長曝光圖像的曝光時間;若時序數(shù)據(jù)中的時序?yàn)槠胀〞r序段,則從預(yù)設(shè)曝光表中獲取所述正常曝光圖像的曝光時間。
其中,所述曝光時間包括欠曝光圖像、長曝光圖像和正常曝光圖像分別對應(yīng)的曝光時間;所述計(jì)算所述欠曝光圖像和長曝光圖像的曝光時間的步驟,包括:從預(yù)設(shè)曝光表中,獲取所述正常曝光圖像的曝光時間;生成所述正常曝光圖像的直方圖,所述直方圖包括正常曝光圖像中每個像素點(diǎn)的亮度分布數(shù)據(jù);從直方圖中,篩選出預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù);基于預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù),通過線性回歸,計(jì)算出一直線;確定直線與直方圖的橫坐標(biāo)形成的傾斜角度;計(jì)算傾斜角度的正弦值;將正弦值乘以預(yù)設(shè)常量得到曝光比值;根據(jù)曝光時間和曝光比值,計(jì)算出欠曝光圖像的曝光時間和長曝光圖像的曝光時間;其中,直方圖中,橫坐標(biāo)為亮度,縱坐標(biāo)為亮度的像素點(diǎn)數(shù)量。
此外,預(yù)設(shè)區(qū)域包括高亮區(qū)域和暗光區(qū)域,高亮區(qū)域是指直方圖中亮度大于或等于200的區(qū)域,暗光區(qū)域是指直方圖中亮度小于或等于130的區(qū)域。
步驟3:控制dsp連續(xù)循環(huán)獲取攝像頭按照曝光時間采集的多幀預(yù)覽圖像。
步驟4:將多幀預(yù)覽圖像循環(huán)更新至dsp的存儲器中。
步驟5:控制isp按照時序數(shù)據(jù),調(diào)整每個預(yù)覽圖像的曝光增益。
步驟6:若接收到預(yù)設(shè)數(shù)量的預(yù)覽圖像,則檢測當(dāng)前拍攝場景。其中,檢測當(dāng)前拍攝場景的步驟,包括:判斷是否開啟高動態(tài)光照渲染模式;若未開啟高動態(tài)光照渲染模式,則確定當(dāng)前拍攝場景為正常拍攝場景。
此外,若開啟高動態(tài)光照渲染模式,則獲取正常曝光圖像的曝光增益;若正常曝光圖像的曝光增益大于n倍增益,且正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景;若正常曝光圖像的曝光增益小于或等于m倍增益,且正常曝光圖像存在第二暗光區(qū)域和第二高亮區(qū)域,則確定當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景;其中,暗光區(qū)域包括第一暗光區(qū)域和第二暗光區(qū)域,第一暗光區(qū)域的亮度低于第二暗光區(qū)域的亮度;述高亮區(qū)域包括第一高亮區(qū)域和第二高亮區(qū)域,第一高亮區(qū)域的亮度高于第二高亮區(qū)域的亮度;n和m的取值范圍均為2~30。
步驟7:若接收到拍照指令,則確定當(dāng)前拍攝場景。
步驟8:基于當(dāng)前拍攝場景,從多幀預(yù)覽圖像中篩選出輸入圖像。具體地,若當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景,則從多幀預(yù)覽圖像中篩選出欠曝光圖像和正常曝光圖像作為輸入圖像;若當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景,則從多幀預(yù)覽圖像中篩選出欠曝光圖像、長曝光圖像和正常曝光圖像作為輸入圖像;若當(dāng)前拍攝場景為正常拍攝場景,則從多幀預(yù)覽圖像中篩選出正常曝光圖像作為輸入圖像。
其中,n可以為2,m可以為20。若正常曝光圖像的曝光增益大于或等于2倍增益,小于或等于20倍增益,且正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景。
步驟9:判斷欠曝光圖像和正常曝光圖像的高亮區(qū)域中是否均存在運(yùn)動物體;
步驟10:若欠曝光圖像和正常曝光圖像中均不存在運(yùn)動物體,則舍棄欠曝光圖像的暗光區(qū)域,并重新將舍棄暗光區(qū)域的欠曝光圖像和正常曝光圖像作為輸入圖像;
步驟11:若欠曝光圖像和正常曝光圖像中均存在運(yùn)動物體,則舍棄欠曝光圖像,并重新將正常曝光圖像作為輸入圖像。
步驟12:確定正常曝光圖像的高亮區(qū)域;
步驟13:獲取高亮區(qū)域中的每個像素點(diǎn)和像素點(diǎn)的鄰近像素點(diǎn)。
步驟14:若存在目標(biāo)像素點(diǎn)的亮度與鄰近像素點(diǎn)的亮度差異超過預(yù)設(shè)閾值,則采用鄰近像素點(diǎn)的亮度,對目標(biāo)像素點(diǎn)進(jìn)行平滑處理。
步驟15:對輸入圖像進(jìn)行圖像合成,生成合成圖像。
步驟16:將合成圖像輸出至isp。
本發(fā)明的出發(fā)點(diǎn)主要是以提升夜景的畫質(zhì)為目標(biāo),通過獲取六幀正常曝光圖像提升夜景的暗部細(xì)節(jié),并加一幀欠曝光圖像展現(xiàn)高亮區(qū)的細(xì)節(jié)提升動態(tài)范圍。在raw域,六幀正常曝光圖像與一幀欠曝光圖像通過dsp硬件芯片進(jìn)行多幀合成,調(diào)整圖像的亮度以及合成方式,輸出一個結(jié)果raw圖,具有暗部的細(xì)節(jié)增強(qiáng)和高亮區(qū)的細(xì)節(jié),再通過isp處理得到最終的圖像。應(yīng)用本發(fā)明實(shí)施例至少具有如下優(yōu)點(diǎn):
1、使用raw圖合成,數(shù)據(jù)量更多,細(xì)節(jié)信息豐富.
2、通過dsp硬件芯片處理數(shù)據(jù),速度快。
3、合成中使用多種合成算法,避免出現(xiàn)多個圖像中合成出現(xiàn)異常問題。
4、得到結(jié)果raw之后再進(jìn)行isp處理,在不降低圖像整體亮度、不增加噪點(diǎn)的情況下,增強(qiáng)夜景的暗部細(xì)節(jié)。
5、有效提升夜景的動態(tài)范圍,可以展現(xiàn)高亮區(qū)的細(xì)節(jié),得到的圖像更接近人眼看到的真實(shí)夜景。
綜上可知,應(yīng)用本發(fā)明實(shí)施例能夠?qū)崿F(xiàn)展現(xiàn)高亮區(qū)的細(xì)節(jié),同時,圖像的亮度被調(diào)整到普通的亮度時,色彩還原方面也會更加真實(shí)。由于人眼的動態(tài)范圍更高,看到的實(shí)際場景過曝區(qū)域會更少,所以本發(fā)明實(shí)例可以帶來更加真實(shí)的夜景效果。
本發(fā)明實(shí)施例可以在有效抑制高亮區(qū)域的同時,清晰展現(xiàn)暗光區(qū)域下的細(xì)節(jié),與普通的hdr模式相比,本發(fā)明實(shí)施例的噪點(diǎn)更少,夜景的高亮區(qū)域細(xì)節(jié)更明顯。圖像的效果與人眼看到的真實(shí)場景更為接近。
參照圖4,示出了本發(fā)明的一種移動終端實(shí)施例的結(jié)構(gòu)框圖,應(yīng)用于移動終端,所述移動終端包括攝像頭、圖像信號處理器isp和分別與所述攝像頭以及所述isp連接的數(shù)字信號處理器dsp,所述移動終端包括:
時序數(shù)據(jù)確定模塊301,用于在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù);
預(yù)覽圖像獲取模塊302,用于控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述時序數(shù)據(jù)采集的多幀預(yù)覽圖像;
當(dāng)前拍攝場景確定模塊303,用于若接收到拍照指令,則確定當(dāng)前拍攝場景;
輸入圖像篩選模塊304,用于基于所述當(dāng)前拍攝場景,從所述多幀預(yù)覽圖像中篩選出輸入圖像;
圖像合成模塊305,用于對所述輸入圖像進(jìn)行圖像合成,生成合成圖像;
合成圖像輸出模塊306,用于將所述合成圖像輸出至所述isp。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述isp和所述dsp中的至少一項(xiàng)為獨(dú)立芯片;所述isp集成于中央處理器cpu內(nèi)。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述預(yù)覽圖像包括欠曝光圖像、長曝光圖像和正常曝光圖像;所述時序數(shù)據(jù)包括時序段,所述時序段具有對應(yīng)的曝光時間。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述預(yù)覽圖像獲取模塊302,包括:
曝光時間獲取子模塊3021,用于按序獲取所述時序數(shù)據(jù)中的時序段對應(yīng)的曝光時間;
預(yù)覽圖像采集子模塊3022,用于控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述曝光時間采集的多幀預(yù)覽圖像。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述預(yù)覽圖像包括欠曝光圖像、長曝光圖像和正常曝光圖像;所述時序包括特殊時序和普通時序,所述普通時序?qū)?yīng)正常曝光圖像的曝光時間,所述特殊時序?qū)?yīng)欠曝光圖像和長曝光圖像的曝光時間;所述曝光時間獲取子模塊,包括:
曝光時間計(jì)算單元,用于若所述時序數(shù)據(jù)中的時序?yàn)樘厥鈺r序段,則計(jì)算所述欠曝光圖像和長曝光圖像的曝光時間;
曝光時間調(diào)用單元,用于若所述時序數(shù)據(jù)中的時序?yàn)槠胀〞r序段,則從預(yù)設(shè)曝光表中獲取所述正常曝光圖像的曝光時間。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述曝光時間包括欠曝光圖像、長曝光圖像和正常曝光圖像分別對應(yīng)的曝光時間;所述曝光時間計(jì)算單元,包括:
曝光時間獲取子單元,用于從預(yù)設(shè)曝光表中,獲取所述正常曝光圖像的曝光時間;
直方圖生成子單元,用于生成所述正常曝光圖像的直方圖,所述直方圖包括所述正常曝光圖像中每個像素點(diǎn)的亮度分布數(shù)據(jù);
亮度分布數(shù)據(jù)篩選子單元,用于從所述直方圖中,篩選出預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù);
直線計(jì)算子單元,用于基于所述預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù),通過線性回歸,計(jì)算出一直線;
傾斜角度確定子單元,用于確定所述直線與所述直方圖的橫坐標(biāo)形成的傾斜角度;
正弦值計(jì)算子單元,用于計(jì)算所述傾斜角度的正弦值;
曝光比值計(jì)算子單元,用于將所述正弦值乘以預(yù)設(shè)常量得到曝光比值;
曝光時間計(jì)算子單元,用于根據(jù)所述曝光時間和所述曝光比值,計(jì)算出所述欠曝光圖像的曝光時間和長曝光圖像的曝光時間;
其中,所述直方圖中,橫坐標(biāo)為亮度,縱坐標(biāo)為所述亮度的像素點(diǎn)數(shù)量。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述預(yù)設(shè)區(qū)域包括高亮區(qū)域和暗光區(qū)域,所述高亮區(qū)域是指直方圖中亮度大于或等于200的區(qū)域,所述暗光區(qū)域是指直方圖中亮度小于或等于130的區(qū)域。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述dsp包括存儲器;還包括:
圖像循環(huán)更新模塊,用于將所述多幀預(yù)覽圖像循環(huán)更新至所述dsp的存儲器中。
作為本發(fā)明的一種優(yōu)選實(shí)施例,還包括:
曝光增益調(diào)整模塊,用于控制所述isp按照所述時序數(shù)據(jù),調(diào)整每個預(yù)覽圖像的曝光增益。
作為本發(fā)明的一種優(yōu)選實(shí)施例,還包括:
當(dāng)前拍攝場景檢測模塊,用于若接收到預(yù)設(shè)數(shù)量的預(yù)覽圖像,則檢測當(dāng)前拍攝場景。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述當(dāng)前拍攝場景檢測模塊,包括:
hdr模式判斷子模塊,用于判斷是否開啟高動態(tài)光照渲染模式;
第一拍攝場景確定子模塊,用于若未開啟高動態(tài)光照渲染模式,則確定當(dāng)前拍攝場景為正常拍攝場景。
作為本發(fā)明的一種優(yōu)選實(shí)施例,還包括:
曝光增益獲取子模塊,用于若開啟高動態(tài)光照渲染模式,則獲取所述正常曝光圖像的曝光增益;
第二拍攝場景確定子模塊,用于若所述正常曝光圖像的曝光增益大于n倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景;
第三拍攝場景確定子模塊,用于若所述正常曝光圖像的曝光增益小于或等于n倍增益,且所述正常曝光圖像存在第二暗光區(qū)域和第二高亮區(qū)域,則確定當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景;
其中,所述暗光區(qū)域包括第一暗光區(qū)域和第二暗光區(qū)域,所述第一暗光區(qū)域的亮度低于所述第二暗光區(qū)域的亮度;所述述高亮區(qū)域包括第一高亮區(qū)域和第二高亮區(qū)域,所述第一高亮區(qū)域的亮度高于所述第二高亮區(qū)域的亮度;所述n的取值范圍為2~30。
作為本發(fā)明的一種優(yōu)選實(shí)施例,還包括:
第四拍攝場景確定子模塊,用于若所述正常曝光圖像的曝光增益大于或等于n倍增益,小于或等于m倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述預(yù)覽圖像包括欠曝光圖像、長曝光圖像和正常曝光圖像;所述輸入圖像篩選模塊,包括:
第一輸入圖像篩選子模塊,用于若所述當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像和正常曝光圖像作為輸入圖像;
第二輸入圖像篩選子模塊,用于若所述當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像、長曝光圖像和正常曝光圖像作為輸入圖像;
第三輸入圖像篩選子模塊,用于若所述當(dāng)前拍攝場景為正常拍攝場景,則從所述多幀預(yù)覽圖像中篩選出正常曝光圖像作為輸入圖像。
作為本發(fā)明的一種優(yōu)選實(shí)施例,還包括:
運(yùn)動物體判斷子模塊,用于判斷所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中是否均存在運(yùn)動物體;
第一輸入圖像確定子模塊,用于若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均不存在運(yùn)動物體,則舍棄所述欠曝光圖像的暗光區(qū)域,并重新將所述舍棄暗光區(qū)域的欠曝光圖像和所述正常曝光圖像作為輸入圖像;
第二輸入圖像確定子模塊,用于若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均存在運(yùn)動物體,則舍棄所述欠曝光圖像,并重新將所述正常曝光圖像作為輸入圖像。
作為本發(fā)明的一種優(yōu)選實(shí)施例,還包括:
運(yùn)動區(qū)域圖像獲取模塊,用于獲取每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像;
目標(biāo)運(yùn)動區(qū)域圖像得到模塊,用于對所述每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像進(jìn)行圖像合成,得到目標(biāo)運(yùn)動區(qū)域圖像;
灰度圖計(jì)算模塊,用于計(jì)算所述正常曝光圖像的灰度圖;
基準(zhǔn)圖像篩選模塊,用于基于所述灰度圖,篩選出清晰度最高的正常曝光圖像作為基準(zhǔn)圖像;
運(yùn)動區(qū)域圖像替換模塊,用于采用所述目標(biāo)運(yùn)動區(qū)域圖像替換所述基準(zhǔn)圖像中的運(yùn)動區(qū)域圖像。
作為本發(fā)明的一種優(yōu)選實(shí)施例,還包括:
高亮區(qū)域確定模塊,用于確定所述正常曝光圖像的高亮區(qū)域;
鄰近像素點(diǎn)獲取模塊,用于獲取所述高亮區(qū)域中的每個像素點(diǎn)和所述像素點(diǎn)的鄰近像素點(diǎn);
平滑處理模塊,用于若存在目標(biāo)像素點(diǎn)的亮度與鄰近像素點(diǎn)的亮度差異超過預(yù)設(shè)閾值,則采用所述鄰近像素點(diǎn)的亮度,對所述目標(biāo)像素點(diǎn)進(jìn)行平滑處理。
作為本發(fā)明的一種優(yōu)選實(shí)施例,所述預(yù)覽圖像的像素點(diǎn)包括顏色分量,所述顏色分量包括紅色分量、綠色分量和藍(lán)色分量;還包括:
高亮區(qū)域確定模塊,用于確定所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域;
占比計(jì)算模塊,用于計(jì)算所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比;
占比降低模塊,用于若所述占比超過預(yù)設(shè)比例,則降低所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比。
對于移動終端實(shí)施例而言,由于其與方法實(shí)施例基本相似,所以描述的比較簡單,相關(guān)之處參見方法實(shí)施例的部分說明即可。
這樣,本發(fā)明實(shí)施例中,首先在拍攝預(yù)覽狀態(tài)下,控制攝像頭基于預(yù)設(shè)的時序數(shù)據(jù)連續(xù)循環(huán)進(jìn)行圖像采集,并控制dsp接收采集的多幀預(yù)覽圖像,若接收到用戶發(fā)出的拍照指令,則確定當(dāng)前拍攝場景后基于當(dāng)前拍攝場景,從多幀預(yù)覽圖像中篩選出合適的輸入圖像進(jìn)行圖像合成,生成合成圖像,隨后可以輸出至所述isp進(jìn)行其他的處理。應(yīng)用本發(fā)明實(shí)施例可以根據(jù)不同的拍攝場景選擇合適的輸入圖像,從而能夠在不同場景下獲得更真實(shí)美觀的圖像。
本發(fā)明實(shí)施例還提供一種移動終端,包括處理器,存儲器,存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被所述處理器執(zhí)行時實(shí)現(xiàn)上述圖像的處理方法實(shí)施例的各個過程,且能達(dá)到相同的技術(shù)效果,為避免重復(fù),這里不再贅述。
圖5是本發(fā)明另一個實(shí)施例的移動終端的框圖。圖5所示的移動終端700包括:至少一個處理器701、存儲器702、至少一個網(wǎng)絡(luò)接口704和其他用戶接口703,此外還有攝像頭706。需要說明的是,處理器701中包括數(shù)字信號處理器dsp7011和圖像信號處理isp7012,兩者均屬于處理器,但是可以是互相獨(dú)立的芯片,也可以是耦合在同一個芯片內(nèi),甚至分別耦合于不同的芯片。
移動終端700中的各個組件通過總線系統(tǒng)705耦合在一起??衫斫?,總線系統(tǒng)705用于實(shí)現(xiàn)這些組件之間的連接通信。總線系統(tǒng)705除包括數(shù)據(jù)總線之外,還包括電源總線、控制總線和狀態(tài)信號總線。但是為了清楚說明起見,在圖5中將各種總線都標(biāo)為總線系統(tǒng)705。
其中,用戶接口703可以包括顯示器、鍵盤或者點(diǎn)擊設(shè)備(例如,鼠標(biāo),軌跡球(trackball)、觸感板或者觸摸屏等。
可以理解,本發(fā)明實(shí)施例中的存儲器702可以是易失性存儲器或非易失性存儲器,或可包括易失性和非易失性存儲器兩者。其中,非易失性存儲器可以是只讀存儲器(read-onlymemory,rom)、可編程只讀存儲器(programmablerom,prom)、可擦除可編程只讀存儲器(erasableprom,eprom)、電可擦除可編程只讀存儲器(electricallyeprom,eeprom)或閃存。易失性存儲器可以是隨機(jī)存取存儲器(randomaccessmemory,ram),其用作外部高速緩存。通過示例性但不是限制性說明,許多形式的ram可用,例如靜態(tài)隨機(jī)存取存儲器(staticram,sram)、動態(tài)隨機(jī)存取存儲器(dynamicram,dram)、同步動態(tài)隨機(jī)存取存儲器(synchronousdram,sdram)、雙倍數(shù)據(jù)速率同步動態(tài)隨機(jī)存取存儲器(doubledataratesdram,ddrsdram)、增強(qiáng)型同步動態(tài)隨機(jī)存取存儲器(enhancedsdram,esdram)、同步連接動態(tài)隨機(jī)存取存儲器(synchlinkdram,sldram)和直接內(nèi)存總線隨機(jī)存取存儲器(directrambusram,drram)。本發(fā)明實(shí)施例描述的系統(tǒng)和方法的存儲器702旨在包括但不限于這些和任意其它適合類型的存儲器。
在一些實(shí)施方式中,存儲器702存儲了如下的元素,可執(zhí)行模塊或者數(shù)據(jù)結(jié)構(gòu),或者他們的子集,或者他們的擴(kuò)展集:操作系統(tǒng)7021和應(yīng)用程序7022。
其中,操作系統(tǒng)7021,包含各種系統(tǒng)程序,例如框架層、核心庫層、驅(qū)動層等,用于實(shí)現(xiàn)各種基礎(chǔ)業(yè)務(wù)以及處理基于硬件的任務(wù)。應(yīng)用程序7022,包含各種應(yīng)用程序,例如媒體播放器(mediaplayer)、瀏覽器(browser)等,用于實(shí)現(xiàn)各種應(yīng)用業(yè)務(wù)。實(shí)現(xiàn)本發(fā)明實(shí)施例方法的程序可以包含在應(yīng)用程序7022中。
在本發(fā)明實(shí)施例中,通過調(diào)用存儲器702存儲的程序或指令,具體的,可以是應(yīng)用程序7022中存儲的程序或指令。在本發(fā)明實(shí)施例中,移動終端700還包括:存儲在存儲器上702并可在處理器701上運(yùn)行的計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器701執(zhí)行時實(shí)現(xiàn)如下步驟:在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù);控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述時序數(shù)據(jù)采集的多幀預(yù)覽圖像;若接收到拍照指令,則確定當(dāng)前拍攝場景;基于所述當(dāng)前拍攝場景,從所述多幀預(yù)覽圖像中篩選出輸入圖像;對所述輸入圖像進(jìn)行圖像合成,生成合成圖像;將所述合成圖像輸出至所述isp。
上述本發(fā)明實(shí)施例揭示的方法可以應(yīng)用于處理器701中,或者由處理器701實(shí)現(xiàn)。處理器701可能是一種集成電路芯片,具有信號的處理能力。在實(shí)現(xiàn)過程中,上述方法的各步驟可以通過處理器701中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器701可以是通用處理器、數(shù)字信號處理器(digitalsignalprocessor,dsp)、專用集成電路(applicationspecificintegratedcircuit,asic)、現(xiàn)成可編程門陣列(fieldprogrammablegatearray,fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件。可以實(shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實(shí)施例所公開的方法的步驟可以直接體現(xiàn)為硬件譯碼處理器執(zhí)行完成,或者用譯碼處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以位于隨機(jī)存儲器,閃存、只讀存儲器,可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領(lǐng)域成熟的存儲介質(zhì)中。該存儲介質(zhì)位于存儲器702,處理器701讀取存儲器702中的信息,結(jié)合其硬件完成上述方法的步驟。
可以理解的是,本發(fā)明實(shí)施例描述的這些實(shí)施例可以用硬件、軟件、固件、中間件、微碼或其組合來實(shí)現(xiàn)。對于硬件實(shí)現(xiàn),處理單元可以實(shí)現(xiàn)在一個或多個專用集成電路(applicationspecificintegratedcircuits,asic)、數(shù)字信號處理器(digitalsignalprocessing,dsp)、數(shù)字信號處理設(shè)備(dspdevice,dspd)、可編程邏輯設(shè)備(programmablelogicdevice,pld)、現(xiàn)場可編程門陣列(field-programmablegatearray,fpga)、通用處理器、控制器、微控制器、微處理器、用于執(zhí)行本申請所述功能的其它電子單元或其組合中。
對于軟件實(shí)現(xiàn),可通過執(zhí)行本發(fā)明實(shí)施例所述功能的模塊(例如過程、函數(shù)等)來實(shí)現(xiàn)本發(fā)明實(shí)施例所述的技術(shù)。軟件代碼可存儲在存儲器中并通過處理器執(zhí)行。存儲器可以在處理器中或在處理器外部實(shí)現(xiàn)。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:按序獲取所述時序數(shù)據(jù)中的時序段對應(yīng)的曝光時間;控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述曝光時間采集的多幀預(yù)覽圖像。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:若所述時序數(shù)據(jù)中的時序?yàn)樘厥鈺r序段,則計(jì)算所述欠曝光圖像和長曝光圖像的曝光時間;若所述時序數(shù)據(jù)中的時序?yàn)槠胀〞r序段,則從預(yù)設(shè)曝光表中獲取所述正常曝光圖像的曝光時間。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:從預(yù)設(shè)曝光表中,獲取所述正常曝光圖像的曝光時間;生成所述正常曝光圖像的直方圖,所述直方圖包括所述正常曝光圖像中每個像素點(diǎn)的亮度分布數(shù)據(jù);從所述直方圖中,篩選出預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù);基于所述預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù),通過線性回歸,計(jì)算出一直線;確定所述直線與所述直方圖的橫坐標(biāo)形成的傾斜角度;計(jì)算所述傾斜角度的正弦值;將所述正弦值乘以預(yù)設(shè)常量得到曝光比值;根據(jù)所述曝光時間和所述曝光比值,計(jì)算出所述欠曝光圖像的曝光時間和長曝光圖像的曝光時間;其中,所述直方圖中,橫坐標(biāo)為亮度,縱坐標(biāo)為所述亮度的像素點(diǎn)數(shù)量。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:將所述多幀預(yù)覽圖像循環(huán)更新至所述dsp的存儲器中。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:控制所述isp按照所述時序數(shù)據(jù),調(diào)整每個預(yù)覽圖像的曝光增益。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:若接收到預(yù)設(shè)數(shù)量的預(yù)覽圖像,則檢測當(dāng)前拍攝場景。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:判斷是否開啟高動態(tài)光照渲染模式;若未開啟高動態(tài)光照渲染模式,則確定當(dāng)前拍攝場景為正常拍攝場景。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:若開啟高動態(tài)光照渲染模式,則獲取所述正常曝光圖像的曝光增益;若所述正常曝光圖像的曝光增益大于n倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景;若所述正常曝光圖像的曝光增益小于或等于n倍增益,且所述正常曝光圖像存在第二暗光區(qū)域和第二高亮區(qū)域,則確定當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景;其中,所述暗光區(qū)域包括第一暗光區(qū)域和第二暗光區(qū)域,所述第一暗光區(qū)域的亮度低于所述第二暗光區(qū)域的亮度;所述述高亮區(qū)域包括第一高亮區(qū)域和第二高亮區(qū)域,所述第一高亮區(qū)域的亮度高于所述第二高亮區(qū)域的亮度;所述n的取值范圍為2~30。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:若所述正常曝光圖像的曝光增益大于或等于n倍增益,小于或等于m倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:若所述當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像和正常曝光圖像作為輸入圖像;若所述當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像、長曝光圖像和正常曝光圖像作為輸入圖像;若所述當(dāng)前拍攝場景為正常拍攝場景,則從所述多幀預(yù)覽圖像中篩選出正常曝光圖像作為輸入圖像。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:判斷所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中是否均存在運(yùn)動物體;若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均不存在運(yùn)動物體,則舍棄所述欠曝光圖像的暗光區(qū)域,并重新將所述舍棄暗光區(qū)域的欠曝光圖像和所述正常曝光圖像作為輸入圖像;若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均存在運(yùn)動物體,則舍棄所述欠曝光圖像,并重新將所述正常曝光圖像作為輸入圖像
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:獲取每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像;對所述每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像進(jìn)行圖像合成,得到目標(biāo)運(yùn)動區(qū)域圖像;計(jì)算所述正常曝光圖像的灰度圖;基于所述灰度圖,篩選出清晰度最高的正常曝光圖像作為基準(zhǔn)圖像;采用所述目標(biāo)運(yùn)動區(qū)域圖像替換所述基準(zhǔn)圖像中的運(yùn)動區(qū)域圖像。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:確定所述正常曝光圖像的高亮區(qū)域;獲取所述高亮區(qū)域中的每個像素點(diǎn)和所述像素點(diǎn)的鄰近像素點(diǎn);若存在目標(biāo)像素點(diǎn)的亮度與鄰近像素點(diǎn)的亮度差異超過預(yù)設(shè)閾值,則采用所述鄰近像素點(diǎn)的亮度,對所述目標(biāo)像素點(diǎn)進(jìn)行平滑處理。
可選的,計(jì)算機(jī)程序被處理器701執(zhí)行時還可實(shí)現(xiàn)如下步驟:確定所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域;計(jì)算所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比;若所述占比超過預(yù)設(shè)比例,則降低所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比。
移動終端700能夠?qū)崿F(xiàn)前述實(shí)施例中移動終端實(shí)現(xiàn)的各個過程,為避免重復(fù),這里不再贅述。
這樣,本發(fā)明實(shí)施例中,首先在拍攝預(yù)覽狀態(tài)下,控制攝像頭基于預(yù)設(shè)的時序數(shù)據(jù)連續(xù)循環(huán)進(jìn)行圖像采集,并控制dsp接收采集的多幀預(yù)覽圖像,若接收到用戶發(fā)出的拍照指令,則確定當(dāng)前拍攝場景后基于當(dāng)前拍攝場景,從多幀預(yù)覽圖像中篩選出合適的輸入圖像進(jìn)行圖像合成,生成合成圖像,隨后可以輸出至所述isp進(jìn)行其他的處理。應(yīng)用本發(fā)明實(shí)施例可以根據(jù)不同的拍攝場景選擇合適的輸入圖像,從而能夠在不同場景下獲得更真實(shí)美觀的圖像。
圖6是本發(fā)明另一個實(shí)施例的移動終端的結(jié)構(gòu)示意圖。具體地,圖6中的移動終端800可以為手機(jī)、平板電腦、個人數(shù)字助理(personaldigitalassistant,pda)、或車載電腦等。
圖6中的移動終端800包括射頻(radiofrequency,rf)電路810、存儲器820、輸入單元830、顯示單元840、處理器860、音頻電路870、wifi(wirelessfidelity)模塊880和電源890。需要說明的是,處理器860中包括數(shù)字信號處理器dsp861和圖像信號處理isp862,兩者均屬于處理器,但是可以是互相獨(dú)立的芯片,也可以是耦合在同一個芯片內(nèi),甚至分別耦合于不同的芯片。
其中,輸入單元830可用于接收用戶輸入的數(shù)字或字符信息,以及產(chǎn)生與移動終端800的用戶設(shè)置以及功能控制有關(guān)的信號輸入。具體地,本發(fā)明實(shí)施例中,該輸入單元830可以包括觸控面板831。觸控面板831,也稱為觸摸屏,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板831上的操作),并根據(jù)預(yù)先設(shè)定的程式驅(qū)動相應(yīng)的連接裝置??蛇x的,觸控面板831可包括觸摸檢測裝置和觸摸控制器兩個部分。其中,觸摸檢測裝置檢測用戶的觸摸方位,并檢測觸摸操作帶來的信號,將信號傳送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸信息,并將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo),再送給該處理器860,并能接收處理器860發(fā)來的命令并加以執(zhí)行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實(shí)現(xiàn)觸控面板831。除了觸控面板831,輸入單元830還可以包括其他輸入設(shè)備832,其他輸入設(shè)備832可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。
其中,顯示單元840可用于顯示由用戶輸入的信息或提供給用戶的信息以及移動終端800的各種菜單界面。顯示單元840可包括顯示面板841,可選的,可以采用lcd或有機(jī)發(fā)光二極管(organiclight-emittingdiode,oled)等形式來配置顯示面板841。
應(yīng)注意,觸控面板831可以覆蓋顯示面板841,形成觸摸顯示屏,當(dāng)該觸摸顯示屏檢測到在其上或附近的觸摸操作后,傳送給處理器860以確定觸摸事件的類型,隨后處理器860根據(jù)觸摸事件的類型在觸摸顯示屏上提供相應(yīng)的視覺輸出。
觸摸顯示屏包括應(yīng)用程序界面顯示區(qū)及常用控件顯示區(qū)。該應(yīng)用程序界面顯示區(qū)及該常用控件顯示區(qū)的排列方式并不限定,可以為上下排列、左右排列等可以區(qū)分兩個顯示區(qū)的排列方式。該應(yīng)用程序界面顯示區(qū)可以用于顯示應(yīng)用程序的界面。每一個界面可以包含至少一個應(yīng)用程序的圖標(biāo)和/或widget桌面控件等界面元素。該應(yīng)用程序界面顯示區(qū)也可以為不包含任何內(nèi)容的空界面。該常用控件顯示區(qū)用于顯示使用率較高的控件,例如,設(shè)置按鈕、界面編號、滾動條、電話本圖標(biāo)等應(yīng)用程序圖標(biāo)等。
其中處理器860是移動終端800的控制中心,利用各種接口和線路連接整個手機(jī)的各個部分,通過運(yùn)行或執(zhí)行存儲在第一存儲器821內(nèi)的軟件程序和/或模塊,以及調(diào)用存儲在第二存儲器822內(nèi)的數(shù)據(jù),執(zhí)行移動終端800的各種功能和處理數(shù)據(jù),從而對移動終端800進(jìn)行整體監(jiān)控??蛇x的,處理器860可包括一個或多個處理單元。
在本發(fā)明實(shí)施例中,通過調(diào)用存儲該第一存儲器821內(nèi)的軟件程序和/或模塊和/或該第二存儲器822內(nèi)的數(shù)據(jù),在本發(fā)明實(shí)施例中,移動終端800還包括:存儲在存儲器上820并可在處理器860上運(yùn)行的計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器860執(zhí)行時實(shí)現(xiàn)如下步驟:在拍攝預(yù)覽狀態(tài)下,確定攝像頭的時序數(shù)據(jù);控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述時序數(shù)據(jù)采集的多幀預(yù)覽圖像;若接收到拍照指令,則確定當(dāng)前拍攝場景;基于所述當(dāng)前拍攝場景,從所述多幀預(yù)覽圖像中篩選出輸入圖像;對所述輸入圖像進(jìn)行圖像合成,生成合成圖像;將所述合成圖像輸出至所述isp。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:按序獲取所述時序數(shù)據(jù)中的時序段對應(yīng)的曝光時間;控制所述dsp連續(xù)循環(huán)獲取所述攝像頭按照所述曝光時間采集的多幀預(yù)覽圖像。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:若所述時序數(shù)據(jù)中的時序?yàn)樘厥鈺r序段,則計(jì)算所述欠曝光圖像和長曝光圖像的曝光時間;若所述時序數(shù)據(jù)中的時序?yàn)槠胀〞r序段,則從預(yù)設(shè)曝光表中獲取所述正常曝光圖像的曝光時間。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:從預(yù)設(shè)曝光表中,獲取所述正常曝光圖像的曝光時間;生成所述正常曝光圖像的直方圖,所述直方圖包括所述正常曝光圖像中每個像素點(diǎn)的亮度分布數(shù)據(jù);從所述直方圖中,篩選出預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù);基于所述預(yù)設(shè)區(qū)域的亮度分布數(shù)據(jù),通過線性回歸,計(jì)算出一直線;確定所述直線與所述直方圖的橫坐標(biāo)形成的傾斜角度;計(jì)算所述傾斜角度的正弦值;將所述正弦值乘以預(yù)設(shè)常量得到曝光比值;根據(jù)所述曝光時間和所述曝光比值,計(jì)算出所述欠曝光圖像的曝光時間和長曝光圖像的曝光時間;其中,所述直方圖中,橫坐標(biāo)為亮度,縱坐標(biāo)為所述亮度的像素點(diǎn)數(shù)量。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:將所述多幀預(yù)覽圖像循環(huán)更新至所述dsp的存儲器中。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:控制所述isp按照所述時序數(shù)據(jù),調(diào)整每個預(yù)覽圖像的曝光增益。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:若接收到預(yù)設(shè)數(shù)量的預(yù)覽圖像,則檢測當(dāng)前拍攝場景。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:判斷是否開啟高動態(tài)光照渲染模式;若未開啟高動態(tài)光照渲染模式,則確定當(dāng)前拍攝場景為正常拍攝場景。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:若開啟高動態(tài)光照渲染模式,則獲取所述正常曝光圖像的曝光增益;若所述正常曝光圖像的曝光增益大于n倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景;若所述正常曝光圖像的曝光增益小于或等于n倍增益,且所述正常曝光圖像存在第二暗光區(qū)域和第二高亮區(qū)域,則確定當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景;其中,所述暗光區(qū)域包括第一暗光區(qū)域和第二暗光區(qū)域,所述第一暗光區(qū)域的亮度低于所述第二暗光區(qū)域的亮度;所述述高亮區(qū)域包括第一高亮區(qū)域和第二高亮區(qū)域,所述第一高亮區(qū)域的亮度高于所述第二高亮區(qū)域的亮度;所述n的取值范圍為2~30。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:若所述正常曝光圖像的曝光增益大于或等于n倍增益,小于或等于m倍增益,且所述正常曝光圖像存在第一暗光區(qū)域和第一高亮區(qū)域,則確定當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:若所述當(dāng)前拍攝場景為夜景高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像和正常曝光圖像作為輸入圖像;若所述當(dāng)前拍攝場景為白天高動態(tài)光照渲染場景,則從所述多幀預(yù)覽圖像中篩選出欠曝光圖像、長曝光圖像和正常曝光圖像作為輸入圖像;若所述當(dāng)前拍攝場景為正常拍攝場景,則從所述多幀預(yù)覽圖像中篩選出正常曝光圖像作為輸入圖像。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:判斷所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中是否均存在運(yùn)動物體;若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均不存在運(yùn)動物體,則舍棄所述欠曝光圖像的暗光區(qū)域,并重新將所述舍棄暗光區(qū)域的欠曝光圖像和所述正常曝光圖像作為輸入圖像;若所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域中均存在運(yùn)動物體,則舍棄所述欠曝光圖像,并重新將所述正常曝光圖像作為輸入圖像
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:獲取每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像;對所述每幀正常曝光圖像的運(yùn)動物體的運(yùn)動區(qū)域圖像進(jìn)行圖像合成,得到目標(biāo)運(yùn)動區(qū)域圖像;計(jì)算所述正常曝光圖像的灰度圖;基于所述灰度圖,篩選出清晰度最高的正常曝光圖像作為基準(zhǔn)圖像;采用所述目標(biāo)運(yùn)動區(qū)域圖像替換所述基準(zhǔn)圖像中的運(yùn)動區(qū)域圖像。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:確定所述正常曝光圖像的高亮區(qū)域;獲取所述高亮區(qū)域中的每個像素點(diǎn)和所述像素點(diǎn)的鄰近像素點(diǎn);若存在目標(biāo)像素點(diǎn)的亮度與鄰近像素點(diǎn)的亮度差異超過預(yù)設(shè)閾值,則采用所述鄰近像素點(diǎn)的亮度,對所述目標(biāo)像素點(diǎn)進(jìn)行平滑處理。
可選的,計(jì)算機(jī)程序被處理器860執(zhí)行時還可實(shí)現(xiàn)如下步驟:確定所述欠曝光圖像和所述正常曝光圖像的高亮區(qū)域;計(jì)算所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比;若所述占比超過預(yù)設(shè)比例,則降低所述高亮區(qū)域中所述紅色分量在所述顏色分量中的占比。
對于移動終端800實(shí)施例而言,由于其與方法實(shí)施例基本相似,所以描述的比較簡單,相關(guān)之處參見方法實(shí)施例的部分說明即可。
這樣,本發(fā)明實(shí)施例中,首先在拍攝預(yù)覽狀態(tài)下,控制攝像頭基于預(yù)設(shè)的時序數(shù)據(jù)連續(xù)循環(huán)進(jìn)行圖像采集,并控制dsp接收采集的多幀預(yù)覽圖像,若接收到用戶發(fā)出的拍照指令,則確定當(dāng)前拍攝場景后基于當(dāng)前拍攝場景,從多幀預(yù)覽圖像中篩選出合適的輸入圖像進(jìn)行圖像合成,生成合成圖像,隨后可以輸出至所述isp進(jìn)行其他的處理。應(yīng)用本發(fā)明實(shí)施例可以根據(jù)不同的拍攝場景選擇合適的輸入圖像,從而能夠在不同場景下獲得更真實(shí)美觀的圖像。
本領(lǐng)域普通技術(shù)人員可以意識到,結(jié)合本發(fā)明實(shí)施例中所公開的實(shí)施例描述的各示例的單元及算法步驟,能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能,但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的系統(tǒng)、裝置和單元的具體工作過程,可以參考前述方法實(shí)施例中的對應(yīng)過程,在此不再贅述。
在本申請所提供的實(shí)施例中,應(yīng)該理解到,所揭露的裝置和方法,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨(dú)物理存在,也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時,可以存儲在一個計(jì)算機(jī)可讀取存儲介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:u盤、移動硬盤、rom、ram、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上所述,僅為本發(fā)明的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。