本發(fā)明涉及圖像處理技術領域，尤其涉及一種圖像處理方法、裝置及電子設備。

背景技術：

在處理圖像時，人們經(jīng)常會對圖像進行摳圖處理。摳圖處理就是指通過一定的圖像處理方法摳出圖像中人們感興趣的圖像(即前景圖像)，去除人們不感興趣的圖像(即背景圖像)。

現(xiàn)有技術中的一類摳圖方法使用背景相減技術將純背景圖像與混有前景物體和背景的圖像進行對比，從而摳出前景圖像。但是，當前景物體和背景的顏色接近時，通過這類摳圖方式獲得的前景圖像的效果較差。

技術實現(xiàn)要素：

有鑒于此，本發(fā)明提供一種圖像處理方法、裝置及電子設備，用以提高摳圖獲得的前景掩碼圖的效果。

第一方面，本發(fā)明提供一種圖像處理方法，包括：

一種圖像處理方法，包括：

利用可見光拍攝裝置獲取至少一張可見光背景圖像和利用非可見光拍攝裝置獲取至少一張非可見光背景圖像，其中所述可見光背景圖像和所述非可見光背景圖像中不包括前景物體；

利用所述可見光拍攝裝置獲取至少一張可見光待處理圖像和利用所述非可見光拍攝裝置獲取至少一張非可見光待處理圖像，其中所述可見光待處理圖像和所述非可見光待處理圖像中包括所述前景物體；

利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待處理圖像 對應的可見光差異圖像，利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一張非可見光待處理圖像對應的非可見光差異圖像；

對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖。

其中，所述利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待處理圖像對應的可見光差異圖像，包括：

利用所述目標可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張可見光待處理圖像對應的可見光差異圖像；

所述利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一張非可見光待處理圖像對應的非可見光差異圖像，包括：

利用所述目標非可見光背景圖像和所述當前一張非可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張非可見光待處理圖像對應的非可見光差異圖像。

其中，在所述利用可見光拍攝裝置獲取至少一張可見光背景圖像和利用非可見光拍攝裝置獲取至少一張非可見光背景圖像之后，所述方法還包括：

獲取所述各可見光背景圖像和所述各非可見光背景圖像的曝光時間；

在所述利用所述可見光拍攝裝置獲取至少一張可見光待處理圖像和利用所述非可見光拍攝裝置獲取至少一張非可見光待處理圖像之后，所述方法還包括：

獲取所述各可見光待處理圖像和所述各非可見光待處理圖像的曝光時間。

其中，所述目標可見光背景圖像是從所述至少一張可見光背景圖像中選取的，其中所述目標可見光背景圖像的曝光時間和所述當前一張可見光待處理圖像的曝光時間相同；

所述目標非可見光背景圖像是從所述至少一張非可見光背景圖像中選取的，其中所述目標非可見光背景圖像的曝光時間和所述當前一張非可見光待處 理圖像的曝光時間相同。

其中，根據(jù)所述至少一張可見光背景圖像獲得所述目標可見光背景圖像，其中所述目標可見光背景圖像中各像素的灰度值是預定數(shù)量的可見光背景圖像中對應像素灰度值的均值；

根據(jù)所述至少一張非可見光背景圖像獲得所述目標非可見光背景圖像，其中所述目標非可見光背景圖像中各像素的灰度值是預定數(shù)量的非可見光背景圖像中對應像素灰度值的均值。

其中，所述對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖，包括：

獲取可見光前景灰度值差異閾值和非可見光前景灰度值差異閾值；

將所述可見光差異圖像中各像素的灰度值和所述可見光前景灰度差異值閾值進行比較，并將所述可見光差異圖像中灰度值大于或等于所述可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為可見光前景掩碼圖；

將所述非可見光差異圖像中各像素的灰度值和所述非可見光前景灰度值差異閾值進行比較，并將所述非可見光差異圖像中灰度值大于或等于所述非可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為非可見光前景掩碼圖；

將所述可見光前景掩碼圖和所述非可見光前景掩碼圖進行合并，并將合并的結果作為所述前景掩碼圖。

其中，所述對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖，包括：

獲取綜合前景灰度值差異閾值；

利用所述可見光差異圖像和所述非可見光差異圖像獲得綜合差異圖像；

將所述綜合差異圖像中各像素的灰度值和所述綜合前景灰度值差異閾值進行比較，并將所述綜合差異圖像中灰度值大于或等于所述綜合前景灰度值差異閾值的像素組成的圖像區(qū)域作為前景掩碼圖。

其中，在所述對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖之后，所述方法還包括：對所述前景掩碼圖進行邊緣優(yōu)化處理。

其中，所述對所述前景掩碼圖進行邊緣優(yōu)化處理，包括：

對所述前景掩碼圖進行形態(tài)學濾波，獲得所述前景掩碼圖中的提示trimap掩碼圖，并利用所述trimap掩碼圖獲取所述前景掩碼圖中的trimap區(qū)域圖像；

計算所述trimap區(qū)域圖像中各像素的前景比例參數(shù)。

其中，在所述利用可見光拍攝裝置獲取至少一張可見光背景圖像和利用非可見光拍攝裝置獲取至少一張非可見光背景圖像之前，所述方法還包括：

對所述可見光拍攝裝置和所述非可見光拍攝裝置進行配準。

第二方面，本發(fā)明提供一種圖像處理裝置，包括：

可見光圖像獲取單元，用于分別獲取至少一張可見光背景圖像和至少一張可見光待處理圖像；

非可見光圖像獲取單元，用于分別獲取至少一張非可見光背景圖像和至少一張非可見光待處理圖像；

差異圖像獲取單元，用于利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待處理圖像對應的可見光差異圖像，利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一張非可見光待處理圖像對應的非可見光差異圖像；

圖像處理單元，用于對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖；

其中所述可見光背景圖像和所述非可見光背景圖像中不包括前景物體，所述可見光待處理圖像和所述非可見光待處理圖像中包括所述前景物體。

其中，所述差異圖像獲取單元包括：

第一圖像獲取模塊，用于利用所述目標可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張可見光待處理圖像對應的可見光差異圖像；

第二圖像獲取模塊，用于利用所述目標非可見光背景圖像和所述當前一張非可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張非可見光待處理圖像對應的非可見光差異圖像。

其中，所述裝置還包括：

存儲單元，用于存儲所述各可見光背景圖像和所述各非可見光背景圖像的 曝光時間，以及存儲所述各可見光待處理圖像和所述各非可見光待處理圖像的曝光時間。

其中，所述第一圖像獲取模塊包括：

選取子模塊，用于從所述至少一張可見光背景圖像中選取所述目標可見光背景圖像，其中所述目標可見光背景圖像的曝光時間和所述當前一張可見光待處理圖像的曝光時間相同；

處理子模塊，用于利用所述目標可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張可見光待處理圖像對應的可見光差異圖像。

其中，所述裝置還包括：

圖像選擇單元，用于根據(jù)所述至少一張可見光背景圖像獲得目標可見光背景圖像，其中所述目標可見光背景圖像中各像素的灰度值是預定數(shù)量的可見光背景圖像中對應像素灰度值的均值；根據(jù)所述至少一張非可見光背景圖像獲得目標非可見光背景圖像，其中所述目標非可見光背景圖像中各像素的灰度值是預定數(shù)量的非可見光背景圖像中對應像素灰度值的均值。

其中，所述圖像處理單元包括：

參數(shù)獲取模塊，用于獲取可見光前景灰度值差異閾值和非可見光前景灰度值差異閾值；

圖像獲取模塊，用于將所述可見光差異圖像中各像素的灰度值和所述可見光前景灰度差異值閾值進行比較，并將所述可見光差異圖像中灰度值大于或等于所述可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為可見光前景掩碼圖；將所述非可見光差異圖像中各像素的灰度值和所述非可見光前景灰度值差異閾值進行比較，并將所述非可見光差異圖像中灰度值大于或等于所述非可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為非可見光前景掩碼圖；

圖像處理模塊，用于將所述可見光前景掩碼圖和所述非可見光前景掩碼圖進行合并，并將合并的結果作為所述前景掩碼圖。

其中，所述圖像處理單元包括：

參數(shù)獲取模塊，用于獲取綜合前景灰度值差異閾值；

圖像獲取模塊，用于利用所述可見光差異圖像和所述非可見光差異圖像獲 得綜合差異圖像；

圖像處理模塊，用于將所述綜合差異圖像中各像素的灰度值和所述綜合前景灰度值差異閾值進行比較，并將所述綜合差異圖像中灰度值大于或等于所述綜合前景灰度值差異閾值的像素組成的圖像區(qū)域作為前景掩碼圖。

其中，所述裝置還包括：

圖像優(yōu)化單元，用于對所述前景掩碼圖進行邊緣優(yōu)化處理。

其中，所述圖像優(yōu)化單元包括：

圖像提取模塊，用于對所述前景掩碼圖進行形態(tài)學濾波，獲得所述前景掩碼圖中的提示trimap掩碼圖，并利用所述trimap掩碼圖獲取所述前景掩碼圖中的trimap區(qū)域圖像；

圖像優(yōu)化模塊，用于計算所述trimap區(qū)域圖像中各像素的前景比例參數(shù)。

其中，所述圖像處理單元還用于，對所述可見光拍攝裝置和所述非可見光拍攝裝置進行配準。

第三方面，本發(fā)明提供一種電子設備，所述電子設備包括：殼體、處理器、存儲器、電路板和電源電路，其中，電路板安置在殼體圍成的空間內(nèi)部，處理器和存儲器設置在電路板上；電源電路，用于為上述電子設備的各個電路或器件供電；存儲器用于存儲可執(zhí)行程序代碼；處理器通過讀取存儲器中存儲的可執(zhí)行程序代碼來運行與可執(zhí)行程序代碼對應的程序，用于執(zhí)行以下步驟：

利用可見光拍攝裝置獲取至少一張可見光背景圖像和利用非可見光拍攝裝置獲取至少一張非可見光背景圖像，其中所述可見光背景圖像和所述非可見光背景圖像中不包括前景物體；

利用所述可見光拍攝裝置獲取至少一張可見光待處理圖像和利用所述非可見光拍攝裝置獲取至少一張非可見光待處理圖像，其中所述可見光待處理圖像和所述非可見光待處理圖像中包括所述前景物體；

利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待處理圖像對應的可見光差異圖像，利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一張非可見光待處理圖像對應的非可見光差異圖像；

對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖。

本發(fā)明的上述技術方案的有益效果如下：

由上可以看出，在本發(fā)明實施例中，處理利用可見光拍攝裝置獲得可見光圖像(包括可見光背景圖像和可見光待處理圖像)外，還利用了額外的非可見光拍攝裝置獲得非可見光圖像(包括非可見光背景圖像和非可見光待處理圖像)。由于補充了利用額外光源獲得的非可見光圖像，因此使得前景物體在各背景圖像中的成像的強度與在待處理圖像中的成像的強度相比有了明顯的變化，而該強度的變化又與前景物體或者背景的顏色無關。那么，在利用本發(fā)明時候實施例的方案進行摳圖處理時就可同時利用獲得的可見光圖像的信息和非可見光圖像的信息，并使得兩種信息在前景融合時相互補充，因此即使前景物體和背景顏色接近，與現(xiàn)有技術相比，利用本發(fā)明時候實施例的方案進行摳圖仍能獲得效果更好的前景掩碼圖。

附圖說明

圖1為本發(fā)明實施例一的圖像處理方法的流程圖；

圖2為本發(fā)明實施例二的圖像處理方法的流程圖；

圖3(a)為利用本發(fā)明實施例獲得的可見光背景圖像示意圖；

圖3(b)為利用本發(fā)明實施例獲得的可見光差異圖像示意圖；

圖3(c)為利用現(xiàn)有技術的方法獲得的可見光前景掩碼圖示意圖；

圖3(d)為利用現(xiàn)有技術的方法獲得的非可見光前景掩碼圖示意圖；

圖3(e)為利用本發(fā)明實施例的方案后獲得的前景掩碼圖示意圖；

圖4為本發(fā)明實施例三的圖像處理裝置的示意圖；

圖5為本發(fā)明實施例三的圖像處理裝置的第一結構圖；

圖6為本發(fā)明實施例三的圖像處理裝置的第二結構圖；

圖7為本發(fā)明實施例三的圖像處理裝置的第三結構圖；

圖8為本發(fā)明實施例四的電子設備的示意圖。

具體實施方式

下面將結合附圖和實施例，對本發(fā)明的具體實施方式作進一步詳細描述。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

如圖1所示，本發(fā)明實施例一的圖像處理方法包括：

步驟11、利用可見光拍攝裝置獲取至少一張可見光背景圖像和利用非可見光拍攝裝置獲取至少一張非可見光背景圖像。

在此，所述可見光背景圖像和所述非可見光背景圖像中不包括前景物體，并且在本發(fā)明實施例中可分別獲取一張或多張可見光背景圖像和非可見光背景圖像。所述前景物體可以任意設置，比如杯子等。

其中，所述可見光拍攝裝置可包括可見光攝像頭，所述非可見光拍攝裝置可包括非可見光光源和非可見光攝像頭。在具體應用中該可見光拍攝裝置和非可見光拍攝裝置可以組成一深度攝像頭。其中，可見光攝像頭可以是傳統(tǒng)的彩色或單色攝像頭，非可見光光源可以是紅外激光發(fā)射器或紅外led(light-emittingdiode，發(fā)光二極管)，非可見光攝像頭是可以為利用非可見光光源成像的攝像頭，比如紅外攝像頭。

步驟12、利用所述可見光拍攝裝置獲取至少一張可見光待處理圖像和利用所述非可見光拍攝裝置獲取至少一張非可見光待處理圖像。

在此，所述可見光待處理圖像和所述非可見光待處理圖像中不包括所述前景物體，并且在本發(fā)明實施例中可分別獲取一張或多張可見光待處理圖像和非可見光待處理圖像。

步驟13、利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待處理圖像對應的可見光差異圖像，利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一張非可見光待處理圖像對應的非可見光差異圖像。

在實際處理過程中可實時獲取多張可見光待處理圖像或者非可見光待處理圖像，而在具體的處理過程中，本發(fā)明實施例是針對每一張可見光或非可見光待處理圖像進行處理的，因此在此將當前正在處理的一張可見光或非可見光待處理圖像稱為當前一張可見光或非可見光待處理圖像。

由于在此實施例中可獲取多張可見光背景圖像和非可見光背景圖像，因 此，為了提高摳圖效果，在本發(fā)明實施例中可分別利用可見光背景圖像和非可見背景圖像對應的目標可見光背景圖像和目標非可見光背景圖像對獲得的待處理圖像進行處理。

以目標可見光背景圖像為例，在本發(fā)明實施例中可有多種獲取方法獲得。例如，在本發(fā)明實施例中可存儲各背景圖像和待處理圖像的曝光時間。因此，可從至少一張可見光背景圖像中選取一張與當前一張可見光待處理圖像的曝光時間相同的圖像作為在此的目標可見光背景圖像。又例如，還可根據(jù)所述至少一張可見光背景圖像獲得第二可見光背景圖像，其中所述第二可見光背景圖像中各像素的灰度值是預定數(shù)量的可見光背景圖像中對應像素灰度值的均值，然后將該第二可見光背景圖像作為所述目標非可見光背景圖像。

同理，也可按照上述方式獲得目標非可見光背景圖像。

在此步驟中，主要是包括以下過程：

(1)、對所述目標可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張可見光待處理圖像對應的可見光差異圖像；

(2)、對所述目標非可見光背景圖像和所述當前一張非可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張非可見光待處理圖像對應的非可見光差異圖像。

其中，背景相減的方法有多種，比如靜態(tài)幀差法，動態(tài)背景維持法，混合高斯模型(gaussianmixturemodel，gmm)方法等。

以gmm方法為例，對可見光背景圖像來說，使用gmm來表示每一個像素在可見光背景圖像中的分布。然后對可見光背景圖像進行混合高斯分布統(tǒng)計，計算出可見光背景圖像的混合高斯分布。然后根據(jù)可見光背景圖像的混合高斯分布的結果判斷當前一張可見光待處理圖像中的每一像素是否與該分布匹配。如果某個像素與該混合高斯分布匹配，則該像素可作為背景像素，如果不匹配，則該像素可作為前景像素。與單純使用像素灰度均值或中位數(shù)值來表示像素的變化的方式相比，使用混合高斯模型來模擬某一像素在某一時段內(nèi)的變化更為準確。同時，使用高斯模型則可以利用高斯模型模擬周期性變化或緩慢移動的背景，從而使得本發(fā)明實施例對場景的適應性更強。

步驟14、對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖。

在本發(fā)明實施例中，可通過以下兩種方式對所述可見光差異圖像和所述非可見光差異圖像進行前景融合。

方式一、在該方式下，首先獲取可見光前景灰度值差異閾值和非可見光前景灰度值差異閾值。其中該兩個閾值可任意設置。然后，將所述可見光差異圖像中各像素的灰度值和所述可見光前景灰度值差異閾值進行比較，并將所述可見光差異圖像中灰度值大于或等于所述可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為可見光前景掩碼圖。同時，將所述非可見光差異圖像中各像素的灰度值和所述非可見光前景灰度值差異閾值進行比較，并將所述非可見光差異圖像中灰度值大于或等于所述非可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為非可見光前景掩碼圖。最后，再將所述可見光前景掩碼圖和所述非可見光前景掩碼圖進行合并，并將合并的結果作為所述前景掩碼圖。

在本發(fā)明實施例中，“合并”指的是對獲得的可見光前景掩碼圖和非可見光前景掩碼圖進行邏輯“或”運算。也即，獲得的前景掩碼圖中包括了可見光前景掩碼圖和非可見光前景掩碼圖中的所有可作為前景掩碼圖的區(qū)域。

方式二、在該方式下，首先獲取綜合前景灰度值差異閾值。其中該閾值可任意設置。然后，利用所述可見光差異圖像和所述非可見光差異圖像獲得綜合差異圖像。最后，再將所述綜合差異圖像中各像素的灰度值和所述綜合前景灰度值差異閾值進行比較，并將所述綜合差異圖像中灰度值大于或等于所述綜合前景灰度值差異閾值的像素組成的圖像區(qū)域作為前景掩碼圖。

由上可以看出，在本發(fā)明實施例中，處理利用可見光拍攝裝置獲得可見光圖像(包括可見光背景圖像和可見光待處理圖像)外，還利用了額外的非可見光拍攝裝置獲得非可見光圖像(包括非可見光背景圖像和非可見光待處理圖像)。由于補充了利用額外光源獲得的非可見光圖像，因此使得前景物體在各背景圖像中的成像的強度與在待處理圖像中的成像的強度相比有了明顯的變化，而該強度的變化又與前景物體或者背景的顏色無關。那么，在利用本發(fā)明時候實施例的方案進行摳圖處理時就可同時利用獲得的可見光圖像的信息和非可見光圖像的信息，并使得兩種信息在前景融合時相互補充，因此即使前景 物體和背景顏色接近，與現(xiàn)有技術相比，利用本發(fā)明時候實施例的方案進行摳圖仍能獲得效果更好的前景掩碼圖。

以下結合本發(fā)明實施例二詳細描述一下本發(fā)明實施例的圖像處理方法的實現(xiàn)過程。

如圖2所示，本發(fā)明實施例二的圖像處理方法包括：

步驟21、利用可見光拍攝裝置獲取可見光背景圖像和利用非可見光拍攝裝置獲取非可見光背景圖像。

如前所述，所述可見光拍攝裝置可包括可見光攝像頭，所述非可見光拍攝裝置可包括非可見光光源和非可見光攝像頭。在此，可獲得一幅可見光背景圖像或非可見光背景圖像，也可以獲得多幅可見光背景圖像或非可見光背景圖像。其中所述可見光背景圖像和所述非可見光背景圖像中不包括前景物體。

步驟22、存儲所述可見光背景圖像和非可見光背景圖像的曝光時間。

在具體應用中，可預先設定每個可見光背景圖像或者可見光背景圖像的曝光時間并存儲，例如設定為10ms等。

步驟23、對所述可見光拍攝裝置和所述非可見光拍攝裝置進行配準。

在本發(fā)明實施例的實現(xiàn)過程中，通過雙目相機標定的方法，對所述可見光拍攝裝置和所述非可見光拍攝裝置進行配準，進而預先設定好兩個攝像頭的相對空間關系。通過這種方式，可使得拍攝空間中的同一點在兩個攝像頭所拍攝的圖像中的位置相同。

步驟24、利用所述可見光拍攝裝置獲取可見光待處理圖像和利用所述非可見光拍攝裝置獲取非可見光待處理圖像。

其中所述可見光待處理圖像和所述非可見光待處理圖像中包括所述前景物體。在執(zhí)行步驟21和步驟24的過程中，為了獲得較好的摳圖效果，可保持拍攝背景不發(fā)生變化。

在此，可獲得一幅可見光待處理圖像和非可見光待處理圖像，也可以獲得多幅可見光待處理圖像或非可見光待處理圖像。同時，在此實施例中還可獲取并存儲各可見光待處理圖像和各非可見光待處理圖像的曝光時間。

步驟25、利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待 處理圖像對應的可見光差異圖像，利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一張非可見光待處理圖像對應的非可見光差異圖像。

其中所述目標可見光背景圖像、目標非可見光背景圖像、當前一張可見光待處理圖像、當前一張非可見光圖像的含義可參照前述實施例的描述。

在本發(fā)明實施例中主要是利用背景相減法獲得可見光差異圖像和非可見光差異圖像。常用的背景相減的方法有多種，比如靜態(tài)幀差法，動態(tài)背景維持法，混合高斯模型gmm方法等。通過獲得的差異圖像，可獲得前景物體所在的大致區(qū)域。

在本發(fā)明實施例中，可以獲得多幅可見光背景圖像和非可見光背景圖像。在此步驟中，可僅利用其中的一幅可見光背景圖像和非可見光背景圖像，或者同時利用多幅可見光背景圖像和非可見光背景圖像。

如果僅是利用獲得的單幅可見光背景圖像，那么在此步驟中即是利用背景相減方法對所述可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述可見光差異圖像。

同理，如果僅是獲得一幅非可見光背景圖像，那么在此步驟中即是利用背景相減方法對所述非可見光背景圖像和所述當前一張非可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述非可見光差異圖像。

優(yōu)選的，在這種情況下，可從獲得的多幅可見光背景圖像中選取第一可見光背景圖像作為目標可見光背景圖像，其中所述第一可見光背景圖像的曝光時間和所述可見光待處理圖像的曝光時間相同。然后，對所述第一(目標)可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述可見光差異圖像。

同理，可從獲得的多幅非可見光背景圖像中選取第一非可見光背景圖像作為目標非可見光背景圖像，其中所述第一非可見光背景圖像的曝光時間和所述非可見光待處理圖像的曝光時間相同。然后，對所述第一(目標)非可見光背景圖像和所述當前一張非可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述非可見光差異圖像。

如果是利用獲得的多幅可見光背景圖像，那么為了降低噪聲，在此步驟中 可根據(jù)獲得的多幅可見光背景圖像獲得第二可見光背景圖像作為目標可見光背景圖像，其中所述第二可見光背景圖像中各像素的灰度值是預定數(shù)量的可見光背景圖像中對應像素灰度值的均值。其中該預定數(shù)量可以任意設置。那么在此步驟中即是對所述第二(目標)可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述可見光差異圖像。

同理，如果是利用獲得的多幅非可見光背景圖像，那么為了降低噪聲，在此步驟中可根據(jù)獲得的多幅非可見光背景圖像獲得第二非可見光背景圖像作為目標非可見光背景圖像。那么在此步驟中即是對所述第二(目標)非可見光背景圖像和所述當前一張非可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述非可見光差異圖像。

步驟26、對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖。

由于可見光圖像的背景條件不可控，當前景物體的顏色與背景顏色相近時，在可見光差異圖像中很難提取出有效的前景部分。而在本發(fā)明實施例中使用非可見光光源照射拍攝場景，并使用非可見光攝像頭獲取非可見光背景圖像和非可見光待處理圖像并計算二者之間的差異圖像。由于使用了額外的光源，因此使得前景部分的成像與初始化階段的背景圖像有明顯強度上的變化，且該變化與顏色無關，因此該計算結果與可見光差異圖像融合在之后可以起到互相補充的作用。

在本發(fā)明實施例中，可通過如下方式進行前景融合。

方式一、在此方式中，主要包括以下步驟：

步驟261、獲取可見光前景灰度值差異閾值和非可見光前景灰度值差異閾值。

步驟262、將所述可見光差異圖像中各像素的灰度值和所述可見光前景灰度值差異閾值進行比較，并將所述可見光差異圖像中灰度值大于或等于所述可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為可見光前景掩碼圖。

步驟263、將所述非可見光差異圖像中各像素的灰度值和所述非可見光前景灰度值差異閾值進行比較，并將所述非可見光差異圖像中灰度值大于或等于所述非可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為非可見光前景 掩碼圖。

步驟264、將所述可見光前景掩碼圖和所述非可見光前景掩碼圖進行合并，并將合并的結果作為所述前景掩碼圖。

如前所述，在本發(fā)明實施例中，所謂的“合并”指的是對獲得的可見光前景掩碼圖和非可見光前景掩碼圖進行邏輯“或”運算?？梢姽馇熬盎叶戎挡町愰撝岛头强梢姽馇熬盎叶戎挡町愰撝悼梢匀我庠O置。

方式二、在此方式中，主要包括以下步驟：

步驟265、獲取綜合前景灰度值差異閾值。

步驟266、利用所述可見光差異圖像和所述非可見光差異圖像獲得綜合差異圖像。

具體的，在此步驟中對可見光差異圖像中各像素的灰度值乘以第一加權系數(shù)，獲得第一結果；以及對非可見光差異圖像中的各像素的灰度值乘以第二加權系數(shù)，獲得第一結果；然后將第一結果和第二結果求和，據(jù)此構成綜合差異圖像。

步驟267、將所述綜合差異圖像中各像素的灰度值和所述綜合前景灰度值差異閾值進行比較，并將所述綜合差異圖像中灰度值大于或等于所述綜合前景灰度值差異閾值的像素組成的圖像區(qū)域作為前景掩碼圖。

其中，綜合前景灰度值差異閾值、第一加權系數(shù)、第二加權系數(shù)可任意設置。

步驟27、對所述前景掩碼圖進行邊緣優(yōu)化處理。

為了進一步提高獲得的前景掩碼圖的效果，在本發(fā)明實施例中還可對前景掩碼圖進行邊緣優(yōu)化處理。

在此步驟中，首先，使用形態(tài)濾波(open濾波)的方法獲取處于前景掩碼圖邊緣的可見光圖像，也即提示(trimap)掩碼圖。然后對trimap掩碼圖使用圖像分割的方法進行切割，并使用α摳圖技術計算出trimap掩碼圖中每一像素的前景比例參數(shù)和背景比例參數(shù)，也即確定每一像素是優(yōu)選的作為前景成分還是作為背景成分。例如，某個像素的前景成分為60％，背景成分是40％，那么在摳圖時可將該像素作為前景掩碼圖中的像素處理。

對于通過步驟21-26獲得的前景掩碼圖，如果將其去掉trimap區(qū)域圖像之 后則可作為純前景掩碼圖，在標準四通道圖像中，該區(qū)域的α通道值為255。對于步驟27中獲得的trimap區(qū)域圖像可以作為部分前景掩碼圖，在標準四通道圖像中，該區(qū)域的α通道值位于[0-255]區(qū)間內(nèi)。

接下來，對于獲得的每幅可見光待處理圖像和非可見光待處理圖像都按照步驟25-27的方式進行處理，直到處理完成。

由上可以看出，在本發(fā)明實施例中，處理利用可見光拍攝裝置獲得可見光圖像(包括可見光背景圖像和可見光待處理圖像)外，還利用了額外的非可見光拍攝裝置獲得非可見光圖像(包括非可見光背景圖像和非可見光待處理圖像)。由于補充了利用額外光源獲得的非可見光圖像，因此使得前景物體在各背景圖像中的成像的強度與在待處理圖像中的成像的強度相比有了明顯的變化，而該強度的變化又與前景物體或者背景的顏色無關。那么，在利用本發(fā)明時候實施例的方案進行摳圖處理時就可同時利用獲得的可見光圖像的信息和非可見光圖像的信息，并使得兩種信息在前景融合時相互補充，因此即使前景物體和背景顏色接近，與現(xiàn)有技術相比，利用本發(fā)明時候實施例的方案進行摳圖仍能獲得效果更好的前景掩碼圖。

其中，圖3(a)為利用本發(fā)明實施例獲得的可見光背景圖像示意圖，圖3(b)為利用本發(fā)明實施例獲得的可見光差異圖像示意圖，圖3(c)為利用現(xiàn)有技術的方法獲得的可見光前景掩碼圖示意圖，圖3(d)為利用現(xiàn)有技術的方法獲得的非可見光前景掩碼圖示意圖，圖3(e)為利用本發(fā)明實施例的方案后獲得的前景掩碼圖示意圖。由幾幅圖可以看出，利用本發(fā)明實施例獲得的圖3(e)的摳圖效果要遠好于圖3(c)或者圖3(d)的摳圖效果。

如圖4所示，本發(fā)明實施例三的圖像處理裝置，包括：

可見光圖像獲取單元41，用于分別獲取至少一張可見光背景圖像和至少一張可見光待處理圖像；非可見光圖像獲取單元42，用于分別獲取至少一張非可見光背景圖像和至少一張非可見光待處理圖像；差異圖像獲取單元43，用于利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待處理圖像對應的可見光差異圖像，利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一 張非可見光待處理圖像對應的非可見光差異圖像；圖像處理單元44，用于對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖；其中所述可見光背景圖像和所述非可見光背景圖像中不包括前景物體，所述可見光待處理圖像和所述非可見光待處理圖像中包括所述前景物體。

具體的，所述差異圖像獲取單元43可包括：

第一圖像獲取模塊，用于利用所述目標可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張可見光待處理圖像對應的可見光差異圖像；第二圖像獲取模塊，用于利用所述目標非可見光背景圖像和所述當前一張非可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張非可見光待處理圖像對應的非可見光差異圖像。

在具體應用中，如圖5所示，所述裝置還包括：存儲單元45，用于存儲所述各可見光背景圖像和所述各非可見光背景圖像的曝光時間，以及存儲所述各可見光待處理圖像和所述各非可見光待處理圖像的曝光時間。

此時，所述第一圖像獲取模塊包括：

選取子模塊，用于從所述至少一張可見光背景圖像中選取所述目標可見光背景圖像，其中所述目標可見光背景圖像的曝光時間和所述當前一張可見光待處理圖像的曝光時間相同；處理子模塊，用于利用所述目標可見光背景圖像和所述當前一張可見光待處理圖像進行背景相減處理，將背景相減處理的結果作為所述當前一張可見光待處理圖像對應的可見光差異圖像。

如圖6所示，在圖5所示的基礎上，所述裝置還包括：圖像選擇單元46，所述第一圖像獲取模塊包括：

選取子模塊，用于根據(jù)所述至少一張可見光背景圖像獲得目標可見光背景圖像，其中所述目標可見光背景圖像中各像素的灰度值是預定數(shù)量的可見光背景圖像中對應像素灰度值的均值；根據(jù)所述至少一張非可見光背景圖像獲得目標非可見光背景圖像，其中所述目標非可見光背景圖像中各像素的灰度值是預定數(shù)量的非可見光背景圖像中對應像素灰度值的均值。

其中，在本發(fā)明實施例中可按照不同的方式獲取前景掩碼圖。因此，所述圖形處理單元44可包括不同的組成。

其中，所述圖像處理單元44可包括：參數(shù)獲取模塊，用于獲取可見光前景灰度值差異閾值和非可見光前景灰度值差異閾值；圖像獲取模塊，用于將所述可見光差異圖像中各像素的灰度值和所述可見光前景灰度差異值閾值進行比較，并將所述可見光差異圖像中灰度值大于或等于所述可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為可見光前景掩碼圖；將所述非可見光差異圖像中各像素的灰度值和所述非可見光前景灰度值差異閾值進行比較，并將所述非可見光差異圖像中灰度值大于或等于所述非可見光前景灰度值差異閾值的像素組成的圖像區(qū)域作為非可見光前景掩碼圖；圖像處理模塊，用于將所述可見光前景掩碼圖和所述非可見光前景掩碼圖進行合并，并將合并的結果作為所述前景掩碼圖。

或者，所述圖像處理單元44可包括：參數(shù)獲取模塊，用于獲取綜合前景灰度值差異閾值；圖像獲取模塊，用于利用所述可見光差異圖像和所述非可見光差異圖像獲得綜合差異圖像；圖像處理模塊，用于將所述綜合差異圖像中各像素的灰度值和所述綜合前景灰度值差異閾值進行比較，并將所述綜合差異圖像中灰度值大于或等于所述綜合前景灰度值差異閾值的像素組成的圖像區(qū)域作為前景掩碼圖。

如圖7所示，為了進一步提高摳圖效果，所述裝置還包括：圖像優(yōu)化單元47，用于對所述前景掩碼圖進行邊緣優(yōu)化處理。具體的，所述圖像優(yōu)化單元47可包括：圖像提取模塊，用于對所述前景掩碼圖進行形態(tài)學濾波，獲得所述前景掩碼圖中的提示trimap掩碼圖，并利用所述trimap掩碼圖獲取所述前景掩碼圖中的trimap區(qū)域圖像；圖像優(yōu)化模塊，用于計算所述trimap區(qū)域圖像中各像素的前景比例參數(shù)。

為了進一步提高摳圖效果，所述圖像處理單元44還用于，對所述可見光拍攝裝置和所述非可見光拍攝裝置進行配準。

本發(fā)明所述裝置的工作原理可參照前述方法實施例的描述。在具體應用中，上述裝置可位于深度攝像頭中。

由上可以看出，在本發(fā)明實施例中，處理利用可見光拍攝裝置獲得可見光圖像(包括可見光背景圖像和可見光待處理圖像)外，還利用了額外的非可見光拍攝裝置獲得非可見光圖像(包括非可見光背景圖像和非可見光待處理圖 像)。由于補充了利用額外光源獲得的非可見光圖像，因此使得前景物體在各背景圖像中的成像的強度與在待處理圖像中的成像的強度相比有了明顯的變化，而該強度的變化又與前景物體或者背景的顏色無關。那么，在利用本發(fā)明時候實施例的方案進行摳圖處理時就可同時利用獲得的可見光圖像的信息和非可見光圖像的信息，并使得兩種信息在前景融合時相互補充，因此即使前景物體和背景顏色接近，與現(xiàn)有技術相比，利用本發(fā)明時候實施例的方案進行摳圖仍能獲得效果更好的前景掩碼圖。

本發(fā)明實施例四還提供了一種電子設備，可以實現(xiàn)本發(fā)明圖1-2所示實施例的流程。如圖8所示，上述電子設備可以包括：殼體61、處理器62、存儲器63、電路板64和電源電路65，其中，電路板64安置在殼體61圍成的空間內(nèi)部，處理器62和存儲器63設置在電路板64上；電源電路65，用于為上述電子設備的各個電路或器件供電；存儲器63用于存儲可執(zhí)行程序代碼；處理器62通過讀取存儲器63中存儲的可執(zhí)行程序代碼來運行與可執(zhí)行程序代碼對應的程序，用于執(zhí)行以下步驟：

利用可見光拍攝裝置獲取至少一張可見光背景圖像和利用非可見光拍攝裝置獲取至少一張非可見光背景圖像，其中所述可見光背景圖像和所述非可見光背景圖像中不包括前景物體；

利用所述可見光拍攝裝置獲取至少一張可見光待處理圖像和利用所述非可見光拍攝裝置獲取至少一張非可見光待處理圖像，其中所述可見光待處理圖像和所述非可見光待處理圖像中包括所述前景物體；

利用所述可見光背景圖像對應的目標可見光背景圖像和所述可見光待處理圖像中的當前一張可見光待處理圖像獲得所述當前一張可見光待處理圖像對應的可見光差異圖像，利用所述非可見光背景圖像對應的目標非可見光背景圖像和所述非可見光待處理圖像中的當前一張非可見光圖像獲得所述當前一張非可見光待處理圖像對應的非可見光差異圖像；

對所述可見光差異圖像和所述非可見光差異圖像進行前景融合，獲得前景掩碼圖。

由上可以看出，在本發(fā)明實施例中，處理利用可見光拍攝裝置獲得可見光圖像(包括可見光背景圖像和可見光待處理圖像)外，還利用了額外的非可見 光拍攝裝置獲得非可見光圖像(包括非可見光背景圖像和非可見光待處理圖像)。由于補充了利用額外光源獲得的非可見光圖像，因此使得前景物體在各背景圖像中的成像的強度與在待處理圖像中的成像的強度相比有了明顯的變化，而該強度的變化又與前景物體或者背景的顏色無關。那么，在利用本發(fā)明時候實施例的方案進行摳圖處理時就可同時利用獲得的可見光圖像的信息和非可見光圖像的信息，并使得兩種信息在前景融合時相互補充，因此即使前景物體和背景顏色接近，與現(xiàn)有技術相比，利用本發(fā)明時候實施例的方案進行摳圖仍能獲得效果更好的前景掩碼圖。

以上所述是本發(fā)明的優(yōu)選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。