1.一種實現(xiàn)交互式圖像分割的方法,包括:
檢測到原始圖像上的涂抹軌跡或勾勒軌跡后,將所述涂抹軌跡或勾勒軌跡的鄰接區(qū)域確定為標(biāo)記區(qū),生成圖像分割算法的輸入掩模圖:將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點,將所述原始圖像上標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點;
獲取包含目標(biāo)對象深度信息的深度圖,根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數(shù),所述分割參數(shù)用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的深度值差異;
構(gòu)建無向圖,將所述掩模圖中的每一個像素的分割參數(shù)映射到所述無向圖中,根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖;
從拍攝所述目標(biāo)對象所獲得的原始圖像中分割出所述精細(xì)分割后的掩模圖中前景點對應(yīng)的圖像。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于:
根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數(shù),包括:按EM方法進(jìn)行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E步驟和M步驟,在所述迭代運行達(dá)到收斂條件后停止所述迭代過程;將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的區(qū)域項分割參數(shù),所述區(qū)域項分割參數(shù)是所述像素判決為前景點或背景點的概率;
其中,所述E步驟和M步驟分別包括以下處理:
E步驟:根據(jù)所述掩模圖上各個像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景點或背景點;簇的分類包括前景點簇或背景點簇;
M步驟:根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個像素,根據(jù)所述像素的最大概率值Pmax對應(yīng)的簇確定所述像素的分類。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于:
根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數(shù),還包括:根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的邊界項分割參數(shù);
其中,對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值進(jìn)行累加,再對累加和進(jìn)行歸一化處理,得到歸一化后的累加和作為所述像素的邊界項分割參數(shù)。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于:
構(gòu)建無向圖,將所述掩模圖中的每一個像素的分割參數(shù)映射到所述無向圖中,包括:
構(gòu)建一個無向圖,在所述無向圖的平面外設(shè)置兩個懸空點Q0和Q1,所述懸空點Q0為虛擬前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖上各個像素的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射點與所述懸空點Q1之間建立連線;
對掩模圖中的任意一個像素Pi,將所述像素Pi的區(qū)域項分割參數(shù)作為所述無向圖中映射點Pi'的權(quán)值,將所述像素Pi的邊界項分割參數(shù)作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權(quán)值。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于:
所述根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖,包括:
迭代執(zhí)行以下C步驟和D步驟,在迭代運行達(dá)到收斂條件后停止迭代過程,將所述前景點集合Q中的各個像素作為精細(xì)分割后的掩模圖中的前景點;
其中,C步驟和D步驟分別包括以下處理:
C步驟:將無向圖中的一部分像素劃分為與懸空點Q0同類的前景點,由劃分為前景點的像素構(gòu)成前景點集合Q;
D步驟:計算所述前景點集合Q的權(quán)值總和,所述權(quán)值總和是所述前景點集合Q中所有前景點的權(quán)值和,再加上所述前景點集合Q中所有前景點與懸空點Q0之間連線的權(quán)值和;
其中,所述收斂條件是前景點集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。
6.一種實現(xiàn)交互式圖像分割的裝置,包括:
預(yù)處理模塊,用于檢測到原始圖像上的涂抹軌跡或勾勒軌跡后,將所述涂抹軌跡或勾勒軌跡的鄰接區(qū)域確定為標(biāo)記區(qū),生成圖像分割算法的輸入掩模圖:將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點,將所述原始圖像上標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點;
分割參數(shù)計算模塊,用于獲取包含目標(biāo)對象深度信息的深度圖,根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數(shù),所述分割參數(shù)用于表示像素判決為前景點或背景點的概率以及所述像素與相鄰像素的深度值差異;
掩模圖調(diào)整模塊,用于構(gòu)建無向圖,將所述掩模圖中的每一個像素的分割參數(shù)映射到所述無向圖中,根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖;
輸出模塊,用于從拍攝所述目標(biāo)對象所獲得的原始圖像中分割出所述精細(xì)分割后的掩模圖中前景點對應(yīng)的圖像。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于:
分割參數(shù)計算模塊,用于采用以下方式根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數(shù):按EM方法進(jìn)行高斯混合模型GMM計算,所述EM方法包括E步驟和M步驟;迭代運行E步驟和M步驟,在所述迭代運行達(dá)到收斂條件后停止所述迭代過程;將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值Pmax確定為所述像素的區(qū)域項分割參數(shù),所述區(qū)域項分割參數(shù)是所述像素判決為前景點或背景點的概率;
其中,所述E步驟和M步驟分別包括以下處理:
E步驟:根據(jù)所述掩模圖上各個像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇,確定各個簇的GMM模型;其中,像素的分類包括前景點或背景點;簇的分類包括前景點簇或背景點簇;
M步驟:根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率,對任意一個像素,根據(jù)所述像素的最大概率值Pmax對應(yīng)的簇確定所述像素的分類。
8.根據(jù)權(quán)利要求7所述的裝置,其特征在于:
分割參數(shù)計算模塊,還用于采用以下方式根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的分割參數(shù):根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的邊界項分割參數(shù);
其中,對任意一個像素,將所述像素與鄰近的各個像素之間的深度值差值絕對值進(jìn)行累加,再對累加和進(jìn)行歸一化處理,得到歸一化后的累加和作為所述像素的邊界項分割參數(shù)。
9.根據(jù)權(quán)利要求8所述的裝置,其特征在于:
掩模圖調(diào)整模塊,用于采用以下方式構(gòu)建無向圖并將所述掩模圖中的每一個像素的分割參數(shù)映射到所述無向圖中:
構(gòu)建一個無向圖,在所述無向圖的平面外設(shè)置兩個懸空點Q0和Q1,所述懸空點Q0為虛擬前景點,所述懸空點Q1為虛擬背景點;在所述無向圖的平面上建立所述掩模圖上各個像素的映射點,在前景點的映射點與所述懸空點Q0之間建立連線,在背景點的映射點與所述懸空點Q1之間建立連線;
對掩模圖中的任意一個像素Pi,將所述像素Pi的區(qū)域項分割參數(shù)作為所述無向圖中映射點Pi'的權(quán)值,將所述像素Pi的邊界項分割參數(shù)作為所述無向圖中映射點Pi'與懸空點Q0或Q1之間連線的權(quán)值。
10.一種終端,包括上述權(quán)利要求6-9中任一項所述的實現(xiàn)交互式圖像分割的裝置。