一種圖像處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及圖像處理技術(shù)領(lǐng)域，更具體的說是涉及一種圖像處理方法和裝置。
【背景技術(shù)】
[0002] 基于圖像的三維人臉重建是指從包含人臉的二維圖像或者視頻出發(fā)，構(gòu)建出三維 人臉模型。三維人臉重建是計算機視覺研究領(lǐng)域的研究熱點，并且被廣泛應(yīng)用于生物信息 認證識別、計算機游戲、電話會議系統(tǒng)等領(lǐng)域。
[0003] 三維人臉重建過程需要從人臉的二維圖像中恢復(fù)出人臉的三維形狀和紋理，然后 將人臉的三維形狀和紋理進行結(jié)構(gòu)化，以構(gòu)建出三維人臉。為了能夠精準的構(gòu)建出三維人 臉，在構(gòu)建三維人臉形狀的過程中，需要利用雙目攝像頭進行人臉圖像攝取，以獲取到人臉 的二維圖像和深度信息，并提取所述二維圖像中的二維結(jié)構(gòu)信息，利用該二維結(jié)構(gòu)信息和 的信息來進行三維形狀的構(gòu)建。然而利用二維圖像的二維結(jié)構(gòu)信息和深度信息構(gòu)建三維人 臉形狀的方式，在攝取二維圖像的同時，獲取該二維圖像對應(yīng)的深度信息，對人臉圖像的攝 取裝置的要求較高，從而提高了構(gòu)建三維人臉形狀的復(fù)雜度，也就提高了三維人臉重建的 復(fù)雜度，進而不利于三維人臉重建的廣泛推廣。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，本申請?zhí)峁┝艘环N圖像處理方法和裝置，以降低三維人臉重建的復(fù)雜 度。
[0005] 為實現(xiàn)以上目的，本申請的第一方面提供了一種圖像處理方法，包括：
[0006] 獲取二維的目標人臉圖像；
[0007] 接收用戶在所述目標人臉圖像中標示出的標識曲線，所述標識曲線用于指示所述 目標人臉圖像中人臉輪廓區(qū)域所在的位置；
[0008] 基于所述標識曲線，并利用圖像分割技術(shù)，從所述目標人臉圖像中定位出人臉的 面部輪廓曲線；
[0009] 確定所述目標人臉圖像中人臉的三維姿態(tài)；
[0010] 檢測所述目標人臉圖像中人臉的特征點位置；
[0011] 根據(jù)所述目標人臉圖像中人臉的面部輪廓曲線、三維姿態(tài)和特征點位置，并利用 預(yù)置的人臉三維形狀的經(jīng)驗?zāi)Ｐ鸵约芭c所述人臉三維形狀的經(jīng)驗?zāi)Ｐ推ヅ涞哪繕撕瘮?shù)，構(gòu) 建出所述目標人臉圖像中人臉的三維形狀，其中，該目標函數(shù)用于依據(jù)所述目標人臉圖像 中人臉的三維姿態(tài)、面部輪廓曲線和特征點位置，以及所述人臉的面部輪廓曲線和特征點 位置在三維空間的映射，確定出所述經(jīng)驗?zāi)Ｐ偷男巫兿禂?shù)。
[0012] 結(jié)合第一方面，在第一種可能的實現(xiàn)方式中，所述接收用戶在所述目標人臉圖像 中標示出的標識曲線，包括：
[0013] 接收用戶在所述目標人臉圖像中標示出的人臉的初始面部輪廓曲線；
[0014] 所述基于所述標識曲線，并利用圖像分割技術(shù)，從所述目標人臉圖像中定位出人 臉的面部輪廓曲線，包括：
[0015] 從所述目標人臉圖像中提取包含所述初始面部輪廓曲線的子圖像區(qū)域；
[0016] 利用圖像過分割技術(shù)對所述子圖像區(qū)域進行分割，得到至少兩個分割區(qū)域；
[0017] 提取所述至少兩個分割區(qū)域的邊界；
[0018] 利用曲線匹配算法，從所述至少兩個分割區(qū)域的邊界中，匹配出距離所述初始面 部輪廓曲線最近的邊界曲線，將匹配出的邊界曲線確定為所述目標人臉圖像中人臉的面部 輪廓曲線。
[0019] 結(jié)合第一方面，在第二種可能的實現(xiàn)方式中，所述接收用戶在所述目標人臉圖像 中標示出的標識曲線，包括：
[0020] 接收用戶在所述目標人臉圖像中輸入的第一標識曲線和第二標識曲線，其中，所 述第一標識曲線用于標識所述目標人臉圖像中包含人臉的前景區(qū)域，所述第二標識曲線用 于標識所述目標人臉圖像中未包含人臉的背景區(qū)域；
[0021] 所述基于所述標識曲線，并利用圖像分割技術(shù)，從所述目標人臉圖像中定位出人 臉的面部輪廓曲線，包括：
[0022] 利用圖像分割技術(shù)，并結(jié)合所述第一標識曲線和第二標識曲線，分割出所述目標 人臉圖像的前景區(qū)域和背景區(qū)域；
[0023] 根據(jù)所述目標人臉圖像中的前景區(qū)域和背景區(qū)域，對目標人臉圖像進行輪廓線提 取，提取出所述目標人臉圖像中人臉的面部輪廓曲線。
[0024] 結(jié)合第一方面，在第三種可能的實現(xiàn)方式中，所述確定所述目標人臉圖像中人臉 的三維姿態(tài)，包括：
[0025] 檢測所述目標人臉圖像中的人臉區(qū)域；
[0026] 在所述人臉區(qū)域進行二值化特征抽??；
[0027] 基于抽取到的二值化特征，并利用預(yù)置的姿態(tài)回歸預(yù)測函數(shù)進行回歸預(yù)測，得到 所述目標人臉圖像中人臉的三維姿態(tài)。
[0028] 結(jié)合第一方面，在第四種可能的實現(xiàn)方式中，所述檢測所述目標人臉圖像中人臉 的特征點位置，包括：
[0029] 確定所述目標人臉圖像的人臉區(qū)域；
[0030] 根據(jù)預(yù)置的人臉的初始特征點位置，在所述人臉區(qū)域中所述初始特征點位置的指 定范圍內(nèi)進行二值化特征抽??；
[0031] 根據(jù)抽取到的二值化特征，并利用預(yù)置的特征點回歸預(yù)測函數(shù)進行回歸預(yù)測，得 到所述目標人臉圖像中人臉的特征點位置。
[0032] 結(jié)合第一方面、第一方面的第一種可能的實現(xiàn)方式、第一方面的第二種可能的實 現(xiàn)方式、第一方面的第三種可能的實現(xiàn)方式或者第一方面的第四種可能的實現(xiàn)方式，在第 五種可能的實現(xiàn)方式中，所述根據(jù)所述目標人臉圖像中人臉的面部輪廓曲線、三維姿態(tài)和 特征點位置，并利用預(yù)置的人臉三維形狀的經(jīng)驗?zāi)Ｐ鸵约芭c所述人臉三維形狀的經(jīng)驗?zāi)Ｐ?匹配的目標函數(shù)，構(gòu)建出所述目標人臉圖像中人臉的三維形狀，包括 ：
[0033] 根據(jù)人臉的面部輪廓曲線以及人臉特征點位置三維空間的映射關(guān)系，并利用與預(yù) 置的人臉三維形狀的經(jīng)驗?zāi)Ｐ推ヅ涞哪繕撕瘮?shù)，確定出所述人臉三維形狀的經(jīng)驗?zāi)Ｐ椭械?形變系數(shù)的最優(yōu)值，其中，所述目標函數(shù)為：
[0034] { θ *，b*} = argmin{e，b} I I (Xc，Xe)-(IC，Γ)Ρ0 (μ +C>b) I |2+λ I |b/p I |2
[0035] 其中，Θ為所述目標人臉圖像中人臉的三維姿態(tài)，為所述人臉的三維姿態(tài)的最 優(yōu)值；b為所述人臉三維形狀的經(jīng)驗?zāi)Ｐ椭械男巫兿禂?shù)，K為基于該目標函數(shù)確定出的所 述人臉三維形狀的經(jīng)驗?zāi)Ｐ椭行巫兿禂?shù)b的最優(yōu)值；Γ為所述目標人臉圖像中人臉的面部 輪廓曲線的參數(shù)化；Γ為所述目標人臉圖像中人臉的特征點位置的參數(shù)化；Γ為將所述面 部輪廓曲線Γ映射到三維空間所得到的參數(shù)化；Γ為將所述人臉的特征點位置映射到三維 空間所得到的參數(shù)化；μ為預(yù)置的人臉三維形狀的平均描述；Φ為人臉形狀形變的線性描 述；P e為由所述人臉的三維姿態(tài)Θ確定的投影函數(shù)；ρ為預(yù)置的形變經(jīng)驗參數(shù)；
[0036] 其中，Γ = argmin{s，} I |Pe (S'）_XC| |2 ;
[0037] S'為預(yù)置的初始人臉三維形狀；
[0038] 將所述形變系數(shù)的最優(yōu)值輸入到所述人臉三維形狀的經(jīng)驗?zāi)Ｐ椭?，?gòu)建出所述目 標人臉圖像中人臉的三維形狀，其中，所述人臉三維形狀的經(jīng)驗?zāi)Ｐ蜑椋?br>[0039] S = μ +Ob ;
[0040] 其中，S為人臉三維形狀的參數(shù)化表示。
[0041] 另一方面，本申請的第二方面提供了一種圖像處理裝置，包括：
[0042] 圖像獲取裝置，用于獲取二維的目標人臉圖像；
[0043] 輸入單元，用于接收用戶在所述目標人臉圖像中標示出的標識曲線，所述標識曲 線用于指示所述目標人臉圖像中人臉的輪廓分布；
[0044] 輪廓定位單元，用于基于所述標識曲線，并利用圖像分割技術(shù)，從所述目標人臉圖 像中定位出人臉的面部輪廓曲線；
[0045] 姿態(tài)確定單元，用于確定所述目標人臉圖像中人臉的三維姿態(tài)；
[0046] 特征點定位單元，用于檢測所述目標人臉圖像中人臉的特征點位置；
[0047] 形狀構(gòu)建單元，用于根據(jù)所述目標人臉圖像中人臉的面部輪廓曲線、三維姿態(tài)和 特征點位置，并利用預(yù)置的人臉三維形狀的經(jīng)驗?zāi)Ｐ鸵约芭c所述人臉三維形狀的經(jīng)驗?zāi)Ｐ?匹配的目標函數(shù)，構(gòu)建出所述目標人臉圖像中人臉的三維形狀，其中，該目標函數(shù)用于依據(jù) 所述目標人臉圖像中人臉的三維姿態(tài)、面部輪廓曲線和特征點位置，以及所述人臉的面部 輪廓曲線和特征點位置在三維空間的映射，確定出所述經(jīng)驗?zāi)Ｐ偷男巫兿禂?shù)。
[0048] 結(jié)合第二方面，在第一種可能的實現(xiàn)方式中，所述輸入單元，包括：
[0049] 第一輸入子單元，用于接收用戶在所述目標人臉圖像中標示出的人臉的初始面部 輪廓曲線；
[0050] 所述輪廓定位單元，包括：
[0051] 提取子單元，用于從所述目標人臉圖像中提取包含所述初始面部輪廓曲線的子圖 像區(qū)域；
[0052] 區(qū)域分割子單元，用于利用圖像過分割技術(shù)對所述子圖像區(qū)域進行分割，得到至 少兩個分割區(qū)域；
[0053] 邊界提取子單元，用于提取所述至少兩個分割區(qū)域的邊界；
[0054] 第一輪廓定位子單元，用于利用曲線匹配算法，從所述至少兩個分割區(qū)域的邊界 中，匹配出距離所述初始面部輪廓曲線最近的邊界曲線，將匹配出的邊界曲線確定為所述 目標人臉圖像中人臉的面部輪廓曲線。
[0055] 結(jié)合第二方面，在第二種可能的實現(xiàn)方式中，所述輸入單元，包括：
[0056] 第二輸入子單元，用于接收用戶在所述目標人臉圖像中輸入的第一標識曲線和第 二標識曲線，其中，所述第一標識曲線用于標識所述目標人臉圖像中包含人臉的前景區(qū)域， 所述第二標識曲線用于標識所述目標人臉圖像中未包含人臉的背景區(qū)域；
[0057] 所述輪廓定位單元，包括：
[0058] 前背景分割子單元，用于利用圖像分割技術(shù)，并結(jié)合所述第一標識曲線和第二標 識曲線，分割出所述目標人臉圖像的前景區(qū)域和背景區(qū)域；
[0059] 第二輪廓定位子單元，用于根據(jù)所述目標人臉圖像中的前景區(qū)域和背景區(qū)域，對 目標人臉圖像進行輪廓線提取，提取出所述目標人臉圖像中人臉的面部輪廓曲線。
[0060] 結(jié)合第二方面，在第三種可能的實現(xiàn)方式中，所述姿態(tài)確定單元，包括：
[0061] 人臉檢測單元，用于檢測所述目標人臉圖像中的人臉區(qū)域；
[0062] 第一特征抽取單元，用于在所述人臉區(qū)域進行二值化特征抽取；
[0063] 姿態(tài)預(yù)測單元，用于基于抽取到的二值化特征，并利用預(yù)置的姿態(tài)回歸預(yù)測函數(shù) 進行回歸預(yù)測，得到所述目標人臉圖像中人臉的三維姿態(tài)。
[0064] 結(jié)合第二方面，在第四種可能的實現(xiàn)方式中，所述特征點定位單元，包括：
[0065] 人臉區(qū)域確定單元，用于確定所述目標人臉圖像的人臉區(qū)域；
[0066] 第二特征抽取單元，用于根據(jù)預(yù)置的人臉的初始特征點位置，在所述人臉區(qū)域中 所述初始特征點位置的指定范圍內(nèi)進行二值化特征抽??；
[0067] 特征點預(yù)測單元，用于根據(jù)抽取到的二值化特征，并利用預(yù)置的特征點回歸預(yù)測 函數(shù)進行回歸預(yù)測，得到所述目標人臉圖像中人臉的特征點位置。
[0068] 結(jié)合第二方面、第二方面的第一種可能的實現(xiàn)方式、第二方面的第二種可能的實 現(xiàn)方式、第二方面的第三種可能的實現(xiàn)方式或者第二方面的第四種可能的實現(xiàn)方式中，在 第五種可能的實現(xiàn)方式中，所述形狀構(gòu)建單元，包括：
[0069] 形變參數(shù)確定單元，用于根據(jù)人臉的面部輪廓曲線以及人臉特征點位置三維空間 的映射關(guān)系，并利用與預(yù)置的人臉三維形狀的經(jīng)驗?zāi)Ｐ推ヅ涞哪繕撕瘮?shù)，確定出所述人臉 三維形狀的經(jīng)驗?zāi)Ｐ椭械男巫兿禂?shù)的最優(yōu)值，其中，所述目標函數(shù)為：
[0070] { Θ *，b*} = argmin{e，b} I I (Xc，Xe)-(IC，Γ)Ρ0 (μ +C>b) I |2+入 I |b/p I |2 ;
[0071] 其中，Θ為所述目標人臉圖像中人臉的三維姿態(tài)，為所述人臉的三維姿態(tài)的最 優(yōu)值；b為所述人臉三維形狀的經(jīng)驗?zāi)Ｐ椭械男巫兿禂?shù)，K為基于該目標函數(shù)確定出的所 述人臉三維形狀的經(jīng)驗?zāi)Ｐ椭行巫兿禂?shù)b的最優(yōu)值；Γ為所述目標人臉圖像中人臉的面部 輪廓曲線的參數(shù)化；Γ為所述目標人臉