本發(fā)明涉及智能機器人領(lǐng)域，具體地說，涉及一種基于智能機器人的模仿人臉表情輸出的方法和系統(tǒng)。

背景技術(shù)：

隨著科學技術(shù)的不斷發(fā)展，信息技術(shù)、計算機技術(shù)以及人工智能技術(shù)的引入，機器人的研究已經(jīng)逐步走出工業(yè)領(lǐng)域，逐漸擴展到了醫(yī)療、保健、家庭、娛樂以及服務(wù)行業(yè)等領(lǐng)域。而人們對于機器人的要求也從簡單重復的機械動作提升為具有擬人問答、自主性及與其他機器人進行交互的智能機器人，人機交互也就成為決定智能機器人發(fā)展的重要因素。因此，提升智能機器人的交互能力，改善機器人的類人性和智能性，是現(xiàn)在亟需解決的重要問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于智能機器人的模仿人臉表情輸出的方法來解決上述技術(shù)問題。該方法包括以下步驟：

獲取待顯示無表情面部圖像以及用戶無表情的面部圖像；

對用戶無表情的面部圖像和待顯示無表情面部圖像進行解析，確定各自的無表情狀態(tài)下的由平面三角網(wǎng)格構(gòu)成的人臉三角形模型；

實時獲取并解析用戶的表情圖像，根據(jù)用戶的人臉三角形模型和該表情圖像的解析結(jié)果，在待顯示無表情面部圖像的人臉三角形模型上進行映射，生成模仿人臉表情的圖像并輸出。

根據(jù)本發(fā)明的基于智能機器人的模仿人臉表情輸出的方法，優(yōu)選的是，在對用戶無表情的面部圖像和待顯示無表情面部圖像進行解析的步驟中具體包括：

對所述用戶無表情的面部圖像和待顯示無表情面部圖像進行人臉關(guān)鍵點檢測；

基于檢測到的設(shè)定個數(shù)的人臉關(guān)鍵點生成人臉三角形模型。

根據(jù)本發(fā)明的基于智能機器人的模仿人臉表情輸出的方法，優(yōu)選的是，在對所述用戶無表情的面部圖像進行人臉關(guān)鍵點檢測步驟之前還包括：

獲取多張多角度的用戶無表情的面部圖像；

基于所述多張多角度的用戶無表情的面部圖像進行三維建模。

根據(jù)本發(fā)明的基于智能機器人的模仿人臉表情輸出的方法，優(yōu)選的是，

生成三角形仿射變換矩陣，對靜態(tài)人臉圖像進行逐三角形仿射變換，模仿人臉表情的圖像并輸出。

根據(jù)本發(fā)明的另一個方面，還提供了一種基于智能機器人的模仿人臉表情輸出的系統(tǒng)，所述系統(tǒng)包括以下模塊：

面部圖像獲取模塊，其獲取待顯示無表情面部圖像以及用戶無表情的面部圖像；

人臉網(wǎng)格模型確定模塊，其對用戶無表情的面部圖像和待顯示無表情面部圖像進行解析，確定各自的無表情狀態(tài)下的由平面三角網(wǎng)格構(gòu)成的人臉三角形模型；

人臉表情模仿模塊，其實時獲取并解析用戶的表情圖像，根據(jù)用戶的人臉三角形模型和該表情圖像的解析結(jié)果，在待顯示無表情面部圖像的人臉三角形模型上進行映射，生成模仿人臉表情的圖像并輸出。

根據(jù)本發(fā)明的基于智能機器人的模仿人臉表情輸出的系統(tǒng)，優(yōu)選的是，所述人臉網(wǎng)格模型確定模塊，其進一步包括：

關(guān)鍵點檢測子模塊，其對所述用戶無表情的面部圖像和待顯示無表情面部圖像進行人臉關(guān)鍵點檢測；

人臉網(wǎng)格模型生成子模塊，其基于檢測到的設(shè)定個數(shù)的人臉關(guān)鍵點生成人臉三角形模型。

根據(jù)本發(fā)明的基于智能機器人的模仿人臉表情輸出的系統(tǒng)，優(yōu)選的是，所述人臉網(wǎng)格模型確定模塊，其進一步包括：

三維建模子模塊，其獲取多張多角度的用戶無表情的面部圖像，基于所述多張多角度的用戶無表情的面部圖像進行三維建模。

根據(jù)本發(fā)明的基于智能機器人的模仿人臉表情輸出的系統(tǒng)，優(yōu)選的是，所述人臉表情模仿模塊，其進一步生成三角形仿射變換矩陣，對靜態(tài)人臉圖像進行逐三角形仿射變換，模仿人臉表情的圖像并輸出。

本發(fā)明通過對獲取的待顯示無表情面部圖像以及用戶無表情的面部圖像進行解析，確定各自的無表情狀態(tài)下的由平面三角網(wǎng)格構(gòu)成的人臉三角形模型，在模仿用戶人臉表情的過程中，能夠在待顯示無表情面部圖像的人臉三角形模型上映射出實時采集到的人臉表情狀態(tài)信息，生成模仿人臉表情的圖像并輸出。由此，本發(fā)明的有益之處在于，能夠使智能機器人生動的模仿用戶表情，貼近用戶興趣愛好，提高用戶對智能機器人的體驗度。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

附圖說明

附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例共同用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1為根據(jù)本發(fā)明的一個實施例的基于智能機器人的模仿人臉表情輸出的方法的流程示意圖。

圖2為根據(jù)本發(fā)明實施例的對面具(待顯示無表情面部圖像)關(guān)鍵點檢測和標記的具體流程示意圖。

圖3為根據(jù)本發(fā)明實施例的對用戶無表情的面部圖像進行人臉3d建模的具體流程示意圖。

圖4為根據(jù)本發(fā)明實施例的人臉關(guān)鍵點檢測的結(jié)果示意圖。

圖5為根據(jù)本發(fā)明實施例的面具模仿人臉表情的具體流程示意圖。

圖6為根據(jù)本發(fā)明實施例的面具模仿人臉表情的結(jié)果示意圖。

圖7為根據(jù)本發(fā)明的一個實施例的基于智能機器人的模仿人臉表情輸出的系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

以下將結(jié)合附圖及實施例來詳細說明本發(fā)明的實施方式，借此對本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達成相應(yīng)技術(shù)效果的實現(xiàn)過程能充分理解并據(jù)以實施。本申請實施例以及實施例中的各個特征，在不相沖突前提下可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護范圍之內(nèi)。

另外，附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

在現(xiàn)有的智能機器人領(lǐng)域中，大多數(shù)機器人能夠與用戶進行語音交互，完成用戶賦予的任務(wù)或者與用戶進行簡單的問答行為。但是，這種交互方式逐漸使用戶感到單調(diào)，降低了用戶與機器人之間互動的興趣。因此，本發(fā)明實施例為了解決上面的問題，提供了一種新型的人機交互方法，使機器人能夠在用戶輸入的無表情面具上模仿人臉表情輸出。具體來說，機器人首先對用戶輸入的面具圖像和用戶無表情的面部圖像進行解析，確定各自在無表情狀態(tài)下的人臉三角形模型。在通過攝像頭拍攝采集到用戶的有表情圖像后，解析有表情圖像和用戶的無表情人臉三角形模型，并在面具圖像的無表情人臉三角形模型上映射解析結(jié)果，從而使面具圖像可以模仿人臉表情。根據(jù)上述方法能夠提高機器人智能性和擬人性，而且，用戶可以根據(jù)喜好選擇面具圖像，機器人通過處理能夠?qū)崿F(xiàn)在面具圖像上模仿人臉實時的表情，提高了人機交互的趣味性。

第一實施例

圖1為涉及本發(fā)明的基于智能機器人的模仿人臉表情輸出的方法的示例一的流程示意圖，該智能機器人優(yōu)選為安裝有機器人操作系統(tǒng)的機器人。下面參考圖1來說明該實施例的各個步驟。

在步驟s110中，獲取待顯示無表情面部圖像以及用戶無表情的面部圖像。

在該步驟中，機器人可以通過用戶根據(jù)自己的喜好在機器人的顯示屏幕上繪制無表情面部圖像的方式或者接收來自用戶上傳的選定好的無表情面部圖片的方式來獲取面具圖像，面具圖像例如可以是無表情的卡通圖像。而在獲取用戶無表情的面部圖像時，機器人可以啟動攝像頭，通過攝像頭對用戶面部進行拍攝來獲取用戶無表情的面部圖像?；蛘?，也可以接收用戶上傳的用戶自己的無表情面部圖像。其中涉及的“無表情”可以認為是面部的各個關(guān)鍵點例如眼睛、嘴等不出現(xiàn)幾何或紋理變化的“中性表情”或“平靜表情”。

在步驟s120中，對用戶無表情的面部圖像和待顯示無表情面部圖像進行解析，確定各自的無表情狀態(tài)下的由平面三角網(wǎng)格構(gòu)成的人臉三角形模型。

概括來說，首先對用戶無表情的面部圖像和待顯示無表情面部圖像進行人臉關(guān)鍵點檢測，然后基于檢測到的設(shè)定個數(shù)(本例優(yōu)選為70個)的人臉關(guān)鍵點生成人臉三角形模型。需要說明的是，人臉關(guān)鍵點是指人臉中具有特質(zhì)特征的區(qū)域，比如眼角、嘴角等。

圖2為根據(jù)本發(fā)明實施例的對面具(待顯示無表情面部圖像)關(guān)鍵點檢測和標記的具體流程示意圖。下面參考圖2來說明如何生成無表情面具圖像的人臉三角形模型。

如圖2所示，首先用戶上傳面具圖片，機器人對上傳的面具圖片進行人臉檢測，判斷是否檢測到圖片中的人臉信息。人臉檢測技術(shù)包括很多種較好的方法，其中主要包括：基于幾何特征的識別方法、模板匹配法、特征臉方法、奇異值分解(svd)的方法、隱馬爾可夫模型、神經(jīng)網(wǎng)絡(luò)方法、彈性圖匹配方法等。根據(jù)需要可以選擇其中任一種方法來進行人臉檢測。

在識別得到人臉圖像后，對該人臉圖像進行關(guān)鍵點提取，得到有關(guān)該面具圖像的二維(2d)人臉關(guān)鍵點。在本實施例中，可以采用asm或aam算法進行臉部關(guān)鍵點定位，得到面具圖像的70個二維人臉關(guān)鍵點。在本發(fā)明的其他實施例中，根據(jù)實際需要，所提取的人臉關(guān)鍵點的數(shù)量還可以為其他合理值，本發(fā)明不限于此。另外，由于面具圖像中的人臉可能是夸張后的卡通人物，人臉的尺度、位置、朝向等條件都是不同的，可能會存在無法檢測出人臉或無法標定出滿足設(shè)定數(shù)量的關(guān)鍵點的情況，在出現(xiàn)上面情況時，則提示用戶手動標記/微調(diào)面具圖像中的70個人臉關(guān)鍵點。

隨后，可以根據(jù)從面具圖像中提取出的70個2d人臉關(guān)鍵點，基于delaunay(德洛內(nèi))三角網(wǎng)對上述面具圖像中的人臉進行區(qū)域劃分，從而得到面具無表情的人臉三角形模型，下文可稱為面具無表情delaunay三角模型。

下面參考圖3來說明如何對用戶無表情的面部圖像進行人臉3d建模。概括來說，需要先獲取多張多角度的用戶無表情的面部圖像，然后基于多張多角度的用戶無表情的面部圖像進行三維建模。

如圖3所示，用戶可以上傳5張圖像或通過機器人的攝像頭拍攝5張用戶圖像，這5張圖像均是用戶保持平靜表情狀態(tài)下臉部從正臉到側(cè)臉的呈不同角度時拍攝的圖像，圖像兩兩之間的角度差優(yōu)選為5度以上。選擇5張用戶圖像是為了得到較為準確的人臉模型，容易理解，根據(jù)實際需要，可以選擇其他數(shù)量的用戶圖像，此處不做限定。

其次，可以采用機器學習類算法對每幅圖像中的人臉進行人臉關(guān)鍵點檢測，每個關(guān)鍵點都由固定的標號，如圖4所示的左內(nèi)側(cè)眼角標號為39，得到每幅圖像中的70個2d人臉關(guān)鍵點，通過觀測三維空間中的若個人臉關(guān)鍵點在不同角度的二維圖像中的狀態(tài)，還原出靜態(tài)人臉的三維結(jié)構(gòu)。具體來說，可以采用sfm算法計算出70個關(guān)鍵點的三維坐標，并組成稀疏的三維網(wǎng)格結(jié)構(gòu)，得到人臉三維網(wǎng)格模型，也可以稱為人臉無表情三維模型。需要說明的是，除了可以采用sfm算法來得到人臉的三維網(wǎng)格模型，還可以采用其他的人臉三維建模方法，此處不做限定。

由此，完成了對面具圖像的70個二維人臉關(guān)鍵點的檢測和用戶無表情狀態(tài)下的臉部建模。

在步驟s130中，實時獲取并解析用戶的表情圖像，根據(jù)用戶的人臉三角形模型和該表情圖像的解析結(jié)果，在待顯示無表情面部圖像的人臉三角形模型上進行映射，生成模仿人臉表情的圖像并輸出。

進一步，本步驟根據(jù)實時獲取的用戶的表情圖像，生成三角形仿射變換矩陣，對靜態(tài)人臉圖像進行逐三角形仿射變換，模仿人臉表情的圖像并輸出。圖5為根據(jù)本發(fā)明實施例的面具模仿人臉表情的具體流程示意圖。下面參考圖5來詳細說明模仿人臉表情的具體過程。

關(guān)于人臉圖像這一方面，如圖5所示，首先，機器人通過攝像頭對用戶的人臉進行拍攝得到用戶圖像信息，然后采用現(xiàn)有的人臉檢測算法(機器學習類算法，例如adaboost跟蹤算法)進行人臉檢測，標記出當前二維圖像中的70個二維人臉關(guān)鍵點。

接著，基于當前二維圖像的70個2d人臉關(guān)鍵點和人臉無表情三維模型求解pnp問題。具體來說，根據(jù)已知三維點集p1(即人臉無表情70個3d關(guān)鍵點)、二維點集p2(即人臉有表情的70個2d關(guān)鍵點)和相機內(nèi)參矩陣c，求解3×3的剛體變換矩陣(也稱人臉旋轉(zhuǎn)矩陣)r，使p1×r×c-p2的值最小化，即如何旋轉(zhuǎn)p1才能使它從相機的角度看上去與p2吻合。

其次，利用剛體變換矩陣r和人臉無表情的70個3d關(guān)鍵點得到當前二維圖像中的70個無表情點的參考位置。一方面，通過將得到的當前二維圖像中的70個無表情2d關(guān)鍵點參考位置與當前人臉的70個2d關(guān)鍵點進行減法運算得到人臉表情變動向量，將人臉表情變動向量與人臉表情增強系數(shù)進行乘法運算得到增強后的人臉表情變動向量，然后，基于人臉表情變動向量與當前人臉的2d關(guān)鍵點的加法運算得到當前人臉二維的51個表情增強點參考位置。另一方面，基于當前二維圖像中的70個無表情點的參考位置得到當前二維圖像的人臉無表情參考delaunay三角模型。然后，根據(jù)當前人臉二維的51個表情增強點參考位置和當前的人臉無表情參考delaunay三角模型判斷每個表情增強點落在三角模型中的哪個三角形內(nèi)。

關(guān)于面具圖像這一方面，如圖5所示，基于面具圖像的70個2d人臉關(guān)鍵點得到面具無表情delaunay三角模型，利用當前人臉的無表情參考delaunay三角模型和面具無表情delaunay三角模型生成三角形仿射變換矩陣陣列。然后根據(jù)判斷每個表情增強點落在三角模型中的哪個三角形內(nèi)的結(jié)果進行逐點三角形仿射變換得到面具圖像中51個有表情點的參考位置。將面具圖像中51個有表情點的參考位置和面具圖像中的二維無表情關(guān)鍵點進行減法運算得到面具表情變動向量。接著，將面具表情變動向量與面具表情約束系數(shù)相乘得到約束后的面具表情變動向量，然后將該向量與面具圖像中的二維無表情關(guān)鍵點進行解算得到面具有表情參考點，進而得到面具有表情delaunay三角模型，將面具有表情delaunay三角模型和面具無表情delaunay三角模型進行計算得到三角形仿射變換矩陣陣列，基于該三角形仿射變換矩陣陣列和面具圖像進行逐三角形仿射變換生成模仿人臉表情的圖像。

圖6所示的內(nèi)容就是根據(jù)上述方法使機器人能夠利用面具圖像準確模仿用戶表情的顯示效果，可以看出模仿的準確度較高，提高了機器人的智能性和類人性。

綜上，根據(jù)上述方法能夠提高機器人智能性和擬人性，而且，用戶可以根據(jù)喜好選擇面具圖像，機器人通過處理能夠?qū)崿F(xiàn)在面具圖像上模仿人臉實時的表情，提高了人機交互的趣味性。

第二實施例

圖7為根據(jù)本發(fā)明一個實施例的基于智能機器人的模仿人臉表情輸出的系統(tǒng)700的結(jié)構(gòu)示意圖。如圖7所示，本實施例的系統(tǒng)700主要包括：面部圖像獲取模塊710、人臉網(wǎng)格模型確定模塊720和人臉表情模仿模塊730。

面部圖像獲取模塊710，其獲取待顯示無表情面部圖像以及用戶無表情的面部圖像。

人臉網(wǎng)格模型確定模塊720，其對用戶無表情的面部圖像和待顯示無表情面部圖像進行解析，確定各自的無表情狀態(tài)下的由平面三角網(wǎng)格構(gòu)成的人臉三角形模型。如圖7所示，人臉網(wǎng)格模型確定模塊720，其進一步包括關(guān)鍵點檢測子模塊7210、人臉網(wǎng)格模型生成子模塊7220和三維建模子模塊7230。關(guān)鍵點檢測子模塊7210，其對所述用戶無表情的面部圖像和待顯示無表情面部圖像進行人臉關(guān)鍵點檢測；人臉網(wǎng)格模型生成子模塊7220，其基于檢測到的設(shè)定個數(shù)的人臉關(guān)鍵點生成人臉三角形模型；三維建模子模塊7230，其獲取多張多角度的用戶無表情的面部圖像，基于所述多張多角度的用戶無表情的面部圖像進行三維建模。

人臉表情模仿模塊730，其實時獲取并解析用戶的表情圖像，根據(jù)用戶的人臉三角形模型和該表情圖像的解析結(jié)果，在待顯示無表情面部圖像的人臉三角形模型上進行映射，生成模仿人臉表情的圖像并輸出。所述人臉表情模仿模塊730，其進一步生成三角形仿射變換矩陣，對靜態(tài)人臉圖像進行逐三角形仿射變換，模仿人臉表情的圖像并輸出。

通過合理設(shè)置，本實施例的系統(tǒng)700可以執(zhí)行第一實施例中涉及的模仿人臉表情輸出方法的各個步驟，此處不再贅述。

由于本發(fā)明的方法描述的是在計算機系統(tǒng)中實現(xiàn)的。該計算機系統(tǒng)例如可以設(shè)置在機器人的控制核心處理器中。例如，本文所述的方法可以實現(xiàn)為能以控制邏輯來執(zhí)行的軟件，其由機器人控制系統(tǒng)中的cpu來執(zhí)行。本文所述的功能可以實現(xiàn)為存儲在非暫時性有形計算機可讀介質(zhì)中的程序指令集合。當以這種方式實現(xiàn)時，該計算機程序包括一組指令，當該組指令由計算機運行時其促使計算機執(zhí)行能實施上述功能的方法?？删幊踢壿嬁梢詴簳r或永久地安裝在非暫時性有形計算機可讀介質(zhì)中，例如只讀存儲器芯片、計算機存儲器、磁盤或其他存儲介質(zhì)。除了以軟件來實現(xiàn)之外，本文所述的邏輯可利用分立部件、集成電路、與可編程邏輯設(shè)備(諸如，現(xiàn)場可編程門陣列(fpga)或微處理器)結(jié)合使用的可編程邏輯，或者包括它們?nèi)我饨M合的任何其他設(shè)備來體現(xiàn)。所有此類實施例旨在落入本發(fā)明的范圍之內(nèi)。

應(yīng)該理解的是，本發(fā)明所公開的實施例不限于這里所公開的特定結(jié)構(gòu)、處理步驟或材料，而應(yīng)當延伸到相關(guān)領(lǐng)域的普通技術(shù)人員所理解的這些特征的等同替代。還應(yīng)當理解的是，在此使用的術(shù)語僅用于描述特定實施例的目的，而并不意味著限制。

說明書中提到的“一個實施例”或“實施例”意指結(jié)合實施例描述的特定特征、結(jié)構(gòu)或特性包括在本發(fā)明的至少一個實施例中。因此，說明書通篇各個地方出現(xiàn)的短語“一個實施例”或“實施例”并不一定均指同一個實施例。

雖然本發(fā)明所公開的實施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術(shù)領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所公開的精神和范圍的前提下，可以在實施的形式上及細節(jié)上作任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權(quán)利要求書所界定的范圍為準。