專利名稱：由2d圖像實(shí)現(xiàn)3d人臉重建的制作方法
由2D圖像實(shí)現(xiàn)3D人臉重建
相關(guān)申請(qǐng)的交叉參考
本申請(qǐng)要求于2006年1月31日遞交的美國(guó)臨時(shí)申i青60/764， 007的優(yōu)先 權(quán)。在先申請(qǐng)的內(nèi)容認(rèn)為是本申請(qǐng)的一部分(或并入其內(nèi)容作為參考)。
聯(lián)邦政府支持的研究或發(fā)展
美國(guó)政府可以依照授權(quán)NO. HMI-582-04-1-2002對(duì)本發(fā)明有一定的權(quán)利。
背景技術(shù)：
傳統(tǒng)的人臉重建技術(shù)經(jīng)常用人臉的一個(gè)或多個(gè)二維圖像(例如數(shù)字照片) 來(lái)創(chuàng)建臉部的一個(gè)三維表述。依此創(chuàng)建的表述可以是表示不同人臉的個(gè)體特征 的文件，例如電子文件。所述文件可以用于，例如面部識(shí)別，動(dòng)畫(huà)的制作或者 渲染。
該圖像一旦被獲取，就經(jīng)常在先前知識(shí)或人臉通?？瓷先ナ鞘裁礃幼拥募?定基礎(chǔ)上進(jìn)行處理。這種知識(shí)經(jīng)常^皮稱為"領(lǐng)域知識(shí)"， 一種"先前才莫型"， 或者尤其是一種"一般人臉"。例如，先前人臉知識(shí)可以顯示不同種類的面部 特征，比如眼睛、鼻子等等的當(dāng)前位置或者可能的位置。先前人臉知識(shí)是由可 以假定人臉是由人臉的基本形狀和外觀、照相機(jī)參數(shù)、光參數(shù)、以及其他已知 元素，或易于估計(jì)的元素等的一種線性組合形成的。這些元素可以被組合來(lái)估 計(jì)人臉可能的外貌。此外，領(lǐng)域知識(shí)可以由藝術(shù)家定義的一般人臉形狀或由多 個(gè)已知的人臉計(jì)算出的平均人臉形狀的形式參與。
在整個(gè)重建的過(guò)程中，人臉重建的普通技術(shù)利用一^:人臉的先前知識(shí)，和 可能的一組人臉度量或形變參數(shù)。另外一種普通的技術(shù)嘗試避開(kāi)先前人臉知識(shí) 的使用，而是使用純粹的數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)實(shí)現(xiàn)人臉重建。這是可以實(shí)現(xiàn)的， 例如，利用從多個(gè)校準(zhǔn)照相機(jī)得到的多個(gè)圖像中的二維要點(diǎn)的三角法測(cè)量。不
幸的是，由于在整個(gè)重建過(guò)程中利用了一般人臉，前者的方法可能提供不現(xiàn)實(shí) 的數(shù)據(jù)。后者的方法需要額外的硬件構(gòu)造，而該硬件構(gòu)造在一個(gè)合理的成本下 事實(shí)上很難實(shí)現(xiàn)。單一照相機(jī)純粹數(shù)據(jù)驅(qū)動(dòng)的方法緩解了多視角立體方法的硬 件約束，但是它自身可能會(huì)由于在處理的階段中缺乏約束而不穩(wěn)定。 技術(shù)概要
本申請(qǐng)描述了利用輔助技術(shù)獲取三維人臉信息的技術(shù)。根據(jù)一些方面，在 處理操作過(guò)程中，在一些部分利用人臉結(jié)構(gòu)的先前知識(shí)，而處理操作過(guò)程中的 其他部分則是純粹的數(shù)據(jù)驅(qū)動(dòng)。
另外一種操作利用單一照相機(jī)，以進(jìn)行從一組二維圖像得到三維信息的確定。
附圖的簡(jiǎn)要說(shuō)明


圖1所示為操作的總體流程圖；和
圖2所示為實(shí)現(xiàn)流程圖的通用目標(biāo)計(jì)算機(jī)；
圖3所示為三維人臉跟蹤是如何由一般人臉輔助的；
圖4A和4B顯示了分別嵌入在圓柱形空間和展開(kāi)的三角形空間中的密集的 三維特征。
具體實(shí)施例方式
在此，將描述能夠用來(lái)實(shí)現(xiàn)更多總體目標(biāo)的不同方法的總體的結(jié)構(gòu)和技 術(shù)，以及更詳細(xì)的實(shí)施例。
本發(fā)明涉及一種確定物體，例如人臉的三維信息的方法。盡管本發(fā)明的具 體實(shí)施例參考人臉的三維重建和繪圖來(lái)描述，但是應(yīng)該可以理解的是這些相同 的技術(shù)可以用于重建和繪圖任何物體的多個(gè)視圖。當(dāng)用于人臉時(shí)，由在此揭示 的技術(shù)生成的三維信息可用于任何基于人臉的應(yīng)用，如動(dòng)畫(huà)片的制作，識(shí)別，
以及繪圖。在此描述的技術(shù)，可能比更多依賴于一般人臉的先前知識(shí)的其他技 術(shù)更實(shí)際可行。
本發(fā)明人承認(rèn)使用強(qiáng)大的人臉外貌的先前知識(shí)來(lái)重建人臉的先前的系統(tǒng)， 有效地量化了用于構(gòu)成和渲染人臉的基礎(chǔ)形狀的數(shù)目。強(qiáng)大的先前知識(shí)或者一 般人臉?lè)椒?，被施加的先前知識(shí)或者一般人臉?biāo)峁┑淖杂啥扔行У叵拗啤Ｒ?此，信息和之后的重建并沒(méi)有捕獲原始人臉的所有精細(xì)的細(xì)節(jié)。
所述"人臉空間"量化是由于先前知識(shí)和相關(guān)的轉(zhuǎn)換限制了能夠被系統(tǒng)重 建的所有可能人臉的空間而產(chǎn)生。 一般人臉或者基于純粹先前知識(shí)的方法可能 沒(méi)有足夠的自由度來(lái)覆蓋整個(gè)人臉空間。
本實(shí)施例通過(guò)忽視先前人臉知識(shí)或者在處理過(guò)程關(guān)鍵點(diǎn)的一般人臉約束來(lái) 捕獲精細(xì)的人臉細(xì)節(jié)，而不是依靠利用數(shù)據(jù)驅(qū)動(dòng)方法來(lái)尋找在此^皮稱為密集特 征的人臉細(xì)節(jié)的數(shù)據(jù)。數(shù)據(jù)驅(qū)動(dòng)方法需要大量的數(shù)據(jù)來(lái)有效地處理噪音、測(cè)量
的不可靠性和孤立點(diǎn)(outliers)。然而，本發(fā)明的系統(tǒng)沒(méi)有利用純粹的數(shù)據(jù)驅(qū) 動(dòng)方法，而且由一體化的先前人臉知識(shí)或者一般人臉的方法所輔助。
依照一個(gè)方面，大量的數(shù)據(jù)可以從操作獲得多重圖像的單一照相機(jī)來(lái)獲 得。例如，這可以用共同形成圖像的活動(dòng)序列的視頻幀獲得，也可以從一個(gè)或 多個(gè)照相機(jī)獲得的多種不同的靜態(tài)圖像來(lái)獲得。
美國(guó)專利號(hào)1203211揭露了一種產(chǎn)生三維人臉才莫型的方法，該方法沒(méi)有使 用什么先前人臉知識(shí)，而只是完全地?cái)?shù)據(jù)驅(qū)動(dòng)。本發(fā)明系統(tǒng)用了一種主要用數(shù) 據(jù)驅(qū)動(dòng)的系統(tǒng)，但是用先前人臉知識(shí)或一般人臉來(lái)測(cè)定信息的某些部分。
參照?qǐng)D1的流程圖描述一下本發(fā)明的實(shí)施例。圖1同樣舉例說(shuō)明了一些示 范性的極小的照片，用于闡明操作過(guò)程。此流程圖可在任何通用計(jì)算機(jī)上執(zhí)行， 例如圖2所示的系統(tǒng)。該系統(tǒng)包括一個(gè)處理器200， 一個(gè)用戶接口 205，例如鼠標(biāo)和鍵盤，和一個(gè)顯示屏210。例如，該計(jì)算機(jī)可以是，基于因特爾的處理器或 其他任何種類的處理器。該計(jì)算機(jī)從一個(gè)或多個(gè)攝#^幾215，例如靜態(tài)照相才幾或 攝影機(jī)，接收原始的或經(jīng)過(guò)處理的圖像數(shù)據(jù)。該處理器200根據(jù)在此提供的說(shuō) 明處理所述原始數(shù)據(jù)。作為一種替換，照相機(jī)的信息可以存儲(chǔ)在一個(gè)存儲(chǔ)器220 內(nèi)，例如一個(gè)硬盤驅(qū)動(dòng)，并且在稍后處理。
本實(shí)施例從圖像序列例如視頻序列，從視頻序列得到的停止運(yùn)動(dòng)類型的圖 像序列，或者只是一些靜態(tài)圖像，中提取信息。除非目標(biāo)物是標(biāo)準(zhǔn)的完全靜止 并且照相機(jī)不變換位置，在圖像集中，圖像序列具有目標(biāo)物頭部的多種不同視 角。
在步驟100處，確定了初始姿勢(shì)的估計(jì)。這可能用了一種人臉跟蹤算法， 例如如圖3所示的算法，來(lái)推導(dǎo)出初始頭部姿勢(shì)的估計(jì)，并且推導(dǎo)出表示人臉 外貌的面部輪廓(mask)。這使用了人臉構(gòu)造的先前知識(shí)來(lái)測(cè)定頭部可能的位置 和姿態(tài)，像鼻子，嘴等類似的面部特征的位置。圖3描述了在3種不同圖像310, 320, 330中3種不同的姿勢(shì)。同樣的臉部輪廓300是每個(gè)上述這些圖像的疊加。 所述臉部輪廓300描述了一般人臉，并且有眼，口鼻等的點(diǎn)。這樣，該輪廓就 能夠幫助估計(jì)圖像的姿勢(shì)。
在步驟110處，姿勢(shì)評(píng)估技術(shù)將一組的視圖傳遞到稀疏特征跟蹤模塊。傳 送到所述模塊的圖像，被認(rèn)為是可從中提取三維信息的圖像對(duì)的合適的候選圖 像。稀疏特征跟蹤模塊110為每個(gè)圖像對(duì)產(chǎn)生了 一組特征匹配， 一個(gè)圖像對(duì)中 的兩個(gè)圖像充分相近以至于可以獲得這些特征關(guān)聯(lián)。
在步驟120實(shí)現(xiàn)姿勢(shì)選擇，來(lái)選擇圖像，該圖像能夠正確地產(chǎn)生可以用于 3D信息的確定的圖像對(duì)。這些圖像對(duì)應(yīng)該姿勢(shì)相近，并且具有相同的光特性。
在步驟130處，執(zhí)行對(duì)整個(gè)系列特征點(diǎn)的全局最優(yōu)化。這被用來(lái)優(yōu)化照相
機(jī)位置估計(jì)和計(jì)算稀疏二維特征的三維結(jié)構(gòu)。
在步驟135處，優(yōu)化后的照相機(jī)位置用于矯正多對(duì)的圖像，從而把相應(yīng)特
征點(diǎn)的搜索空間約束為在多對(duì)圖像里的水平掃描線。
在步驟140處，通過(guò)圖像對(duì)進(jìn)行密集特征關(guān)聯(lián)。這發(fā)現(xiàn)了除在步驟110處 實(shí)現(xiàn)的稀疏4企測(cè)以外的附加特征。這些匹配通過(guò)三角測(cè)量法來(lái)確定，該三角測(cè) 量法使用優(yōu)化的照相機(jī)位置形成密集3D點(diǎn)云或差距圖。
相應(yīng)于單個(gè)圖像對(duì)的點(diǎn)云接著融合進(jìn)單一點(diǎn)云，并且在步驟145處移除出 界點(diǎn)。密集特征檢測(cè)是完全地?cái)?shù)據(jù)驅(qū)動(dòng)，沒(méi)有用先前人臉知識(shí)或一般人臉。步 驟150定義了密集特征計(jì)算輔助手段，作為密集特征關(guān)^:的簡(jiǎn)化。這可能包括 特征點(diǎn)丟棄技術(shù)(例如張量投票)，并且可能包括區(qū)域搜索最小化。
在步驟155,最終凈化點(diǎn)云^皮用來(lái)形成一個(gè)連通的表面。面部紋理/人正面圖 像獲得。最終結(jié)果是表面的代表性信息。這可以是三角片形成的3D面片模型 (mesh)。最終結(jié)果可代替地是3D點(diǎn)集或者一個(gè)由例如彎曲鍵槽，細(xì)分表面或 其他數(shù)字表面定義的表面。
現(xiàn)在提供進(jìn)一步的操作細(xì)節(jié)。
傳統(tǒng)的立體重建依賴于獲得一個(gè)或多個(gè)相似圖像對(duì)的多重照相機(jī)的存在。 這些多種圖像對(duì)之間的特征匹配被確定。該特征關(guān)聯(lián)是隨后被三角形化以找到 最終的點(diǎn)的三維組。
在所述實(shí)施例中，單一照相機(jī)用來(lái)獲取多重圖像，然后這些圖像被作為多 重視角立體圖像重塑。在所述實(shí)施例中，處理過(guò)程假設(shè)頭部是靜止的，并且照 相機(jī)正在移動(dòng)或者相對(duì)于頭部移動(dòng)。各種情況可能會(huì)有所不同，但這種假設(shè)并 沒(méi)有喪失一般性，例如照相機(jī)可以是靜止的并且頭部是運(yùn)動(dòng)的，或者照相機(jī)和 頭部都是移動(dòng)的。
如上所述，多重圖像首先在步驟100處被分析來(lái)測(cè)定這些圖像之中照相機(jī) 姿勢(shì)的初始估計(jì)。這個(gè)初始估計(jì)用了人臉的信息指示，例如先前人臉知識(shí)或者 一般人臉來(lái)實(shí)現(xiàn)估計(jì)。這提供了允許該系統(tǒng)測(cè)定足夠信息來(lái)找到這些圖像之間 的姿勢(shì)和關(guān)聯(lián)的"稀疏"信息。
例如，利用先前人臉知識(shí)或者一般人臉完成的初始估計(jì)可能提供一些信 息，這些信息顯示人臉周界的信息，確定部分人臉面部輪廓的位置，或者其他 的信息。這為圖像選擇提供了信息，并且強(qiáng)制一系列稀疏特征被匹配。先前人 臉知識(shí)或 一般人臉用于形成稀疏特征，但是該稀疏特征可以在密集特征被測(cè)定 之前，用數(shù)據(jù)驅(qū)動(dòng)最優(yōu)化來(lái)優(yōu)化。
該跟蹤姿勢(shì)估算模塊檢查這些圖像來(lái)尋找可以互相矯正的相似圖像。這些 相似圖像由確定相似姿勢(shì)的圖像組成。因此，這就允許圖像子集的選擇用于重 建。所述圖像既用基線信息，也用多重圖像之間可靠性的跟蹤特征點(diǎn)來(lái)選4奪。
多重不同的圖像之間經(jīng)常存在測(cè)量不確定性。例如，隨著一對(duì)圖像之間的
角度基線的減少，計(jì)算了的3D點(diǎn)中的錯(cuò)誤凈iU文大。減少的角度基線于是增大了 3D測(cè)量的不確定H較少精確的3D信息可以從圖像中具有更小角度基線的圖像 獲得。隨著角度基線的增大，可以提取更多精確的3D信息，然而兩個(gè)視圖之間 的共有表面區(qū)域也更少了，因此具有更少的可能的匹配。圖像對(duì)因此被選擇來(lái) 平衡測(cè)量不確定性和錯(cuò)誤的數(shù)量。例如，帶有8-15度角度基線的圖像和6個(gè) 點(diǎn)匹配圖像對(duì)的圖像可能是優(yōu)選的。
所述平衡可以通過(guò)在多種已選圖像中跟蹤特征點(diǎn)實(shí)現(xiàn)。僅僅那些特征之間 有高置信度匹配(例如90%以上)的圖傳^皮保留用來(lái)建立特征鏈。如果幀對(duì)適 合特征點(diǎn)，并且也滿足一個(gè)設(shè)定的基線標(biāo)準(zhǔn)，那么幀對(duì)就被維持在圖像集中。 例如，基線標(biāo)準(zhǔn)可以設(shè)定成一一例如要求至少5度的角度基線。特征點(diǎn)標(biāo)準(zhǔn)也
會(huì)舍棄有著高度不精確的跟蹤姿勢(shì)估計(jì)的幀。
這個(gè)稀疏匹配階段產(chǎn)生了 一組圖像以及在序列中匹配的特征點(diǎn)。由所述特 征點(diǎn)匹配所支持的匹配可能比由姿勢(shì)跟蹤器單獨(dú)預(yù)測(cè)的匹配更精確。與跟蹤器 預(yù)測(cè)匹配相比，特征點(diǎn)匹配也可覆蓋更多的幀，并且因此在照相機(jī)姿勢(shì)優(yōu)化進(jìn)
程提供了更多的限制。這些限制可導(dǎo)致在步驟130姿勢(shì)完善中得到更大的精確 性。
束調(diào)整以多組圖像和在圖像組中^皮匹配的特征點(diǎn)開(kāi)始。如上所述，這些已 經(jīng)通過(guò)特征跟蹤獲得。在步驟130處實(shí)現(xiàn)的束調(diào)整，是一種為了解決照相機(jī)參 數(shù)和基于圖像組之間的二維匹配的點(diǎn)的3D位置的最優(yōu)化:R術(shù)。所述最優(yōu)化參數(shù) 可以包括照相機(jī)的位置和方向，以及2D特征點(diǎn)的3D結(jié)構(gòu)。最優(yōu)化可以通過(guò)交 替針對(duì)結(jié)構(gòu)的局部解決方案，然后針對(duì)照相機(jī)姿勢(shì)的局部解決方案實(shí)現(xiàn)。計(jì)算 機(jī)可以交替地實(shí)現(xiàn)這些計(jì)算直到一種恰當(dāng)?shù)慕鉀Q方案匯合。
因此，通過(guò)以迭代的形式，在估計(jì)照相機(jī)的位置和點(diǎn)的位置之間進(jìn)行翻轉(zhuǎn) (flip-flopping),束調(diào)整估計(jì)每個(gè)圖像中的照相機(jī)位置，直到它最終匯合。 最終的結(jié)果既是更^f青確的照相機(jī)位置又是更精確的點(diǎn)的結(jié)構(gòu)。因?yàn)檫@些是稀疏 "高置信度"點(diǎn)，因此它沒(méi)有提供一個(gè)完整的密集表征，但是這在后面的過(guò)程 中完成。
一個(gè)可選擇的技術(shù)可以簡(jiǎn)化迭代得改變性能，直到獲得好的性能。
像步驟130中估計(jì)的匹配特征點(diǎn)的3D位置和優(yōu)化的束調(diào)整，在后續(xù)的階段
用于限制重建的范圍。這些形成了在所有的后續(xù)處理階|殳中用到的優(yōu)化的照相
機(jī)姿勢(shì)。
步驟140密集特征匹配在圖像對(duì)之間找到更多的關(guān)于相應(yīng)點(diǎn)的信息。然而， 無(wú)限制的密集匹配可以祐L計(jì)算性地抑制，因?yàn)樗転槊總€(gè)匹配獲取完整的圖像搜索。無(wú)限制的搜索會(huì)相對(duì)于其他圖像中的每個(gè)點(diǎn)，比較每個(gè)圖像的每個(gè)點(diǎn)。步驟150總體地描述了用于降低密集特征搜索范圍的技術(shù)。根據(jù)所述實(shí)施例，應(yīng)用了一種對(duì)極幾何技術(shù)。在對(duì)極幾何中，每個(gè)相互匹 配的項(xiàng)目必須沿著在多對(duì)的圖像或者成群的圖像之間延伸的單線展開(kāi)。處理進(jìn) 程可以進(jìn)一步通過(guò)矯正圖像簡(jiǎn)化，這樣每個(gè)對(duì)極線與水平掃描線相符。這就避 免了為每個(gè)潛在的匹配重取樣圖像的需要。矯正之后，利用匹配進(jìn)程發(fā)現(xiàn)每對(duì)圖像里的相關(guān)點(diǎn)。先前人臉知識(shí)或一般 人臉可以通過(guò)將匹配限制到被跟蹤人臉輪廓覆蓋的區(qū)域來(lái)輔助匹配進(jìn)程。這就 允許簡(jiǎn)化搜索，這樣，就可針對(duì)一副圖像中的每個(gè)像素利用固定的窗長(zhǎng)來(lái)提取 才莫板。該才莫板沿著多對(duì)圖像中的相關(guān)對(duì)極線匹配。一個(gè)最小化的相關(guān)性極值和適合人臉的受限的不同范圍被用來(lái)降低假匹配 的數(shù)量。帶有平坦相關(guān)的塊的位置或者沒(méi)有明顯峰頂?shù)膮^(qū)域被丟棄。然而，多 種候選匹配可以^皮維持來(lái)找到最好的匹配。所述匹配進(jìn)程的結(jié)果是一個(gè)不一致的量。每個(gè)三重(x， y， d)把矯正后的 圖像里面的像素(x， y)映射到多對(duì)圖像里面的像素(x + d, y)。該已知的姿勢(shì)可以被三角形化以把不一致的值轉(zhuǎn)換為三維點(diǎn)。每個(gè)不一致 的像素用反矯正變換，轉(zhuǎn)換為它自己的最初的圖像空間。所述匹配的三維區(qū)域 由通過(guò)照相機(jī)的光心的光線和圖像平面里的相關(guān)特征關(guān)聯(lián)之間的交集所提供。 實(shí)際上，特征關(guān)聯(lián)和照相機(jī)估計(jì)里的錯(cuò)誤會(huì)阻止這些線精確地相交。最小化光 線之間正交距離的三維點(diǎn)可能被用到。另 一個(gè)限制可以由導(dǎo)出結(jié)構(gòu)里面的孤立點(diǎn)的丟棄提供。從束調(diào)整進(jìn)程產(chǎn)生 的三維結(jié)果提供了一個(gè)更加精確，盡管稀疏的三維人臉結(jié)構(gòu)的估計(jì)。這不足以 捕獲人臉精細(xì)的表面幾何形狀。所述實(shí)施例中，這被用來(lái)提供在密集重建中允 許的三維計(jì)算上的約束。尤其地，計(jì)算的結(jié)構(gòu)與束調(diào)整導(dǎo)出的結(jié)構(gòu)不應(yīng)有太大 的偏差。這個(gè)結(jié)構(gòu)首先通過(guò)把內(nèi)插值替換的束調(diào)整轉(zhuǎn)換為三維像素來(lái)預(yù)過(guò)濾凄丈 據(jù)，并且在預(yù)定距離丟棄來(lái)自于三維像素的數(shù)據(jù)。實(shí)質(zhì)上，這變成了一種數(shù)據(jù) 優(yōu)化技術(shù)。該三維像素測(cè)試移除了那些大于到束三維像素的一個(gè)預(yù)定距離的全局異常 信號(hào)。它也移除了由于人臉輪廓的不精確布局產(chǎn)生的邊界偽跡。然而，特征關(guān) 聯(lián)的錯(cuò)誤可以導(dǎo)致重建噪聲。如果所述噪聲在視圖內(nèi)部和視圖之間是不相關(guān) 的，它將呈現(xiàn)為三維結(jié)構(gòu)里的稀疏、高頻變化。然而由于人臉結(jié)構(gòu)的平滑部分 和連續(xù)性，正確的匹配在視圖間將是相關(guān)聯(lián)的。張量投票也可以被用來(lái)測(cè)定表面突起，因此維持相關(guān)結(jié)構(gòu)的是張量投票。 三維張量投票方案可以用于加固和測(cè)定表面突起。張量投票允許每個(gè)M)點(diǎn)作為 球張量或棍張量被編碼。張量里的信息經(jīng)過(guò)表決操作擴(kuò)展到它們的相鄰部分。 具有相似結(jié)構(gòu)的相鄰部分通過(guò)張量投票互相加固。結(jié)構(gòu)加固數(shù)量?jī)羝ぴ嫉慕Y(jié)構(gòu) 突起所影響。該技術(shù)從點(diǎn)云復(fù)原了表面。好的點(diǎn)法向(point normals)的最初估計(jì)可能優(yōu)選是無(wú)分別地把點(diǎn)作為3求 張量編碼。所述實(shí)施例中，頭部被圖4A所示的圓柱體所近似。圓柱體法向 (cylinder normals ) -敗獲得。所述圓柱體法向可以用來(lái)作為點(diǎn)法向的近似值。 圖4B顯示了展開(kāi)和三角化的同樣的點(diǎn)。在另外一個(gè)實(shí)施例中，系統(tǒng)會(huì)用到一個(gè)3x3的本征系統(tǒng)，并且會(huì)把法線固 定為本征系統(tǒng)里的第 一個(gè)本征矢量。遺留的基準(zhǔn)矢量接著會(huì)用奇異值分解來(lái)計(jì) 算。例如，由第一個(gè)兩種本征矢量間的不同幅度所定義的最初表面突起，可能 會(huì)為所有的點(diǎn)統(tǒng)一設(shè)置。從束調(diào)整獲得的3D點(diǎn)是面部結(jié)構(gòu)的非常精確，卻是人臉結(jié)構(gòu)的稀疏的估
計(jì)。所述這些點(diǎn)被增加到設(shè)有增高的表面突起的張量投票中。徑向基(radial basis)功能也可以用于向從束調(diào)整獲得的3D點(diǎn)之間插入一個(gè)平滑的表面。在 所述實(shí)施例中，3D束點(diǎn)的法線從插入的表面計(jì)算出，用于張量投票。然而，所 述插入的表面本身并不優(yōu)選地用于張量投票。經(jīng)過(guò)兩次張量投票后，帶有低表面突起的點(diǎn)被移除，留下了散布于人臉表 面的點(diǎn)的密集云。先前人臉知識(shí)或一般人臉可能在密集重建階段引入，所以人臉空間不被限 制。特別地，實(shí)施例可能在密集處理中用先前人臉知識(shí)或一般人臉測(cè)定并丟棄 孤立點(diǎn)等等，例如基于一個(gè)存在的一般人臉畫(huà)像，但是不用于計(jì)算或修改重建 點(diǎn)的3D位置。面部細(xì)節(jié)在三維點(diǎn)云中有效地捕獲。如果最終的目標(biāo)是一個(gè)人臉的數(shù)學(xué)描 述，那么三維點(diǎn)云可能就足夠了。所述實(shí)施例用領(lǐng)域知識(shí)產(chǎn)生和構(gòu)造一個(gè)基于密集三維結(jié)構(gòu)的面片模型 (mesh)。所述實(shí)施例經(jīng)過(guò)圓柱形投影操作打開(kāi)3D云到一個(gè)二維平面上。隨著 圓柱形投影，每個(gè)三維點(diǎn)云有一個(gè)相關(guān)的二維映射位置。所述二維映射位置可 以用Delaunay三角測(cè)量三角化。它們的連通性信息接著傳送到三維點(diǎn)，并且根 據(jù)作為結(jié)果的面片模型定義表面。圖4B顯示了展開(kāi)和三角形劃分的圓柱形。這里描述普通的結(jié)構(gòu)和技術(shù)，和更多能用于達(dá)到不同的實(shí)現(xiàn)更多普通目標(biāo) 的方法的明確實(shí)施例。盡管上迷細(xì)節(jié)僅描述了一些實(shí)施例，但是其他實(shí)施例也是可能的，而且發(fā) 明將這些包含在此說(shuō)明書(shū)中。說(shuō)明書(shū)描述了一些實(shí)現(xiàn)更總體目標(biāo)的例子，這些 目標(biāo)也可通過(guò)其他方式實(shí)現(xiàn)。這種揭示是示范性的，并且權(quán)利要求書(shū)意在覆蓋 任何更改或可替代的技術(shù)方案，而這些更改或可替代的技術(shù)方案對(duì)于本領(lǐng)域技
術(shù)人員來(lái)說(shuō)是可預(yù)知的。例如，很多在此描述的操作涉及到使用一般人臉或先 前人臉知識(shí)的操作。應(yīng)該可以理解的是，這些可替代的技術(shù)中的一些，但不是 全部，可通過(guò)利用這些一般或先前人臉的知識(shí)實(shí)現(xiàn)。同樣，發(fā)明人認(rèn)為，使用"用于……的方法"詞語(yǔ)的權(quán)利要求，可根據(jù)"USC112的第六段進(jìn)行解釋。此外，說(shuō)明書(shū)中任何的限制都不能在理解時(shí)被加入到任何權(quán)利要求書(shū)中，除非這些限制已經(jīng)清楚地包含在權(quán)利要求書(shū)中。在此 描述的計(jì)算機(jī)可為任何類型的計(jì)算機(jī)，或者用于通用目的，或者用于一些特殊的目的，如工作臺(tái)。計(jì)算機(jī)可為運(yùn)行Wi ndows Xp或L inux的奔騰系列計(jì)算機(jī)， 或者也可為蘋果公司的計(jì)算機(jī)。計(jì)算機(jī)也可為掌上電腦，如PDA,蜂窩式便攜無(wú) 線電話，或便攜式電腦。所述程序可以用C，或者Java， Brew或者其他的程序語(yǔ)言寫(xiě)成。所述程序 可以存儲(chǔ)在存儲(chǔ)介質(zhì)上，舉例來(lái)說(shuō)磁介質(zhì)或者光介質(zhì)，例如計(jì)算扭J更盤，移動(dòng) 磁盤或像記憶棒或SDi某介的i某介，或者其他移動(dòng)介質(zhì)。所述程序也可以經(jīng)過(guò)網(wǎng) 絡(luò)運(yùn)行，比如一個(gè)服務(wù)器或者其他機(jī)器發(fā)送信號(hào)給本地機(jī)器，這允許本地機(jī)器 執(zhí)行在此描述的纟喿作。在此提到的特殊的數(shù)值，它應(yīng)該被認(rèn)為是所述數(shù)值提高或者降低20%，然 而依舊處于當(dāng)前應(yīng)用的教義之內(nèi)，除非特別提及到一些不同的范圍。
權(quán)利要求
1、一種人臉重建方法，包括利用先前人臉知識(shí)分析人臉的大量圖像來(lái)找到稀疏的、三維人臉特征；以及利用所述稀疏三維人臉特征來(lái)分析所述大量圖像，以利用數(shù)據(jù)驅(qū)動(dòng)方法，不使用任何先前知識(shí)找到密集三維特征。
2、 如權(quán)利要求l所述的方法，進(jìn)一步包括利用先前的知識(shí)來(lái)識(shí)別圖像中 的特征，并且在多對(duì)圖像之間進(jìn)行矯正來(lái)發(fā)現(xiàn)相似的圖像對(duì)。
3、 如權(quán)利要求l所述的方法，其中所述先前的知識(shí)#皮用來(lái)識(shí)別人臉的各部分。
4、 如權(quán)利要求l所述的方法，其中所述先前的知識(shí)-故用來(lái)識(shí)別表示一般人 臉的人臉輪廓。
5、 如權(quán)利要求l所述的方法，其中所述利用所述先前的知識(shí)包括利用先 前知識(shí)來(lái)約束形成一系列稀疏三維特征的人臉特征。
6、 如權(quán)利要求2所述的方法，其中所述相似圖像對(duì)是包括一個(gè)足夠用來(lái)識(shí) 別三維信息，而不是太大而不符合要求地將測(cè)量不確定性增加到超過(guò)特定數(shù)量 的角形基線的圖像對(duì)。
7、 如權(quán)利要求2所述的方法，進(jìn)一步包括測(cè)試圖像對(duì)來(lái)獲得大于第一特 定數(shù)量的角形基線，和獲得大于第二特定數(shù)量的圖像對(duì)里面的特征之間的匹配。
8、 如權(quán)利要求l所述的方法，進(jìn)一步包括第二分析大量的圖像來(lái)發(fā)現(xiàn)具 有圖像間匹配的特征點(diǎn)大于特定數(shù)量的圖像簇，并且利用所述圖像簇來(lái)優(yōu)化用 所述先前的知識(shí)實(shí)現(xiàn)的第一分析，來(lái)形成一系列跟蹤特征點(diǎn)。
9、 如權(quán)利要求8所述的方法，其中所述圖像簇包括多對(duì)的圖像。
10、 如權(quán)利要求8所述的方法，進(jìn)一步包括利用所述一系列跟蹤的特征 點(diǎn)來(lái)發(fā)現(xiàn)所述跟蹤特征點(diǎn)的位置和運(yùn)動(dòng)。
11、 如權(quán)利要求10所述的方法，進(jìn)一步包括利用所述跟蹤特征點(diǎn)的位置 來(lái)優(yōu)化所述稀疏三維特;f正。
12、 如權(quán)利要求1所述的方法，其中所述發(fā)現(xiàn)密集特征包括約束密集特征 的搜索范圍。
13、 如權(quán)利要求1所述的方法，其中所述發(fā)現(xiàn)密集特征包括丟棄與其他特 征之間的距離大于預(yù)定距離的孤立點(diǎn)部分。
14、 如權(quán)利要求13所述的方法，其中所述丟棄孤立點(diǎn)部分包括把數(shù)據(jù)轉(zhuǎn) 換為三維像素，并且丟棄與三維像素之間的距離大于預(yù)定距離的數(shù)據(jù)。
15、 如權(quán)利要求1所述的方法，進(jìn)一步包括丟棄顯著偏離表面大于特定 數(shù)量的部分。
16、 如權(quán)利要求15所述的方法，其中所述丟棄包括用張量投票來(lái)檢測(cè)所述 部分。
17、 一種人臉重建系統(tǒng)，包括 照相機(jī)，用于獲取人臉的大量圖像；和處理部件，用于利用先前的人臉知識(shí)分析所述大量圖像，來(lái)發(fā)現(xiàn)稀疏、三 維的人臉特征，以及用于利用數(shù)據(jù)驅(qū)動(dòng)方法，不利用任何先前的知識(shí)，用所述 稀疏三維人臉特征來(lái)分析所述大量圖像，來(lái)發(fā)現(xiàn)密集特征。
18 、如權(quán)利要求17所述的系統(tǒng)，其中所述照相機(jī)是靜態(tài)照相機(jī)。
19、 如權(quán)利要求17所述的系統(tǒng)，其中所述照相機(jī)是攝影機(jī)。
20、 如權(quán)利要求17所述的系統(tǒng)，其中所述處理部件利用先前的知識(shí)操作來(lái) 識(shí)別圖像里的特征，并且在多對(duì)的圖像之間矯正來(lái)發(fā)現(xiàn)相似的圖像對(duì)。
21、 如權(quán)利要求20所述的系統(tǒng)，其中所述處理部件利用所述先前的知識(shí)操 作以識(shí)別表示 一般人臉的人臉輪廓。
22、 如權(quán)利要求17所述的系統(tǒng)，其中所述處理部件才喿作來(lái)測(cè)試圖像對(duì)來(lái)獲 得大于第一特定數(shù)量的角形基線，和獲得大于第二特定tt量的圖像對(duì)里面的特 4i之間的匹配。
23、 如權(quán)利要求22所述的系統(tǒng)，其中所述圖像簇包括多對(duì)的圖像。
24、 如權(quán)利要求17所述的系統(tǒng)，其中所述處理部件通過(guò)丟棄與其他特征之 間的距離大于預(yù)定距離的孤立點(diǎn)部分來(lái)發(fā)現(xiàn)密集特征。
25、 如權(quán)利要求24所述的系統(tǒng)，其中所述處理部件利用張量投票實(shí)現(xiàn)所述 丟棄。
26、 一種人臉重建的方法，包括分析從單個(gè)照相機(jī)獲得大量圖像，來(lái)矯正所述大量圖像和從所述大量圖像 中發(fā)現(xiàn)至少一個(gè)人臉的可表示的三維信息，所述分析包括利用先前的人臉知識(shí) 來(lái)測(cè)定圖像中的初始特征的初始分析，和利用所述初始特征的，不使用任何先 前知識(shí)的隨后分析來(lái)發(fā)現(xiàn)附加的信息。
27、 如權(quán)利要求26所述的方法，進(jìn)一步包括利用先前的知識(shí)來(lái)識(shí)別圖像 里的特征，和在多對(duì)的圖像之間調(diào)整來(lái)發(fā)現(xiàn)相似的圖像對(duì)。
28、 如權(quán)利要求26所述的方法，其中所述先前的知識(shí)被用來(lái)識(shí)別人臉的部分。
29、 如權(quán)利要求28所述的方法，其中所迷先前的知識(shí)被用來(lái)識(shí)別表示一般 人臉的人臉輪廓。
30、 如權(quán)利要求27所述的方法，其中所述相似圖像對(duì)是包含足夠用來(lái)識(shí)別 三維信息，而不太大、不符合要求地將測(cè)量不確定性增加到超過(guò)特定數(shù)量的角 形基線的圖像對(duì)。
31、 如權(quán)利要求26所述的方法，其中所述隨后分析包括為密集特征約束搜索的范圍。
32、 如權(quán)利要求26所述的方法，進(jìn)一步包括丟棄與其他特征之間的距離大 于預(yù)定距離的孤立點(diǎn)部分。
33、 如權(quán)利要求32所述的方法，其中所述丟棄孤立點(diǎn)部分包括把數(shù)據(jù)轉(zhuǎn)換 為三維像素，并且丟棄與三維像素之間的距離大于預(yù)定距離的數(shù)據(jù)。
34、 如權(quán)利要求26所述的方法，進(jìn)一步包括丟棄顯著偏離表面大于特定 數(shù)量的部分。
35、 如權(quán)利要求34所述的方法，其中所述丟棄包括通過(guò)用張量投票來(lái)檢測(cè) 所述部分。
36、 一種方法，包括分析人臉的大量圖像來(lái)發(fā)現(xiàn)關(guān)于人臉的稀疏信息；利用稀疏信息來(lái)，使用數(shù)據(jù)驅(qū)動(dòng)方法，發(fā)現(xiàn)密集信息，所述利用包括用張 量投票技術(shù)約束密集信息搜索的范圍。
37、 一種人臉處理方法，包括利用一般人臉的先前知識(shí)，分析人臉的大量圖像來(lái)發(fā)現(xiàn)所述圖像間的匹配， 所述匹配用于形成稀疏信息；和利用所述匹配來(lái)形成多對(duì)的圖像；利用不使用何一般人臉的先前知識(shí)的數(shù)據(jù)驅(qū)動(dòng)方法，分析所述圖像對(duì)來(lái)發(fā) 現(xiàn)一 系列密集特征，所述分析包括從密集特征集中移除孤立點(diǎn)部分。
38、 一種用于從人臉的大量2D圖像來(lái)自動(dòng)重建3D人臉的方法，包括 在推導(dǎo)初始照相機(jī)位置估計(jì)中利用 一般人臉的先前知識(shí)；選擇圖像對(duì)并且為每個(gè)所迷圖像對(duì)提取稀疏特征點(diǎn)； 優(yōu)化所述初始照相機(jī)位置估計(jì)和所述稀疏特征點(diǎn)；在從所述圖像對(duì)中提取密集3D點(diǎn)云中使用純粹的數(shù)據(jù)驅(qū)動(dòng)方法； 將所述密集3D點(diǎn)云合并到單一 3D云里； 從所述單一 3D點(diǎn)云移除孤立點(diǎn)來(lái)形成一個(gè)純凈的3D點(diǎn)云； 調(diào)整連4妄面到該純凈的3D點(diǎn)云，和將目標(biāo)人臉的表面細(xì)節(jié)和色彩信息紋理映射到所述連^f妻面上。
39、 一種用于從人臉的大量2D圖像來(lái)自動(dòng)重建3D人臉的方法，包括在推導(dǎo)初始照相機(jī)位置估計(jì)中利用 一般人臉的先前知識(shí)；選擇圖像對(duì)并且為每個(gè)所述圖像對(duì)提取稀疏特征點(diǎn)；優(yōu)化所述初始照相^L位置估計(jì)和所述稀疏特征點(diǎn)；在從所述圖像對(duì)提取密集3D點(diǎn)云中使用純粹的數(shù)據(jù)驅(qū)動(dòng)方法；將所述密集3D點(diǎn)云合并到單一 3D云里；利用一般人臉的先前指示，從所述單一 鄧點(diǎn)云移除孤立點(diǎn)來(lái)形成一個(gè)純凈 的3D點(diǎn)云；調(diào)整連^"面到該純凈的3D點(diǎn)云；和將目標(biāo)人臉的表面細(xì)節(jié)和色彩信息紋理映射到所述連接面上。
全文摘要
本發(fā)明描述了一種用二維圖像，如人臉圖片實(shí)現(xiàn)三維人臉重建的技術(shù)。先前的人臉知識(shí)和普通的人臉被用來(lái)從圖像提取稀疏的三維信息，并識(shí)別圖像對(duì)。束調(diào)整用來(lái)實(shí)現(xiàn)確定更多精確的三維攝照相機(jī)位置，矯正圖像對(duì)，并且未使用先前人臉知識(shí)提取密集的三維人臉信息。例如利用張量投票，移除孤立點(diǎn)。三維表面從密集的三維信息中提取出來(lái)；并且表面的細(xì)節(jié)從圖像提取出來(lái)。
文檔編號(hào)G06K9/00GK101395613SQ200780007336
公開(kāi)日2009年3月25日 申請(qǐng)日期2007年1月31日 優(yōu)先權(quán)日2006年1月31日
發(fā)明者杰勒德·麥迪尼, 道格拉斯·費(fèi)德洛 申請(qǐng)人:南加利福尼亞大學(xué)