使用攝像機和電視監(jiān)視器的三維物體掃描的制作方法
【專利摘要】一種使用攝像機和電視監(jiān)視器的三維物體掃描。本發(fā)明涉及根據(jù)物體的二維圖像建立該物體的三維模型的方法及其裝置。按照本發(fā)明的建立實物物體的計算機圖形模型的方法包括下列步驟：選擇第一照明圖案；在顯示設備上顯示所述第一照明圖案以便照亮實物物體；獲取由所述第一照明圖案所照亮的所述實物物體的第一圖像，其中，所述第一圖像包括具有陰影值的圖像點；選擇第二照明圖案；在顯示設備上顯示所述第一照明圖案以便照亮實物物體；獲取由所述第二照明圖案所照亮的所述實物物體的第二圖像，其中，所述第二圖像包括具有陰影值的圖像點；確定計算機圖形模型的一組模型點中的每個模型點的候選表面方位，所述確定基于所述第一和第二圖像的圖像點的陰影值。
【專利說明】使用攝像機和電視監(jiān)視器的三維物體掃描
[0001]本申請為題為“使用攝像機和電視監(jiān)視器的三維物體掃描”的中國發(fā)明專利200880013352.3的分案申請。
[0002]相關申請的交叉引用
[0003]該申請對2007 年 8 月 17 日提交的題為“3D Object Scanning Using VideoCamera and TV Monitor”的美國專利申請N0.11/840，813和2007年4月24日提交的題為 “3D Object Scanning Using Video Camera and TV Monitor” 的美國臨時專利申請N0.60/913, 793主張優(yōu)先權，以上申請通過引用并入本申請。
[0004]發(fā)明背景
[0005]本發(fā)明涉及根據(jù)物體的二維圖像建立該物體的三維模型的方法及其裝置。許多計算機圖形圖像(computer graphic image)的建立是通過利用一個場景下的三維模型,從給定的視點數(shù)學地建模光線的交互。這種過程稱之為繪制(rendering)，其從給定的視點產(chǎn)生場景的二維圖像，并且其類似于拍攝現(xiàn)實世界場景的照片。當場景隨著時間流逝逐漸變化時，通過繪制一系列的場景圖像，可以建立動畫序列。交互式軟件應用程序(諸如游戲和其它教育性或娛樂性的應用程序)經(jīng)常使用繪制軟件和硬件以交互幀速率產(chǎn)生計算機圖形圖像，從而響應用戶的輸入。
[0006]典型地，交互式軟件應用程序中的三維模型通過計算機圖形藝術家使用復雜的三維草圖繪制或者建模應用程序產(chǎn)生。另外，雕刻家可以創(chuàng)作物體的實物(physical)模型，然后通過使用專門的三維掃描儀將其轉(zhuǎn)換為三維計算機圖形模型。所有這些技術都需要專門的硬件、軟件和受過高度訓練的藝術家。由于這種復雜性，包含在交互式軟件應用程序中的三維物體通常僅限于那些由軟件供應商或者能訪問三維模型應用程序的用戶所提供的三維物體。
[0007]因此，需要一種系統(tǒng)和方法以允許用戶建立實物物體(physical object)的三維圖形模型用于交互式軟件應用程序。進一步的需要是在不要求使用建?；蛘卟輬D繪制應用程序的情況下建立三維計算機圖形模型。更進一步的需要是使用成本低、廣泛可用的消費電子產(chǎn)品來實現(xiàn)該系統(tǒng)。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的一實施例包括一種用于建立實物物體的計算機圖形模型的系統(tǒng)。在顯示設備上顯示的照明圖案(Illumination Pattern)隨之而來照亮了實物物體。攝像機獲取一張或多張被照明圖案所照亮的實物物體的圖像。照明圖案可以包括運動和多樣性顏色，從而使攝像機能獲取實物物體的表面陰影有較大變化的圖像。分析來自所獲取實物物體的圖像的陰影值以確定該實物物體上點的表面方位。本發(fā)明一實施例評估所獲取的圖像的質(zhì)量和適合性，并可以使用該評估的結果來進一步選擇合適的要被顯示的照明圖案。照明圖案可以針對實物物體的特定的光學、幾何和物理屬性而設計，以增加系統(tǒng)對不同類型物體的通用性。
[0009]在一實施例中，根據(jù)由照明圖案所產(chǎn)生的實物物體的圖像中的每個陰影值，照明模型確定一個或多個候選的表面方位(candidate surface orientation)?？蛇x地,每個照明圖案的陰影值可以與校準物體上類似的陰影值相互參照(be crossed referenced),校準物體具有已知的幾何圖形并且被同一照明圖案照亮。隨著更多的實物物體圖像和其它的的照明圖案，實物物體模型上的點的候選表面方位組在減少，直至模型表面能擬合于模型點的表面方位。
[0010]本發(fā)明的實施例可以為任意目的向應用提供實物物體的模型，包括使用戶能建立和交換定制的虛擬物體，加強對實物物體的跟蹤和視頻會議應用。
【專利附圖】

【附圖說明】
[0011]本發(fā)明將參考以下附圖描述，其中:
[0012]圖1示出了根據(jù)本發(fā)明實施例的用于建立實物物體的三維計算機圖形模型的系統(tǒng)；
[0013]圖2A-2B示出了適合于與本發(fā)明實施例一起使用的、評估實物物體上的點的表面方位的技術；
[0014]圖3示出了根據(jù)本發(fā)明實施例的建立三維計算機圖形模型的方法；
[0015]圖4A-4D示出了適合于與本發(fā)明實施例一起使用的照明圖案實例；
[0016]圖5A-5C示出了適合于與本發(fā)明實施例一起使用的校準物體實例；
[0017]圖6示出了適合于實現(xiàn)本發(fā)明實施例的計算機系統(tǒng)實例；以及
[0018]圖7示出了適合于實現(xiàn)本發(fā)明實施例的處理器實例。
【具體實施方式】
[0019]圖1示出了根據(jù)本發(fā)明實施例的用于建立實物物體的三維計算機圖形模型的系統(tǒng)100。系統(tǒng)100包括計算機設備105，其可以為任何類型的計算設備，包括個人計算機、娛樂用機頂盒(set-top entertainment)、家用或者便攜式視頻游戲控制臺、個人數(shù)字助理、或視頻會議設備。設備105經(jīng)有線接口或者無線接口與攝像機110連接。在一實施例中，攝像機110內(nèi)置于設備105中。在一替代實施例中，攝像機110與設備105分離。攝像機110被配置成獲取靜止或者移動的圖像并傳送這些圖像到設備105。在一實施例中，攝像機110進一步包括一個或者多個內(nèi)置光源112，該光源可以有選擇地被激活，以提供可見的或者紅外照明。相似地，攝像機110可以具有獲取由可見光和/或者紅外光組成的圖像的能力。在一個典型實施例中，攝像機110可以類似于通常應用于因特網(wǎng)上或者其它廣域網(wǎng)絡上的視頻會議的低成本網(wǎng)絡攝像頭。
[0020]除攝像機110之外，系統(tǒng)100還包括顯示設備115。顯示設備115可以為使用任何類型顯示技術的電視或者計算機監(jiān)視器，包括陰極射線管、LED、LCD、OLEDjP /或者等離子顯示技術。設備105連接于顯示設備115，以使設備105所產(chǎn)生的計算機圖形圖像和圖案由顯示設備115顯示。
[0021]系統(tǒng)100的實施例設置顯示設備115，使得由該顯示設備115所產(chǎn)生的圖像照亮要被掃描的物體120。物體120可以是由用戶所選擇的任何實物物體。盡管顯示設備115不是旨在在屏幕或者任何其它物體上投射圖像或者圖案的投影儀，但顯示設備115在顯示圖像時，通常有足夠的亮度來附帶照亮物體。[0022]當物體120被顯示設備115所產(chǎn)生的一個或者多個圖案所照亮時，攝像頭110將獲取其圖像。正如以下的詳細討論，顯示設備115可以輸出許多不同的照明圖案以建立物體120的準確模型。另外，用戶能旋轉(zhuǎn)或者移動物體120至不同的位置和方位，以至于從所有角度建立物體120的完整模型。通過分析這些圖像，設備105能建立物體120的三維計算機圖形模型。由設備105或者其它設備所執(zhí)行的交互式軟件應用程序隨后可以將該三維計算機圖形模型結合到它的操作中。
[0023]有許多本領域熟知技術來根據(jù)一張或多張圖像確定物體的結構或者形狀。一種常用的技術是根據(jù)響應于來自一個或者多個光源的照亮的物體的陰影來確定物體表面上的點的方位。圖2A-2B所示為適合與本發(fā)明實施例一起使用的、評估實物物體上的點的表面方位的技術。
[0024]圖2A示意常用的照明模型200，其基于物體表面在一個點上的方位規(guī)定該物體上該點的陰影。在照明模型200中，表面207上的點205的陰影是基于表面207上在點205處的法向矢量210和光線矢量215之間的角度，光線矢量215從點205延伸至光源。例如，Phong照明模型基于點積或者矢量210和215之間的角度給點分配漫射陰影值(diffuseshading value)。進一步,照明模型200可以讓點205的陰影的一部分基于光線矢量215的反射225和觀察矢量220之間的角度，其中，觀察矢量220從點205延伸至攝像機或者觀察者。例如，Phong照明模型基于點積或者矢量210和215之間的角度的指數(shù)值分配鏡面陰影值(specular shading value)。
[0025]由于表面上點的陰影基于表面的方位，因此可以根據(jù)陰影值確定表面的方位。通常，來自單一光源的給定陰影值可以對應于多個可能的表面方位。然而，通過分析來自不同位置的多個光源的圖像，表面點的候選方位數(shù)量可以通常減少至一個方位。對圖像的額外處理以及所得到的提取的表面方位數(shù)據(jù)(諸如噪音減少和其它濾波、背景抽取、輪廓提取、以及網(wǎng)格(mesh)的產(chǎn)生、復合和簡化)然后可以被用于構建物體的三維計算機模型。
[0026]圖2B示意物體250的圖像。通過從不同光源照明物體并分析多個點上的表面的陰影，可以確定物體表面的方位。矢量域包括矢量255a-255t，其定義物體250表面的法向矢量。本發(fā)明的實施例擬合表面于矢量域，以定義物體250的計算機圖形模型。矢量域255中的矢量數(shù)量以示意目的示出，并且本發(fā)明實施例可以使用任意數(shù)量的矢量的矢量域來定義物體的模型的表面，其僅受限于攝像機的分辨率和應用程序的需求。
[0027]這種技術的之前實施方案在相對于物體和攝像機的特定位置上需要專門的光源。通常，這些光源的調(diào)整必須考慮(account for)特定物體的獨特的拓撲特征、物理特征和光學特征，以建立精確和完整的物體。
[0028]相反，本發(fā)明的實施例使用顯示設備所產(chǎn)生的圖像或者圖案作為光源來照亮物體。由于顯示設備能夠產(chǎn)生復雜并且變化的圖案(這對于常規(guī)光源通常是不可能實現(xiàn)的)，所以本發(fā)明的實施例可以在不需要用戶對光源進行復雜的人工調(diào)整的情況下，用于建立多種不同類型物體的模型。
[0029]圖3示意根據(jù)本發(fā)明實施例的建立三維計算機圖形模型的方法300。可選步驟305校準陰影參數(shù)。在一實施例中，步驟305在顯示設備上顯示一個或者多個照明圖案，并測量已知物體的表面上的陰影值以使攝像機獲取的陰影值與已知的表面方位值匹配。
[0030]步驟310選擇用于顯示的照明圖案。在一實施例中，系統(tǒng)包括多個預先選定的或者算法產(chǎn)生的照明圖案可供選擇。在又一實施例中，照明圖案可以包括動畫，以使攝像機在光源相對物體移動時能夠獲取表面陰影的變化。如以下的詳細討論，每個照明圖案可以合適地與任何類型的物體一起使用，或者可以設計為適合(be tailored to)獲取具有特殊拓撲的、物理的、和/或者光學的特征的物體的細節(jié)。在步驟310的初始迭代時，通常選擇通用的照明圖案。利用這些照明圖案所獲取的作為結果的圖像以及模型的幾何形狀可以在隨后的迭代步驟310中用于選擇更加特定的照明圖案。
[0031]步驟315顯示所選擇的照明圖案并使用攝像機來獲取物體表面陰影的一個或者多個圖像。在一實施例中，步驟315使照明圖案與空白圖案交替顯示。涉及兩個圖案的圖像之間差異將消除或者減少周圍環(huán)境或其它光源對物體表面陰影的影響。
[0032]步驟320判斷在步驟315所獲得的一個或者多個圖像中的物體表面的陰影是否適合用于確定模型的幾何形狀。例如，如果圖像全部是或者幾乎是空白，那么其可能不適合用來提取物體的表面方位。如果物體不能反射足夠來自照明圖案的光(例如如果藍色的照明圖案投射于綠色的物體上)，那么可產(chǎn)生空白圖像。合適性的其它標準可以包括:是否有較多的圖像噪音，圖像是否清晰并且正確曝光，圖像中物體的輪廓是否相似于從之前圖像產(chǎn)生的輪廓，關聯(lián)于物體的圖像的一部分是否連續(xù)、或者在圖像的這部分中是否存在許多空白區(qū)域或者間隙，以及陰影是否和其它圖像的陰影相一致。
[0033]如果步驟315所獲取的圖像中的物體陰影不適合用于建立物體模型，則方法300從步驟320返回至步驟310以選擇不同的照明圖案。在一實施例中，步驟310中運用關于哪些照明圖案產(chǎn)生合適的或者不合適的物體圖像的知識來選擇一個合的照明圖案，以獲取物體的其它圖像。例如，如果藍色的照明圖案導致空白圖像(其意味著物體很少或者幾乎沒有反射藍光)，則步驟310的實施例可以將隨后選擇的照明圖案限定在那些包括紅色或者綠色光的照明圖案。
[0034]相反地，如果步驟315所獲取的一個或多個圖像包括充分品質(zhì)的物體陰影，方法300將從步驟320執(zhí)行至步驟325。步驟325運用步驟315所獲取的圖像中的物體陰影來更新幾何形狀。在一實施例中，物體的輪廓被確定并且其內(nèi)部分布大量的網(wǎng)格點。使用一個或者多個交疊或者靠近每個網(wǎng)格點的圖像點的陰影值來確定每個網(wǎng)格點的一個或者多個候選表面方位。一個或者多個照明模型可以用于根據(jù)陰影值確定候選表面方位。隨著來自不同照明圖案的其他圖像被處理，每個網(wǎng)格點的候選表面方位值的數(shù)量在減少。
[0035]在一實施例中，通過初始化每個網(wǎng)格點減少每個網(wǎng)格點的候選表面方位值的數(shù)量以包括所有可能表面方位。當根據(jù)網(wǎng)格點的照明圖案確定候選表面方位組時，該表面方位組與網(wǎng)格點的之前候選表面方位的交集(intersection)被確定。然后,該候選表面方位的相交的子集作為網(wǎng)格點的剩余候選表面方位被存儲。來自其它的的照明圖案的其它候選表面方位與方法300的后續(xù)迭代中的網(wǎng)格點剩下的表面方位形成交集。近似和估計技術(諸如平均處理和最小二乘法近似)可以被運用于解決來自攝像機的測量誤差。
[0036]步驟330判斷物體模型幾何形狀是否完全確定。在一實施例中，如果所有或者大部分的網(wǎng)格點具有單個剩余候選表面方位，那么步驟330判定物體模型的幾何形狀是充分完整的。在又一實施例中，任何其它網(wǎng)格點的表面方位可以通過插值確定。一旦網(wǎng)格點的表面方位已經(jīng)被確定，則擬合表面方位的模型表面被定義。模型表面可以使用三角形、多邊形、諸如NURBS的高次曲面(higher-order curved surface)、細分表面、粒子系統(tǒng)(particle system)、或者本領域所熟知的任何其它的物體幾何形狀的數(shù)學表示來定義。
[0037]在一個實施例中，判斷網(wǎng)格點的至少實質(zhì)部分的每個是否與單一候選表面方位相關聯(lián)。隨后，響應于網(wǎng)格點的至少實質(zhì)部分的每個與單一候選表面方位相關聯(lián)的判定，定義適于網(wǎng)格點的實質(zhì)部分的候選表面方位的所述計算機圖形模型的表面。
[0038]如果幾何形狀被完全確定，那么方法300執(zhí)行到步驟335以輸出目標模型。否則，方法300返回至步驟310以選擇其它的照明圖案。在一實施例中，由步驟310后繼迭代所選擇的照明圖案由網(wǎng)格點剩下的候選表面方位的數(shù)量和類型至少部分地確定。
[0039]例如，如果物體的一部分表面可能凸起或者凹陷(基于該表面點的候選表面方位)，則步驟310的實施例可以選擇照明圖案，該照明圖案被設計為辨認凸起和凹陷的幾何形狀。例如，如果物體的凸起部分是從下方照亮，則該部分的底部將比該部分的頂部更亮。相反地，如果物體的凹陷部分是從下方照亮，那么，該部分的頂部將比該部分的底部更亮。
[0040]在又一實施例中，可以指導用戶將物體旋轉(zhuǎn)至新的位置，并重復步驟310-330以確定攝像機之前所不能看到的物體的其它部分的幾何形狀。該幾何形狀可以結合從物體之前的方位所辯識的物體幾何形狀以從所有角度建立完整的和閉合的物體模型。或者，從一個或多個方位所確定的物體幾何形狀可以結合預先定義的物體幾何形狀以建立閉合的物體。例如，方法300可以用來確定用戶臉部的幾何形狀。該幾何形狀可以結合預先定義的頭部模型。在再一實施例中，還根據(jù)物體圖像建立結構圖(texture map)或者其它表面陰影信息。在一實施例中，建立方式為選擇其中一個圖像或者多個圖像的組合，消除背景，并且然后投影圖像至模型表面以確定結構的坐標。
[0041]本發(fā)明的實施例可以使用廣泛多樣的不同類型的照明圖案以確定物體表面上的點的方位。通常，照明圖案被設計成從物體一個或者多個方向投射光線至物體表面。圖4A - 4D示出了適合于與本發(fā)明實施例一起使用的照明圖案實例。
[0042]圖4A示意照明圖案400實例。照明圖案400包括圖案左上角的紅光區(qū)域405、圖案右上角的綠光區(qū)域410、和圖案底端中部的藍光區(qū)域415。照明圖案400適合與彩色攝像機一起使用。由于典型的彩色攝像機能同時地獲取圖像中的紅、綠、藍光，照明圖案400使攝像機可以在單個圖像的不同位置獲取來自三種不同光源的物體的陰影。在該實例中，圖像中所有的紅光(即每個像素的紅色分量)來源于區(qū)域405，圖像中所有的綠光(即每個像素的綠色分量)來源于區(qū)域410，并且圖像中所有的藍光(即每個像素的藍色分量)來源于區(qū)域415。
[0043]照明圖案400實例假設物體表面對所有顏色的光的反射大約相等。每個顏色分量的陰影值的比例化(scaling)或者歸一化可以被用于補償以不同的量反射光的不同顏色的物體表面。在又一實例中，圖4B示意第二種照明圖案420。除了顏色區(qū)域的位置被交換夕卜，照明圖案420與圖案400相似。在照明圖案420中，紅色區(qū)域430位于右上角，綠色區(qū)域435位于底端中部，藍色區(qū)域位于左上角。通過分別對比來自區(qū)域405和425的物體陰影、來自區(qū)域410和430的物體陰影、來自區(qū)域415和435的物體陰影，本發(fā)明實施例可以補償物體對不同顏色的反射特性。例如，來自區(qū)域405和區(qū)域425的陰影值之比正比于紅色光和藍色光之間的物體表面反射差的比率。
[0044]除使用顏色之外，照明圖案可以利用運動(諸如平移和旋轉(zhuǎn))來觀察物體表面陰影的變化以響應于光源的移動。圖4C示意包括在第一位置和方位的照明三角形445的照明圖案440實例。圖4D示意包括在不同位置和方位的相似三角形465的照明圖案460實例。通過獲取當三角形在不同位置和方位之間移動時的物體陰影的圖像，就有可能辨認物體表面上的點的方位。
[0045]如上所述，表面光反射的陰影或者照明模型可以被用于基于來自光源的點的陰影值確定點的候選表面方位。在又一實施例中，具有已知表面方位的校準物體可以被用來改進表面方位分析的精確度。在一實施例中，系統(tǒng)用一個或多個照明圖案照亮校準物體。通過攝像機獲取在多個表面點上的校準物體的表面陰影。因為準物體具有已知的幾何形狀，所以每個表面點的方位也是已知的。這樣，對于每個照明圖案，系統(tǒng)存儲使每個陰影值與一個或者多個候選表面方位相關聯(lián)的數(shù)據(jù)結構。當以同樣的照明圖案分析未知物體時，表面點的陰影值可以用來從該數(shù)據(jù)結構中查找出一組候選表面方位。
[0046]圖5A — 5C示出了適合于與本發(fā)明實施例一起使用的校準物體實例。圖5A示意由第一照明圖案500照亮的校準物體實例。在該實例中，校準物體是球形的。如果第一照明圖案以迎面方向照亮校準物體，則區(qū)域505將具有大致相同的陰影值。由于校準物體的幾何形狀是已知的，所以區(qū)域505將與一組包括表面法向矢量510a — 5IOh的候選表面方位組510相關聯(lián)。當用同樣的照明圖案分析未知物體時，其陰影值相似于區(qū)域505的陰影值的任何表面點將被分配以候選表面方位組的部分或全部方位。對于第一照明圖案，可以為具有其它陰影值的校準物體表面的其它區(qū)域進行相似的分析。
[0047]圖5B示意由第二照明圖案520照亮的同一實例校準物體。在該實例中，第二照明圖案520從側(cè)面照亮校準物體。校準物體表面的區(qū)域525將具有大致相同的陰影值。由于校準物體的幾何形狀是已知的，區(qū)域525將與一組包括表面法向矢量530a — 530h的候選表面方位組530相關聯(lián)。當用同樣的照明圖案分析未知物體時，其陰影值相似于區(qū)域525的陰影值的任何表面點將被分配以候選表面方位組530的部分或者全部方位。對于第二照明圖案，可以為具有其它陰影值的校準物體表面的其它區(qū)域進行相似的分析。
[0048]作為特定校準物體的另一個選擇，本發(fā)明的實施例可以使用用戶的臉部特征作為校準物體。圖5C示意由照明圖案照亮的用戶臉部實例550。某一用戶臉部特征可具有已知的幾何形狀。例如，鼻尖560、額頭555和眼睛565都大致為球形。該發(fā)明的實施例可以使用所有或者任一臉部特征上的照明圖案的陰影，使陰影值與候選表面方位相關聯(lián)。
[0049]使用本發(fā)明實施例所建立的物體模型可以以多種方式結合于交互式軟件應用程序中。例如，用戶所喜愛的物體模型可以用來裝飾用戶的虛擬空間，或者作為電子禮物給其它用戶。用戶可以把他們的臉加到游戲中的角色上。使用本來領域所熟知的任何繪制(rendering)技術(包括多邊形光柵化(polygon rasterization)和射線跟蹤繪制(raytracing rendering)技術),物體模型能被繪制和顯示給用戶。
[0050]在又一實例中，本發(fā)明的實施例在視頻會議應用中可以糾正攝像機的位置。通常，視頻會議的用戶更多是看視頻屏幕而不是攝像機。由于在視頻會議應用中攝像機通常置于屏幕的旁邊或者上面，所以在視頻會議中用戶難以通過眼睛交流。該發(fā)明的實施例使用以上所描述的技術建立用戶的頭部模型。該模型被用于確定攝像機相對于用戶的頭部的位置?；谶@些信息，本發(fā)明實施例的應用程序可以將獲取的視頻映射為模型上的結構，并且然后繪制用戶的頭部模型，頭部模型從迎面方向被獲取的視頻結構覆蓋。這樣模擬了用戶直接看著攝像機的效果。[0051]在再一實施例中，系統(tǒng)使用從顯示設備投射的照明圖案以建立物體的初始高分辨率模型。然后，系統(tǒng)可以使用來自顯示設備的部分的可見照明圖案、或者從與該攝像機或另一攝像機關聯(lián)的光源所投射的可見或紅外照明圖案，以獲取物體的低分辨率模型。低分辨率模型可被應用程序用于追蹤物體的位置或者方位的改變，或者用于獲取物體形狀的持續(xù)變化，例如，用戶臉部的表情變化。這些變化可用來修改物體模型的高分辨率版本的位置或者形狀。來自低分辨率模型的信息可用來作為應用程序的輸入，例如讓游戲中角色的臉部表情真實反映用戶的臉部表情、或者讓應用程序中的虛擬物體跟隨用戶的實物物體的運動。
[0052]圖6示出了適合于用于實現(xiàn)本發(fā)明實施例的計算機系統(tǒng)1000實例。圖6是適合于實現(xiàn)本發(fā)明實施例的計算機系統(tǒng)1000的方塊圖，該計算機系統(tǒng)例如是個人計算機、視頻游戲控制臺、個人數(shù)字助理或者其它數(shù)字設備。計算機系統(tǒng)1000包括中央處理器(CPU)1005，其用于運行軟件應用程序，執(zhí)行邏輯功能，和可選的操作系統(tǒng)。CPU1005可以包括一個或者多個處理核。內(nèi)存1010存儲CPU1005所使用的應用程序和數(shù)據(jù)。存儲器1015為應用程序和數(shù)據(jù)提供非易失性存儲，并且其可以包括固定盤驅(qū)動器(fixed disk drives)、移動盤驅(qū)動器(removable disk drives)、閃存、CD-ROM、DVD-ROM、藍光光盤、HD-DVD 或者其它光學存儲裝置。用戶輸入設備1020將來自一個或多個用戶的輸入傳輸至計算機系統(tǒng)1000，用戶輸入設備1020的例子可包括鍵盤、鼠標、操縱桿、觸控板(touch pad)、觸摸屏,靜態(tài)或者動態(tài)攝像機和/或麥克風。網(wǎng)絡接口 1025允許計算機系統(tǒng)1000經(jīng)由電子通信網(wǎng)絡與其它計算機系統(tǒng)通信，并且可以包括在局域網(wǎng)和例如英特網(wǎng)之類的廣域網(wǎng)上的有線或者無線通信。音頻處理器1055用于根據(jù)CPU1005、內(nèi)存1010和/或存儲器1015提供的指令和/或數(shù)據(jù)產(chǎn)生模擬的或者數(shù)字的音頻輸出。計算機系統(tǒng)1000的組件包括CPU1005、內(nèi)存1010、數(shù)據(jù)存儲器1015、用戶輸入設備1020、網(wǎng)絡接口 1025和音頻處理器1055，這些組件經(jīng)由一條或多條數(shù)據(jù)總線1060連接在一起。在又一實施例中，靜態(tài)或者攝像機1065與數(shù)據(jù)總線1060連接。攝像機1065可以經(jīng)由例如USB或火線(Firewire)接口的外部接口、無線接口或者內(nèi)部接口與數(shù)據(jù)線1065連接。
[0053]圖形子系統(tǒng)1030與數(shù)據(jù)總線1060和計算機系統(tǒng)1000的組件進一步連接。圖形子系統(tǒng)1030包括圖形處理單元(GPU) 1035和圖形存儲器1040。圖形存儲器1040包括用于存儲輸出圖像的每個像素的像素數(shù)據(jù)的顯存(例如，幀緩沖器)。圖形存儲器1040可以集成在相同的裝置內(nèi)作為GPU1035，也可以作為單獨的器件連接于GPU1035，和/或在內(nèi)存1010中實現(xiàn)?？梢灾苯訌腃PU10005向圖形存儲器1040提供像素數(shù)據(jù)?；蛘?，CPU1005提供定義所需輸出圖像的數(shù)據(jù)和/或指令給GPU1035，GPU1035據(jù)此產(chǎn)生一個或多個輸出圖像的像素數(shù)據(jù)。定義所需輸出圖像的數(shù)據(jù)和/或指令可以存儲在內(nèi)存1010和/或圖形存儲器1040中。在一實施例中，GPU1035包括根據(jù)指令和數(shù)據(jù)為輸出圖像產(chǎn)生像素數(shù)據(jù)的3D繪制能力，其中指令和數(shù)據(jù)定義幾何形狀、照明(lighting)、陰影、結構、運動和/或場景的攝像機參數(shù)。GPU1035進一步可包括一個或多個能執(zhí)行陰影化程序(shader programs)的可編程執(zhí)行單元。
[0054]圖形子系統(tǒng)1030從圖像存儲器1040中周期性地輸出圖像的像素數(shù)據(jù)，以將這些像素數(shù)據(jù)顯示于顯示設備1050上。顯示設備1050是任何能夠響應于計算機系統(tǒng)1000信號而顯示視覺信息的設備，其包括CRT、IXD、等離子顯示器、OLED顯示器。計算機系統(tǒng)1000能給顯示設備1050提供模擬或者數(shù)字信號。
[0055]在本發(fā)明的實施例中，CPU1005是一個或多個具有一個或多個處理核的通用微處理器。本發(fā)明的其它實施例可使用下列一個或者多個CPU實現(xiàn)，該CPU具有特別適合于高度并行和高計算強度的應用(例如媒體和交互娛樂應用)的微處理器架構。圖7示出了適合于實現(xiàn)本發(fā)明實施例的處理器2000實例。
[0056]處理器2000包括多個處理器單元，每個能夠并行執(zhí)行獨立的程序。處理器2000包括PPE處理器單元2005。PPE處理器單元是CISC、RISC或者本領域所熟知的其它處理器架構的通用處理器。在一實例中，PPE處理器單元2005是64位、多線程RISC架構的處理器，例如，PowerPC架構。PPE處理器單元2005可以包括分為一級、二級或者更多級的緩存(cache memory) 2007,其暫時存儲由PPE處理器單元2005所執(zhí)行的數(shù)據(jù)和指令。
[0057]作為附加性能，處理器2000包括多個SPE處理器單元2010。在該實例中，處理器2000包括8個SPE處理器單元2010A — 2010H ;然而，其它實例的處理器可以包括不同個數(shù)的SPE處理器單元。SPE處理器單元2010適用于數(shù)據(jù)的流處理。在流處理中，程序在大的數(shù)據(jù)組中的每一項上被重復地執(zhí)行。為促進數(shù)據(jù)流處理，SPE處理器單元2010可以包括指令執(zhí)行單元，其能夠同時對多個數(shù)據(jù)操作數(shù)執(zhí)行SMD指令。SPE處理器單元2010也可包括指令單元，其能夠執(zhí)行用于更通常的處理任務的單指令、單數(shù)據(jù)(SISD)。
[0058]每個SPE處理器單元(例如SPE處理器單元2010A)包括本地數(shù)據(jù)和指令存儲器2012A。數(shù)據(jù)和指令可以經(jīng)由DMA單元2014A傳送至和傳送出本地數(shù)據(jù)指令存儲器2012A。DMA單元(例如2014A單元)能夠在沒有處理器監(jiān)督的情況下從每個SPE處理器單元2010傳送出和傳送進數(shù)據(jù)，從而使SPE處理器單元2010能夠不中斷地持續(xù)地處理數(shù)據(jù)。
[0059]數(shù)據(jù)和指令由處理器2000經(jīng)由內(nèi)存和I/O接口 2015進行輸入和輸出。數(shù)據(jù)和指令可以經(jīng)由處理器總線2020在內(nèi)存與I/O接口 2015、PPE處理器單元2005和SPE處理器單元2010之間通信。
[0060]為闡明目的，討論了以上計算機系統(tǒng)實例，本發(fā)明實施例能夠容易地適用于與包括攝像機以及能夠照明附近物體的任何類型的顯示設備的任何類型系統(tǒng)一起工作。本領域普通技術人員可以從說明書和附圖預想出進一步的實施例。在其它實施例中，可以方便地做出對以上所揭示的發(fā)明的組合或者子組合。對結構的框圖和流程圖歸類以易于理解。然而，應當理解的是，在當前發(fā)明可選擇的實施例中，方框的組合、新方框的增加、方框的重新排布等都是可預料的。
[0061]相應地，說明書及附圖被認為是示意性的而不是限制性的。但是，在不脫離本發(fā)明的精神和權利要求所闡明范圍的前提下，在其上做出的各種各樣的改進或者改動被認為是顯而易見的。
【權利要求】
1.一種建立實物物體的計算機圖形模型的方法，該方法包括: 選擇第一照明圖案； 在顯示設備上顯示所述第一照明圖案以便照亮實物物體； 獲取由所述第一照明圖案所照亮的所述實物物體的第一圖像，其中，所述第一圖像包括具有陰影值的圖像點； 選擇第二照明圖案； 在顯示設備上顯示所述第二照明圖案以便照亮實物物體； 獲取由所述第二照明圖案所照亮的所述實物物體的第二圖像，其中，所述第二圖像包括具有陰影值的圖像點； 確定計算機圖形模型的一組模型點中的每個模型點的候選表面方位，所述確定基于所述第一和第二圖像的圖像點的陰影值。
2.如權利要求1所述的方法，其中所述第一或第二照明圖案包括預先確定的照明圖案。
3.如權利要求1所述的方法，其中所述第一或第二照明圖案包括根據(jù)算法生成的圖案。.
4.如權利要求1所述的方法，其中所述第一或第二照明圖案包括平移或選擇的三角形。
5.如權利要求1所述的方法，其中，所述第一照明圖案包括不同顏色的區(qū)域。
6.如權利要求5所述的方法，其中，所述第二照明圖案包括不同顏色的區(qū)域，其中所述顏色區(qū)域的位置與所述第一照明圖案中的顏色區(qū)域的位置互換。
7.如權利要求1所述的方法，其中，確定一組模型點中的每個模型點的候選表面方位包括: 將所述第一或第二圖像的陰影值與校準陰影值匹配，該校準陰影值得自具有已知幾何形狀并且被第一照明圖案照亮的校準物體的圖像；以及 根據(jù)所述校準物體的已知幾何形狀的部分定義第一組候選表面方位，該部分對應所述校準陰影值。
8.如權利要求7所述的方法，其中，所述校準物體是用戶的臉的一部分。
9.如權利要求7所述的方法，其中，所述校準物體是球體。
10.如權利要求1所述的方法，進一步包括: 判斷模型點組的至少一部分模型點的每一個是否與單一候選表面方位相關聯(lián)；以及響應于模型點組的至少一部分模型點的每一個與單一候選表面方位相關聯(lián)的判斷，定義適于模型點組的至少一部分模型點的候選表面方位的計算機圖形模型的表面。
11.一種建立實物物體的計算機圖形模型的系統(tǒng)，包括: 用于選擇第一照明圖案的裝置； 用于在顯示設備上顯示所述第一照明圖案以便照亮實物物體的裝置； 用于獲取由所述第一照明圖案所照亮的所述實物物體的第一圖像的裝置，其中，所述第一圖像包括具有陰影值的圖像點； 用于選擇第二照明圖案的裝置； 用于在顯示設備上顯示所述第二照明圖案以便照亮實物物體的裝置；用于獲取由所述第二照明圖案所照亮的所述實物物體的第二圖像的裝置，其中，所述第二圖像包括具有陰影值的圖像點； 用于確定計算機圖形模型的一組模型點中的每個模型點的候選表面方位的裝置，所述確定基于所述第一和第二圖像的圖像點的陰影值。
12.如權利要求11所述的系統(tǒng)，其中所述第一或第二照明圖案包括預先確定的照明圖案。
13.如權利要求11所述的系統(tǒng)，其中所述第一或第二照明圖案包括根據(jù)算法生成的圖案。
14.如權利要求11所述的系統(tǒng)，其中所述第一或第二照明圖案包括平移或選擇的三角形。
15.如權利要求11所述的系統(tǒng)，其中，所述第一照明圖案包括不同顏色的區(qū)域。
16.如權利要求15所述的系統(tǒng)，其中，所述第二照明圖案包括不同顏色的區(qū)域，其中所述顏色區(qū)域的位置與所述第一照明圖案中的顏色區(qū)域的位置互換。
17.如權利要求11所述的系統(tǒng)，其中，用于確定一組模型點中的每個模型點的候選表面方位的裝置包括: 用于將所述第一或第二圖像的陰影值與校準陰影值匹配的裝置，該校準陰影值得自具有已知幾何形狀并且被第一照明圖案照亮的校準物體的圖像；以及 用于根據(jù)所述校準物體的已知幾何形狀的部分定義第一組候選表面方位的裝置，該部分對應所述校準陰影值。
18.如權利要求17所述的系統(tǒng)，其中，所述校準物體是用戶的臉的一部分。
19.如權利要求17所述的系統(tǒng)，其中，所述校準物體是球體。
20.如權利要求11所述的系統(tǒng)，進一步包括: 用于判斷模型點組的至少一部分模型點的每一個是否與單一候選表面方位相關聯(lián)的裝置；以及 裝置，用于響應于模型點組的至少一部分模型點的每一個與單一候選表面方位相關聯(lián)的判斷，定義適于模型點組的至少一部分模型點的候選表面方位的計算機圖形模型的表面。
【文檔編號】G06T17/00GK103489216SQ201310409656
【公開日】2014年1月1日 申請日期:2008年4月23日 優(yōu)先權日:2007年4月24日
【發(fā)明者】S.奧斯曼 申請人:索尼電腦娛樂公司