專利名稱：用八叉樹從多幅圖象生成三維表示的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從物體的多幅二維圖象生成該物體的三維表示的方法，所述方法通過(guò)創(chuàng)建單元的八叉樹(octree)去支持物體的三維表示，而每一個(gè)單元包含頂點(diǎn)，由此借助將八叉樹的單元循環(huán)地分割為更低一級(jí)地更小單元來(lái)創(chuàng)建單元的八叉樹。
本發(fā)明進(jìn)一步涉及設(shè)計(jì)為從物體的多幅二維圖象生成物體的三維表示的再現(xiàn)儀，它包含支持物體三維表示的單元的八叉樹而每一單元含有頂點(diǎn)，并且再現(xiàn)儀能夠執(zhí)行將八叉樹的單元循環(huán)地分割為更低一級(jí)的更小單元的過(guò)程。
本發(fā)明進(jìn)一步涉及圖象顯示儀，它包括
設(shè)計(jì)為從物體的多幅二維圖象生成物體的三維表示的再現(xiàn)儀，它包含支持物體三維表示的單元的八叉樹，而每一單元含有頂點(diǎn)，并且再現(xiàn)儀能夠執(zhí)行將八叉樹的單元循環(huán)地分割為更低一級(jí)的更小的單元的過(guò)程；
——從三維表示生成二維圖象的透視儀(renderer)；和
——顯示二維圖象的顯示設(shè)備。
在開(kāi)始一段描述的此類方法是已知的，見(jiàn)T.L.Kunii et a 1.，“Agraphics compiler for a 3-dimensional captured image databaseand captured image reusability”，in proceedings of workshopon Modeling and Motion Capture Techniques for VirtureEnvironments(CAPTECH98)，Heidelberg，998.Springer.
由深度數(shù)據(jù)生成三維表示在圖象領(lǐng)域產(chǎn)生了巨大的興趣。在基于體積的處理中，一種稱為“整體”被分成稱為三維像素的體積元，接著將深度圖用于去確定哪些三維像素是“空的空間”和哪些三維像素組成“物體”。三維像素的尺寸或整體地確定，或者循環(huán)地精確化并存儲(chǔ)在一樹基結(jié)構(gòu)中。對(duì)于有大量曲面的景象，為了獲得所需的分辨率需要大量的三維像素，這使得存儲(chǔ)費(fèi)用高。在引證的文章中，描述了用定義景象的本質(zhì)信息為奇點(diǎn)定位并將這些奇點(diǎn)存儲(chǔ)在八叉樹中的方法來(lái)部分克服這些困難。八叉樹是兩叉樹的三維等價(jià)。在八叉樹中每一個(gè)單元可分割為八個(gè)子單元。奇點(diǎn)是頂點(diǎn)、邊和在景象中物體的邊界表面。每一物體由表面限定，表面由邊限定，它們又有作為端點(diǎn)的頂點(diǎn)。采用這種方式，物體可在奇點(diǎn)的分層構(gòu)成，頂點(diǎn)是最低層的，然后是邊，再后是表面，最終是物體本身。然而，應(yīng)注意到層次不一定由頂點(diǎn)開(kāi)始，例如在球的情況下。已知方法的優(yōu)點(diǎn)是八叉樹的再分步驟在相當(dāng)靠前的層終止只要在每一個(gè)單元內(nèi)結(jié)構(gòu)足夠簡(jiǎn)單，即如果單元只包含最低的奇點(diǎn)，而不像在其它的方法中只有單元完全在物體內(nèi)或物體外。
采用這種方法，即從多幅二維圖象生成三維表示方法的主要障礙是奇點(diǎn)的提取，即深度圖的本質(zhì)特征。這是一個(gè)很難的問(wèn)題。首先，由圖象或深度圖對(duì)頂點(diǎn)和邊作精確定位已在角檢測(cè)器，邊檢測(cè)器和分段算法方面出現(xiàn)了大量文獻(xiàn)，但還沒(méi)有一種普遍可用的算法。即使在二維數(shù)據(jù)中有合適的奇點(diǎn)檢測(cè)器可使用，這些奇點(diǎn)也可能是表觀的而非真實(shí)的。以90度觀察曲面上的所有位置在圖象中的像是一個(gè)奇點(diǎn)?？紤]在一面壁前面的一個(gè)球的情況。球沒(méi)有像頂點(diǎn)和邊這樣的奇點(diǎn)，然而在深度圖中，在90度的觀測(cè)位置上似乎有一個(gè)奇點(diǎn)。從這個(gè)例子可以得出結(jié)論，奇點(diǎn)不能只從單個(gè)圖象來(lái)提取。此已知方法是交互式的，也即意味著需要人工操作。對(duì)于實(shí)時(shí)的或近實(shí)時(shí)的應(yīng)用，人工操作不是可用的解決方案。
本發(fā)明的第一個(gè)目的是提供一種在開(kāi)始一段所描述的那種生成三維表示的方法。此方法全自動(dòng)的，因而不需要交互用戶的輸入。
本發(fā)明的第二個(gè)目的是提供一個(gè)再現(xiàn)儀，它能夠完全自動(dòng)地生成在開(kāi)始一段所描述的那種三維表示。
本發(fā)明的第三個(gè)目的是提供圖象顯示儀，它包括一臺(tái)能夠完全自動(dòng)地生成在開(kāi)始一段所描述的那種生成三維表示的再現(xiàn)儀。
本發(fā)明的第一個(gè)目的用如下方法取得，即停止分割一特定單元的過(guò)程的基礎(chǔ)是檢驗(yàn)此單元的哪些頂點(diǎn)在物體之內(nèi)和哪些頂點(diǎn)在物體之外。這可以避免奇點(diǎn)的提取問(wèn)題，因而允許全自動(dòng)的程序而不需要用戶的參與提取奇點(diǎn)。按照現(xiàn)有技術(shù)的這種方法的本質(zhì)是對(duì)八叉樹的次分割在靠前的步驟停止只要在一個(gè)單元內(nèi)物體的描述可以唯一確定單個(gè)奇點(diǎn)判據(jù)。在本發(fā)明的方法中，單個(gè)奇點(diǎn)判據(jù)被代替為如果在一單元內(nèi)表面的布局可唯一地由單元頂點(diǎn)的信息導(dǎo)出則此單元將不再分割。此判據(jù)稱為唯一性判據(jù)。
按照本發(fā)明方法的優(yōu)點(diǎn)是通過(guò)采用八叉樹存儲(chǔ)極為經(jīng)濟(jì)。另外一個(gè)優(yōu)點(diǎn)是當(dāng)有新圖象輸入時(shí)允許更新三維表示。這對(duì)處理視頻流時(shí)是很有利的。另外一個(gè)優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單。
在按照本發(fā)明方法的實(shí)施方案中，特定單元的頂點(diǎn)分為兩個(gè)集合，第一集合的頂點(diǎn)在物體內(nèi)，第二集合的頂點(diǎn)在物體外。第一集合和第一集合可包含
——零個(gè)頂點(diǎn)；
——壹個(gè)頂點(diǎn)；或
——多于一個(gè)頂點(diǎn)，每一個(gè)頂點(diǎn)與所有其它屬于同一集合的頂點(diǎn)借助于邊連接起來(lái)，這些邊中的每一邊的兩個(gè)頂點(diǎn)屬于同一集合。
唯一性判據(jù)以下列判據(jù)和假定為基礎(chǔ)
——連通性判據(jù)各集合內(nèi)頂點(diǎn)有連通性。
——假定單元的每一個(gè)面和每一個(gè)邊與表面交叉不多于一次。
——假定物體至少包括在兩個(gè)單元內(nèi)。這避免了一個(gè)單元完全包含一個(gè)物體。
各集合內(nèi)頂點(diǎn)的連通性，利用檢驗(yàn)以上假定進(jìn)行擴(kuò)大，可以用作去確定一個(gè)單元是否應(yīng)當(dāng)再分割的判據(jù)。為了說(shuō)明唯一性判據(jù)，這里給出最簡(jiǎn)單情況的一個(gè)例子。它將在圖3中作詳細(xì)解釋。假定有一八叉樹，它的每一單元有八個(gè)頂點(diǎn)。進(jìn)一步假定對(duì)于每一個(gè)單元的八個(gè)頂點(diǎn)中的哪些頂點(diǎn)在物體內(nèi)和哪些頂點(diǎn)在物體外是已知的。這樣對(duì)每一個(gè)單元有14個(gè)基本結(jié)構(gòu)可以分辨。在這些結(jié)構(gòu)中，在現(xiàn)有技術(shù)方法的意義上只有八個(gè)結(jié)構(gòu)相應(yīng)于單奇點(diǎn)單元。可以證明，對(duì)于那些物體的表面布局能唯一重建的結(jié)構(gòu)，頂點(diǎn)的第一集合和頂點(diǎn)的第二集合形成連通集合。假定頂點(diǎn)0，2，4和6在第一個(gè)垂直取向的平面上，頂點(diǎn)1，3，5和7在與第一個(gè)平面平行的第二個(gè)平面上。例如，如果頂點(diǎn)0，2，4和6在在物體內(nèi)并且頂點(diǎn)1，3，5和7在物體外，則物體表面與單元基本垂直相交。另外一種情況，如果頂點(diǎn)0，3，4和7在在物體內(nèi)而頂點(diǎn)1，2，5和6在在物體內(nèi)，則物體表面與單元相交的方式有兩種結(jié)構(gòu)。如果第一集合或第二集合是空的，則單元分別完全在物體之內(nèi)或物體之外。
在按照本發(fā)明方法的實(shí)施方案中，分割一特定單元的過(guò)程的另一個(gè)停止判據(jù)是基于檢驗(yàn)相鄰單元的頂點(diǎn)在物體之內(nèi)或在物體之外，相鄰單元與該特定單元有一共用面或共用邊。如果在八叉樹中相鄰的單元有不同的尺寸，則對(duì)大的單元不僅頂點(diǎn)在物體內(nèi)或物體外是已知的，而且對(duì)于大的單元，其面或邊的一部分在物體內(nèi)或物體外也是已知的。這些信息以相鄰單元的頂點(diǎn)為基礎(chǔ)。按照本發(fā)明生成三維表示的一個(gè)很重要假定是單元的每一個(gè)邊與物體表面最多相交一次。這些額外的點(diǎn)的信息可能導(dǎo)致單奇點(diǎn)判據(jù)已不再適用的結(jié)論。如果遇到這種情況，大的單元還要分割；此分割判據(jù)是前面討論的連通判據(jù)的附加判據(jù)。
在按照本發(fā)明方法的實(shí)施方案中，確定一個(gè)頂點(diǎn)在物體內(nèi)或物體外是以從二維投影提取的深度圖為基礎(chǔ)的。三維表示可由結(jié)合一系列深度圖的信息來(lái)生成，這將圖象平面上的每一個(gè)點(diǎn)與一最可能的深度值聯(lián)系起來(lái)。這些深度圖可采用運(yùn)動(dòng)的結(jié)構(gòu)算法(structure-from-motion)通過(guò)主動(dòng)獲取技術(shù)，例如結(jié)構(gòu)化的光，或者通過(guò)被動(dòng)獲取技術(shù)，例如激光掃描，來(lái)生成。此外還假定，照相機(jī)的位置和取向是已知的，即有被校準(zhǔn)的照相機(jī)或已由照相機(jī)的校準(zhǔn)算法得到。
在按照本發(fā)明方法的實(shí)施方案中，對(duì)于一特定單元的頂點(diǎn)，計(jì)算到物體邊界的距離以生成三維表示。如果在一單元的每一個(gè)頂點(diǎn)存儲(chǔ)有它是在物體內(nèi)或物體外，則表面的布局可以被唯一地復(fù)原。然而，它在每一單元中的位置只能由單元的尺寸確定。在這個(gè)生成三維表示的方法的實(shí)施方案中，用定量信息對(duì)單元的頂點(diǎn)中的信息作了擴(kuò)展以對(duì)物體邊界進(jìn)行較高精度的定位。做這件事的一種辦法是從可獲得的深度圖計(jì)算帶正負(fù)號(hào)的距離函數(shù)u，在物體的邊界處
在物體的邊界內(nèi)
在物體的邊界外
是八叉樹單元的頂點(diǎn)。絕對(duì)值|u|表示到物體表邊界最近點(diǎn)的距離，它可在任何方向。物體邊界可通過(guò)計(jì)算等值面u＝0被完全重建。與只用二元素標(biāo)記在內(nèi)或在外，相比較，此方法將精確度提高了單元尺寸的量級(jí)。
在按照本發(fā)明方法的實(shí)施方案中，對(duì)于一特定單元的頂點(diǎn)，估算了到物體邊界的距離以生成三維表示。到目前為止，只討論了深度值和帶正負(fù)號(hào)的距離函數(shù)是確定值的情況。然而，在實(shí)際中，深度圖可能在如下意義上有隨機(jī)的特性，即給出深度的上和下邊界和最可能的深度值dML這種不確定間隔的上和下邊界分別由dl和du表示。深度不確定信息允許減弱在深度信息中的誤差和外露層的效應(yīng)。對(duì)于每一次深度測(cè)量，沿深度軸可定義三個(gè)區(qū)域
——肯定在物體外的區(qū)域，d＜dl；
——包括物體邊界稱為“厚壁“的區(qū)域，dl≤d≤du；和
——從這個(gè)觀察點(diǎn)來(lái)看在物體后邊的區(qū)域。請(qǐng)注意，它不一定在物體內(nèi)，因?yàn)檫@個(gè)區(qū)域甚至可能不包含物體內(nèi)部的點(diǎn)在此區(qū)域基本上沒(méi)有足夠的信息，因?yàn)閺挠^察點(diǎn)看不到它。唯一知道并可采用的是從一外部點(diǎn)到物體的距離不大于到相應(yīng)深度間隔上邊界的點(diǎn)的距離。
再現(xiàn)儀的這些和其它方面以及生成三維表示的方法和按照本發(fā)明的圖象顯示儀將通過(guò)關(guān)于實(shí)施過(guò)程的闡述和下文對(duì)實(shí)施方案以及附圖的描述變得明白。


圖1大致示出一方形樹；
圖2大致示出單元分割過(guò)程；
圖3說(shuō)明唯一性判據(jù)；
圖4說(shuō)明分割判據(jù)；
圖5大致示出實(shí)際物體與深度圖之間的關(guān)系；
圖6大致示出以深度圖為基礎(chǔ)的將頂點(diǎn)分類的過(guò)程；
圖7A表示一帶正負(fù)號(hào)的距離函數(shù)；
圖7B說(shuō)明對(duì)于兩種不同的觀測(cè)頂點(diǎn)與物體邊界之間的距離；
圖7C表示三個(gè)等值表面；
圖8說(shuō)明對(duì)于深度測(cè)量所定義的區(qū)域；
圖9說(shuō)明一再現(xiàn)儀；和
圖10表示圖象顯示儀。
圖1大致示出八叉樹的二維變型方形樹。樹的根是二維盒子100。這個(gè)盒子有四個(gè)分枝，即它被分割為四個(gè)較小的盒子102-108。盒子108依次有四個(gè)分枝，即它被分割為四個(gè)更小的盒子110-116。盒子116依次有四個(gè)分枝，即它被分割為四個(gè)更小的盒子118-122。盒子122依次有四個(gè)分枝，即它被分割為四個(gè)更小的盒子126-132。在此圖所示的樹中，每一次分割這些盒子中的一個(gè)。但可以將每一個(gè)盒子分割為四個(gè)更小的盒子。在三維情況可創(chuàng)建一類似的樹，稱為八叉樹。在這種情況，用一個(gè)單元取代一個(gè)盒子，它被分割為八個(gè)較小的單元。
圖2示意地說(shuō)明分割單元的過(guò)程的四個(gè)階段A，B，C，和D。在初始狀態(tài)A，表面202完全在單元200之內(nèi)。在導(dǎo)致?tīng)顟B(tài)B的第一次分割執(zhí)行以后，單元200得到四個(gè)子單元204-208。在導(dǎo)致?tīng)顟B(tài)C的相繼一組分割執(zhí)行以后，這四個(gè)子單元中的三個(gè)204，206和210的每一個(gè)被分割為四個(gè)子單元，例如212-218是單元204的四個(gè)子單元。導(dǎo)致?tīng)顟B(tài)D的最后一次分割單元220被分割為四個(gè)子單元。
圖3說(shuō)明唯一性判據(jù)。單元300有八個(gè)頂點(diǎn)0-7。在圖3中單元300畫了四次A，B，C，和D。對(duì)于這個(gè)單元300，假定已知其八個(gè)頂點(diǎn)中的每一個(gè)是在物體之內(nèi)還是在物體之外?？梢宰C明，對(duì)于表面布局可唯一重建的那些結(jié)構(gòu)，在內(nèi)部的頂點(diǎn)的集合和在外部的頂點(diǎn)的集合都形成連通集。下面的表給出基本結(jié)構(gòu)。對(duì)于每一個(gè)結(jié)構(gòu)內(nèi)部點(diǎn)的集合被標(biāo)明并且它的子集合是否是連通集也被標(biāo)明。例如，如果頂點(diǎn)0，2，4，和6在內(nèi)部，而1，3，5，和7在外部，則表面近乎垂直地穿過(guò)單元。這由情況B作了說(shuō)明。另外，如果頂點(diǎn)0，3，4，和7在內(nèi)部，而1，2，5，和6在外部，則有兩種可能的結(jié)構(gòu)C和D。將表面304和306組合可得到這種情況，而將表面308和310組合也可得到。換句話說(shuō)，盡管內(nèi)部結(jié)構(gòu)0，3，4，和7，和外部結(jié)構(gòu)1，2，5，和6，單元的頂點(diǎn)嚴(yán)格相同，但表面如何與單元相交可有兩種方式。
圖4說(shuō)明分割判據(jù)。在圖4中畫出了三個(gè)相鄰單元單元400和兩個(gè)較小的402和404。對(duì)于所有的頂點(diǎn)已知它們是在物體內(nèi)還是在物體外。例如，頂點(diǎn)406和410在物體外，頂點(diǎn)408在物體內(nèi)。物體表面412的一部分也被表示出來(lái)。唯一性假設(shè)的結(jié)果是單元的每一個(gè)面或每一條邊與表面相交不會(huì)多于一次。在圖4中可以看出，單元400的一個(gè)面與物體表面412相交兩次。對(duì)于單元400，不僅已知它的頂點(diǎn)是在物體內(nèi)還是在物體外，并且在連接頂點(diǎn)410和406的邊上的另一位置頂點(diǎn)408的位置，也知道這種類型的信息。這種來(lái)自其它單元的多余頂點(diǎn)的信息導(dǎo)致單個(gè)奇點(diǎn)判據(jù)已不再滿足的結(jié)論。在這種情況下，單元400必需再分割。
圖5A表示壁504和在它前面的小立方體506。壁504和小立方體506用移動(dòng)照相機(jī)500多次成像。圖5示出照相機(jī)500在
位置沿
方向“觀察”。點(diǎn)
是在小立方體506的表面上的一點(diǎn)。也示出了此照相機(jī)位置的深度圖502。
圖6示意性地說(shuō)明三個(gè)階段將單元，例如600，的頂點(diǎn)進(jìn)行分類過(guò)程A，B，和C。在初始狀態(tài)A，例如頂點(diǎn)602-606被分類為“內(nèi)部的”。對(duì)于每一個(gè)此類頂點(diǎn)用點(diǎn)畫出。深度圖608用于去分類頂點(diǎn)。在導(dǎo)致?tīng)顟B(tài)B的第一處理步驟之后，將一些頂點(diǎn)分類為“外部的”。它們用叉畫出。深度圖610用于進(jìn)一步分類頂點(diǎn)。在導(dǎo)致?tīng)顟B(tài)C的第二處理步驟之后，另外一些頂點(diǎn)，例如604和606，被分類為“外部的”。
圖7A表示帶正負(fù)號(hào)的距離函數(shù)，即對(duì)單元的每一個(gè)頂點(diǎn)，它定義了到物體最近表面的距離。在圖7A中表面703的一部分位于單元701之內(nèi)。箭頭705，707，709，和711指明頂點(diǎn)與表面703之間的距離。
圖7B說(shuō)明對(duì)于兩種不同的觀察，頂點(diǎn)與物體邊界之間的距離。從照相機(jī)的兩種不同位置觀察物體表面700。對(duì)于第一次觀察頂點(diǎn)708，710，和712到物體表面700的距離分別用箭頭702，704，和706指示，對(duì)于第二次觀察頂點(diǎn)708，710，和712到物體表面700的距離分別用箭頭718，716，和714指示。很清楚，在第二次觀察中的距離，也即箭頭長(zhǎng)度，比在第一次觀察中的距離短。
圖7C示出三個(gè)等值面713，715，和717。這種表面的所有點(diǎn)到物體邊界有相同的距離
-等值面715相應(yīng)于物體邊界
-等值面713位于物體外部
-等值面717位于物體內(nèi)部
為計(jì)算帶正負(fù)號(hào)的距離函數(shù)u，
被定義為在單元的頂點(diǎn)
在θ方向觀察時(shí)帶正負(fù)號(hào)的距離。這意味著
只與在θ方向的最近表面相聯(lián)系。它起源于通過(guò)體積的一維射線。假定在
有一個(gè)配有觀察孔的單個(gè)照相機(jī)的深度圖，而照相機(jī)在
的方向觀察，則帶正負(fù)號(hào)的距離函數(shù)
的一種近似由如下表達(dá)式給出這里ξ和ν是
在圖象平面上投影的圖象平面坐標(biāo)，
是圖象平面的法線而dML是最可能的深度值。請(qǐng)注意，只有(ξ，ν)位于圖象平面之上u才能被定義。帶正負(fù)號(hào)的距離函數(shù)的這種近似與由照相機(jī)的觀察孔
在
的方向看到的第一物體邊界相聯(lián)系。
帶正負(fù)號(hào)的距離函數(shù)可用若干深度圖遞增地計(jì)算出來(lái)，其中在物體邊界上
在物體內(nèi)
在物體外
絕對(duì)值|u|表示到物體邊界最近點(diǎn)的距離，它可在任何方向。為了將來(lái)自多幅深度圖的信息進(jìn)行組合必需定義如何將
的信息結(jié)合到
的單值。兩種觀測(cè)結(jié)果可以得到如下
-帶正負(fù)號(hào)的距離函數(shù)被定義為到沿任何方向的表面的最近距離(圖7A)，所以
-從某一照相機(jī)觀察點(diǎn)，如果一點(diǎn)在第一物體邊界的后邊，則由方程(1)得到帶正負(fù)號(hào)的距離函數(shù)正值。然而不知道此點(diǎn)是在物體之內(nèi)還是在物體之后。另一方面，如果
則可確切知道此點(diǎn)在物體之外能夠看見(jiàn)它。因此，帶正負(fù)號(hào)的距離函數(shù)的負(fù)值勝過(guò)正值。
即使在從正的改變到負(fù)的u值的情況下，兩者的絕對(duì)值都應(yīng)很小。如果
則知道點(diǎn)
邊界距離|u|。如果照相機(jī)從點(diǎn)
沿
的方向來(lái)看，則照相機(jī)將在|u|的距離處最終遇到物體邊界。對(duì)帶正負(fù)號(hào)的距離函數(shù)給出當(dāng)前值uk和新的后選值νk的新的最好近似|u|有如下形式
|u|＝min(|uk|，|νk|)with
sign(u)＝l if uk＞0，νk＞0 and else sign(u)＝-1(3)用表的形式
圖8說(shuō)明對(duì)于深度測(cè)量所定義的區(qū)域。對(duì)于每一次深度測(cè)量，沿深度軸可定義三個(gè)區(qū)域
——肯定在物體外的區(qū)域.它稱為外部區(qū)域801；
——包括物體邊界的區(qū)域，它稱為厚壁的區(qū)域802；
——從該觀察點(diǎn)來(lái)觀察在物體邊界后邊的區(qū)域。它稱為內(nèi)部區(qū)域808。
在圖8中示出兩種測(cè)量。照相機(jī)800觀察物體。在情況A物體表面以806表示。在情況B物體表面以810表示。測(cè)量以804為參照。在情況A內(nèi)部區(qū)域擴(kuò)展到了被表面806界定的物體之外。另一方面，情況B表示內(nèi)部區(qū)域808不必需包括物體內(nèi)的任何點(diǎn)由于大的誤差界限整個(gè)物體已經(jīng)包含在厚壁區(qū)域。
能夠通過(guò)賦給每一個(gè)頂點(diǎn)一個(gè)區(qū)域值將不確定性進(jìn)行結(jié)合，所述區(qū)域值基于不確定性間隔界限。此區(qū)域值也可用對(duì)帶正負(fù)號(hào)的距離函數(shù)加符號(hào)的類似方法給出。逐次更新區(qū)域值的表可表示如下
奠定此表基礎(chǔ)的推理如下如果一點(diǎn)可從任何物體外的任何地方看到，則通過(guò)此點(diǎn)已經(jīng)看到并且此點(diǎn)只能是自由空間而非其它。因沒(méi)有物體內(nèi)部的信息，這種信息受厚壁信息支配，這意味著物體邊界在此區(qū)域。如果深度不確定性是零，它簡(jiǎn)化為帶正負(fù)號(hào)的距離的排序關(guān)系。
一個(gè)單元頂點(diǎn)的兩種性質(zhì)可以指定與深度的最大可能值相聯(lián)系的帶正負(fù)號(hào)的距離函數(shù)，和與深度不確定性間隔的界限相聯(lián)系的區(qū)域值。對(duì)于單元的每一個(gè)頂點(diǎn)帶正負(fù)號(hào)的距離函數(shù)定義它到物體最近表面的距離。區(qū)域值許可處理不確定性，這通過(guò)指定單元的一頂點(diǎn)是在所有物體之外、物體之內(nèi)、還是在被稱為“厚壁“的包含物體邊界的區(qū)域內(nèi)。為了高效率，將頂點(diǎn)區(qū)域值和帶正負(fù)號(hào)的距離函數(shù)值存儲(chǔ)在一個(gè)八叉樹中。然而，也能夠?qū)⑿畔⒋鎯?chǔ)在結(jié)構(gòu)相同的兩個(gè)分開(kāi)的八叉樹中。
生成三維表示的過(guò)程如下
在初始化時(shí)，設(shè)置有待整體運(yùn)行的邊界；這是八叉樹的根。開(kāi)始，在單元的每一個(gè)頂點(diǎn)，帶正負(fù)號(hào)的距離函數(shù)的初始結(jié)構(gòu)設(shè)置為無(wú)窮大而它的區(qū)域值設(shè)置為“內(nèi)部”。對(duì)于每一個(gè)深度圖，施加下列處理程序
——對(duì)圖象i讀取新的深度圖di和相應(yīng)的照相機(jī)參數(shù)。
——更新八叉樹中的每一個(gè)單元頂點(diǎn)的值
——對(duì)八叉樹中的每一個(gè)單元頂點(diǎn)
按照方程(1)計(jì)算
——用方程(3)從uk和νk中尋找新的最佳近似來(lái)更新uk。
——對(duì)每一個(gè)單元檢驗(yàn)它是否需要按照唯一性判據(jù)再分割。如果需要，則實(shí)行再分割并且更新單元每一頂點(diǎn)的值。這樣繼續(xù)下去直到不需要再分割單元。
——最后，對(duì)所有單元頂點(diǎn)更新區(qū)域值。因這不影響八叉樹的結(jié)構(gòu)，所以可在所有分割完成后再實(shí)行。
圖9在它的內(nèi)容中說(shuō)明了再現(xiàn)儀900。在它的內(nèi)部和外部之間有邊界914的物體916從多個(gè)方向成象。用深度值對(duì)每個(gè)像素來(lái)標(biāo)記物體的二維圖象，例如912。再現(xiàn)儀900設(shè)計(jì)為由這些圖象生成物體916的三維表示904。再現(xiàn)儀900包含單元，例如903，的八叉樹902去支持三維表示904。每一單元包含頂點(diǎn)，例如906和908，以及連接頂點(diǎn)的邊，例如910。
圖10表示圖象顯示儀1000，它包括
——深度圖生成儀1002；
——再現(xiàn)儀900；
——透視儀1006；
——和顯示設(shè)備1008。
圖象顯示儀1000的輸入是一系列圖象。這些圖象經(jīng)過(guò)一些步驟的處理。第一步是對(duì)這些圖象，例如，用視差生成深度圖。深度圖是再現(xiàn)儀900的輸入，再現(xiàn)儀900設(shè)計(jì)為生成成像的景象中的物體的三維表示。輸入的圖象代表這些物體。再現(xiàn)儀900的物體三維表示的輸出是透視儀1006的輸入。透視儀1006能夠由三維表示生成二維圖象。這些生成的圖象可以相應(yīng)于不是照相機(jī)原來(lái)獲取的景象。生成的二維圖象由顯示設(shè)備1008顯示。顯示設(shè)備1008可以是通常的顯示設(shè)備，也可以是能夠顯示從不同的角度取景的若干對(duì)或組圖象的某種類型立體顯示設(shè)備，帶有例如透鏡屏的“多視“顯示設(shè)備。處于運(yùn)性能的原因，深度圖生成儀1002，再現(xiàn)儀900和透視儀1006可以安裝在一個(gè)硅片上，即專用的硬件上。在很少臨界狀態(tài)運(yùn)行的情況，可編程序的硬件平臺(tái)足以實(shí)現(xiàn)這三種設(shè)備。
應(yīng)當(dāng)注意到，上邊敘述的實(shí)施方案只是說(shuō)明而不是對(duì)發(fā)明的限制，本領(lǐng)域的技術(shù)人員能夠設(shè)計(jì)出另外的實(shí)施方案而不偏離所附權(quán)利要求的范圍。在所述權(quán)利要求中，在括號(hào)之間的參考符號(hào)不是對(duì)該權(quán)利要求的限制。字“包含”不排除還有沒(méi)有在權(quán)利要求中列出的元素或步驟。元素前的“一個(gè)“并不排除有多個(gè)元素。本發(fā)明可借助包含若干不同元素的硬件和適合于編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在權(quán)利要求中列舉的若干設(shè)備，這些設(shè)備的若干個(gè)可以用一個(gè)和同樣元素的硬件來(lái)實(shí)施。
權(quán)利要求
1.從物體(916)的多幅二維圖象(912)生成該物體(916)的三維表示(904)的方法，所述方法通過(guò)創(chuàng)建單元(903)的八叉樹(902)以支持所述物體的三維表示(904)，每一個(gè)單元(903)包含頂點(diǎn)(906)，由此單元的八叉樹借助于將八叉樹(902)的單元(903)循環(huán)分割為下一級(jí)的較小單元的過(guò)程來(lái)創(chuàng)建；其特征在于停止分割特定單元(903)過(guò)程是基于檢驗(yàn)特定單元(903)的頂點(diǎn)(906)中的哪些在物體(916)之內(nèi)和頂點(diǎn)(906)中的哪些在物體(916)之外。
2.按照權(quán)利要求1的方法，其特征在于特定單元(903)的頂點(diǎn)(906)被分成在物體(916)內(nèi)頂點(diǎn)的第一集合和在物體(916)外頂點(diǎn)的第二集合，第一集合和第二集合包含
——零個(gè)頂點(diǎn)；
——壹個(gè)頂點(diǎn)；或
——多于一個(gè)頂點(diǎn)，每一個(gè)頂點(diǎn)與其它屬于同一集合的頂點(diǎn)通過(guò)邊的一個(gè)集合連接起來(lái)，這些邊中的每一個(gè)的兩個(gè)頂點(diǎn)屬于同一頂點(diǎn)集合。
3.按照權(quán)利要求2的方法，其特征在于分割特定單元(400)的過(guò)程的第二停止判據(jù)是基于檢驗(yàn)相鄰單元(402)的頂點(diǎn)是在物體(412)內(nèi)還是在物體(412)外。
4.按照權(quán)利要求3的方法，其特征在于如果相鄰單元(402)小于特定單元(400)，則檢驗(yàn)相鄰單元(402)的頂點(diǎn)(408)。
5.按照權(quán)利要求4的方法，其特征在于從二維圖象(912)提取的深度圖(502)被用作確定頂點(diǎn)(906)是在物體(916)內(nèi)還是在物體(916)外的基礎(chǔ)。
6.按照權(quán)利要求5的方法，其特征在于為了生成三維表示(904)，計(jì)算特定單元(701)的頂點(diǎn)到物體邊界(703)的距離(705)。
7.按照權(quán)利要求5的方法，其特征在于為了生成三維表示(904)估算特定單元的頂點(diǎn)到物體(806)的邊界的距離。
8.被設(shè)計(jì)用于從物體的多幅二維圖象(912)生成該物體(916)的三維表示(904)的再現(xiàn)儀(900)，所述再現(xiàn)儀(900)包括單元(903)的八叉樹(902)以支持物體的三維表示(904)，每一個(gè)單元(903)包含頂點(diǎn)(906)，再現(xiàn)儀能夠?qū)嵤瞬鏄?902)的單元(903)循環(huán)分割為下一級(jí)的較小單元的過(guò)程，其特征在于為了能夠決定停止分割特定單元(903)的過(guò)程，再現(xiàn)儀(900)被設(shè)計(jì)用來(lái)檢驗(yàn)特定單元(903)頂點(diǎn)(906)中的哪些在物體(916)之內(nèi)和哪些在物體(916)之外。
9.按照權(quán)利要求8的再現(xiàn)儀(900)，其特征在于為了能夠決定停止分割特定單元(400)的過(guò)程，所述再現(xiàn)儀(900)被設(shè)計(jì)用來(lái)檢驗(yàn)相鄰單元(402)的頂點(diǎn)(408)是在所述物體之內(nèi)或之外。
10.按照權(quán)利要求9的再現(xiàn)儀(900)，其特征在于所述再現(xiàn)儀(900)被設(shè)計(jì)用來(lái)基于從二維圖象(912)提取的深度圖(502)確定頂點(diǎn)是在物體之內(nèi)或之外。
11.按照權(quán)利要求10的再現(xiàn)儀，其特征在于為了生成三維表示(904)，所述再現(xiàn)儀(900)被設(shè)計(jì)用來(lái)計(jì)算特定單元(701)的頂點(diǎn)到物體邊界(703)的距離(705)。
12.按照權(quán)利要求10的再現(xiàn)儀(900)，其特征在于為了生成三維表示(904)，所述再現(xiàn)儀(900)被設(shè)計(jì)用來(lái)估算特定單元的頂點(diǎn)到物體邊界的距離。
13.圖象顯示儀(1000)，所述圖象顯示儀包括
——再現(xiàn)儀(900)被設(shè)計(jì)用來(lái)從物體的多幅二維圖象(912)生成該物體(916)的三維表示(904)，它包括單元(903)的八叉樹(902)以支持該物體的三維表示(904)，每一個(gè)單元(903)包含頂點(diǎn)(906)，再現(xiàn)儀能夠?qū)嵤瞬鏄?902)的單元(903)循環(huán)分割為下一級(jí)的較小單元的過(guò)程；
——透視儀(1006)，它從三維表示生成二維圖象；和
——顯示二維圖象的顯示設(shè)備(1008)，其特征在于為了能夠停止分割特定單元的過(guò)程，再現(xiàn)儀(900)被設(shè)計(jì)用來(lái)檢驗(yàn)特定單元中的哪些頂點(diǎn)在物體之內(nèi)和哪些頂點(diǎn)在物體之外。
全文摘要
從物體的多幅二維圖象(912)生成至少一個(gè)物體的三維表示(904)的方法，利用單元(903)的八叉樹(902)以支持三維表示(904)，而每一個(gè)單元包含頂點(diǎn)(906)和連接頂點(diǎn)的邊(910)。此方法基于將八叉樹的單元分割為更小的單元。分割單元過(guò)程的停止判據(jù)是檢驗(yàn)?zāi)男╉旤c(diǎn)在物體之外和哪些頂點(diǎn)在物體之內(nèi)。分割單元過(guò)程的另一個(gè)停止判據(jù)是檢驗(yàn)相鄰單元的頂點(diǎn)是在物體之內(nèi)或在物體之外。
文檔編號(hào)G06T1/00GK1459082SQ0280061
公開(kāi)日2003年11月26日 申請(qǐng)日期2002年1月28日 優(yōu)先權(quán)日2001年3月12日
發(fā)明者F·E·埃恩斯特, C·W·A·M·范奧弗維爾德, P·維林斯基 申請(qǐng)人:皇家菲利浦電子有限公司