專利名稱：從單幅圖像重建中國古代建筑語義模型和組件庫的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)虛擬現(xiàn)實(shí)、基于圖像建模技術(shù)領(lǐng)域，具體屬于識(shí)別圖像標(biāo)定分割，建筑組件生成，生成三維建筑模型領(lǐng)域，特別涉及一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法。
背景技術(shù)：
中國古代建筑作為人類文明和世界文化遺產(chǎn)的重要部分，有它獨(dú)特的結(jié)構(gòu)特征。 兩本官方經(jīng)典著作《營造法式》(宋)和《工程做法則例》(清)描述了中國古代建筑的大部分特征。但是，這兩本書所用的不是現(xiàn)代術(shù)語，一般人很難理解。建筑大師梁思成先生研究中國古代建筑(參考“梁思成.清式營造則例.清華大學(xué)出版社，2006.，，以及“Liang S.APictorial History of Chinese Architecture :A Study of the Development of Its Structural System and the Evolution of Its Types. MIT Press, 1984. ”)，并將他們用現(xiàn)代的科學(xué)語言描述出來(參考“梁思成.清工部《工程做法則例》圖解.清華大學(xué)出版社，2006·，，)。并且參考"Li AI k. A shape grammar for teaching the architectural style of the Yingzao fashi [D]. Massachusetts Institute of Technology，2001. ”可注意到《營造法式》是基于參數(shù)和規(guī)則描述建筑的，他設(shè)計(jì)形狀規(guī)則生成中國古代建筑?；趫D像的建筑建模已經(jīng)被廣泛的研究，例如文獻(xiàn)“Debevec P Ε, Taylor C J，Malik J. Modeling and rendering architecture from photographs :a hybrid geometry-and image-based approach[C]. Proceedings of SIGGRAPH’96 !Proceedings of the 23rd annual conference on Computer graphics and interactive techniques，New York, NY, USA :ACM，1996. 11-20. ” ；“Oh B M，Chen M，Dorsey J，et al. Image-based modeling and photo editing[C] · Proceedings of SIGGRAPH' 01 -Proceedings of the 28th annual conference on Computer graphics and interactive techniques，New York，NY, USA ACM, 2001. 433-442. ”L^ ^"DickAR, TorrPHS, CipolIaR. Model 1 ing and Interpretation of Architecture from Several Images. Int. J. Comput. Vision, 2004,60 (2) :111-134.，，均對(duì)基于圖像的建筑建模進(jìn)行的研究。Xiao等從街景視圖重建三維建筑模型(可參考“Xiao J，F(xiàn)ang Τ, Tan P，et al. Image-based fac ade mode 1 ing [J]. ACM Trans. Graph. ,2008,27(5) :1-10.，，禾口 "Xiao J, Fang T, Zhao P, et al. Image-based street-side city modeling[J]. ACM Trans. Graph. ,2009,28(5) :1-12. ”)；Sinha設(shè)計(jì)了一個(gè)交互系統(tǒng)，從無序散亂照片集中生成由多個(gè)平面構(gòu)成的模型 (可參考"Sinha S N，Steedly D，Szeliski R，et al. Interactive 3D architectural modeling from unordered photo collections[J]. ACM Trans. Graph.，2008，27 (5) 1-10. ”)。
許多工作基于對(duì)稱(參考“HONG W.，YANG A. Y.，HUANG K. , MA Y. :0η symmetry and multiple-view geometry :Structure, pose, and calibration from a single image. Int. J. Comput. Vision 60(December 2004)，241-265. ”)或平行垂直(參考“LIEBOWITZ D.，CRIMINISI A. , ZISSERMAN A. treating architectural models from images. In Annual Conference of the European Association for Computer Graphics (Eurographics) (1999)，vol. 18，pp. 39—50. ”)或平 亍六面體(參 #"WILCZK0WIAKM. , STURM P. , BOYER Ε. =Using geometric constraints through parallelepipeds for calibration and 3d modeling. Pattern Analysis and Machine Intelligence, IEEE Transactions on 27，2 (feb. 2005)，194-207. ”)約束恢復(fù)三維尺寸， 基于建筑對(duì)稱性標(biāo)定單幅照片，恢復(fù)三維尺寸，生成建筑模型(參考“JIANG N.，TAN P.， CHEONG L. -F. :Symmetric architecture modeling with a single image. ACM Trans. Graph. 28,5(2009),1-8. ”)。但是，基于圖像的建模難以處理模型細(xì)節(jié)，而且生成大規(guī)模模型的代價(jià)很大。但是現(xiàn)存的多數(shù)方法只能生成三維模型，不能生成有意義的建筑模型組件， 而且生成的模型也不能變化成新的模型。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于提供一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，克服上述現(xiàn)有技術(shù)中存在的問題。本發(fā)明解決上述技術(shù)問題采用的技術(shù)方案為一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，包括如下步驟步驟(1)求得屋瓦方向，然后標(biāo)定圖像來恢復(fù)建筑三維尺寸；步驟(2)基于屋瓦的重復(fù)性，利用一種方法自動(dòng)的進(jìn)行屋瓦分割，然后根據(jù)建筑的對(duì)稱性和屋瓦方向標(biāo)定圖像；為了在圖像中識(shí)別建筑組件，該方法基于屋瓦的重復(fù)性自動(dòng)地將屋頂分割成屋瓦；步驟(3)基于用戶指出的內(nèi)側(cè)立柱的位置和寬度，識(shí)別外側(cè)的立柱；步驟(4)從這些已經(jīng)標(biāo)定和分割的圖像中自動(dòng)得到建筑組件的尺寸和紋理，并生成建筑組件；步驟( 然后形狀語法編譯器快速自動(dòng)地從三維建筑組件和形狀語法自動(dòng)生成三維中國古代建筑模型和變化的場(chǎng)景。其中，所述步驟(1)中，求得屋瓦方向，然后標(biāo)定圖像來恢復(fù)建筑三維尺寸，方法為基于屋瓦局部對(duì)稱性，在局部上求得對(duì)稱軸，得到局部方向，然后在水平線用RANSAC求得屋瓦消影點(diǎn)，最后，用RANSAC方法求得整個(gè)屋瓦的消影線；然后基于建筑對(duì)稱性求得三維尺寸。其中，所述步驟O)中，基于屋瓦的重復(fù)性，所述的一種方法自動(dòng)的進(jìn)行屋瓦分割具體為基于屋瓦的對(duì)稱性，求得每個(gè)點(diǎn)的控制半徑，然后根據(jù)控制半徑由大到小提取重復(fù)序列，每條水平線上分割屋瓦，然后再組合不同水平線上的分割序列，在整個(gè)屋頂上分割屋瓦。其中，所述步驟(3)中，基于用戶指定的內(nèi)側(cè)立柱，識(shí)別定位外側(cè)立柱的方法為 基于用戶指定的內(nèi)側(cè)立柱的位置和寬度，求得內(nèi)側(cè)和外側(cè)立柱的三維平面，將內(nèi)側(cè)立柱的位置投影到外側(cè)平面，然后，基于立柱的對(duì)稱性和均勻性，優(yōu)化外側(cè)立柱的位置，最后根據(jù)內(nèi)外側(cè)立柱滿足一維單映和圖像梯度迭代優(yōu)化外側(cè)立柱的位置。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于1、與傳統(tǒng)的基于圖像建模不同，我們提出一種基于建筑組件的建模方法。2、我們提出一種自動(dòng)的分割屋頂屋瓦的方法，和一種半自動(dòng)的分割立柱的方法。3、我們用過程建模生成組合組件生成可以變化的三維建筑模型。


圖1輸入圖像及用戶畫出的輪廓；圖2用戶分割的區(qū)域；圖3(a)屋瓦局部區(qū)域，(b)關(guān)于不同方向?qū)ΨQ軸的像素顏色的差；圖4屋瓦方法；圖5分割出來的屋瓦；圖6分割出來的立柱；圖7生成三維模型建筑組件；圖8生成的三維建筑模型。
具體實(shí)施例方式
下面結(jié)合附圖詳細(xì)介紹本發(fā)明的具體實(shí)施方式
。本發(fā)明解決現(xiàn)有技術(shù)存在的技術(shù)問題采用的技術(shù)方案為一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，該方法具體實(shí)現(xiàn)步驟如下步驟(1)對(duì)單幅圖像進(jìn)行預(yù)處理，并交互地將建筑立面分割成有意義的部分，如屋頂、額闌、平臺(tái)等等。然后，我們計(jì)算屋瓦的切線方向，最后求得相機(jī)的投影矩陣；然后求得屋瓦方向，然后標(biāo)定圖像來恢復(fù)建筑三維尺寸；步驟(Al)預(yù)處理首先，在預(yù)處理中，我們交互地將建筑立面分割成有意義的部分，如屋頂、額闌、平臺(tái)等等。然后，我們計(jì)算屋瓦的切線方向，最后求得相機(jī)的投影矩陣。從單幅圖像中重建三維幾何信息數(shù)據(jù)是不完整的。雖然棱臺(tái)或平行六面體已經(jīng)被用來標(biāo)定相機(jī)，但是在正面照片中沒有這些幾何結(jié)構(gòu)。我們注意到曲線的屋瓦相互平行并且垂直于水平方向，利用這對(duì)垂直關(guān)系，可以求得相機(jī)的內(nèi)部參數(shù)。拿到一張圖像，用戶首先畫出建筑輪廓(如圖1)，然后，系統(tǒng)根據(jù)用戶所畫的輪廓的上下兩條線計(jì)算水平消影點(diǎn)。為了將建筑分割成有意義的區(qū)域，在水平消影點(diǎn)的約束下， 我們掃描每一條水平線，計(jì)算它們兩側(cè)像素顏色之差，然后選擇具有相對(duì)較大顏色差異的線段作為候選線段，然后，用戶交互地從中選擇分割線段，或者也可以畫其他水平線來分割建筑立面。最后用戶指出它們的類型(如圖2所示)。步驟(A2)求得屋瓦方向場(chǎng)曲面屋頂是中國古代建筑的顯著特征，在投影后的二維平面中，可以將屋瓦看作向量場(chǎng)，每一點(diǎn)與它切線的方向相關(guān)聯(lián)。我們提出一種方法，自動(dòng)求得屋瓦的方向，用來標(biāo)定相機(jī)和分割屋瓦。
在一點(diǎn)處的屋瓦方向雖然屋瓦是彎曲的，但是它們?cè)诰植拷剖侵钡模鐖D 3(a)所示。我們把瓦看作是在局部交替重復(fù)的一些直線段，瓦的局部方向就是這些直線段的方向。我們注意到瓦在局部上是關(guān)于與它的方向垂直的軸對(duì)稱的，所以我們從0到180度依次列舉每個(gè)方向，求得像素亮度差異關(guān)于對(duì)稱軸最小的那個(gè)方向。圖3(b)表示了圖3 (a) 中，關(guān)于每個(gè)方向像素的差異，求得的對(duì)稱軸方向及屋瓦方向如圖3(a)所示。在一點(diǎn)處的水平方向我們根據(jù)屋瓦之間的相互約束關(guān)系處理方向錯(cuò)誤的外點(diǎn)。 因?yàn)槲萃咴谒椒较蚴瞧揭茖?duì)稱，它們的方向在同一水平上是平行的，所以在圖像上，它們應(yīng)該相較于同一點(diǎn)。如圖4所示，我們采樣一些水平直線，在每條線上，在一些采樣點(diǎn)上計(jì)算它們的方向，然后用RANSAC選取它們的消影點(diǎn)。屋頂上的屋瓦方向在三維空間中，每條屋瓦決定一個(gè)平面，而這些平面是相互平行的，所以在圖像中，它們相交于一條消影直線，所以所有消影點(diǎn)應(yīng)該是共線的。我們用 RANSAC算法擬合消影線以去掉錯(cuò)誤的消影點(diǎn)。給出一條假定的消影線，我們用如下兩個(gè)原則確定內(nèi)點(diǎn)1)它們到假定的消影線的距離小于給定閾值；2)消影點(diǎn)的位置隨著對(duì)應(yīng)水平線的上升而上升。我們用最長(zhǎng)上升子序列算法從消影點(diǎn)中求得滿足第二個(gè)條件的子序列。 此外，我們假設(shè)相機(jī)內(nèi)參中只有相機(jī)焦距未知，因?yàn)檫@些平行平面垂直于水平方向，所以消影線方程應(yīng)滿足以下形式a*X+Vy/Vja*y+l = 0，其中vx和vy分別是水平消影點(diǎn)的χ和y坐標(biāo)。我們用正確的消影點(diǎn)重新擬合消影線并將這些正確的消影點(diǎn)投影到這條消影線上，結(jié)果如圖4所示。步驟m對(duì)稱建筑標(biāo)定利用建筑對(duì)稱性，我們將照片水平翻轉(zhuǎn)獲得第二張?zhí)摂M相機(jī)的照片，這樣來恢復(fù)建筑模型的三維尺寸。根據(jù)水平方向和屋瓦平行平面的正交性，我們標(biāo)定相機(jī)焦距為
權(quán)利要求
1.一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，其特征在于包括如下步驟步驟(1)求得屋瓦方向，然后標(biāo)定圖像來恢復(fù)建筑三維尺寸；步驟(2)基于屋瓦的重復(fù)性，利用一種方法自動(dòng)的進(jìn)行屋瓦分割，然后根據(jù)建筑的對(duì)稱性和屋瓦方向標(biāo)定圖像；為了在圖像中識(shí)別建筑組件，該方法基于屋瓦的重復(fù)性自動(dòng)地將屋頂分割成屋瓦；步驟C3)基于用戶指出的內(nèi)側(cè)立柱的位置和寬度，識(shí)別外側(cè)的立柱；步驟(4)從這些已經(jīng)標(biāo)定和分割的圖像中自動(dòng)得到建筑組件的尺寸和紋理，并生成建筑組件；步驟( 然后形狀語法編譯器快速自動(dòng)地從三維建筑組件和形狀語法自動(dòng)生成三維中國古代建筑模型和變化的場(chǎng)景。
2.根據(jù)權(quán)利要求1所述的一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，其特征在于所述步驟(1)中，求得屋瓦方向，然后標(biāo)定圖像來恢復(fù)建筑三維尺寸，方法為基于屋瓦局部對(duì)稱性，在局部上求得對(duì)稱軸，得到局部方向，然后在水平線用RANSAC求得屋瓦消影點(diǎn)，最后，用RANSAC方法求得整個(gè)屋瓦的消影線；然后基于建筑對(duì)稱性求得三維尺寸。
3.根據(jù)權(quán)利要求1所述的一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，其特征在于所述步驟O)中，基于屋瓦的重復(fù)性，所述的一種方法自動(dòng)的進(jìn)行屋瓦分割具體為基于屋瓦的對(duì)稱性，求得每個(gè)點(diǎn)的控制半徑，然后根據(jù)控制半徑由大到小提取重復(fù)序列，每條水平線上分割屋瓦，然后再組合不同水平線上的分割序列，在整個(gè)屋頂上分割屋瓦。
4.根據(jù)權(quán)利要求1所述的一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，其特征在于所述步驟⑶中，基于用戶指定的內(nèi)側(cè)立柱，識(shí)別定位外側(cè)立柱的方法為 基于用戶指定的內(nèi)側(cè)立柱的位置和寬度，求得內(nèi)側(cè)和外側(cè)立柱的三維平面，將內(nèi)側(cè)立柱的位置投影到外側(cè)平面，然后，基于立柱的對(duì)稱性和均勻性，優(yōu)化外側(cè)立柱的位置，最后根據(jù)內(nèi)外側(cè)立柱滿足一維單映和圖像梯度迭代優(yōu)化外側(cè)立柱的位置。
全文摘要
本發(fā)明提出一種從單幅圖像重建中國古代建筑語義模型和組件庫的方法，其目的是生成完整的、可重用的、語義正確的三維建筑組件庫，用來生成三維建筑模型，并且能夠生成大規(guī)模的城市模型；該方法提出了一種方法自動(dòng)判斷屋瓦方向，然后根據(jù)建筑的對(duì)稱性和屋瓦方向標(biāo)定圖像；為了在圖像中識(shí)別建筑組件，該方法基于屋瓦的重復(fù)性自動(dòng)地將屋頂分割成屋瓦，然后，基于用戶指出的內(nèi)側(cè)立柱的位置和寬度，識(shí)別外側(cè)的立柱；然后，從這些已經(jīng)標(biāo)定和分割的圖像中自動(dòng)得到建筑組件的尺寸和紋理，并生成建筑組件，然后形狀語法編譯器快速自動(dòng)地從三維建筑組件和形狀語法自動(dòng)生成三維中國古代建筑模型和變化的場(chǎng)景。
文檔編號(hào)G06T17/00GK102521877SQ20111041519
公開日2012年6月27日 申請(qǐng)日期2011年12月12日 優(yōu)先權(quán)日2011年12月12日
發(fā)明者侯飛, 趙沁平, 齊越 申請(qǐng)人:北京航空航天大學(xué)